Der Generalstaatsanwalt von Texas, Ken Paxton, gab eine Einigung mit dem in Dallas ansässigen Entwickler künstlicher Intelligenz Pieces Technologies bekannt. Mit dieser Einigung werden die Vorwürfe ausgeräumt, wonach die generativen KI-Tools des Unternehmens die Patientensicherheit gefährdet hätten, indem sie zu hohe Genauigkeitsversprechungen gemacht hätten.
WARUM ES WICHTIG IST
Das in Irving, Texas, ansässige Unternehmen nutzt generative KI, um in Echtzeit elektronische Gesundheitsdaten über den Zustand und die Behandlung von Patienten zusammenzufassen. Laut der Einigung wird die Software in mindestens vier Krankenhäusern des Bundesstaates eingesetzt.
Das Unternehmen warb mit einer „schweren Halluzinationsrate“ von weniger als einer pro 100.000, so die Vergleichsvereinbarung.
Während Pieces jegliches Fehlverhalten oder jede Haftung abstreitet und erklärt, es habe nicht gegen den Texas Deceptive Trade Practices-Consumer Protection Act verstoßen, heißt es in der Einigung mit dem Generalstaatsanwalt, das Unternehmen müsse die Bedeutung bzw. Definition dieser Kennzahl „klar und deutlich offenlegen“ und beschreiben, wie sie berechnet wurde – oder andernfalls „einen unabhängigen, externen Prüfer damit beauftragen, die Leistung oder die Eigenschaften seiner Produkte und Dienstleistungen zu bewerten, zu messen oder zu belegen.“
Pieces erklärte sich bereit, die Vereinbarungen für fünf Jahre einzuhalten, sagte jedoch in einer Erklärung an Neuigkeiten aus der Gesundheits-IT per E-Mail am Freitag, dass die Ankündigung der AG die von ihr eingegangene freiwillige Zusicherung der Einhaltung falsch darstellt.
“Stücke unterstützt nachdrücklich die Notwendigkeit einer zusätzlichen Aufsicht und Regulierung der klinisch generativen KI“ und unterzeichnete die Vereinbarung „als Gelegenheit, diese Gespräche in gutem Glauben voranzutreiben.“
DER GRÖSSERE TREND
Da künstliche Intelligenz – und hier vor allem GenKI – in Krankenhäusern und Gesundheitssystemen immer häufiger zum Einsatz kommt, sind die Herausforderungen hinsichtlich Genauigkeit und Transparenz der Modelle wesentlich kritischer geworden, vor allem da sie ihren Weg in den klinischen Bereich finden.
Eine aktuelle Studie der University of Massachusetts Amherst und Mendel, einem KI-Unternehmen, das sich auf die Erkennung von Halluzinationen durch künstliche Intelligenz konzentriert, ergab, dass in von KI zusammengefassten Krankenakten verschiedene Arten von Halluzinationen auftreten. Dies geht aus einer Studie vom August hervor. Bericht In Arena für klinische Studien.
Die Forscher baten zwei große Sprachmodelle – GPT-4o von Open AI und Llama-3 von Meta –, aus 50 detaillierten medizinischen Notizen medizinische Zusammenfassungen zu erstellen. Sie fanden heraus, dass GPT 21 Zusammenfassungen mit falschen Informationen und 50 mit verallgemeinerten Informationen hatte, während Llama 19 Fehler und 47 Verallgemeinerungen aufwies.
Während KI-Tools, die Zusammenfassungen aus elektronischen Gesundheitsakten und anderen medizinischen Daten erstellen, immer häufiger eingesetzt werden, bleibt ihre Zuverlässigkeit fraglich.
„Ich denke, wir stehen bei der generativen KI noch nicht an einem Punkt: Sie ist nicht transparent, nicht konsistent und noch nicht zuverlässig“, sagte Dr. John Halamka, Präsident der Mayo Clinic Platform. Neuigkeiten aus der Gesundheits-IT letztes Jahr. „Wir müssen also bei der Auswahl der Anwendungsfälle etwas vorsichtig sein.“
Um KI besser bewerten zu können, hat die Mayo Clinic Platform ein Risikoklassifizierungssystem entwickelt, um Algorithmen zu qualifizieren, bevor sie extern verwendet werden.
Dr. Sonya Makhni, medizinische Leiterin der Plattform und leitende Beraterin der Abteilung für Innere Medizin der Mayo Clinic, erklärte, dass Gesundheitsorganisationen bei der Überlegung zum sicheren Einsatz von KI „bedenken sollten, wie sich eine KI-Lösung auf klinische Ergebnisse auswirken kann und welche potenziellen Risiken bestehen, wenn ein Algorithmus falsch oder voreingenommen ist oder wenn auf der Grundlage eines Algorithmus ausgeführte Aktionen falsch oder voreingenommen sind.“
Sie sagte, es liege in der „Verantwortung sowohl der Lösungsentwickler als auch der Endnutzer, eine KI-Lösung im Hinblick auf das Risiko nach bestem Wissen und Gewissen zu gestalten“.
ORIENTIERTE DATEN
„KI-Unternehmen, die Produkte anbieten, die in Hochrisikoumgebungen verwendet werden, sind es der Öffentlichkeit und ihren Kunden schuldig, hinsichtlich ihrer Risiken, Einschränkungen und angemessenen Verwendung transparent zu sein“, sagte der Generalstaatsanwalt von Texas, Ken Paxton, in einer Erklärung zur Einigung mit Pieces Technologies.
„Krankenhäuser und andere Gesundheitseinrichtungen müssen prüfen, ob KI-Produkte geeignet sind, und ihre Mitarbeiter entsprechend schulen“, fügte er hinzu.
Dieser Artikel wurde am 20. September 2024 mit einer Erklärung von Pieces Technologies aktualisiert.
Andrea Fox ist leitende Redakteurin von Healthcare IT News.
E-Mail: afox@himss.org
Healthcare IT News ist eine Veröffentlichung von HIMSS Media.
