In der zunehmend digitalisierten Welt des Gesundheitswesens stehen Künstliche Intelligenz (KI) und Maschinelles Lernen im Mittelpunkt zahlreicher Innovationen und digitaler Lösungen. Während diese Technologien vielversprechende Fortschritte ermöglichen, ist die Präsenz von Bias bzw. Voreingenommenheit in KI-Systemen ein Thema, das ernsthafte ethische und praktische Herausforderungen aufwirft. In einem exklusiven Interview mit FH-Prof.Dr. Martina Gaisch von der FH Hagenberg geht Gerlinde Macho, Unternehmensführung von MP2 IT-Solutions, auf konkrete Fragen zum Thema Bias ein.
Gerlinde Macho von MP2 IT-Solutions: Was ist Bias im Kontext von KI und Digital Health? Und warum ist Bias ein so wichtiges Thema?
Martina Gaisch von der FH Hagenberg: Bias ist eine kognitive Verzerrung, die zu einer systematischen Bevorzugung oder Benachteiligung bestimmter Personengruppen führt. Bias findet sich zum einen in den Daten, die für die Entwicklung von KI-Systemen verwendet werden. Ist beispielsweise die Stichprobe nicht repräsentativ für die gesamte Zielgruppe, kann dies zu einer Benachteiligung jener Gruppen führen, für die die Daten zu gering sind. So kann ein Datensatz mit überwiegend männlichen Patienten zu Fehldiagnosen bei weiblichen Patienten führen.
Verzerrungen können aber auch in den Algorithmen selbst eingebaut sein, wenn bestimmte Merkmale bevorzugt werden, die für bestimmte Gruppen nachteilig sind. Ein Algorithmus, der zur Vorhersage des Risikos für Herz-Kreislauf-Erkrankungen verwendet wurde, basierte beispielsweise auf Datensätzen, die hauptsächlich aus Männern bestanden, und unterschätzte daher das Risiko für Herz-Kreislauf-Erkrankungen bei Frauen. Dies führte dazu, dass Frauen mit einem hohen Risiko für Herzkrankheiten nicht die richtige Behandlung erhielten und dadurch benachteiligt wurden.
FH-Prof. Mag. Dr. Martina Gaisch ist promovierte Bildungssoziologin, Hochschulforscherin und Professorin an der
FH Oberösterreich, Fakultät für Informatik, Kommunikation und Medien in Hagenberg. Sie war sieben Jahre wissenschaftliche Leiterin für Diversity Management und leitet seit zwei Jahren den Bachelorstudiengang „Design of Digital Products“. Seit Jahrzehnten forscht und lehrt sie an der Schnittstelle zwischen Geistes- und Technikwissenschaften.
Was konkret ist Ihrer Meinung die dunkle Seite von KI?
KI-Systeme können wertvolle Sparringspartner für uns Menschen sein, aber man darf ihnen nicht blind vertrauen. Sie lernen aus Datensätzen, die von Menschen eingegeben werden, die naturgemäß ihre eigenen Werte, Vorurteile und subjektiven Annahmen einfließen lassen. Diese menschlichen Biases führen zu Fehldiagnosen, Diskriminierung und kognitiven Verzerrungen, die von KI-Systemen reproduziert oder im schlimmsten Fall sogar verstärkt werden.
Hinzu kommt, dass die Entscheidungsfindung von KI-Systemen in der Regel undurchsichtig, intransparent und schwer nachvollziehbar ist. Dieses sogenannte Black-Box-Phänomen könnte durch Explainable AI entschärft werden. Dadurch würden KI-basierte Systeme nutzerfreundlich und verständlich. Explainable AI kann also dokumentieren, wie bestimmte Ergebnisse zustande gekommen sind, und zwar so, dass der Prozess auch für Nicht-Informatiker:innen nachvollziehbar ist.
Eine weitere Schattenseite der KI ist ihr Mangel an Kontextwissen und Empathie. Das fehlende Verständnis für das Gesamtsystem führt zu einer unpersönlichen und unsensiblen Interaktion mit den Patient:innen. Derzeit mangelt es auch an Standardisierung und Regulierung, was wiederum zu einem Wildwuchs an unzuverlässigen und ineffizienten KI-Anwendungen führt.
Und natürlich gibt es eine Reihe von ethischen Bedenken – wer trägt die Verantwortung für Fehlentscheidungen, wie geht man am besten mit sensiblen Daten um, was passiert, wenn KI-Systeme ganze Berufe ersetzen, oder wie kann man sozialer Ungleichheit, Diskriminierung und der Verstärkung von Vorurteilen in KI-Systemen entgegenwirken?
Das Gefährlichste an KI ist aus meiner Sicht aber, dass sie in der Lage ist, ganze Demokratien zu destabilisieren. Durch Manipulation und Fälschung können KI-Systeme dazu genutzt werden, Fake News zu produzieren und multimediale Desinformation zu verbreiten, Personen zu diskreditieren und politische Systeme zu manipulieren.
Wie beeinflusst Bias unser Leben? Welche Auswirkungen können Bias auf Digital Heathcare-Systeme und sogar auf die Patient:innen haben?
Bias kann auf verschiedenen Faktoren basieren, wie z. B. Geschlecht, Ethnie, Religion, Alter, sozialer Status oder sexueller Orientierung. Studien zeigen, dass Frauen und People of Color oft eine schlechtere medizinische Versorgung als weiße Männer erhalten. KI-Systeme können Entscheidungen treffen, die bestimmte Gruppen unfair behandeln und diese benachteiligen, indem sie falsche Diagnosen stellen und unpassenden Therapien vorschlagen. Eine weitere Benachteiligung von unterrepräsentierten oder marginalisierten Gruppen kann dadurch entstehen, dass ihnen KI-Systeme einen erschwerten Zugang zu medizinischer Versorgung schafft. Wenn Algorithmen beispielsweise auf Daten aus wohlhabenderen oder besser versorgten Regionen basieren, könnten sie die Bedürfnisse von Personen in ärmeren oder ländlichen Gebieten vernachlässigen.
In der Pflege können Bias in digitalen Überwachungssystemen dazu führen, dass bestimmte Patientengruppen überwacht oder behandelt werden, während andere vernachlässigt werden. Dies kann zu ungleichen Gesundheitsergebnissen führen und das Vertrauen der Patient:innen in das Gesundheitssystem nachhaltig beeinträchtigen.
Selbst in der Gesundheitsversicherung können Bias in Algorithmen zur Risikobewertung dazu führen, dass bestimmte Personen oder Bevölkerungsgruppen ungerechtfertigt höhere Prämien zahlen müssen oder sogar den Zugang zu Versicherungsschutz verweigert bekommen.
Dr. Gerlinde Macho, CMC CSE ist Gründerin von MP2 IT-Solutions. Ihr Tätigkeitsbereich erstreckt sich von der Unternehmensführung über Digitalisierungsberatung bis hin zum Information-Security-Management. Und im Competence Center Digital Healthcare by MP2 IT-Solutions gibt es geballte IT-Kompetenz für Gesundheitsbetriebe. Als Vize-Präsidentin des VÖSI (Verband der Österreichischen Software Innovationen) und Gründungsmitglied von WOMENinICT sowie Bündnispartnerin von <idc> engagiert sich Gerlinde Macho besonders für Frauen in MINT-Berufen.
www.mp2.at/gerlinde.macho
Worher entsteht Bias? Welche Faktoren können dazu führen, dass Bias in KI-Systemen im Gesundheitswesen entsteht? Können Sie konkrete Beispiele für solche Bias-Quellen geben?
Mangelnde Diversität und unzureichende Repräsentation beim Design von Algorithmen, unbewusste Vorurteile bei Entwickler:innen und Fachleuten und fehlende Kontextualisierung gehören wohl zu den größten Treibern von Bias. Kognitive Verzerrungen können daher aus verschiedenen Quellen entstehen, einschließlich historischer Ungleichheiten, unvollständiger oder verzerrter Daten, menschlicher Vorurteile und Entscheidungsprozesse sowie systemischer Ungleichheiten.
Es gibt zahlreiche Beispiele für Verzerrungsquellen in KI-Systemen im Gesundheitswesen. Zum Beispiel Fehldiagnosen von Hautkrebs bei dunkelhäutigen Menschen. Dies liegt daran, dass KI-Systeme, die für die Diagnose von Hautkrebs entwickelt wurden, bisher bei dunkelhäutigen Menschen weniger genau waren, da die Trainingsdatensätze hauptsächlich Bilder von hellhäutigen Menschen enthielten.
Voreingenommenheit benachteiligt auch Menschen mit Behinderungen: KI-Systeme, die zur Steuerung von Prothesen oder anderen Hilfsmitteln eingesetzt werden, können Menschen mit bestimmten Behinderungen benachteiligen, wenn die Systeme nicht auf ihre Bedürfnisse zugeschnitten sind.
Ein weiteres Beispiel für kognitive Verzerrungen sind unterschiedliche Behandlungsempfehlungen für Menschen mit unterschiedlichem sozioökonomischem Hintergrund. Bislang haben KI-Systeme, die für Behandlungsempfehlungen eingesetzt werden, Menschen mit niedrigem sozioökonomischem Status benachteiligt.
Eine Studie über Asthma ergab, dass ein KI-System zur Diagnose von Asthma bei schwarzen Kindern häufiger Fehlalarme auslöste als bei weißen Kindern. Andere Studien zeigen, dass schwarze Patient:innen mit Schmerzen seltener Schmerzmittel verschrieben bekommen als weiße, und eine weitere Studie fand heraus, dass schwarze Patient:innen mit Herzinsuffizienz seltener Zugang zu innovativen Therapien erhalten als weiße Patient:innen.
Welche Lösungsansätze sehen Sie, um Bias im Digital-Health-Bereich zu erkennen und zu reduzieren? Worauf muss besonders geachtet werden und wer soll/muss das machen?
Es gibt zahlreiche Ansätze, um Verzerrungen in der digitalen Gesundheitsversorgung zu erkennen. Für eine gerechtere und patientenzentrierte Gesundheitsversorgung braucht es mehr Transparenz und Überprüfbarkeit von KI-Algorithmen und deren Entscheidungsprozessen, mehr Diversität bei der Entwicklung von KI-Systemen und eine sorgfältige Datenerhebung und -bereinigung. Governance, Ethikrichtlinien, Standards und geeignete Kontrollmechanismen können hier ein probates Mittel zur Berücksichtigung von Bias sein. Angehörige der Gesundheitsberufe sollten über die Risiken von Bias in KI-Systemen informiert und darin geschult werden, kognitive Verzerrungen zu erkennen und zu reduzieren.
Besonders wichtig wäre es, bei der Entwicklung und Gestaltung von Algorithmen genau hinzuschauen. Wenn bestimmte Merkmale oder Variablen in einem Modell überbetont werden oder die Auswahl der Trainingsdaten nicht angemessen ist, kann dies zu uneinheitlichen Ergebnissen führen. Beispielsweise kann die Entscheidung, bestimmte demografische Merkmale wie ethnische Zugehörigkeit oder Geschlecht in einem Algorithmus zu berücksichtigen, zu Verzerrungen führen, wenn diese Merkmale medizinisch nicht relevant sind. Daher sind fairnessbewusste Algorithmen, erklärbare KI-Modelle und „Human-in-the-Loop“-Ansätze erforderlich. Die Integration menschlicher Kontrolle bedeutet, dass Menschen bestmöglich in den Algorithmus-Zyklus von Training, Optimierung und Testen eingebunden werden und eine kontinuierliche Überwachung der Datensätze auf Verzerrungen durchführen, um die Qualität der Daten sicherzustellen.
Sind Themen wie Vielfalt und Inklusion bei der Entwicklung von KI-Systemen im Gesundheitswesen wichtig, um Bias zu minimieren?
Repräsentative Datensätze, Diversität in den Entwicklungsteams, unterschiedliche Perspektiven, Erfahrungen und Lebensrealitäten führen mit Sicherheit zu einer besseren Berücksichtigung unterschiedlicher Bedürfnisse und damit zu einem besseren Gesundheitssystem.
Ein KI-System zur Sturzerkennung, das mit Daten von älteren Menschen entwickelt wird, kann die Bedürfnisse von Menschen mit Behinderungen besser berücksichtigen, wenn auch Menschen mit Behinderungen in den Entwicklungsprozess einbezogen werden.
Wenn sich möglichst alle Gruppen vertreten fühlen, führt dies auch zu mehr Vertrauen und Akzeptanz in KI-Systeme. Eine größere Stakeholder-Beteiligung, also die Einbeziehung von Patient:innen und anderen Stakeholdern in den Entwicklungsprozess von KI-Systemen, ist also nicht nur wünschenswert, sondern ein wesentlicher Erfolgsfaktor, damit auch die Akzeptanz für solche Systeme steigt.
Welche Rolle spielen ethische Leitlinien und Regulierungen bei der Bewältigung von Bias?
Ethische Leitlinien und Regulierungen sind wichtige Instrumente, um Bias in KI-Systemen im Gesundheitswesen zu bewältigen. Sie bieten Orientierungshilfe, schaffen einen Rahmen für die Entwicklung und Nutzung von KI-Systemen und fördern ein verantwortungsvolles Bewusstsein für die potenziellen Auswirkungen von KI auf die Gesundheit und das Wohlbefinden von Menschen.
Im Speziellen können Regulierungen Transparenzanforderungen für die Verwendung von Algorithmen und künstlicher Intelligenz festlegen, um sicherzustellen, dass Unternehmen und Organisationen für die Auswirkungen ihrer Entscheidungen verantwortlich gemacht werden können. Insgesamt tragen ethische Leitlinien und Regulierungen dazu bei, die Entwicklung und Anwendung von Technologie und Forschung auf eine Weise zu lenken, die faire und gerechte Ergebnisse fördert.
Wie können Entwickler:innen, Gesundheitsexpert:innen und medizinisches (Fach)Personal sowie auch Forscher:innen zusammenarbeiten, um Bias in der Software anzugehen und sicherzustellen, dass diese Systeme fair und gerecht sind?
Durch die Bildung interdisziplinärer Teams, die Expertise aus verschiedenen Bereichen vereinen, können Verzerrungen in KI-Systemen im Gesundheitswesen erkannt und reduziert werden. Dies erfordert auch eine gemeinsame Sprache und ein gemeinsames Verständnis von Bias und seinen Auswirkungen. Unterschiedliche Sichtweisen können auch bei der Zusammenarbeit bei der Erstellung und Auswahl vielfältiger und repräsentativer Datensätze für die Entwicklung von KI-Systemen hilfreich sein und so transparente und nachvollziehbare Algorithmen fördern, die auf Fairness und Gerechtigkeit beruhen.
Die gemeinsame Identifizierung von Anwendungsfällen für KI-Systeme im Gesundheitswesen könnte das Potenzial haben, die Gesundheitsversorgung zu verbessern und gleichzeitig Verzerrungen zu minimieren. Dazu bedarf es einer kontinuierlichen Aufklärung und Sensibilisierung für das Thema Bias in KI-Systemen, aber auch für deren Auswirkungen auf die Gesundheit und das Wohlbefinden aller Menschen. Dies kann am besten durch einen Multi-Stakeholder-Dialog erreicht werden, bei dem alle Beteiligten in den Entwicklungsprozess von KI-Systemen einbezogen werden, um ihre Bedürfnisse und Perspektiven bestmöglich zu berücksichtigen.
