KI-Update Deep-Dive: Synthetische Bilder gegen den Bias

Das KI Update. Ein Heisepodcast. Mit redaktioneller Unterstützung von "The Decoder". Ich bin Isabelle Grünewald und dies ist unser Liebdeif zum Wochenende. Künstlich Intelligenz in der Medizin verspricht, die Atmosen zu unterstützen und die Behandlungen zu verbessern. Doch die Modelle sind nur so gut, wie die Daten, mit denen sie trainiert werden. Und da diese Daten oft einen verzerrten Ausschnitt der Realität darstellen, sind auch die KI Modelle voringenommen. Ein Phänomen, das als Beis bezeichnet wird. Stanislav Frolov ist wissenschaftlicher Mitarbeiter am DFKI. Er hat sich im Rahmen des Projekts mit Gen AI intensiv mit dieser Herausforderung beschäftigt und erklärt im Gespräch mit meinem Kollegen Robin Arrens von der CT, dass die Lösung für das Problem KI-Generierte Bilder sein können. Wie das funktioniert, hört ihr heute im DeepDeif. Ja, Hallus, Stanislav, schön, dass du da bist. Genau, wir wollen jetzt heute ein bisschen über generative KI und Bildsynthese und vor allem den KI-Beiers reden. Jetzt gibt es teilweise Utopinen, in denen KI-Modelle nicht mehr durch große Technikkonzerne kontrolliert werden, sondern die Technologie im Vergesellschaftet ist und sich am Allgemein wohlorientiert. In diesen Szenarien, in diesen idealen Szenarien, könne KI dann weniger Beis sein, das wird zumindest teilweise behauptet. Meine Frage wäre da jetzt können KI-Modelle denn überhaupt unvoringenommen sein. Ja, das ist eine spannende Frage. Ich würde sagen, wahrscheinlich nicht ganz eine KI lernt ja auch immer aus Daten. Und diese Daten sind irgendwo in mein Ausschnitt der Welt. Gesammelt und auch ausgewählt von Menschen. Es ist irgendwo auch also eine Art Spiegel, das heißt, alles, was in unserer Gesellschaft angenommen wird oder in Anführungszeichen auch schief läuft, steckt am Ende auch in diesen gesamten Daten und in den Daten, mit denen wir die KI trainieren. Im Gegenzug heißt es also auch, selbst wenn eine KI nicht von großen Konzern kontrolliert würde, sondern allen gehört. Auch dann muss ja jemand entscheiden, welche Daten sammelt man und was ist die richtige Antwort für eine Frage. Das sind also auch immer Wertentscheidungen, Kulturentscheidungen, persönliche Entscheidungen, Subjektive. Deswegen glaube ich, realistisches Ziel bei KI-Modellen ist nicht null beies, sondern sichtbar zu machen, welche Beies es gibt es. Wie kann ich diese messen und was kann ich gegen weißes tun, die wirklich schaden? Also so zum Beispiel auch bei einem KI-Modell, welches Hautgrebst detektieren soll und dann aber zum Beispiel bei verschiedenen Hauttyten verschieden performt. Du hast es gerade schon ein bisschen angesprochen, was werende jetzt verschiedene Arten des Beies. Ich glaube der klassische Aspekt von Beies ist, wenn ein Modell über verschiedene Eingabe Daten, verschieden gut performt oder zum Beispiel gewisse Gruppen benachteiligt. Und welche Möglichkeiten gibt es da jetzt ein Beies abzuschwächen? Also es hat ja schon mal von synthetischen Daten irgendwie gehört, es ist mir zumindest schon mal untergekommen, es gibt es auch andere Möglichkeiten den KI-Beies abzuschwächen. Herbeis abzuschwächen kann man grob in an drei verschiedenen Stellen zum einen beim Training von diesem KI-Modell, in dem man besserer und ausgewogenere Daten sammelt oder zum Beispiel künstliche Daten erzeugt für Gruppen oder Kombinationen von Input Labels die fehlen und genau das machen wir auch mit generativen Modellen. Man kann mit diesen synthetischen Daten, wenn man sie in Training nutzt und echte Daten anreichert, deutlich fährere Modelle rendieren. Der zweite Aspekt ist währendentw坚ning, also man kann auch, wenn man das Modell trainiert, ganz direkte, fernes Regeln mit in den Lernprozess mit einbauen, und der dritte Aspekt ist nach dem Training. Also wenn mein Modell fertig trainiert ist, dann kann man nach diesem Training nochmal schauen, okay, wie verhält sich mein Modell auf verschiedenen Gruppen und wenn man da einen Beis feststellt, kann man zum Beispiel nochmal nachjustieren mit einem Feindtuning. Wie würde so ein Feindtuning jetzt zum Beispiel aussehen? Das finde ich ganz schön schwer vorstellbar. Genau und Feindtuning ist letztendlich auch in der Art von Training nur nicht mehr auf einem Großen und sage ich mal diversen Datensatz, sondern für eine speziellere Aske. Im Hautkrebsfall würde man trotzdem natürlich diverse Datensammeln, aber speziell für die Fälle, die in vortrainierten Modell schlechter Formen oder zum Beispiel nicht ganz fair behandelt werden. Würdest du jetzt zum Beispiel auch was bringen an den trainierten Parametern zu drehen, also den sogenannten Wades? Ja, natürlich, das macht ja auch dieses Feindtuning. Die Gewichte eines Modells, da steckt genau die Information darin, die das Modell eingeflosst sind. Also da ist so eine Art komprimiertes Wissen oder komprimierter Datensatz, der genutzt wird, um vorhersalerweise zu treffen. Der häufigste Weg, um diese Gewichte nachzustellen ist eben dieses Nacht trainieren oder Feindtuning. Man nimmt also ein fertiges Modell, und trainiert es nochmal mit ausgewogenen Daten nach auf die spezielle Aufgabe, an der man interessiert ist. Und so könnte man, wie vorhersagen, dieses Modell, oder auch die Beises in eine fährderer Richtung versuchen zu drehen. Wir hatten es ja jetzt eben schon angesprochen, also dass die Möglichkeit gibt, ein KI-Beis abzuschwächen, indem man eben sind tätische Daten verwendet. Und das heißt ja dann tatsächlich auch, dass diese Daten KI-generierte Trainingsdaten sein können. Woher weiß ich jetzt, dass die KI-generierten Trainingsdaten keine falsch Informationen enthalten und eben jetzt zum Beispiel völlig halluziniert sind? Ja, das ist eine wichtige Frage und die Sorge ist voll berechtigt. Ein Modell, das selbst auf per zerten Daten gelernt hat, gibt diese Fehler letztendlich wieder. Und wenn ein Modell oder die nächste Generation der Modelle immer wieder die eigenen Ergebnisse als Futter bekommt, also als Input im Training, werden diese auch stärker. Also das Modell könnte diesen Beis noch stärker sogar reproduzieren in der nächsten Generation. Da gibt es interessante Fälle, wo genau das Gegenteil passiert. Also zum Beispiel im generativen Bereich für Bilder ist es noch vor einiger Zeit zu gewesen, dass menschliche Gesichter ist nur sehr schlecht dargestellt worden. Da gibt es ganz viele Details, auf die wir Menschen sehr sensibel sind, aber die Modelle konnten das noch gar nicht richtig trainieren. Wenn man solche synthetische Daten dann im Training nutzt, dann hat man herausgefunden, dass die nächste Generation weniger Beides auf zum Beispiel das geschlechtert, weil eben diese synthetischen Daten so einen Unscharfe, Gesichter erstellt haben. Das ist ja auch spannend. Aber so 100%ig sicherstellen kann ich letztendlich nicht, dass die synthetischen Daten wirklich keine falschen Formationen halten oder geht das irgendwie doch. Ja, das ist schon schwierig, es braucht Qualitätskontrolle auf mehreren Ebene. Zum einen muss man prüfen, wie nahe die künstlichen Daten an den echten Daten dran sind. Zweitens kann man eigene prüfen Modelle, also Modelle, die getrennt reniert worden sind von dem Modell, das ich gerade prüfen will, die unrealistische Trainingsdaten zum Beispiel ausfordieren. Bevor man sie sogar verwendet. Und drittens und in der Medizin unverzichtbar ist das Fachexpertise einzuholen, also Fachärzte, die sich diese Bilder anschauen und prüfen, ob sie klinisch plausibel sind. Ein wichtiger Aspekt ist, dass künstliche Daten echte Daten nicht ersetzen sollten und nicht komplett. Sie sollten diese am besten nur ergänzen. Also dafür gibt es relativ viel Support in der Community und auch in der Wissenschaft, dass die Ergänzung von echten und synthetischen Daten sehr gut funktioniert. Aber wenn man nur synthetische Daten nutzt für das Training, dann kriegt man nicht eine gute Performance auf echten Testdaten und diese generalisieren da nicht. Genau, ich glaube, das klang jetzt auch schon ein bisschen an, dass du dich unter anderem mit KI im medizinischen Bereich beschäftigt und das, der jemand ein Projekt mitgearbeitet als wissenschaftlicher Mitarbeiter in einem Forschungsprojekt des deutschen Forschungszentrums für künstliche Intelligenz des DFKI und das Projekt nannte sich medgen AI. Da habt ihr ein KI-Modellen entwickelt, dass synthetische Bilder von Hautkrankheiten erzeugen kann und damit eben den Beius von sogenannten Diagnosemodellen letztendlich abschwächen kann. Hab ich das so richtig verstanden und wenn ja, dann eckt ja doch mal ein bisschen vielleicht, welche Ausgangslage ihr da eigentlich verbessern wolltet. Sehr gerne, genau. Also medgen AI ist entstanden im Kontext von Mission KI. Mission KI ist ein sehr großes Projekt, in dem wir als DevKI auch involviert waren. Es geht grundsätzlich um Vertrauenswürdige KI und ein Teilprojekt, das wir bearbeitet haben, ist ja Fernesaspekte in der KI für Medizin. Wir haben uns angeschaut Hautkriebs, vor allem das Mellernom, weil das die gefährlichste Form von Hautkriebs ist. Es gibt jedes Jahr sehr viele neue Fälle und es werden immer mehr. Die gute Nachricht ist oder die Hoffnung auch, dass die Heilungsschancen sehr gut stehen, wenn man das Mellernom frühzeitig erkennt. Und KI und uns dabei helfen, diese Untersuchungen erstens viel zugänglicher zu machen. Vielleicht sogar automatisch per Smartphone, wobei das glaube ich noch sehr weit weg ist. Genau, das Problem aber ist, dass beim Training dieser KI-Modelle zur Hautkriebserkennung die Datensätze wieder ungleich verteilt sind. Und das betrifft nicht nur die Trainingsdaten, sondern auch die Testdaten. Also zum Beispiel kommen dunklere Hauttypen und auch jüngere Menschen viel seltener vor. Und das ergibt dann zwei Folgen. Erstens die KI funktioniert für diese Gruppen ziemlich sicher schlechter. Und zweitens, und das ist eigentlich auch der wichtigerer Punkt, weil man diese Daten nicht hat oder nur wenig Daten von seltenem Gaces, kann man erst gar nicht prüfen, wie fährt ein Modell ist, weil es die Testbilder schlicht gar nicht gibt für diese Gruppe. Mit was für Daten habt ihr den eurer Bildmodell trainiert, damit es eben synthetische Bilder von Hautkrankheiten generieren kann? Das hört sich erst mal ein bisschen Suspekt an irgendwie. Ja, genau, vielleicht zuerst zum Lösungsvorschlag. Also unsere Idee war halt eben genau das, wie ein generatives Modell trainieren. Für die Erzeugung von synthetischen Hautkrebs bildern und zwar gezielt steuerbar nach verschiedenen Parameter. Also zum Beispiel das Geschlecht, Alter und auch den Hauttipp und jede Kombination davon. Und so können wir dann mit diesem generatives Modell Testgruppen bauen, also auch Kombination, die es in echt kaum gibt. Diese Test Daten können dann genutzt werden, um die vorher sage Modelle besser zu analysieren. Genau, und das jetzt auch, was du ansprichst, das klingt erst mal so spekt, weil die echten Daten gibt es nicht oder nur sehr wenige davon. Das heißt, das generative Modell hat natürlich auch schon Schwierigkeiten, diese Gruppen zu lernen. Kommen wir vielleicht nochmal zu diesem Punkt des Verifizierens zurück. Kann ich den Sicherstellendes, den KI-Generetes Bild einer Hautkrankheit, jetzt wirklich auch dem realen Krankheitsbild entspricht und nicht halluziniert ist? Und wenn ja, wie kann ich das Sicherstellen? Ja, das ist insgesamt schwierig für ein einzelnes Bild. Kann man das kaum sagen. Man kann nicht 100% garantieren, dass ein Bild genau der Wirklichkeit entspricht. Aber man kann es systematisch absichern. Und das ist auch genau, was wir in unserem Projekt gemacht haben. Wir haben drei echte Erkennungsmodelle genommen, die fortrenniert waren und diese mit unseren künstlichen Bildern in der Testphase gefüttert. Und was wir gesehen haben, ist, dass die Modelle sich bei den künstlichen Bildern, bei den synthetischen Bildern, ähnlich verhalten, wie bei den echten Bildern. Und wenn das der Fall ist, also wenn ein Erkennungsmodell sich ähnlich verhält, bei künstlichen synthetischen Mellernommen und diese ähnlich behandelt, wie echte, dann stimmen also so die wichtigsten Merkmale in den Bildern, die zur Erkennung einer Krankheit genutzt werden. Natürlich wäre es am besten im Idealfall, wenn man Fachexpertise, also Fachärzte zur Verfügung hat, die uns unterstützen können, in der Phase des Trainings eines Modells, in der Auswahl der richtigen Daten, aber das ist eben sehr zeitauffändig und auch teuer. Okay, das heißt also es geht sozusagen eher darum, dass die Masse der synthetischen Daten insgesamt keine Fehler enthält und nicht sagen, um das einzubild. Genau, wir trainieren ein Modell ja immer auch auf einem, auf einem großen Datensatz, in dem Fall, Isaac, das ist International Skin Image in Collection und wir nutzen ungefähr eine halbe Millionen Bildern. Genau, wie du gesagt hast, ist für uns richtig, wie verhält sich dieses Modell in Durchschnitt sozusagen. Das Durchschnittliche synthetische Bild liegt es in der Verteilung von echten Bildern. Werbung Warum? Stundenlang am Website-Design fallen. Warum nicht einfach KI passende Inhalte und Texte erstellen lassen? Und warum der Konkurrenz online folgen, start sie mit integrierten Marketing Tools abzuhängen. Mit den KI-Tools von Ionus generieren sie Inhalte und Tausende Designs in Sekunden und profitieren von weiteren KI-Tools für ihren Online-Erfolg. Also warum nicht direkt starten? Testen Sie es jetzt kostenlos. Ionus, die Gitarl an ihrer Seite. Sind solche generativen KI-Modelle in der Medizinbranche, wie ihr das ja jetzt erstellt habt oder produziert habt, ist es eher die Ausnahme oder ist das schon der Regelfall? Ich habe das jetzt zum ersten Mal gesehen und wir haben uns ja auf der Hannover-Messe kennengelernt, datet ihr den Stand. Genau, aber ist das der Regelfall oder eher die Ausnahme? Ich muss dazu sagen, ich bin nicht art, also ich weiß nicht ganz genau, was in der Medizin, wo und alles zugelassen ist und was nicht. Aus meiner persönlichen Erfahrung würde ich behaupten, dass es im echten Klinikalltag, also an Patienten zugelassenen Projekte eher die Ausnahme. Die KI, die heute in der Medizin zum Einsatz kommt, hat immer noch Schwachstellen. In der Forschung sieht es natürlich ganz anders aus, da boomen generative Modelle und wir forschen seit vielen Jahren an KI-Modellen für die Medizin. Also vertauernswürdige KI in der Medizin ist auch ein Kernthema am DFKI und auch in unserem Team. Genau, aber wir interessieren uns zwar auch für die Diagnose, also KI-Modelle zur Diagnose, aber vor allem auch für unterstützen der Aufgabe. Also zum Beispiel um fehlende Daten aufzufüllen mit synthetischen oder Bilder zu verbessern, diese trainierten KI-Modelle zu analysieren. Was können die gut, was können sie nicht so gut? Warum treffen sie Entscheidungen? Und der Grund, dass generative Modelle nicht sogar geeignet sind für die Diagnose, ist das, wie wir vorher schon auch besprochen haben, die können haluzinieren. Also sie können Bilder generieren und Daten generieren, die plausibel aussehen, aber vielleicht einfach falsch sind. Und das ist natürlich sehr gefährlich. Es gibt zum Beispiel, wenn es in einem Datensatz eine gewisse Kombination von Haut-Typ und Krankheit nicht gibt, dann kann mein generatives Modellier trotzdem solche Bilder zeigen. Am Ende des Tages ist es eine Maschine, die gelernt hat, beliebige Input zu Output zu generieren. Aber woher weiß ich denn, dass dieses Bild auch der Realität entspricht? Das weiß ich in dem Fall nicht. Da müsste ich Fachärzte fragen, die wissen es hoffentlich, aber vielleicht auch nicht, wenn sie diese Fälle noch nicht gesehen haben. Und kritisch ist eben auch, dass eine Krankheit ja vielleicht auch verschiedene Merkmal oder verschiedene Symptome bei verschiedenen Geschlechtern oder Hauttypen zeigen kann. Das heißt, einfach dieser Transfer von so einer Hautlision auf einen anderen Hauttyp ist auch nicht immer so ganz einfach. Kann man denn synthetische Daten, wie ihr das gemacht habt, eben zur Beisabschwächung, kann man die für alle möglichen Arten von KI-Modellen benutzen? Also beispielsweise Large Language Models oder Bild oder Audio-Generierungsmodelle, oder gibt es da auch irgendwie Beschränkungen, also welche Modelle weniger gut oder besser geeignet sind? Ja, grundsätzlich ja, überall dort wobei es entsteht, weil eine Gruppe in den Daten fehlt, kann man mit synthetischen Daten nachsteuern, also auch bei Audio oder Text. Bei Bildern würde ich behaupten, ist das am einfachsten, weil man sich diese Bilder eben anschauen kann. Kann die Qualität prüfen und sehen, ob es so aussieht, wie es aussehen soll oder nicht. Bei Audio ist es auch möglich, zum Beispiel um seltener Intellektabesser zu verstehen. Genau, bei Sprachmodellen natürlich auch, künstliche Texte werden auch genutzt, um die Frontier-Modus zu trainieren. Ich würde aber behaupten, dass bei es in der Sprache vielleicht ein bisschen die Fuße ist, weil er in den. Stereotypen oder Denkmuster ansteckt und nicht wirklich in der Grammatik oder Syntax von Text. Eure Bildmodell, was ihr entwickelt habt, kann ja auch sogenannte Counterfactuals generieren. Den Begriff habe ich so vorhin und nicht gehört, magst du das vielleicht nochmal erklären? Ja, gibt's überhaupt diesen deutschen Begriff kontrafaktisch? Ja, ich bin ja schon, würdest du dir wie ein Verrichtig an. Ich weiß nicht, ob kontrafaktisch jetzt im KI-Context so geläufig ist, aber. Ja, was eigentlich, ja, ja, nicht. Genau, also ein Counterfactual ist im Grunde so eine, was wäre wenn Frage? Also was wäre, wenn an genau diesem Bild ein Aspekt anders wäre und alle anderen wären gleich? Also zum Beispiel, ich habe hier eine Hautstelle und also ein Melanome auf eine Hautstelle und erzeuge sie einmal mit einem helleren Hauttyp und einmal mit einem dunkleren Hauttyp. Also die Krankheit selbst wird medizinisch gesehen die gleiche bleiben, gehen wir mal davon aus, nur der Hauttohren ändert sich. Und wie verhält sich dann mein Modell? Also gibt es mir immer noch die gleiche Diagnose mit der gleichen Sicherheit oder fängt es an, dass es sich unsicher zu werden oder gibt es sogar eine andere Diagnose. Und das ist halt nützlich solche Counterfactual zu generieren, weil man damit den Beius analysieren kann und messen kann. Wenn ich sehe, dass ein Modell bei dunkler Haut schlechter performt, dann weiß ich erst mal nicht warum. Vielleicht liegt es an der Krankheit. Die Bilder haben eine andere Qualität oder wurden mit einem anderen Gerät, Mikroskop aufgezeichnet oder liegt es vielleicht daran an etwas ganz anderem vielleicht an einer verstecken variable wie zum Beispiel ja dem Licht im Labor oder so was. Und was man mit diesen Counterfactuals eben machen kann, ist zu analysieren auf was eigentlich das Modell reagiert. Also auf welchen Aspekt in einem Bild reagiert ist und welche Aspekt in einem Bild sind mehr Sensible und weniger Sensible. Die Generierung von Counterfactuals ist wichtig, weil bei manchen Kombination weiß man ja, dass sie keine Rolle spielen sollten. Also wenn ein finisches Symptom oder Merkmal so ein Mellernome auf der Haut oder eine Nellission, eine gewisse Krankheitsmerkmaler zeigt, dann sollte die Diagnose von meinem Modell und die Sicherheit in meinem Modell ja komplett unabhängig sein, ob es sich hier um eine Frau oder einen Mann handelt oder ob es sich um eine junge oder alt person handelt, wobei kann ja sein. In der echten Welt gibt es vielleicht eine Kortelation zwischen Dingen, aber man könnte jetzt trotzdem erst mal sagen, okay wir nehmen an Krankheiten sind gleich verteilt. Aber wenn ich dann mit Counterfactuals feststelle, dass ein Modell einer Gruppe, sehr häufiger eine Krankheit zu, was ist als eine anderen, dann ist das schon etwas, wo ich genauer hinschauen sollte. Also das heißt, man kann die Fehleranfälligkeit von der matologischen Analysemodellen zum Beispiel in eurem Fall mit Hilfe von Counterfactuals verbessern. Zuerst einmal messbar macht. Also was genau sind die sensiblen Aspekte oder Beises in meinem Modell. Kann man mit Counterfactuals aufdecken? Im zweiten Schritt kann man natürlich auch dann die Insights, die man generiert aus diese Analyse mit Counterfactuals nutzen. Um zum Beispiel die richtigen synthetischen Daten zu generieren oder die echten Trainingsdaten besser zu filtern oder etwas an Modell an der Losfunktion etc. Okay und die Counterfactuals sind jetzt quasi immer eine Bandbreite von Bildern, die da generiert wird. Also mehrere Bilder oder wie muss ich mir das vorstellen? Die Pipeline in der Counterfactual-Generierung ist häufig so, dass man ein gewisses Bild hat, das kann ein echtes Bild sein. Man hat ein Erkennungsmodell fortjourniert. Es gibt mir gegeben diese Eingabebild, eine Verteilung über die Diagnosen zum Beispiel. Und jetzt kommt ein generatives Modell dazu. Also dieses generative Modell kann das Signal aus dem Erkennungsmodell nutzen, um dann das organale Eingabebild leicht zu verändern. Das zum Beispiel eine andere Diagnose herauskommt. Dann hat man also zwei verschiedene Bilder, das organale Bild mit der Vohersage einer Diagnose und dieses leicht veränderte synthetische Bild mit einer anderen Vohersage. Und diese Diskrepanz, also wie viel musste ich am Bild ändern, damit die Vohersage springt, so eine andere Diagnose zum Beispiel. Kann ich nutzen, also diesen Vergleich der zwei Bilder, um mir zu überlegen, okay, auf was guckt eigentlich mein Erkennungsmodell? Was sind die wichtigen Merkmalen? Hat es die richtigen Merkmalen verändert, um zum Beispiel einen durchartigen zu einem gutartigen Krebs umzuwandeln? Okay, also das heißt, man nutzt Counterfactuals vor allem im Zusammenspiel von mehreren KI-Modell, also einem Erkennungsmodell und einem generativen Modell. Genau. Okay, ja. Vielleicht so als abschließende Frage, wie können jetzt solche, wie eure Forschungsergebnisse künftig in KI-basierte medizinische Diagnose-Tools einfließen? Ich sehe da hauptsächlich drei Säulen, die die erste Säule ist ein Prüfwerkzeug. Das heißt, bevor ein Diagnose KI-Modell auf den Markt kommt, testet man es gegen ausgewogene Testgruppen. Echte, so weit behanden, aber auch synthetische, um alle Kombinationen von zum Beispiel Geschlecht, Alter und Hauttüp abzudecken. Und das passt auch direkt zu den Anforderungen des europäischen Gesetzes. Es ist Datenschutzfreundlich, weil man dafür keine echten Patienten daten braucht. Zweitens als Trainingsbaustein. Also was wir auch vorher gesprochen haben, gezielt synthetische Daten nutzen, um Lücken im in den Trainingsdaten zu schließen und so von vorne rein deutlich wärrerer Modelle und robuster Modelle bauen zu können. Und drittens, das geht jetzt wieder in diese Richtung Counterfactuals oder gröber gesprochen Erklärbarkeit, Interpretärbarkeit. Nicht nur messen, dass ein Modell unfair ist, sondern auch verstehen, warum, welche Merkmale nutzt es, um unfairer Vorhersagen zu treffen. Und was mir persönlich auch wichtig ist, bevor so ein Modell in der Klinik wirklich zum Einsatz kommt, braucht es trotzdem echte Studien mit echten Patienten und die Prüfung von Fachleuten, von Experten, die sich diese Bilder anschauen, die sich die Vorhersagen anschauen. Und die sich auch anschauen, ob das Modell die richtigen Merkmale nutzt, um eine Diagnose zu treffen. Das ist also ganz, ganz wichtig für vertrauen-südige KI in der Medizin. Also das letztendlich irgendwie immer noch mal medizinische Fach-Expertise auf darauf guckt und das letztendlich testet. Da frage ich mich dann nur wieder, das meintest du jetzt auch gerade vorhin schon, dass das gar nicht so einfach und vor allem auch teuer ist. Dass medizinisches Fachpersonal sich jetzt jedes einzelne generierte Bild anschaut. Wie könnte dann aber so ein Workflow aussehen, wo sowas quasi gegengecheckt wird? Ja, ich könnte mir vorstellen, dass Fachleute von Anfang an am besten mit involviert sind in der Entwicklung von so einem Modell, damit sie besser einschätzen können, ob die richtigen Daten genutzt werden. Weil sie sich auch diese Bilder anschauen können und vergleichen können, ob es vielleicht Schwierigkeiten gibt in der Datenerfassung. Zum Beispiel verschiedene Praxen haben verschiedene Geräte, verschiedene Lichteinflusse. Ist das ein Problem oder könnte man das vielleicht standardisieren? Und dann natürlich auch vor allem in der Testphase, also wirklich dieses Modell nehmen in der Praxis testen sich noch nicht 100%ig darauf zu verlassen, sondern so eine Art Paralleler Workflow. Also die KI gibt eine vorherer sagen und man selbst trifft eine Diagnose ohne, dass sich vorher, ich vorher tagel das Modell anzuschauen und vergleich dann. So kann man aufdecken, wo es Unterschiede gibt und dann in der nächsten Eteration verbessern. Ja, okay, das klingt schlüssig. Genau, dann danke ich dir für deine Zeit, das war ein sehr spannendes Gespräch und vielleicht hören wir uns ja mal wieder. Ja, vielen Dank. Ja, danke, sehr gerne, war schön mit dir darüber zu sprechen. Das war es für heute. Das Interview von Robin mit Daniels La Frohloff könnt ihr bei Heise Plus nachlesen. Und falls ihr noch kein Abo habt, dann bekommt ihr als Podcast-Hörerin und Hörer jetzt 12 Wochen Heise Plus mit 50% Rabatt. Das bedeutet, ihr könnt alle heiße Plusartikel lesen und habt Zugriff auf alle unsere Magazine online und in den Apps. Das Angebot findet ihr unter heiseplus.de/audio. Den nächsten Deep Dive hört ihr hier in zwei Wochen. Da geht es um ein Thema, bei dem wir vielleicht nicht sofort an die großen Veränderungen durch KI denken, nämlich um das Handwerk. Das würde mich freuen, wenn ihr da wieder dabei seid. Bis dahin könnt ihr natürlich mit dem kompakten KI-Update, Montag, Mittwoch und Freitag auf dem laufenden Bleiben. Werbung Außerdem Beheise Mäuen, ich bin Jan aus dem Team unseres Podcasts CT-App link. Jeden Samstag sprechen wir in einer neuen Folge mit Kolleginnen und Kollegen aus der Redaktion über fachliches und nördiges zu CT-Artikeln, über Details und Hintergrundgeschichten, Übereinsichten und Meinungen. Hört mal rein in den CT-App link, überall wo ihr Podcasts zörend könnt. Wir versprechen euch, es wird garantiert nördig.