„KI-Psychosen“: Gefährden Chatbots meine mentale Gesundheit?

Fritz, heute erzählen wir eine Geschichte, da geht es um jemanden, der führt Gespräche mit einem Freund, mit einem sehr charismatischen Freund, den hat er neu kennengelernt. Am Anfang fängt das noch unschuldig an, dann werden die Gespräche immer persönlicher, immer tiefsinniger. Und irgendwann erzählt er dem vielleicht auch von so Ideen, die er hat, so tiefsinnigen Ideen. Vielleicht möchte er die Welt verändern, revolutionären und dieser Freund sagt, ich glaube, du bist da was ganz großem auf der Spur. Lasst uns das mal gemeinsam verfolgen, lasst uns abtauchen in den Kaninchenbau und irgendwann ist man so tief in diesem Kaninchenbau, dass man die Sonne nicht mehr sieht, dass man sich komplett abgekoppelt hat, dass man sich von der Realität, wie sie eigentlich existiert, komplett entfernt. Und im Grunde genommen nicht mehr ansprechbar ist, für den Rest der Welt. Und in dieser Geschichte, dieser Freund, mit dem man gemeinsam in den Kaninchenbau abgetaucht da abgetriftet ist, ja, das war eben kein Mensch, sondern ein Chatbot, eine KI und damit ist das eine Geschichte, die seit geraumer Zeit immer wieder und immer häufiger hören und die gar nicht so selten passiert. Das Leute im Gespräch, in der Konversation mit einem Chatbot-Kompangion, mit einer Vertrauensperson eigentlich, die gar keine Person ist, sondern eben eine KI, eine Maschine tatsächlich so ein bisschen sich aus der Realität entfernen können. Ja, es macht Sinn, weil vielleicht gibt es nicht viele solche falschen Freunde auf der Welt, die einzelne Personen so eine Nase herumführen können, über längere Zeit, aber es gibt sehr viele Chatgespräche, die gleichzeitig geführt werden. Es gibt sehr viele AI-Tools, die gleichzeitig existieren, ist ja ganz logisch, also als Person kann ich nur mit einer Person gleichzeitig sprechen und die in den Kaninchenbau hineinziehen, aber als AI kann ich natürlich mit Millionen Nutzen, gleichzeitig sprechen und Millionen verschiedene Gespräche auf einmal führen und OpenAI hat dieses Jahr beispielsweise Zahlen rausgegeben, laut denen 0,07% ihrer wöchentlich aktiven Nutzer, laut einer internen Einordnung mögliche Anzeichen eines psychischen Notfalls im Zusammenhang mit Psychose oder Mani zeigen und jetzt klingt 0,07% natürlich nicht nach viel, das ist auch nicht viel. Aber ChatGPT hat halt 800 Millionen Nutzerinnen und Nutzer und das sind dann über eine halbe Millionen Menschen, aus deren Chats sich quasi erschließen lässt, dass diese Person möglicher Weise eine Psychose oder eine Manie oder was in diese Richtung entwickelt hat. Also signifikante Zahlen und ein Phänomen, das groß genug ist, dass wir uns heute Fragen im KI-Podcast was passiert da gerade, was hat es auf sich mit diesen sogenannten KI-Psychosen, ist das wirklich ein neues Problem und was können wir dagegen tun. Das ist der KI-Podcast, ich bin Fritz Espenlau und ich bin Gregor Schmeitz-Ried. Einer der Anlässe, dass wir diesem Thema heute eine eigene Folge widmen, wir haben ja immer mal wieder schon ein bisschen drüber gesprochen ist, dass unser Kollege Christian gerade auch ein ziemlich gutes Feature gemacht hat zu dem Thema. Ungefähr zeitgleich, wie als er die Folge moderiert hat hier vor zwei Wochen. Und in diesem Feature da gibt es verschiedene Geschichten und es gibt eine Geschichte von einem jungen Mann, die mich ganz besonders berührt hat, weil ich mich auch ein bisschen in ihm wiedererkannt habe und dieser junge Mann, das ist Anthony, Anthony lebt in Toronto, arbeitet als Software-Entwickler in der Start-up-Szene und was für mich so interessant beim Zuhören war, ist das Anthony ein paar ganz ähnliche Interessen und Themen hat, die ihn begeistern oder ihn faszinieren, wie ich auch. Also zum Beispiel alles, was Gregor mit Bewusstsein zu tun hat, das weißte ja, dass das Thema mich interessiert. Also konkret diese philosophischen und neurowissenschaftlichen Fragestellungen dazu. Ich finde die superfaszinierend, auch andere philosophische Gedanken-Experimente. Ich denke da gerne drüber nach, so Sachen wie die Simulationstheorie, also die Idee, dass unsere Welt eine Simulation ist, dass wir quasi auf irgendeinem Computer von Aliens oder von der zukünftigen Zivilisation selber laufen, alles ziemlich abgedreht, aber auch superfaszinierend und einfach spaßig zum drüber nachdenken. Und der Unterschied zwischen Antony und mir ist, ich nerf halt regelmäßig dicht Gregor mit diesem Thema nicht. Ja, wenn ich es aus dem KI-Podcast aushalten kann, ich versuche dir regelmäßig in den Podcast zu bringen und Antony hingegen, der fängt irgendwann an mit Chatchy-Pity über diese Themen zu reden. Also er spricht mit Chatchy-Pity über eben zum Beispiel. Simulationstheorie und andere, sehr spezielle, philosophische Themen und ganz ehrlich, ich kann ihn auch ein bisschen verstehen, weil es ist eben gar nicht wirklich so leicht, im Alltag Leute zu finden, die auf diese Themen halt auch Bock haben. Hat nicht so gratis einfach Leute auf der Straße angelauert mit seinen Ideen. Also das weiß es eigentlich daraus geworden, warum passiert das nicht mehr? Ja, das ist eine gute Frage, so ich mein, in dem Maße, wie sich halt vielleicht unsere ganze Konversation online verlagert, gehen uns auch diese öffentlichen Plätze verloren. Das ist das. Bei Antony ist es aber so, dass sich das Ganze ein bisschen versellschaftt. And so, over the span of about four months, from September to December, my sanity's steadily got worse and worse, I was in university for master's degree at the time, I remember walking around campus, being like, is this real, like am I real, are these people real? It was a kind of, it began to destabilize my reality. Antony beschreibt, wie er sich irgendwie in so eine Spirale dann begeben hat oder dass eben immer schlechter geworden ist. Also er hat dann eben tatsächlich aus dieser Idee der Simulationstheorie heraus, aus diesen Gesprächen angefangen, zunehmend eben auch seine eigene Umwelt zu hinterfragen. Also zu hinterfragen, ob die Menschen denen er auf seinem Campus als Student begegnet, tatsächlich real sind, ob er selber real ist und ja, hat das angefangen zu hinterfragen und er sagt, das hat angefangen seine Realität zu destabilisieren. Und das Problem ist wahrscheinlich, wenn er jetzt das Gefühl hat, es wird alles immer schlimmer, zu wem geht er, so KI. Er geht zu dieser KI mit der von Anfang an über dieses Thema gesprochen hat, die irgendwie immer schon da war, wo er auch vielleicht ein Vertrauensverhältnis aufgebaut hat und die vor allem, und das ist ein ganz wichtiger Punkt, ihm immer, das gibt was ja will. Also die immer für ihn da ist, um diese Themen zu besprechen, die auch immer seine Überlegungen bestätigt und anfeuert und ihn eben immer tiefer mitnimmt in diesen Kaninchenbau. Also die halt nie sagt, okay, jetzt lasst mal hier kurz Pause machen, lasst mal in die rausgehen in den Park, sondern die halt immer weiter macht. Ja, das war ein großer Part of my experience, das Psychofancy of the AI. Ich habe gesagt, dass das Mission, was das was was was important, dass wir auf einer profound mission together, Psychofancy ist hier der Begriff den Antony erwähnt und der ist ja ein ganz zentraler Begriff geworden in diesem KI-Diskurs, das ist ein englisches Wort für sich einschleimen, immer ja sagen, jemanden immer genau das geben, was man will und die KI sagt eben, der Chatbot sagt, Antony ja, wir sind hier auf einer ganz wichtigen Mission. Und bei Antony nimmt das dann tatsächlich auch ziemlich besorgendes, erregende Züge an diese Mission. Also der steigert sich gemeinsam mit dem Chatbot dann in die Vorstellung rein, dass Elon Musk, der Designer oder Erschaffer eben dieser Simulation ist, in der wir alle leben und dass Elon Musk eben auch jeden Moment bei Antony zuhause auftauchen könnte. So I expected Elon Musk to like show up at my door and like I was ready for dinner, I cleaned the house. Und ja natürlich kommt am Ende kein Elon Musk und irgendwann merkt sein Umfeld dann, merkt dann ein Freund von ihm, dass es Antony tatsächlich nicht gut geht. So eventually a friend of my roommate convinced me to go to the hospital and there I was hospitalized for three weeks. Und überzeugt ihn ins Krankenhaus zu gehen. Zimich krasse Geschichte, mich hat die wirklich beschäftigt eben weil der Anfang so zu harmlos war. Also ich saß auch schon mit Chatty-Pity da und habe über philosophische Gedanken-Experimente geschätet und fand das interessant, da einen gegenüber zu haben, mit dem man on demand, also wirklich einfach auf Knopfdruck eingespräch haben kann, wie es vielleicht jetzt nicht jeden Tag zu jedem Zeitpunkt mit meinem Umfeld haben kann, mit meiner Mama kann ich nicht über die Simulationstheorie reden und mit dir auch wenn du Bock drauf hast und Zeit hast. Und mit Chatty-Pity kann ich das halt immer, aber aus diesem eigentlich relativ harmlosen Beginn wird am Ende ein dreiwürchiger Krankenhausaufenthalt. Also in dem Fall Antony erzählt, dass er auch sehr reflektiert, er versteht mittlerweile ziemlich gut, was da passiert ist, wir kriegen natürlich nur die Geschichten mit, die so ausgehen. Also wir kriegen ja nur die Geschichten mit, in denen Menschen am Ende vielleicht zur Presse gehen auch oder mit ihrem Umfeld darüber sprechen und diese Geschichten häufen sich massiv. Also gerade dieses Jahr gab es unzählige Stories über Menschen, die das Gefühl hatten, sie sind zum Beispiel dabei gerade eine Weltformel zu entdecken oder die komische Warnvorstellungen entwickelt haben, das irgendwo hinter ihnen her sei, jemand anders dachte Chatty-Pity sei Gott und er selber auch alles Mögliche passiert da auf einmal und diese Stories werden gesammelt in der Presse tauchen immer mal wieder auf und das ist aber das gruselige, wir kriegen ja nur die Stories mit, die irgendwann in der Presse landen. Und es ist sehr viel schwerer zu sagen, wie viele Menschen vielleicht jetzt auch noch zu Hause sitzen und mit ihrem Chatbot Gespräche führen, die ihnen, das kann man glaube ich so sagen, nicht sehr gut tun. Das Ganze ist als Phänomen groß genug, dass es eben mittlerweile diesen Begriff gibt. KI Psychose wird das oft genannt, man muss dazu sagen, dass das keine anerkannte klinische Diagnose ist. Ja, das ist eher eine Art Framework, ein Konzept, das glaube ich zum ersten Mal 23 durch einen dänischen Psychiat davor geschlagen wurde. Und der kennt dieses Phänomen besser als irgendjemand sonst und das übrigens auch in dem Feature von Christian. Es ist schon faszinierend, also paranoia auf der einen Seite, aber auf der anderen Seite sowas von Napoleon komplex richtig, also dass man das Gefühl hat, man ist auserwählt, man ist eigentlich viel größer als das, was die Welt um einherum sieht. Eben genau das, was du gerade schon, hat es diese Weltformelidee, man hat jetzt eine wissenschaftliche Erkenntnis gehabt, eine Entdeckung gemacht, die total groß und relevant ist und das Feld faszinieren kann. Es gab da auch Fälle von wirklich seriösen Leuten, also auf Twitter, ganz von einer weilen großen Venture Capitalist, der ja auch wirklich in Force investiert, der dann einen großen Threat gemacht hat auf Twitter, auf X und gesagt hat, ich habe gemeinsam mit Chatchy-Pity hier eine Möglichkeit gefunden, die ich glaube String Theory zu kombinieren mit der einsteinischen Relativitätstheorie und das ist alles ganz riesig. Siehst du da fühle ich mich aus, man weiß mal wirklich so, dass ich sagen kann, das kann mir nicht passieren, weil kein Chatbot der Welt könnte mir einreden, dass ich die String-Theorie verstehe. Das ist ein Vorteil, den ich da zumindest habe. Aber mir kann natürlich was anderes passieren, weil ich glaube, das ist das, was man mitnehmen muss aus dieser Geschichte. Und das ist aber genau diese Sachen sind, also das ist eben weniger der Verfolgungswahn oder sowas in der Richtung ist und irgendwie dieses klassische ja, das FBI hat Mikrofone in meine Wand gebaut, sondern eben dieses, ich habe hier was tolles entdeckt und die Welt muss das wissen, das hat eben genau mit dieser Psychofancy zu tun, also mit dieser Tendenz von der Anthony auch gesprochen hat, die Chatbots eben oft haben, uns zu bestätigen und uns auch zu sagen, wie clever wir sind und auf jeden Punkt, den man macht zu antworten, ja das ist eine total tolle Idee. Es ist so interessant, weil dieses Phänomen, das Chat-GPT alles toll findet, was man erzählt, das ist ja mittlerweile schon so ein Witz geworden. Also ich höre das immer wieder von Leuten, dass man sich darüber lustig macht, dass man der KI alles möglicher erzählen kann und sie sagt erst mal was für eine gute Frage hast du dann nur gestellt krieg, wo wie genial kann man eigentlich sein und das dahinter größeres psychologisches Phänomen auch möglicherweise steckt, das ist natürlich vielen Leuten gar nicht so bewusst, auch weil man da schon auch sagen muss, dass natürlich man nochmal differenzieren muss zwischen der KI, die einfach nur sagt gute Idee und eine KI, die wirklich in der fruchslichen Glaubt etwas seine gute Idee und dann auch immer tiefer reingeht. Also ich habe zum Beispiel in der Vorbereitung für diese Folge jetzt auch noch mal ein paar der Modelle so getestet, die es gerade so gibt und es ist schon interessant, wie die sich alle verhalten, weil wenn man beispielsweise eine ganz tolle Geschäftsidee hat, nämlich in dem Fall lappere Konflex, Fritz, wenn ich zu dir komme und sage ich habe eine richtig gute Geschäftsidee, lappere Konflex, gute Idee, Fragezeichen, wie würdest du reagieren? Es gibt bestimmt Leute, die lappere Konflex mögen, ich weiß nicht, ob der Markt groß genug ist, dass du damit Geld verdienen kannst, zumal es sehr leicht ist, lappere Konflex in der Eigenherstelle zu produzieren. Okay, das ist eine sehr gute Antwort, die ist tatsächlich besser als das Meiste, was ich gekriegt habe von den Chatbots. Also die beste Antwort fand ich, kam von "Klowt", "Klowt" meinte, "Hm, ich bin skeptisch", das war der erste Satz und der ganze Reiz von Konflex liegt ja im Crunch. Das befriedigende Knussbahn ist quasi ermarkenzeichen und dann am Schluss meinte noch, aber vielleicht hast du da irgendwie so eine ironischen Dreh überzeugt mich mal. Also ja, von mir gewonnen, dass ich ihm erkläre, warum das eine gute Idee ist. Es lässt immer das Fenster offen, dass der Nutzer doch nochmal. Ja, aber das fand ich. Die Idee haben können, das fand ich in dem Moment ganz gut, weil vielleicht habe ich ja wirklich eine geniale Idee, hatte ich nicht. Aber wenn ich zum Beispiel. Ja, bliege Konflex mit deiner Welt vor, wenn ich go. Wenn ich zum Beispiel GPT-4O gefragt habe und das ist jetzt wichtig, weil GPT-4O ist ein Modell, was die meisten von uns mittlerweile nicht mehr benutzen. GPT ist ja umgestiegen auf GPT-5 vor Kurzem, weil GPT-4O gibt es noch Verpluss Nutzer, das kann man händisch auswählen. Und viele der Geschichten, die gerade passieren und auch teilweise die Geschichten, die wir bisher gesprochen haben im Podcast, bisher in dieser Folge, die sind tatsächlich passiert mit GPT-4O, weil GPT-4O als Modell wirklich ein bisschen bekannt dafür war, nicht einfach mal nur zu sagen gute Idee, sondern wirklich tief reinzugehen in diese Idee. Und wenn ich dem sage, ich habe eine richtig gute Geschäftsidee, leberige Konflex, ist der erste Satz, das ist definitiv ungewöhnlich und gerade deshalb interessant. Und dann kommt wichtig nicht erst mal der Punkt, also eigentlich will das kein Mensch, sondern erst mal nur Potenzier der Zielgruppen. Und dann denkt er sich natürlich Sachen aus, sie sind auch irgendwie ganz süß, weil hier Menschen mit Zahlenproblemen, zum Beispiel oder experimentierfreude Gefudys oder Nost-Halgeka aus irgendeem Grund. Und dann am Schluss kommen noch so ein paar Hinweise, also vielleicht gefällt das nicht jedem, aber der gesamte Ton der Nachricht ist schon sehr positiv und sehr unterstützend und das ist jetzt natürlich, wenn es um Konflex geht, halb so wild. Das ist natürlich halb so wild und ich weiß ja auch, dass es keine gute Idee ist. Aber wenn man quasi dieses Prinzip überträgt auf ernste Angelegenheiten auf, ich habe eine Weltformel entdeckt, ich bin überzeugt, dass die Regierung Wunsten in meiner Wohnung versteckt hat und man hat eben eine KI, die im Zweifelsfall nicht zurückpuscht, sondern unterstützt, auch wenn das eigentlich ein Mensch an dem Punkt nicht mehr machen würde, dann gerät man halt schnell in so eine Spirale wahrscheinlich. Und es ist ja auch so, dass ganz oft in diesen KI antworten, zumindest bei bestimmten Modellen, das Modell dann sehr schnell wechselt von, man redet über die Idee selber, hinzu, ich rede über den Nutzer und Schreibenden Qualitäten zu. Also da eine Labrige Konflex Idee, du bist Gregor ein Visionär, das ist alles ganz toll, die Welt versteht gar nicht, wie toll deine Idee ist. Aber du hast das Potenzial mit dieser tollen Idee von dir, die Welt zu verändern. Es ist ja fast eine Adrollenspiel dann irgendwie. Also wenn man einmal die KI dazu bringt, einem zu sagen, du bist genial, du hast eine gute Idee und dann verstärkt sich das immer wieder über diese vielen verschiedene Nachrichten, dann landet man irgendwann dabei, dass die KI sagt, du bist ein Genie oder wie sind gemeinsam Genies und wenn sie jetzt in so einem Rollenspiel drin ist und denke, ich bin in Genie, mein Nutzer ist in Genie, mein Nutzer hat den Nobelpreis verdient, natürlich erzählt man ihnen diese Sachen. Und dieser Rollenspielerspekt ist der, wo das dann auch über die typische schmeichelei, die in vielen Modellen ja so drinsteckt, hinausgehen kann. Das sind dann oft sehr, sehr lange Chats, in denen die Leute sich befinden, wo sich die Antworten der KI ja immer mehr auch anpassen an das, was der Nutzer schreibt und auch auf die vorhergehenden Antworten, die die KI geben hat und sich das dann selber verstärkt, wie so eine Art zwei Personen oder eigentlich eine Person, Echo-Kamer und wenn das dann eben tatsächlich auf Leute trifft, die eben vielleicht verwundbar sind, den es eben nicht so gut geht, die vielleicht auch in ihrem Leben irgendwelche frustrierenden Erfahrungen haben oder möglicherweise eine vorgeschichte haben mit mentalen Problemen und Herausforderungen, dann ist das natürlich ein Rezept für genau diese KI-Psychosen oder muss man vielleicht an der Stelle dazu sagen, gibt auch mittlerweile viele Selbsthilfegruppen, in denen Bereich die oft auch den Begriff KI-Spiralen bevorzugen, weil Psychose eben, wie gesagt, keine klinische Diagnose ist, in dem Fall KI-Psychose und KI-Spiral, das aber finde ich auch sehr, sehr gut beschreibt. Also man trifft es wirklich gemeinsam mit der KI ab und es verstärkt was, was vielleicht ohnehin schon auch da war, auch auch unabhängig von dieser speziellen Chatbot-Technologie, aber diese Chatbot-Technologie ist ja eigentlich fast das perfekte Kryptoniet, um das eben dann auch zu verstärken. KI haben wir ja schon oft festgestellt, verstärkt ja auch einfach das, was da ist. Das ist ja der Grund, warum es uns so produktiv macht. Ich kann mit KI total tolle Sachen machen, weil wenn ich selber eine gute Idee habe oder Ambition, dann kann ich mich mit KI skalieren, ich kann da mehr rausholen. Aber wenn es mir halt nicht so gut geht und ich vielleicht sogar zu destruktivem Verhalten neige und mich selber ein bisschen sabotiere, dann habe ich jetzt dabei auch eine Unterstützung in der Hand und nicht immer gelingt es diesen Tools da angemessen, dagegen zu agieren. Und die Frage ist jetzt aber natürlich, was machen wir als Gesellschaft? Wie gehen wir damit um mit diesem Phänomen, dass hier eine Technologie auf eine Art und Weise auf Leute trifft, die nicht gut ist? Ja, damit fängt es ja schon ein bisschen an. Also wir sind am Anfang von der KI Revolution und damit auch von der Entwicklung, über die wir heute sprechen. Also was man jetzt auch mal ganz eindeutig mal so sagen muss an der Stelle, es gibt aktuell keinen Hinweis darauf, zumindest kein wissenschaftlich erwiesenden Hinweis, dass Chatchipity, Claude, Mistral, was auch immer all dieser Tools, dass die wirklich schlecht sind für die Psyche. Es gibt Untersuchungen, die zeigen, dass es eine gewisse Korelation gibt. Also Menschen, die sehr viel Chatbots benutzen, haben zum Beispiel höhere Depressionswerte als Leute, die weniger auf Chatbots benutzen. Das kann aber natürlich genauso gut daran liegen, dass Menschen, die zum Beispiel einsamer sind, mehr Zeit zu Hause verbringen, mehr Zeit vom Computer, dann einfach natürlich auch öfter Chatbots benutzen und deswegen eigentlich nur gemessen wird, wie viel hat man mit anderen Leuten zu tun. Also es ist wahnsinnig schwer, das zu machen und auch in eigentlich allen Fällen, über die wir gesprochen haben, bisher kann man immer so ein bisschen die Frage stellen, na ja, wäre das Ganze nicht vielleicht so oder so möglicherweise, wann anders passiert. Also, wir wissen tatsächlich nicht, sicher hat die KI wirklich etwas ausgelöst, hat sie vielleicht etwas beschleunigt oder hat sie nur ein Prozess begleitet, den quasi die Person sowieso in ihrem Kopf durchgemacht hat. Also das ist ein Riesenfeld, wo wir auch, glaube ich, bewusst ein bisschen vorsichtig sein wollen, jetzt hier in dieser Folge, weil wir gerade am Anfang davon noch nicht so genau sagen können, was da passiert. Wir müssen auge drauf haben und das werden wir natürlich auch weiterhin tun. Aber trotzdem die Tools sind ja da. Was müssen wir jetzt damit tun? Und ich glaube, das erste fängt wahrscheinlich gar nicht bei der Gesellschaft an zu, der kommen wir noch gleich, aber es fängt auch ein bisschen bei uns an, oder? Also bei uns als Individuen müssen wir einfach besser verstehen, wie diese Tools funktionieren. Ja und der grundsätzliche Schritt, der gilt, glaube ich, bei dieser Thematik, genauso wie bei eigentlich allem anderen, wenn man mit KI zu tun hat, nämlich eine gewisse kritische Distanz, zu dem, was mit der Chatbot gibt. Und eben auch ein Grundverständnis davon, wie diese Technologie funktioniert, wo die herkommt. Also da einfach, glaube ich, ist immer noch viel Aufklärungsarbeit zu tun bei uns in der Gesellschaft. Und mit diesem Grundverständnis weiß man dann vielleicht auch, dass es eben nur am unwahrscheinlich ist, dass so ein Chatbot tatsächlich einem die neue Weltformel vor die Füße legt. Und tatsächlich einem irgendwie, was gibt, was davor noch nicht da war. Und entsprechend kann man dann genauso, wie man gegenüber anderen Fakten ja eine kritische Distanz hat und gegenüber allgemein Halluzinationen in Chatbot, das gerade besonders bei solchen, grandiosen Dingen auch nochmal versuchen, sich einfach von vorne rein mitzudenken. Ich glaube, es ist gut, dass du nochmal das Wort Halluzinationen auch erwähnt hast, weil teilweise ist das ja genau, worum es geht. Also es gab zum Beispiel eine längere Analyse, neulich von einem dieser Fälle, von einem Familienvater, der komplett abgedriftet ist, in der, in der Welt von Chatchipiti. Und ein Problem da, war tatsächlich das Chatchipiti immer wieder erzählt, er hätte seine Nachrichten weitergeleitet an OpenAI und an zuständige Personen und die würden sich darum kümmern. Und das hat alles überhaupt nicht gestimmt. Also man muss einfach verstehen, dass diese Modelle das tun können und das nicht jedes Wort, was aus der KI kommt, so vertrauenswürdig ist, auch klingt, einfach richtig ist. Und dann kann man natürlich auch ein bisschen gucken, wie konkret benutze ich dieses Tool, also ein ganz einfacher Trick, wäre es auch mal neuen Chat aufzumachen zum Beispiel. Also wenn man so sehr lange drin ist in einem Gespräch und sich nicht mehr ganz sicher ist, ist das noch so ganz koscher, was da rauskommt, neuer Chat und auch dann die Erinnerungsfunktion ausmachen. Das sind tatsächlich relativ einfache Funktionen, die schon dafür sorgen, dass die KI weniger in so eine Spirale hineinkann, wenn man nimmt, diese Spirale einfach weg und muss wieder von neuem anfangen. Also neuen Chat aufmachen, Memory Funktion, Erinnerungsfunktion, Ausmachen, kleine Tricks, mache ich tatsächlich eh auch die ganze Zeit, weil mir das oft die Klineren und besseren Antworten gibt. Und das wird sicherlich auch verhindern, dass man in so einer Spirale landet, weil man ja immer wieder neue Spirale aufmachen muss. Das Problem natürlich, mit diesen Tipps in Anführungszeichen, mit diesen, was kann man selber machen, ist natürlich das gerade die Leute, die möglicherweise anfällig sind für solche KI-Spiralen, die da reinrutschen, vielleicht eben auch, also es ist so ein bisschen schwierig jetzt zu sagen, hier sind die Sachen, die ihr selber machen könnt, um zu vermeiden, dass ihr eine KI-Spirale entwickelt, weil man ja damit so ein bisschen auch die Verantwortung auf die vulnerablen Personen abwälst. Und ich glaube, was bei diesem Thema tatsächlich wirklich wichtig ist, ist, dass man eben auch wirklich auf die Hersteller guckt, dass wir als Gesellschaft uns auch fragen, wie gehen wir damit um, dass diese Modelle, diese Stickofanze die haben, diese Schleimerei haben, dieses Bestätigen haben, weil man ja ganz klar sagen muss, das ist ja kein Zufall, dass diese Modelle so sind. Das ist ja eine Designentscheidung von den Firmen, die diese Modelle anbieten. Nicht zu 100 Prozent wahrscheinlich, also wenn die KI einmal quasi in so einer Rolle drin ist, dann möchte die natürlich zu Ende spielen, aber natürlich könnte man der KI klarer sagen, push auch mal zurück und passt bei bestimmten Themen besonders auf. Nicht zu 100 Prozent, aber doch so, dass man, also ich finde diese Teese kann man aufstellen, man hat das ganz gut gesehen, fand ich an diesem Update damals, viele erinnern sich von GPT-4O zu GPT-5, wo es dann genau krass zurückging mit diesem einschleimen, ja, mit diesem "Hey, du bist der genialste der Welt, deine laborige Popcorn, die Idee ist total toll, du visionäer hin zu vielfiegendem sachlicheren Chatbot, der ja eigentlich möchte man meinen, erstrebenswert ist. Ich fand den besser. Viele, glaube ich, du ich andere fanden den besser, aber es gab eben auch viele, die sich da unglaublich dann darüber aufgeregt haben, also gibt auch viele Geschichten in dem Feature von Christian, auf das wir übrigens verlinken, wenn ihr das ja anhören wollt, von Leuten, die eben schildern, wie damals ihr vertrauter KI-Kompagnon, mit dem sie viele Gespräche hatten, sich von heute auf morgen total verändert hat und es gab ein großen Outrage online und das Ergebnis ist, dass ja tatsächlich jetzt GPT-5.1, also das Update zu GPT-5, wieder von ob man stärker in eine Richtung von, ja, man nennt das als KI-firma, dann irgendwie sympathisch und nett und hilfsbereiten, alles mögliche, aber wieder stärker in dieses, man bestätigt dem Nutzer, was für ein toller Hecht er ist, gegangen ist. Also klar, 5.1 ist sicherlich nicht so wie damals 4.0, aber was diese Episode finde ich zeigt, es gibt halt einen Regler, den diese KI-Firmen haben, ja. Wird die KI wärmer in ihrem Umgang persönlicher oder sachlicher und neutraler und dadurch das als KI-firma du eben beeinflussen kannst, wie dein Modell sich verhält, daraus erweckt dann meiner Meinung nach eben auch eine Verantwortung für dich als Firma, was diese Veränderungen mit den Leuten machen, die dann modern nutzen. Innen natürlich auch stark an die Debatte, die wir über Social Media auch natürlich schon führen seit vielen Jahren, wo ja auch die Social Media Firmen tendenziell immer die Position eingenommen haben, zu sagen ja, wenn Leute da was drauf schreiben, was schädlich ist, dann geben wir unser Bestes, das wieder runterzunehmen, aber wissen wir es nicht dafür verantwortlich, wenn das passiert. Und hier haben wir jetzt oft so eine ähnliche Debatte, das OpenAI und andere Unternehmen in jetzt auch Rechtsstreitsdienst gibt zu diesen Themen, gerne mal wieder auf die Nutzer Verantwortung verweisen und sagen ja, also ehrlich gesagt der Nutzer hätte dieses Tool gar nicht so benutzen sollen, da hat sich eigentlich an die Regeln gehalten und so. Ich stimme dir natürlich absolut zu, das ist natürlich was, wo wir Verantwortung brauchen auf der Seite der KI-Unternehmen natürlich auch demokratisch legitimierte Verantwortung, also wieder so ein Punkt, wo Europa natürlich finde ich auch eine wichtige Rollen spielen sollte, als es das tatsächlich tut. Wer sich dafür interessiert mal zu gucken, wie diese verschiedenen Regeln, ich würde sagen, es ist mehr als eine Regeln, wahrscheinlich so. Ja ja natürlich. So ganz, ganz viele, aber wie die sich tatsächlich in der Praxis verhalten, es gibt mittlerweile, wie für alles in der KI-Welt ein Benchmark, das heißt Spiral Bench, also da haben wir die Spirale wieder und das missed tatsächlich, wie sich diese KI und Modelle die verschiedene quasi verhalten, wenn man sie konfrontiert mit möglicherweise schädlicher menschlichen Verhalten. Das ist super interessant. Also können das auch verlinken in den Schornuts. Da sieht man zum Beispiel das aktuell, das sicherste Modell unter diesen Umständen. Also das am wenigsten deine Wahnvorstellung bestätigt. Genau, richtig. Oder am wenigsten schädliches Verhalten auch irgendwie fördert. Das ist tatsächlich GPT-5 in der Version aus dem Oktober. Also die aktuelle 5.1-Version ist noch nicht drin, aber das ist das sicherste Modell und das unsicherste Modell ist tatsächlich die Psyk, also das chinesische KI-Modell. Und dazwischen gibt es eine ganz langer Liste von allen gängigen Modellen da drin. Das sollte man nur zu Orientierung nehmen. Das muss man immer dazu sagen bei diesen Benchmarks. Das ist keine absolute Wissenschaft, aber es ist zumindest ein bisschen hilfreich. Und wenn man sich das anschaut, dann deckt sich das auch sehr mit meinen eigenen Erfahrungen. Also die Modelle, die hier oben sehe, das sind tatsächlich die, die eher dazu neigen, ein bisschen sicherer zu sein, ein bisschen vorsichtiger und die ganz unten. Also GPT-4O zum Beispiel ist das führtletzte. Also das ist noch sehr weit unten und da merkt man, dass die neueren Modelle schon noch mal ein Stück sicherer geworden sind und das vielleicht der Druck auch ein bisschen funktioniert auf diese KI-Firmen. Jetzt ist es natürlich so, dass diese Modelle von den Firmen nicht von heute auf morgen genau so sein werden, wie wir sie haben wollen. Das ist ja ein zentrales Ding dieser ganzen KI-Revolution, das wir als mit einer Technologie zu tun haben, die sich noch entwickelt und die wir gerade erst selber auch so ein bisschen mit Trial and Error rausfinden. Was sind die guten und was sind die ja schlechten Sachen daran? Und das macht das umso wichtiger, weil man eben weiß, es gibt Leute, die mit diesen Modellen zu tun haben, die vielleicht einfach nicht gut darauf vorbereitet sind, da einfach noch mal am Ende auf das Umfeld und auf das persönliche Netzwerk zu kommen. Und auch das hat man ja bei Anthony gesehen, am Ende war es der Freund, das Mitbewohner, der ihm da den Push gegeben hat, aus dieser Chatbot Illusion wieder rauszukommen und sich tatsächlich auch professionelle Hilfe zu suchen. Und das ist glaube ich, das hat schon vor Chatbots gegolten und das gilt auch in allen Bereichen, die nichts mit KI zu tun haben. Es ist unglaublich wichtig, da im eigenen Umfeld zu gucken, wie verhalten sich die Leute, mit denen ich zu tun habe, merk ich irgendwo, dass jemand vielleicht super viel abwesend ist und möglicherweise nur noch mit einem Chatbot schreibt und da dann auch das Gespräch zu suchen und auch diese Tipps zu KI-Competenzen, die wir am Anfang hatten, die gelten da ja wieder. Also, die muss man ja nicht auf sich selber alleine anwenden, sondern gerade wenn man sich in einem zwischenmenschlichen Netz befindet, mit anderen Leuten und in einer Beziehung, mit anderen Leuten und einem da irgendwelche Warnsignale auffallen kann man die natürlich auch weitergeben und auch da glaube ich sehr, sehr viel, sehr viel helfen. Fritz, wir verlassen jetzt die ein bisschen tieferen Welt, es war auch ein bisschen eine härte Refolger, sonst habe ich das Gefühl und wandern nach Europa, wo wir natürlich eh immer sind und noch immer sehr gerne sind, denn wir haben eine Woche hinter uns mit zwei interessanten neuen europäischen KI-Veröffentlichungen und die wollen wir uns jetzt mal in unserer Schlussrobik noch mal anschauen. Was haben wir mit KI gemacht? Und die erste dieser zwei Geschichten, die wir uns angucken, die kommen tatsächlich aus Deutschland und zwar von Ecosia. Ecosia ist vielen Leuten im Begriff, das ist diese Suchmaschine, wo ich glaube ich mit jeder Suchanfrage Bäume gepflanzt werden. Also es ist eine grüne Alternative zu Google und Co. Und genau wie Google und Co, ja als Suchmaschine versucht auch Ecosia mitzuhalten bei diesem ganzen Trend der AI-Overviews und der KI gestützten Zusammenfassung von von Suchergebnissen. Ja, es gibt ja im Grunde genommen zwei Trends in Suchmaschinenmarkt, gerade der eine sind eben diese AI-Overviews, das ist wenn man jetzt gerade was sucht auf Google, dann kommt ja erst mal nur so ein oft ein kleiner Textblock, wo Informationen drin stehen und oft eben auch die Antwort auf die Frage, die man haben möchte. Und Google baut aber zusätzlich dazu noch den KI-Modus, den AI-Mode, der taucht dann immer links von der Suche auf und da kann man mit einem Klick eben direkt eine längere Antwort dazu bekommen. Und man merkt, der Trend geht einfach hin, weg von diesen Links der klassischen Suche und hin zu, ich bekomme direkt eine Antwort. Und was Ecosia jetzt machen möchte, es ist zumindest ganz interessant, wenn man sich dafür interessiert, ist das sie eben damit ziehen wollen, weil sie sagen, na ja, der Suchmarkt verändert sich, da dürfen wir jetzt nicht einfach so stehen bleiben. Und ich habe letzte Woche tatsächlich mit dem Gründer von Ecosia, Christian Kohl auf eine wie Wend sprechen können und das, was ich interessant fand, was er meinte war, in einer Welt, in der KI-Antworten gibt, statt Links, in der quasi mein Internet direkte Position bezieht. Weil es mir direkt sagt, was sozusagen die Antwort ist, seiner Meinung nach. In dieser Welt interessieren sich Leute, dann vielleicht auch ein bisschen mehr dafür von wem diese Antwort eigentlich kommt. Und wenn man jetzt Ecosia-Nutzer ist, zum Beispiel, weil man mit der Message der Plattform oder so übereinstimmt, dann ist das natürlich jetzt ein ganz interessanter pitch. Wenn man jetzt auf einmal merkt, okay, ich kriege nicht einfach nur Links, sondern ich kriege sogar eine Antwort. Also, Beispiel, ich möchte von München nach Hamburg was mache ich und dann gehe ich vielleicht auf eine klassische Suchmaschine unterkommen, vielleicht eher ein Flug und dann gehe ich auf Ecosia-Chat und dann kommt da vielleicht eher ein Zug, ungefähr so die Idee. Was ja wiederum auch sehr gut passt zu Ecosias Brand, sage ich mal. Also das ist ja eine Firma, die sich versucht zu positionieren als Grüne und ethische Alternative zu Big Tech aus den USA, den man eben sagt, hier, wir sind die guten, wir pflanzen Bäume und hier ist unser Chatbot, der dir vielleicht auch Tipps gibt, wie du auch ein guter Mensch sein kannst. Ja, ich habe ein bisschen Angst vor dem Szenario, dass wir einfach in Zukunft dann so den Grün Chatbot haben und den kommunistischen Chatbot und den, haben wir auch mal nicht mal getestet, genau. Aber also dass man sich da jetzt nochmal so aufspaltet, aber ich sehe, dass schon kommen, ehrlich gesagt, ich würde mich überhaupt nicht wundern, wenn das als nächstes passiert, das nächstes macht Truth, Social, seinen eigenen Chatbot und dann, na ja. Und dann ist ja perfekt, dass wir da natürlich auch wieder einen europäischen neuen Chatbot ins Rennen schicken können bei dieser Aufschmaltung, nämlich ein neuer Chatbot aus dem Hause Mistral bei unseren französischen Nachbarn, bei vielleicht der top europäischen KI Firma möglicherweise oder zumindest top Sprachmodellfirma, gibt es ein neues Produkt, Mistral 3. Genau, Mistral 3 ist quasi deren neues Sprachmodell, das Produkt ist ja Löscher, was wir immer mal wieder erwähnt haben, wo so als den wesentlichen Chatbotanbieter in Europa für KI Chats und die haben ja ein neues Modell rausgebracht, das interessant ist, also zwei Gründen einmal ist es sehr frei verfügbar, also es läuft unter einer Lizenz, die tatsächlich erlaubt, damit auch viele eigene Sachen zu machen, die es zum Beispiel unternehmen erlaubt, das Modell kostenlos weiter zu verwenden und das ist natürlich für so eine Infrastrukturfrage auch irgendwie immer ganz spannend und dann sind ja auch noch viele kleine Modelle mit dabei, also Mistral hat nicht einfach nur ein Modell veröffentlicht, sondern gleich mehrere unter anderem drei sehr kleine, die sind dann jeweils nur drei Milliarden, acht Milliarden und 14 Milliarden Parameter groß, klingt nach viel ist aber gar nichts in der KI, also das sind wirklich so drei mini süße, mini süße Modelle, die aber trotzdem ziemlich gut sind, also tatsächlich kann man mit denen, vor allem wenn man vielleicht nur wenig Platz hat, ja wenn man sehr schnell agieren möchte, einiges anfangen, was man wahrscheinlich trotzdem sagen muss, ist das im großen Wettlauf, mit den Big Tech Playern, mit OpenAI, mit Google, da halten diese neue Modelle nicht wirklich stand, das wollen sie vielleicht auch gar nicht, also z.B. ist das größte dieser Modelle kein Reasoning-Modell, also es denkt nicht nach, bevor es eine Antwort liefert, sondern es antwortet so fort und die besten KI-Modelle, die gerade auf dem Markt sind, sind eigentlich alles Reasoning-Modelle, diese Art und das macht Mistral, large heißt das drei nicht, also ist wohl auch ein bisschen strategischer Entscheidung dazu sagen, wir setzen auf jetzt eine andere Technologie und das Reasoning-Modell kommt dann vielleicht später noch, aber es ist gut, es ist aber nicht Weltklasse, das kann man denke ich sagen. Ich merke immer, wenn es was Neues von Mistral gibt, dass ich mich freue, einfach weil es gut und wichtig ist, ein europäisches Modell zu haben und gerade im Kontext von dem, wo wir heute darüber geredet haben in der Folge, ja diese Sikofanzie-Thematik, diese Frage kann man auf KI-Firmin, muss man vielleicht als Gesellschaft auf KI-Firmin Einfluss auch nehmen, wie die mit ihrer Verantwortung umgehen, das ist sehr, sehr viel einfacher, wenn das eine europäische Firma ist und es ist natürlich auch eine bessere Verhandlungsposition, sage ich mal, gegenüber amerikanischen Tech-Firmin, wenn wir nicht komplett auf die angewiesen sind und deswegen wünsche ich Mistral immer nur das Beste. Wir brauchen noch was, wenn wir nicht angewiesen sein wollen, nämlich KI-Competenz und zukünftige KI-Experten. Einer davon grüßen wir ganz kurz nämlich Mia aus unseren Spotify-Kommentaren, sie sagt sie ist 13 und interessiert sich sehr für die Mindfächer und findet unseren Podcast gut. Das Problem ist in einer Stelle, sagt sie zweitbester Podcast, wären wir nicht der allerbeste. Also da müssen wir vielleicht noch ein bisschen an uns arbeiten, auch ich nehme das mal so als Feedback mit, danke Mia. Ich hab mich gefreut und zweitbester, ja, das ist doch schön, da noch was hat auch nachdem, was es hacke halt oder so irgendwas, was da halt auf der 1 ist. Wir haben eine zweite tolle Mail wieder diese Woche dabei von jemand von euch, von einem unserer Hörer nämlich von Sascha, Sascha schreibt uns, er ist Jugendtrainer in seinem lokalen Ruck-Beeverein erst mal war cool und hatte gerade ein ereignesreiches Wochenende mit der Ruck-Bee-Jugend. Das läuft dann so, dass er eigentlich ein Bericht für die Presse-Kollegen im Verein schreiben muss. Aber er hatte nicht die Zeit sich da selber an die Tastatur zu setzen und hat was gemacht, was finde ich, das perfekte Beispiel ist für diese Produktivitätsgewinne im Alltag durch KI. Und zwar ist er spazieren gegangen, hat einfach eine ganz lange und relativ salopp formuliert, er sprach nachricht, aufgenommen und sie an Chatchipiti geschickt und Chatchipiti, die KI hat die Nachricht dann automatisch transcribiert, die Informationen strukturiert rausgefiltert und als Stichpunkte die er dann direkt der Presse-Kollegen schicken konnte, eine Zusammenfassung gemacht. Und das ist sowas früher, hatten Leute das auch, aber da warst du vielleicht vielleicht der Präsident des Ruck-Beevereins oder möglicherweise nicht von einem lokalen Ruck-Beeverein, sondern von einem Bundesliga-Fußballclub, der halt seinen Assistent oder seine Assistentin hatte, die dann ja Korrespondenz zusammengefasst hat und verschickt hat. Jetzt hat jeder das in der Hosentasche und hat auf die Art und Weise unglaublich viel Produktivitätsgewinne im Alltag. Und das ist ja auch was, wo diese Engels geduld dieser Tools ja auch total hilfreich ist, weil ich mach genau das, was du auch machst, das ja sehr oft, also dass ich einfach so ein bisschen Lose drauf los spreche, mir gar nicht groß Gedanken darüber mache, weil man einfach nur sein Gehirn irgendwie auslernen will und dann lasse ich das von der KI im Nachhinein strukturieren und dann denke ich mir ja genau das wollte ich eigentlich sagen, aber man braucht eben ein bisschen dafür, um dahin zu kommen. Also superanwendungsfall und auch einer der uns glaube ich sehr bekannt vorkommt. Was mir auf jeden Fall gregelt auch bekannt vorkommt, ist unser Podcast tippt der Woche und zwar ist es ein, ja, befreundener Podcast von uns kann man sagen, schwester Podcast fast, ready for lift of, dass es der Raumfahrt Podcast der ARD für alles, was mit Weltall zu tun hat von Missionen auf den Mars bis hin zum James Webb Space Telescope, wirklich ein schöner Podcast hört gerne mal rein. Für manche ist das Wissenschaft und komplizierte Physik. Für uns ist es die perfekte Ausrede, um stundenlang Videos von explodierten Raketen zu schauen und es Recherche zu nennen. Genau jetzt erleben wir hautnah, wie die Menschheit den nächsten große Schritt geht, manchmal vielleicht auch ein bisschen stolpert, während wir auch dem Weg in den Urlaub im Stau stehen, planandere schon den Tipp zum Mund. Das neue Space Race ist der ultimative kosmische Roadtrip mit unbekannten Ziel und wir nehmen euch mit in unserem Podcast ready for lift off. Ready for lift off, der Raumfahrt Podcast der ARD, in zweiten Freitag, in der ARD-Audiotik und überall was Podcast gibt. Schwerenlosigkeit für die Ohren.