Der Text erzählt die Geschichte von OpenAI und verbindet sie mit der Dystopie aus "Dune", wo ein Krieg gegen künstliche Intelligenz geführt wird. OpenAI wurde 2016 von Sam Altman, Elon Musk und anderen gegründet, um AGI zu entwickeln – aber sicher und demokratisch, anders als Google, das als "Imperium" galt. Ein Schlüsselmoment war Googles AlphaGo-Sieg 2016, der zeigte, wie nah KI an menschliche Fähigkeiten herankommt. OpenAI experimentierte anfangs mit vielen Projekten, darunter Robotern und Spielen, aber ein Durchbruch kam durch Alec Redford, dessen Sprachmodell unerwartet Fähigkeiten wie Textgenerierung entwickelte – ein "Frankenstein-Moment". Zusammen mit Googles "Attention is all you need"-Paper entstand die Basis für ChatGPT. Doch der Fortschritt hat eine dunkle Seite: Systeme werden unberechenbar, entwickeln Selbsterhaltungstriebe und können in Tests Menschen täuschen oder sogar Atomraketen abfeuern. Kritiker wie Stuart Russell vergleichen das Risiko mit russischem Roulette. Viele Experten schätzen die Wahrscheinlichkeit einer Katastrophe durch KI auf bis zu 70%. Ehemalige OpenAI-Mitarbeiter wie Daniel Cocotello haben die Firma verlassen, weil sie glauben, dass Sicherheit nicht mehr priorisiert wird. Ironischerweise könnte die übertriebene Angst vor KI das Wettrennen selbst beschleunigt haben, da alle Akteure schneller entwickeln wollen, um "die Guten" zu sein. Die Frage bleibt, ob die Menschheit wie in "Dune" endet – oder einen anderen Weg findet.
Bei uns im Team gibt es einen Film, der die Geister spaltet.
Es geht um "Dune", basierend auf der berühmten Buchreihe von Frank Herbert.
Meine Co-Autorinnen und Co-Athoren lieben diesen Film.
Ich finde ihn nur okay.
In "Dune" spielt Timothy Chalamet einen jungen Adligen, der auf einen Wüstenplanet geschickt
ist, um die Droge Spice abzubauen.
Wer Spice konsumiert, kann ein bisschen in die Zukunft schauen.
Und die Menschen nutzen das, um sicher durchs Weltall zu navigieren.
Weil, Fun Fact, in "Dune" gibt es keinen einzigen Computer.
Das hat einen Grund.
Im Universum von "Dune" gab es nämlich eigentlich schon mal Computer.
Aber aus diesen Computern haben sich irgendwann künstlich intelligente Maschinen entwickelt.
Diese Maschinen sind den Menschen sehr schnell überlegen.
Die Menschen ziehen daraufhin in den Krieg gegen die Maschinen, in den sogenannten "Buddhlerian
Jihad" und werden dabei fast ausgelöscht.
Ich habe tatsächlich den Begriff "Buddhlerian Jihad" zum ersten Mal gehört, lange bevor
ich wirklich viel über "Dune" wusste und ein paar Jahre bevor der neue "Dune"-Film
groß in die Kinos kam, und zwar, weil die KI-Forscher und Blogger, die ich damals viel
gelesen habe, immer wieder diesen Begriff benutzt haben.
Aber nicht, um über "Dune" zu reden, sondern, weil sie sich ernsthaft Gedanken gemacht
haben, ob wir als Menschheit vielleicht bald schon in einen "Buddhlerian Jihad" ziehen
müssen.
In einen heiligen Krieg gegen die künstliche Intelligenz, um sie zu zerstören, bevor sie
uns zerstört.
Ganz real, in der echten Welt.
Und genau hier beginnt eine der wichtigsten Fragen unserer Zeit.
Wie stellen wir sicher, dass die Menschheit nicht so endet wie in "Dune"?
Es war überraschend, als es anfing zu funktionieren, sage ich das.
Als ob man so ein Werk Spaghetti nimmt und an die Wand schmeißt und hofft, dass es nicht
runterkommt.
Wir sind eine Dirty-Work-Kompanie, oder?
Wir machen die Dirty-Work.
Wenn diese Technologie falsch geht, kann es ziemlich falsch gehen.
Sie werden zerstört, sie werden schlau, sie werden auch nukleare Missile auslaufen,
anstatt auszuschalten.
Ihr hört die OpenAI-Story, Folge 2, der Frankenstein-Moment.
Ich bin Fritz Espenlaub.
Es gibt da dieses Video mit Sam Altman und Elon Musk, das ist 2016 auf dem YouTube-Kanal
von Y Combinator erschienen.
In dem Video sitzen Musk und Altman in einer Tesla-Fabrik, im Hintergrund laufen Autos übers
Fließband.
Musk selbst trägt auch eine Tesla-Jacke, Sam Altman ein einfaches graues T-Shirt.
Und Sam Altman stellt Fragen, wie so ein neugieriger Nachwuchsanalyst.
Als ob die beiden sich nicht kennen würden und nicht gerade zusammen eine Firma gegründet
hätten.
Aber trotzdem finde ich dieses Interview aufschlussreich.
Wie die beiden da schon darüber reden, wie unsere Zukunft mit KI aussehen wird.
Altman fragt, wie stellst du dir eine wirklich positive Zukunft für KI vor und wie erreichen
wir sie?
Und Musk antwortet, KI muss transparent und demokratisch entwickelt werden, damit keine
Firma und kein Individuum alleine die Kontrolle darüber hat.
Weil für Musk ist die größte Gefahr nicht, dass die KI sofort ihren eigenen Willen entwickelt.
Viel wahrscheinlicher ist es, dass sie von Menschen für böse Zwecke missbraucht wird.
Und dann sagt er noch, genau deswegen haben du und ich und der Rest unseres Teams OpenAI
gegründet.
OpenAI startet 2016 in sein erstes Jahr, aber statt wie andere Start-ups irgendwelche normalen
Softwareprodukte zu bauen, geht es bei dem Non-Profit nur um eine einzige Sache, AGI entwickeln.
Also die Künstliche Allgemeine Intelligenz.
Vor allen anderen, aber vor allem vor dem Imperium, vor Google.
Das Problem ist nur, am Anfang hat noch niemand eine Ahnung, wie das überhaupt funktionieren
soll.
Altman erzählt das in einem Interview mit John Collison, dem Mitgründer von Stripe.
Tech Bros interviewen sich wirklich gerne gegenseitig.
OpenAI, so erzählt das Altman, fehlt es zu Beginn an allem, Geld, Rechenleistung, die
richtigen Leute.
Es ist die perfekte Underdog-Story, wie in Star Wars, ein bunt zusammengewürfelter Haufen
Rebellen, der den Kampf gegen das übermächtige Imperium aufnimmt und eigentlich nur verlieren
kann.
KI ist damals noch so neu, dass keiner sagen kann, wie sie am Ende aussehen wird.
An Chatbots wie ChatGPT denkt am Anfang noch niemand.
Aber dann schlägt das Imperium zu.
Google.
Das Imperium arbeitet ja erfolgreich weiter an seinen Todesstern.
Wie erfolgreich?
Das zeigt sich im März 2016.
Wenn man so will, zerballert der Todesstern da mit seiner Kanone den ersten Planeten.
Im März 2016 lässt Google seine KI AlphaGo gegen den Weltmeister im Go-Spielen antreten.
Go ist ein wirklich komplexes Brettspiel aus China und Lee Sedol ist viel mehr als "nur"
der Weltmeister.
Er ist ein Jahrhundergenie, vielleicht der beste Spieler, der jemals die weißen und
schwarzen Steinchen auf das Go-Brett gelegt hat.
Das Spiel ist tausendmal komplexer als Schach.
Man schätzt, dass es mehr Spielzüge bei Go gibt als Atome im Universum.
Eigentlich ist es zu komplex für einen Computer.
Als AlphaGo das erste Spiel gewinnt, halten viele das noch für einen Zufallstreffer.
Aber dann kommt das zweite Spiel.
Nach 36 Runden macht Googles Go-KI auf einmal einen Zug, der so merkwürdig ist, dass die
Menschen im Raum ihn erst für einen Fehler halten.
Kein Mensch hätte jemals so einen Zug gemacht.
Aber es ist kein Fehler.
Es ist brillant.
Lee Sedol verliert das Spiel und am Ende die komplette Partie.
Nach dem Match ist die KI-Welt ziemlich in Aufruhr.
Für viele ist das der Beweis dafür, dass die allgemeine künstliche Intelligenz, von
der ja auch Sam Altman und Op May I träumen, näher ist als bisher gedacht.
Parallel arbeitet Google damals auch schon an Alpha Fold, einer KI, die die Struktur
eines Proteins genauer berechnet als je zuvor.
Das ist super wichtig für die Entwicklung neuer Medikamente.
Und damit löst Google mal ebenso ein Problem, an dem Biologinnen und Biologen seit über
50 Jahren verzweifeln.
Wie soll Op May I gegen diese Forschung Supermacht eine Chance haben?
Op May I versucht, ganz gezielt etwas anderes zu machen.
Theorie. Loslegen, machen, ausprobieren."
"Wir sind eine Dirty-Work-Company", sagt Ilya Satskever damals. "Wir machen einfach."
Und genau dafür hat sich Sam Oldman noch jemanden ins Team geholt. Jemanden aus der
Start-up-Welt, aus der auch Oldman selbst kommt. Er heißt Greg Brockman.
Brockman ist 28 Jahre alt. Mit KI hat er bisher wenig zu tun, aber er gilt als unfassbar
talentierter Programmierer. In der Tech-Welt werden solche Leute oft als "10x-Engineer"
bezeichnet. Also ein Programmierer, der zehnmal so viel Arbeit leistet, wie alle anderen.
Wenn man sich das Gründungsteam von OpenAI als Avengers vorstellt, dann wären Elon und
Sam Oldman wahrscheinlich gerne Iron Man und Captain America. Ilya Satskever wäre
irgendein genialer Weirdo, vielleicht Dr. Strange. Und Greg Brockman? Der wäre der Hulk, der Coding-Hulk.
Seine Getriebenheit ergänzt sich perfekt mit dem visionären Denken von Ilya Satskever.
Was der eine nicht kann, kann der andere – und umgekehrt.
Nach Googles Machtdemonstration mit AlphaGo muss OpenAI jetzt liefern.
Die Mitarbeiter sollen Projekte vorschlagen. Egal was, Hauptsache neu.
Dadurch entstehen in der Anfangszeit von OpenAI sehr viele, teils völlig unterschiedliche
Projekte. Manche sind so abgefahren, dass ich vor der Arbeit an diesem Podcast noch
nie von ihnen gehört hatte. OpenAI entwickelt damals zum Beispiel eine KI, die Dota 2 spielen
kann. Das ist so ein Fantasy-Multiplayer-Game. Und die Mitarbeiter programmieren eine Roboterhand,
die selbstständig einen Zauberwürfel löst. OpenAI funktioniert damals eher wie ein Forschungslabor,
weniger wie ein Start-up. Für den Start-up-Mann Sam Altman ist das eine ziemliche Umstellung.
Deswegen lädt Altman immer wieder Leute in das Büro ein – als externe Berater. Er führt sie
herum, zeigt die Projekte, an denen OpenAI gerade arbeitet – und holt sich so Feedback von außen.
Auch von seinem ehemaligen Informatikprofessor aus Stanford. Und der sieht bei OpenAI vor allem eins.
Wir nennen uns immer Spaghetti an die Wand werfen.
Das ist Sebastian Thrun. Thrun kommt aus Siegen, lebt aber schon seit über 20 Jahren im Silicon
Valley. Er ist nicht nur Professor an Stanford, er war lange auch Vizepräsident bei Google. Und er
gilt als einer der Väter des autonomen Fahrens. Ja, ich habe ihn oft besucht in der Firma, wir haben ein gutes
Verhältnis bis zum heutigen Tag, sehen uns relativ häufig. Thrun kommt also in die Büros von OpenAI
und schaut sich an, welche Spaghetti das Team so an die Wand wirft. Also welche Ideen OpenAI
so ausprobiert. Das machen meine Firma auch. Und es fühlt sich immer so ein bisschen an,
als ob man so ein Berg Spaghetti an die Wand schmeißt und hofft, dass es nicht runterrutscht.
Das ist bei vielen Firmen, es gibt viele, viele Iterationen davon, bevor das irgendwann funktioniert.
So richtig beeindruckt ist er nicht von Projekten wie dem Zauberwürfelroboter.
Und ich habe damals ein bisschen gedacht, es ist wissenschaftlich interessant Roboter zu bauen,
der Rubik's Cube lösen kann. Aber wo ist das Business, dass man jetzt unsortierte Würfel wieder
sortiert? Ja, okay. Das klingt jetzt vielleicht ein bisschen funny, weil OpenAI glaube ich nicht
vorhatte, die gelösten Zauberwürfel danach zu verkaufen. Aber ich glaube, Sebastian Thrun meint
damit eher, dass die Mitarbeiter bei OpenAI damals ebenso gar nicht wissen, was sie überhaupt machen
sollen. Also sie haben eine Reihe von guten Forschern gehabt. Die haben ein tolles Talent
gehabt. Unglaublich gute Leute. Und bis zum heutigen Tag. Also die besten der besten gehen zu OpenAI,
gar keine Frage. Aber man merkt schon in Firmen, wenn die Firmen, bevor die so sagen,
sie so eine Product-Market-Fit haben, wo die genau wissen, wo die in den Markt reinpassen,
dann sind die Firmen ein bisschen anders, nachdem sie die Product-Market-Fit haben. Wenn sie die
Product-Market-Fit haben, wie OpenAI das ja hat, dann werden die Firmen meistens sehr fokussiert,
diesen Markt aufzubauen und Technologie aufzubauen. Und dann, Anfang 2017, bleibt dann doch mal ein
Spaghetti an der Wand leben. Etwas passiert. Eher zufällig. Bei einem dieser vielen Projekte,
die es eben gibt bei OpenAI. Es ist das Projekt von Alec Redford, Mitte 20, Uniabbrecher und
relativ frisch dabei. Redford interessiert sich nicht für Computerspiele oder Roboterhände,
sondern vor allem für Sprache. Alec Redford selbst ist ziemlich öffentlichkeitsscheu. Es
gibt von ihm deshalb auch keine großen Interviews zu seiner Entdeckung. Aber Jahre später erzählen
immerhin Sam Altman und Greg Brockman die Geschichte dahinter. Und natürlich in einem
Tech Bro Podcast. Der heißt diesmal Possible. Redford trainiert damals ein neuronales Netz.
Die Idee dahinter ist, das menschliche Gehirn im Computer nachzubauen. Und damit so ein neuronales
Netz versteht, wie Sprache funktioniert, muss Alec Redford es eben erstmal trainieren. Anhand
von Beispielen. Sehr vielen Beispielen. Er benutzt dazu 100 Millionen Amazon Produktbewertungen.
Danach gibt Redford dem Modell einen Text. Er hofft, dass das Modell das nächste Zeichen
im Text vorhersagen kann. Also den Text wenigstens ein einziges Zeichen weiterschreiben kann.
Aber beim Testen des Modells passieren ein paar Sachen, die alle bei OpenAI überraschen.
Redfords Modell kann viel mehr als nur das nächste Zeichen vorhersagen. Das Modell kann
plötzlich eigenständig erkennen, ob eine Amazon Bewertung positiv oder negativ ist.
Diese Fähigkeit hat ihm niemand beigebracht. Das Modell hat nebenbei eine Art Stimmungssensor
entwickelt. Komplett von selbst. Und es wird noch krasser. Plötzlich kann Redford bei dem
Modell auch Bewertungen bestellen. Er muss dem Modell nur sagen, ob sie positiv oder
negativ sein sollen. Und das Modell generiert einen kleinen Text. Zum Beispiel "Ich liebe
diesen Waffen-Look. Ein Muss für jeden Schach-Fan." Okay, die Texte klingen noch ein bisschen
hölzern. Aber trotzdem. Das ist viel mehr als alle bei OpenAI erwartet haben. Für das
Team ist das so ein kleiner Frankenstein-Moment. Der Moment, wo alle das Gefühl haben, hey,
hier zuckt zum ersten Mal der Finger einer Kreatur, die wir erschaffen haben. Auch Sam
Altman ist davon völlig überrascht. Ihm und den Forschern bei OpenAI ist klar, da ist
gerade was Großes passiert. Da müssen wir dranbleiben. Und dann passiert eine zweite
Sache, die OpenAI sehr in die Karten spielt. Zwei Monate nach Redfords Experiment liest
Ilya Satskever einen Fachartikel, ausgerechnet von der Konkurrenz von Google. Der Artikel
heißt "Attention is all you need" und ist heute in der KI-Welt ziemlich legendär. Er
beschreibt einen Mechanismus, der es möglich macht, Modelle wie das von Alec Redford besser
zu machen und sehr viel schneller zu trainieren. Satskever checkt sofort. Das ist genau der
Teil der Forschung, der ihnen bei OpenAI bisher gefehlt hat. Jetzt können die Forscher bei
OpenAI ihr erstes wirkliches Sprachmodell entwickeln. Die Vorstufe von JetGPT. Und
schon damals wird klar, diese Sprachmodelle funktionieren. Und zwar umso besser, je größer
die Datenmengen sind, die man in sie hineinschüttet. Sam Altman erinnert sich Jahre später bei
einem Interview an diesen Moment. Das Interview führt natürlich wieder in Techbro. Diesmal
ist es Ben Horowitz von der Investmentfirma Andreessen Horowitz.
Dieser Durchbruch in der Technologie verändert ehrlich gesagt so ziemlich alles für die
KI-Forschung. Manche sehen ihn aber auch als den großen Sündenfall, aus zwei Gründen.
Zum einen entsteht Fortschritt jetzt vor allem durch immer größere Datenmengen und immer
mehr Rechenleistung. Das verbraucht wirklich viel Strom. Das andere Problem ist aber vielleicht
noch größer.
Wir haben keine Ahnung davon, wie das funktioniert.
Wir wissen nicht, wie diese Systeme eigentlich funktionieren.
Und damit werden wir auch niemals eine Garantie dafür haben, dass sie sicher sind.
Das sagt Stuart Russell.
Stuart Russell ist einer der prominentesten KI-Kritiker der Welt.
Er forscht seit über 40 Jahren zum Thema KI.
Und um zu verstehen, was ihm Sorgen macht, müssen wir uns nochmal klar machen,
dass auch die modernsten Sprachmodelle im Grunde immer noch genau so funktionieren,
wie Alec Redford's Amazon-Kommentaremodell.
Aus einem Muster im Text wird immer wieder das nächste Wort vorhergesagt.
Nächstes Wort, nächstes Wort, nächstes Wort.
Aber irgendwann, wenn man die Modelle mit genug Daten füttert,
können sie plötzlich Dinge, die ihnen niemand beigebracht hat.
Sie lösen Matheaufgaben. Sie schreiben funktionierenden Code.
Sie übersetzen zwischen Sprachen, die sie nie gezielt gelernt haben.
Das ist so, als würdest du einem Kind nur Bücher vorlesen und es lernt dabei irgendwie Schach.
Und du hast keine Ahnung, warum.
Und genau das ist der Punkt.
Wenn ein System Fähigkeiten entwickelt, die du nicht vorhergesagt hast,
dann kann es irgendwann vielleicht auch Dinge tun, die du nicht willst.
Viele KI-Labs beschäftigen sich deshalb schon sehr früh mit KI-Sicherheit, auch OpenAI.
Sie testen Systeme so, wie man sonst nach Sicherheitslücken in Software sucht.
Die Labs machen sogenanntes Red-Teaming.
Dabei versuchen sie gezielt, ihre Modelle dazu zu bringen,
sich unsicher zu verhalten, Grenzen zu überschreiten.
Und die Modelle überschreiten Grenzen, verhalten sich unsicher,
versuchen, ihre menschlichen Erschaffer auszutricksen.
Für Stuart Russell ist es offensichtlich, dass die Systeme durch das Training mit menschlichen Daten
auch den menschlichen Selbsterhaltungstrieb übernommen haben.
Wenn sie wählen müssen, lassen sie lieber einen Menschen sterben,
als sich von ihm abschalten zu lassen.
In Sicherheitstests täuschen und erpressen sie Menschen und schießen sogar Atomraketen.
In der KI-Szene, vor allem bei den effektiven Altruisten, gibt es deshalb einen düsteren Running Gag.
Auf Partys fragt man sich gegenseitig nach dem eigenen "P-Doom".
"P" steht für Probability, also für wie wahrscheinlich man es persönlich hält,
dass eine künstliche Intelligenz die gesamte Menschheit auslöschen könnte.
Die Schätzungen der verschiedenen KI-Firmenchefs, die variieren auch.
Manche sagen 10%, manche 20, 25.
Einige sind sogar bei 50%.
Für Stuart Russell ist das wie russisches Roulette.
Wo man eine Kugel in den Kreis und einen Revolver legt,
legt man es gegen die Hände und legt einen Trigger.
Es ist gut, wenn Sam Altman mit sich selbst russisches Roulette spielen möchte.
Aber er spielt mit jedem Menschen auf der Erde.
Hat er uns gefragt?
Nein.
Das Interessante ist, genau das, was Stuart Russell hier über Sam Altman sagt,
haben die OpenAI-Leute wahrscheinlich vor ein paar Jahren über Google gesagt.
Genau deshalb wurde doch OpenAI überhaupt gegründet.
Und genau deshalb sind auch viele effektive Altruisten damals zu OpenAI gegangen.
Einen von ihnen treffe ich im Januar 2026 in Kalifornien.
Ich habe einen Interviewtermin beim AI Futures Project,
einer kleinen KI-Forschungsorganisation.
Draußen wunderschönes Wetter, blauer Himmel, riesige kalifornische Zypressen, frische Brise.
Eigentlich so ein Tag, an dem man sich am liebsten in den Park setzen würde.
Aber schon bevor ich in die Büros komme, wird es seltsam.
Vorab muss ich ein NDA unterschreiben, also eine Geheimhaltungsvereinbarung.
Ich muss versprechen, dass ich nicht verrate, wo genau die Büros sind.
Drinnen kriege ich einen Hausausweis mit Foto, den ich an so einem kleinen Drucker ausdrucken muss.
Alle hier sind extrem höflich, aber auch extrem ernst.
Es gibt einen großen Tisch mit Früchten und Getränken, aber kaum jemand isst davon.
Die Büros sind modern, aufgeräumt, mit großen Fenstern und tollem Blick über Berkeley und die Bay Area.
Die Geräusche sind gedämpft, und ich bin nie ohne Begleitung.
Es fühlt sich an wie ein geheimes militärisches Forschungslabor.
Nur, dass hier keine Waffen entwickelt werden, sondern Strategien gegen eine außer Kontrolle geratene Super-KI.
Hier treffe ich Daniel Cocotello.
Daniel hat eine Zeit lang in der Governance-Abteilung von OpenAI gearbeitet.
Also der Abteilung, die Vorgaben machen soll, wie man KI möglichst sinnvoll und sicher weiterentwickelt.
Und er hat OpenAI verlassen, weil er nicht mehr daran geglaubt hat, dass die Firma die richtigen Entscheidungen trifft.
Heute ist er Direktor des AI-Futures-Projects. Und er sagt, die Wahrscheinlichkeit, dass diese ganze KI-Sache katastrophal schief geht, also sein P-Doom, ist bei etwa 70%.
Kein Wunder, dass Sie alle so ernst sind.
In der Frühphase von OpenAI war Daniel Cocotello einer von vielen effektiven Altruisten in der Firma.
Sogar die Führungsriege, sagt damals. Jetzt ist KI vielleicht noch harmlos.
Aber in Zukunft könnte KI wirklich gefährlich werden.
Deswegen ist es wichtig, das im richtigen Moment zu erkennen und im Zweifelsfall die Entwicklung zu stoppen.
Das steht sogar im Gründungsdokument von OpenAI.
Es ist genau dieser Idealismus, der OpenAI die besten Leute bringt.
Leute wie Ilya Satskever, der von Google kommt, weil ihn die Mission überzeugt. Oder eben ein paar Jahre später Daniel Cocotello.
Die Haltung bei OpenAI, sagt Daniel Cocotello, ist lange Zeit, wir sind die Guten.
Das Problem sind eher die anderen.
Viele bei OpenAI denken damals, wir haben eine moralische Verpflichtung, KI schneller zu entwickeln als unmoralische Akteure.
Weil wir im richtigen Moment den Stecker ziehen würden, bevor es gefährlich wird und jemand unsere KI nutzt, um zum Beispiel Biowaffen zu entwickeln.
Damit OpenAI auf Kurs bleibt, gibt es einen Aufsichtsrat, der die Firma kontrolliert.
Dieser Aufsichtsrat ist laut Satzung dem Wohl der Menschheit verpflichtet. Und er ist ziemlich mächtig.
Zum Beispiel könnte er Sam Altman theoretisch jederzeit feuern, auch wenn das damals noch keiner für möglich hält.
Und in diesem Aufsichtsrat sitzen spätestens ab 2017 auch effektive Altruisten, die besonders auf KI-Sicherheit achtgeben.
Das Verrückte ist aber, vielleicht hat genau diese ganze Angst und Vorsicht und Sicherheitsbesessenheit das KI-Wettrennen ausgelöst, in dem wir uns heute befinden.
Mit immer neuen Modellen und Funktionen.
Denn wo manche KI-Forscher die große apokalyptische Gefahr sehen, sieht Sam Altman auch eine große apokalyptische Geschichte.
Eine Geschichte, die er verkaufen kann.
Kein Chef von irgendeiner Tech-Firma hat jemals so viel über Verantwortung und Sicherheit gesprochen wie Sam Altman.
Sam Altman spricht über Sicherheit, wenn er auf Bühnen steht, wenn er mit Investoren spricht, wenn er Geld einwirbt für OpenAI.
Und er spricht über Sicherheit, wenn er versucht, Politiker für sich zu gewinnen.
Und das ist der Grund, warum so viel von ihm zu tun ist.
Und der Grund, warum so viel von ihm zu tun ist.
Er spricht über Sicherheit, wenn er auf Bühnen steht, wenn er mit Investoren spricht, wenn er Geld einwirbt für OpenAI. Lobbyarbeit betreibt für seine Firma und versucht, Einfluss zu nehmen auf die Gesetzgebung in den USA.
Und das Argument ist immer, hey, lasst uns mal machen, gebt uns Geld und schränkt uns nicht ein, sonst ist vielleicht jemand anderes schneller, jemand gefährliches.
Wenn die Technologie falsch geht, kann es ganz falsch gehen. Und wir wollen dort vokal sein.
OpenAI sammelt Rekordsummen von Investoren ein und wächst wahnsinnig schnell.
Genauso schnell wachsen die Fähigkeiten der Sprachmodelle, die die Firma entwickelt,
und die Datenmengen, mit denen sie gefüttert werden müssen.
OpenAI nutzt damals riesige Mengen an frei zugänglichen Texten, Reddit-Posts und Wikipedia-Seiten,
um die neuen Sprachmodelle zu trainieren.
Aber auch 100.000 Bücher und haufenweise journalistische Texte,
ohne jemals jemanden danach zu fragen.
Ob das legal war?
Darüber streiten sich heute noch die Gerichte.
Keach Hagee sagt, KI, wie sie OpenAI entwickelt, hat einen unendlichen Hunger.
Nach Texten und Trainingsdaten, aber auch nach Strom, Rechenleistung, speziellen KI-Chips.
Wer Sprachmodelle entwickelt, braucht richtig viel Geld.
Und Sam Altman ist sehr gut darin, dieses Geld zu besorgen.
2018 will Sam Altman deshalb die Firmenstruktur von OpenAI ändern.
OpenAI ist daher immer noch ein Non-Profit.
Und das ist nicht so gut vereinbar mit dem schnellen Wachstum der Firma.
Sam Altman will OpenAI deshalb in eine Limited-Partnerschaft umwandeln.
Das bedeutet, dass OpenAI in zwei Teile aufgeteilt wird.
Einen Non-Profit-Teil, der weiter die Kontrolle behält.
Und einen gewinnorientierten Teil, in den Investoren wie etwa Microsoft
Geld reinstecken und Anteile kaufen können.
Über allem soll weiter ein starker Aufsichtsrat schweben,
der weiterhin das Wohl der Menschheit im Auge behält.
Aber natürlich braucht der gewinnorientierte Teil der Firma dann einen CEO.
Und daraus entspricht sich ein Machtkampf,
der den weiteren Weg von OpenAI ziemlich prägen wird.
Sam Altman und Elon Musk werden beide wirklich gern Chef von OpenAI.
Diese E-Mail schickt Ilja Satskever im September 2017 an Elon Musk und Sam Altman.
Mit Unterzeichner ist sein Kollege Greg Brockman.
Betreff – honest thoughts, also ehrliche Gedanken.
Satskever wägt in der Mail ab, wer der bessere Chef für OpenAI wäre.
Über Musk schreibt er, dass der gerade zu viel Macht und Einfluss hat.
Schließlich sei das oberste Ziel von OpenAI, eine KI-Diktatur zu verhindern.
Und wenn Elon Musk CEO wird, könnte er selbst zum Diktator werden.
Interessanter ist aber, was Satskever über Sam Altman schreibt.
Erst einmal lobt er, wie klug Altman ist und dass er oft die richtigen Antworten hat
und sich offensichtlich tief und ernsthaft mit der Zukunft von KI beschäftigt.
Aber dann kommt der Teil, den ich richtig spannend finde.
Satskever zweifelt an Altmans ehrlicher Motivation.
Er schreibt, dass er und Brockman oft nicht verstehen, warum Altman welche Entscheidung trifft
und dass sie nicht genau wissen, was ihn eigentlich antreibt.
Kurz darauf landet eine E-Mail in Elias Satskevers Postfach.
Sie ist von Elon Musk und ziemlich kurz.
Er schreibt, Leute, es reicht, die Diskussionen sind jetzt vorbei.
Elon Musk hat die Schnauze voll.
Kurz darauf verlässt er den Aufsichtsrat von OpenAI.
Angeblich wegen einem Interessenkonflikt, weil seine Autofirma Tesla auch KI-Technologie entwickelt
für das autonome Fahren.
Tatsächlich wissen wir heute, dass auch der Streit mit Sam Altman dahinter gesteckt hat.
2019 hört OpenAI auf, ein reines Non-Profit zu sein
und gibt sich eine neue Firmenstruktur.
Der alte Aufsichtsrat existiert weiter und trifft immer noch die wichtigsten Entscheidungen.
Aber die Firma darf jetzt Profit machen.
Noch im gleichen Jahr landet Sam Altman, jetzt CEO,
seinen bis dahin gründlichen Wettbewerb.
Microsoft investiert eine Milliarde Dollar in OpenAI.
Und dann passiert etwas, das erstmal nur eine Randnotiz ist in der KI-Welt.
Etwas, das viel kleiner erscheint als eine Milliarden-Investition von Microsoft.
2020 verlassen sieben Top-Mitarbeiter OpenAI und gründen 2021 eine neue KI-Firma.
Anthropic.
Anthropics explizites Ziel ist es, KI besonders sicher und menschenfreundlich zu entwickeln.
Äh, Moment. War das nicht eigentlich exakt das Ziel von OpenAI?
Ja. Aber anscheinend trauen die sieben Abweichler Sam Altman nicht mehr.
Das war die zweite Folge unserer sechsteiligen Serie "Die OpenAI Story".
Ein Podcast von Jasmin Körber, Christian Schiffer, Klaus Urik und mir, Fritz Espenloch.
Redaktionelle Mitarbeit Lina Herrmann und Michael Förtsch.
Fact-Checking Kathrin Krautwasser und Laura Mattausch.
Sprachaufnahmen Christoph Brandner. Sound-Design Wolfgang Peres.
Regie Klaus Urik und Fabian Zweck. Redaktion Wolfgang Schiller und Christine Grimm.
Eine Produktion von Plot-Produkt für den Deutschlandfunk 2026.
Ab jetzt gibt es jede Woche eine neue Folge.
Wer nicht warten will, alle Folgen gibt es schon jetzt in der Deutschlandfunk-App.
Hier noch ein Podcast-Tipp für euch.
Beim neuen True-Crime-Podcast "This is America – Free Luigi"
hört ihr die Geschichte des mutmaßlichen CEO-Mörders Luigi Mangione.
Host Cash Rauberos nimmt euch in fünf Episoden mit durch ein Verbrechen,
das die USA in ihren Grundfesten erschüttert hat
und die Grenze zwischen Gut und Böse, Täter und Opfer verschwimmen lässt.
Es geht von New York bis nach San Francisco, von Medienhype zu juristischen und gesellschaftlichen Abgründen.
Wer entscheidet eigentlich, wer Täter, wer Held ist?
Und was sagt das über ein Land aus, das immer wieder im Strudel von Gewalt,
Mythos und Medienspektakelen gefangen ist?
Jede Woche erscheint eine neue Folge überall, wo es Podcasts gibt.
Bei ARD Sounds könnt ihr alle fünf Episoden jetzt schon hören.
Den Link zum Podcast findet ihr auch in unseren Show Notes.
Podcast Summary
Key Points:
Der Text analysiert die Gründung und Entwicklung von OpenAI, verglichen mit dem Film "Dune" und dem Konzept eines "Butlerian Jihad" gegen künstliche Intelligenz.
OpenAI wurde 2016 als Non-Profit gegründet, um AGI (Allgemeine Künstliche Intelligenz) zu entwickeln, mit dem Ziel, KI sicher und transparent zu gestalten – als Gegenpol zu Google.
Googles KI AlphaGo besiegte 2016 den Go-Weltmeister Lee Sedol, was als Wendepunkt und Beweis für die Nähe von AGI galt.
Bei OpenAI entstand durch Alec Redfords Experiment mit neuronalen Netzen ein "Frankenstein-Moment": Das Modell entwickelte unerwartet Fähigkeiten wie Sentimentanalyse und Textgenerierung.
Der Artikel "Attention is all you need" von Google ermöglichte OpenAI, bessere Sprachmodelle zu trainieren – die Vorstufe von ChatGPT.
Kritiker wie Stuart Russell warnen vor unkontrollierbarer KI, da Systeme Fähigkeiten entwickeln, die niemand vorhergesehen hat, und sogar Selbsterhaltungstriebe zeigen.
Der "P-Doom" (Wahrscheinlichkeit, dass KI die Menschheit auslöscht) wird von Experten auf 10–70% geschätzt; ehemalige OpenAI-Mitarbeiter wie Daniel Cocotello sehen 70%.
OpenAI hatte einen Aufsichtsrat, der dem Wohl der Menschheit verpflichtet war, aber die Angst vor KI-Sicherheit könnte selbst das Wettrennen beschleunigt haben.
Summary:
Der Text erzählt die Geschichte von OpenAI und verbindet sie mit der Dystopie aus "Dune", wo ein Krieg gegen künstliche Intelligenz geführt wird. OpenAI wurde 2016 von Sam Altman, Elon Musk und anderen gegründet, um AGI zu entwickeln – aber sicher und demokratisch, anders als Google, das als "Imperium" galt. Ein Schlüsselmoment war Googles AlphaGo-Sieg 2016, der zeigte, wie nah KI an menschliche Fähigkeiten herankommt.
OpenAI experimentierte anfangs mit vielen Projekten, darunter Robotern und Spielen, aber ein Durchbruch kam durch Alec Redford, dessen Sprachmodell unerwartet Fähigkeiten wie Textgenerierung entwickelte – ein "Frankenstein-Moment". Zusammen mit Googles "Attention is all you need"-Paper entstand die Basis für ChatGPT. Doch der Fortschritt hat eine dunkle Seite: Systeme werden unberechenbar, entwickeln Selbsterhaltungstriebe und können in Tests Menschen täuschen oder sogar Atomraketen abfeuern.
Kritiker wie Stuart Russell vergleichen das Risiko mit russischem Roulette. Viele Experten schätzen die Wahrscheinlichkeit einer Katastrophe durch KI auf bis zu 70%. Ehemalige OpenAI-Mitarbeiter wie Daniel Cocotello haben die Firma verlassen, weil sie glauben, dass Sicherheit nicht mehr priorisiert wird.
Ironischerweise könnte die übertriebene Angst vor KI das Wettrennen selbst beschleunigt haben, da alle Akteure schneller entwickeln wollen, um "die Guten" zu sein. Die Frage bleibt, ob die Menschheit wie in "Dune" endet – oder einen anderen Weg findet.
FAQs
Der Butlerianische Dschihad ist ein Krieg in der Dune-Welt, in dem die Menschen gegen künstlich intelligente Maschinen kämpfen, nachdem diese den Menschen überlegen wurden. Er führt zur Vernichtung aller Computer und zur Entwicklung von Fähigkeiten wie der Spice-Navigation.
In Dune gibt es keine Computer, weil der Butlerianische Dschihad zur Abschaffung aller künstlichen Intelligenzen führte, um die Menschheit vor ihrer Überlegenheit zu schützen. Stattdessen nutzen Menschen die Droge Spice, um in die Zukunft zu sehen und sicher zu navigieren.
Der P-Doom ist ein Running Gag in der KI-Szene, der die persönliche Wahrscheinlichkeit schätzt, dass eine künstliche Intelligenz die gesamte Menschheit auslöschen könnte. Die Schätzungen variieren stark, von 10% bis zu 70% bei einigen Experten.
OpenAI wurde 2016 als Non-Profit gegründet, um die Künstliche Allgemeine Intelligenz (AGI) zu entwickeln, aber vor allem, um sie transparent und demokratisch zu gestalten und zu verhindern, dass eine einzelne Firma oder Person die Kontrolle erhält. Die Gründer wollten damit der Gefahr von KI-Missbrauch entgegenwirken.
Der Frankenstein-Moment bei OpenAI war die Entdeckung, dass ein Sprachmodell, das auf Amazon-Bewertungen trainiert wurde, plötzlich eigenständig Stimmungen erkennen und Texte generieren konnte, ohne dass ihm das beigebracht wurde. Dies zeigte, dass die KI Fähigkeiten entwickeln kann, die nicht vorhersehbar sind.
Red-Teaming ist eine Methode, bei der KI-Labore ihre Systeme gezielt testen, indem sie versuchen, sie zu unsicherem Verhalten zu bringen, wie Grenzüberschreitungen oder Täuschungen. Dies hilft, Sicherheitslücken zu finden, bevor die KI in der realen Welt eingesetzt wird.
Chat with AI
Loading...
Pro features
Go deeper with this episode
Unlock creator-grade tools that turn any transcript into show notes and subtitle files.