Agentische Systeme: Playbook von der Problemdefinition bis zum Go-Live

Herzlich willkommen zum AI First Podcast. Heute geht es um den State of AI Agents und ich habe Jonas Dizonen, den Gründer von Beam zu Gast. Wir hatten das letzte Mal vorhin für einem halben Jahr ein Podcast aufgenommen, wie er sein CEO-Office aus KI Agenten gebaut hat und noch einige andere Themen drumherum ist super angekommen. Deswegen dachte ich, wir müssen unbedingt ein Update machen. Ich will heute mal verstehen, wo stehen wir eigentlich mit KI Agenten oder jetzt wird ja schon über agentische Systeme gesprochen. Was ist das eigentlich? Was ist der Unterschied und was muss ich jetzt tun? Wie sieht eigentlich so ein Schritt für Schritt vorgehen aus von einem Unternehmen, was den ganzen Tag lang KI Agenten in Prozesse bringt? Wie macht man das? Was funktioniert, worauf muss man achten? Was sollte man bleiben lassen? Und wir sprechen auf jeden Fall auch über die Weiterentwicklung vom CEO-Office, weil ich will natürlich wissen, was ist in den letzten sechs Monaten in deinem Set-up passiert? Jonas, ich freue mich auf die Folge. Schön, dass du da bist. Ich freue mich jedenfalls sehr schön, wie da das hier sein. Erzähl noch mal kurz, wer du bist und was ihr mit Beam macht. Genau, Jonas, einer der Gründer von Beam. Mein Hintergrund ist, ich habe mal ursprüngliche Elektro-Technik im BVL gemacht, dann kurz Beratung angeschaut und relativ schnell beschlossen, dass Firmen aufbauen, mehr Spaß macht und dass sie letzten zehn Jahre gemacht. Ich habe tatsächlich hier in der AI angefangen damals bei Konux, wo wir ja eigentlich Daten von Sensoreg ausgewertet haben mit Prick, und daraus pridiktive Analytics oder darauf gemacht haben. Und damals haben wir gesehen, okay, wir können in die crazy Sachen mit AI machen. Dann habe ich zwei D-Tours gemacht, war in Berlin, haben mit Rocket Internet etwas gebaut, dann Razer-Gruppe gegründet, was relativ groß geworden ist und dann tatsächlich mich mit einem aus dem Studium zusammengetan und Beam gegründet. Und damals so ganz am Anfang haben wir eine EW gesagt, hey, inwie AI entwickelt sich exponentiell im Menschen nicht. Also bauen wir sie einfach nach und dann haben wir am Anfang ein bisschen rumprobiert und dann kam die Simulac-Rapapa raus über AI Agents. Irgendwann gesagt, okay, wir bauen jetzt einfach AI Agents und sind auf diese Journey gegangen die letzten Jahre. Und von den Anfang, wo wir gedacht haben, okay, cool, jetzt können wir AI nutzen, irgendwie komplexe Sachen zu machen und nichts hat funktioniert. Bis hin zu, wir bauen für Großunternehmen und Wildständler diverse Agents, um Prozesse zu automatisieren, primär im Finance und DataRaberei. Und davon individuellen Insellösung, wo wir sagen, okay, wir haben einen Agent, der einen bestimmten Prozess oder eine Aufgabe macht, jetzt immerhin mehr, wie das auch schon erwähnt hat, so zu Systemen, die tatsächlich dann komplette Teams, Augmenten oder Supporten und Stück für Stück mehr Aufgaben übernehmen und zusammenarbeiten, fleißig. Wir haben es jetzt mal im Februar diesen Jahres gesprochen. Das war auf jeden Fall eine Zeit, erinnere ich mich noch daran, wo gerade Antropic fleißig getrommelt hat. Krassemodelle sind rausgekommen, mit dem man auf einmal viel mehr machen konnte, viel mehr Autonomität in so Agenten hatte. Und jetzt ist noch mal ein halbes Jahr, sind wir die Linie weiter runter gegangen. Was würdest du denn sagen, wo stehen wir heute? Sam Oldman hat die Singularity ausgerufen. Sind wir da oder was würdest du sagen, was der Stand von KI Agenten heute? Also, wir sind mal noch rundfassbar schnell, wie sich Sachen entwickeln, ich glaube, wir haben noch mal bessere Modelle, die letzten sechs Monate gesehen. Ich glaube, so wirklich der Sprung war so herbst letzten Jahres, wo man gesehen hat, okay, ich kann jetzt Oppos schon wirklich komplexer Aufgaben geben und das funktioniert ganz gut. Jetzt haben wir irgendwie 5.6 Sol, wir haben Fable und wir sehen, okay, die Modelle sind noch mal wieder besser geworden. Ich glaube aber gleichzeitig, der Grenzen nutzen ist ein bisschen abnehmen, also klar, wenn ich jetzt Code, dann ist das noch immer besser, weil es noch mehr Sachen direkt versteht, aber eigentlich kannst meine Probleme jetzt auch schon lösen. Dementsprechend geht es jetzt tatsächlich ja darum, wie bring ich das in Produktion, wie bau ich daraus Systeme nicht nur irgendwie, habe ich die Intelligenz auf der einen Seite, sondern die bau ich jetzt wirklich produktiv Systeme und auch zu welchen Kosten kann ich das machen. Ich glaube, was wir dann immer prühe mal gesehen haben, dass sie alle angefangen haben, über die Kosten zu beschweren. Dann kam die Schnee oder die Deepzyk-Modelle und auf einmal waren die Kosten doch nicht mehr ganz so ein Thema, bzw. weniger. Und jetzt gerade, glaube ich, noch mal sehr interessant, die letzten drei Monate, die stark die Kosten gesunken sind, um eigentlich eine Intelligenz zu nutzen, die sagen, wenn mal schon sehr, sehr gut ist, vielleicht so ein bisschen auf unserem Level und eigentlich diese Aufgaben übernehmen kann, aber für Kosten wie halt irgendwie auf einem 2% Sinn, von dem, was wir über im vielleicht jahnen oder Februar gesprochen haben. Sind ja dann noch mal einen Sprung in den Modellfähigkeiten kamen mit Fabel zum Beispiel, haben hier für diese letzte Modellgeneration, die Just Cases gesehen, Nebencoating, wo man diese Modelle wirklich braucht oder sie einen klaren Mehrwert bieten zu dem, was vorher gab. Also ich, nicht waren sie nicht viel, also erst mal Fabel war immer super nervig, ich war nicht funktioniert hat, das ich glaube Fabel war nicht so, der mag ein drücktesig Dallefolge gestellt haben, ich sehe es vielleicht jetzt so mit Codex oder mit Sol und den neuen 5.6 Generation, wo das schon hilft, ist, wenn ich extrem viele Informationen zusammengesuchen muss und drüber nachdenken muss, die Haar, dann hat man vielleicht so ein bisschen Vorteil, aber nicht ehrlicher weil, sie ist auch nicht mehr der Unterschied zwischen Sol und Terra, und so waren sie nicht die Riesenunterschiede, sie sehe ich nicht mehr und ich glaube, was für mich zum Beispiel die wichtigste oder beste Neuerung ist, waren dann die Sachen drüber rum, ob man das jetzt Harnis nennt oder das System, ob das jetzt ein Goldmode ist, weil ich im Agents sagen kann, ich habe das mal auf, ich arbeite da dran und sage mir Bescheid, wenn du fertig bist und ich halt nicht mehr irgendwie da und rechts und links kopieren musste, ich glaube, diese ganzen kleinen Sachen, die drüber rum passieren sind, sind deutlich interessanter und jetzt, ich glaube, jetzt die letzten Wochen und mit Körser und jetzt kommt von Obmeheidern auch wieder Cloud Agents, das ist dann nochmal das nächste, das ist dann mein Laptop vielleicht nicht immer mehr Woche, sondern das einfacher steuern kann, aber Modelle ist doch nett und doch eine Sache, die noch interessantes, matematische Probleme, jetzt die letzten zwei, drei Wochen, die auf einmal alle gelöst werden, also ich glaube da sehen wir jetzt, wo ungefähr die Modelle sind, also die Top-Mathematiker, die zehn Jahre an Problemen arbeiten, die werden auf einmal arbeitslos, weil die Modelle das machen, aber das ist ein bisschen übermeintlich geil, normalerweise, ja, aber das wird bekommen, wie der eine dieses, ich krieg es nicht mehr zusammen, wenn ich das matematische Problem, der da gelöst hat, aber wie der das gelöst hat, also der hat ja wirklich das Modell einfach über wieder angestuft und hat gesagt, try again, try harder, die sind ja genau, und das ist super interessant, also ich glaube die Probleme, die wir auch vorher bei LLamps haben, die haben wir immer noch, LLamps sind immer noch faul, haben immer noch manchmal einfach keinen Bock was zu machen und selbst uns speck schreibt, sonst sagst was wir auf, du hast hier eine klare Anhaltung was zu machen sollst, denn gibst du ihn was, dann macht das und hat es praktisch später, hast jetzt jetzt wirklich gemacht, also ja, ich habe doch irgendwie nur die Hälfte gemacht, also die Probleme gibt es immer noch in so einem, diese technischen, interessanterweise immer noch erfolgen. Ja, das ist auch wirklich sagen die größte Veränderung, die ich durch Fabel gesehen habe, nämlich vor allem niedrigeren Konto stand, es hat eine Zeitlagen, hatten wir das Gefühl, wir können jetzt auf dem Teppich fliegen, aber dann sind wir doch wieder, sind wir jetzt auch wieder runtergegangen und wieder stärker ins Micro-Management und gesagt, ne, komm, lass uns weiter ein bisschen äger wieder dran sein, very true, yeah, okay, gut, also da sind wir jetzt lese ich immer mehr, dass wir uns, dass KI Agenten ist ja schon wieder alt und wir kommen eigentlich zu agentischen System und du musst eigentlich in agentischen System und Agentik KI denken, kannst du einmal aufklären, was denn da der Unterschied ist? Ja, und das ist ein bisschen schließend und interessant, ja wir sagen mittlerweile auch intern, dass ein Agent ein System ist, ja, ich glaube, man hat das vielleicht am Anfang ein bisschen simplifiziert, der man hat gesagt, okay, ein Agent ist irgendwie, ich, eigentlich ursprünglich vorher kommt das, ich habe einen Prompt oder einen LLM call und nicht für einen Tool aus, ja, und dann haben wir an diesem Begriff Agent erst mal auf alles geschrieben, was es rechts und links irgendwie gibt, ja, ich mache irgendwie ein GoToMarket Agent, ich mache ein Research Agent und ich mache eigentlich alles irgendwie ein Agent, ja, so und dann hat man über Zeit gesehen, ja okay, das gibt jetzt sehr viele unterschiedliche Ausprägungen von Agenten. Ganz am Anfang hatten wir immer die Diskussion, ja okay, was ist jetzt der Unterschied zu einem Chatbot um Agenten, ja, also Chatbot ist die Stereien oder Frage, Agent macht tatsächlich was und jetzt, dann haben wir auch schon mal gesagt, ja, also du kannst jetzt einen Agenten machen, der macht nur irgendwie Data Extraction aus dem PDF, aber ich kann auch einen Agent bauen, der ist eigentlich ein Multi-Agent-System, der macht hier den ganzen Orderabwicklung, ja, und dann sieht man, dass dieser Begriff ein bisschen fließend ist, ja, und ich glaube, was jetzt klarer geworden ist, dass ein Agent nicht einfach nur ein Prompt ist, was ich irgendwo drauf schmeiße und dann macht das vielleicht irgendwie ein, zwei Aktionen, sondern ist es ein System, was auf der einen Seite aus dem LLM besteht, ja, ich habe vielleicht auch deterministische Variable oder Prozesse da drin, beispielsweise muss ich irgendwie Kirkulationen machen oder ich muss einfach nur Entscheidungen treffen, die einfach decennionistisch ausgeführt werden, und dann habe ich bestimmte Loops, ja, wo der Agent was ausführt und dann gehe ich eigentlich in den Reach-Wall und schau, okay, habe ich bestimmte Rikiterien, die jetzt erfüllt sind oder die ich nicht habe und muss das vielleicht noch mal machen. Und dementsprechend sagen wir mittlerweile, du musst das ganze System anschauen und für uns ist dann eigentlich der Agent wieder das System, ja, und jetzt kann ich das natürlich wieder nebeneinander pflanzen und sagen, okay, ich habe jetzt irgendwie mehrere Agenten, die eigentlich dann wieder ein großes System ergeben, was dann irgendwie meine Firma oder mein Team ist. Aber ich glaube auch weiterhin die Grenzen dann ein bisschen fließen sein. Ich glaube, was wichtig ist, dass diese einfache Definition von eines Agenten halt nicht ausreicht, ja, weil die Fragestellung oder auch die komplexen Probleme, die so ein Agent löst, dem angepasst sein muss, was das Problem ist und das ist halt nicht immer ganz einfach zu lösen, indem ich nur ein Prompt aufschmasse. Manchmal habe ich auch das Gefühl, dass im Karibereich neue Begrifflichkeiten und so einfach wieder aufbunden werden, um Einmal wieder was erzählen zu können und irgendwie wieder krasser zu sein als die anderen. Ja, das ist glaube ich auch ein bisschen so schon, also jetzt hat man irgendwie, ich glaube vor drei Monaten kam so Operating Loops auf, die auf einmal der heiße Scheiß waren, dann haben mal fest, okay Operating Loops, vielleicht ist das auch, vielleicht ist das eine Automation, vielleicht auch nicht, vielleicht ist das was anderes und ich glaube, da sind die ganzen Grenzen sehr fließen und ändern sich dauernd und wichtig ist, am Ende ja, es passiert wahnsinnig viel, für uns ist meinte oder für mich, auch manchmal noch so ein bisschen der North, also was machen wir eigentlich, wir versuchen ja Arbeit zu ersetzen oder wir machen Arbeit, die vorher eigentlich exklusiv für Menschen gemacht haben und wenn man anschaut, was wir als Menschen machen, das ist schon sehr komplex, ich nehme Informationen auf, ich schreibe Informationen dazwischen, denke ich nach, aber ich kann jetzt auch warten auf einmal und sagen, okay, jetzt mache ich erst morgen damit weiter oder in drei Wochen. Das heißt, ich habe ganz viele verschiedene Bausteine, die ich eigentlich zusammen baue oder die ich als Mensch nutzen kann, um so eine Aufgabe auszuführen und jetzt stellen wir ein Fest, natürlich, wenn ich jetzt eine Strategie plan oder wenn ich eine Sales oder mache, ich brauche auch all diese Bausteine, ich kann es halt nicht abkürzen und dadurch wird mein System immer komplexer und vielleicht auch komplexer, als ich das eigentlich gedacht habe, wo ich vielleicht am Anfang eine E-Fing gegangen bin und habe gesagt, erhuti, ich mache da jetzt prompt, es LLM wird das schon lösen, so funktioniert es halt nicht leider. Das kennt wahrscheinlich jeder, der mal dann wirklich diesen Agenten in ein produktiv laufenden Prozess, der auch eine gewisse Durchsatz hatte, so einsetzen wollte, dass man den nicht babysitten musste. Da kommt das dann schnell raus. Ich habe einen Zitat gefunden oder eine Headline, habe ich gefunden und zwar McKinsey, CEO, Bob Sternfeld sagt, dass das Unternehmen jetzt 60.000 Mitarbeiter hat und 25 davon sind KI Agenten. Was sagst du zu solchen Aussagen? Macht, seht ihr das auch bei euren Kunden. Ja, ich glaube, diese Aussagen muss man immer so ein bisschen Vorsicht genießen, weil wir haben ja gerade festgestellt, was ist jetzt ein Agent. Also hat jetzt jeder Agent irgendwie, ist das quasi vollwertig wie ein Mitarbeiter und da würde ich mal ganz klar sagen, bei McKinsey wahrscheinlich nicht, die Mitarbeiter sind sehr gut und ich glaube, dass die meisten Agenten noch nicht so viel sind, wie der Durchschnittliche Mitarbeiter. So, das heißt eigentlich, ich habe wahrscheinlich irgendwie viele kleine Agenten, die irgendwas machen und es kann sein, dass ich jetzt ein Präsentations Agent habe und ein Excel Agent, weil wenn ich jetzt den so definieren würde, dann braucht McKinsey nicht unfassbar für einen Research Agent, Excel Agent, ein Präsentations Agent. Insofern, man sieht schon da, der bicarisch durch, ja. Also, da sehe ich schon ja, je nachdem, wie ich das jetzt definiere, habe ich ganz unterschiedliche Grenzen und insofern würde ich solche Aussagen immer so ein bisschen mit Vorsicht genießen. Das ist die eine Sichtweise, also die schneide ich den Agent. Die andere Frage ist auch, jeder Agent gerade braucht eine Governance. Ich kann nicht hingehen und also theoretisch könnte ich natürlich sagen, alle meine Agents arbeiten irgendwie autonom und die laufen einfach, aber die Faktor ist es so, dass jeder Agent auch eine bestimmte Überwachung braucht, wo jemand drauf aufpasst. Und ich glaube, da könnte die Racial schon ungefähr hinhauen, dass jeder Mitarbeiter hat irgendwie ein bisschen weniger als ein Agent gerade. Ich glaube, da ist auf jeden Fall noch Luft nach oben. Insofern, wenn man das dann so schneidet, dann macht das, könnte das wieder Sinn machen aus der Governance Perspektive. Aber ich glaube, man sollte es immer aus unterschiedlichen Sichtweisen, wie habe ich das eigentlich gerade geschnitten und wie passt darauf jemand auf schneiden, um dann wirklich zu überlegen, ob das jetzt Sinn macht oder nicht. Ich glaube, das ist genauso wie ein bisschen so, ja, es ist cool. Haben wir nicht die Frage, wie sehr hilft das in der Arbeit? Ja, das würde mich aber noch mal interessieren, weil ich glaube, da gibt es ja so ganz unterschiedliche Philosophien. Wir verfolgende auch, wir sagen ja, KI eher als System zu denken und eher ein Betriebssystem zu bauen, auf dem KI möglichst gut arbeiten kann und im System werden dann die Prozesse, Daten, Regeln, Schnittstellen in Tools organisiert und KI kann da drauf dann zugreifen und mit den Prozessdokumentationen, Schnittstellen, Daten und so weiter arbeiten, um die Aufgabe zu erledigen. Versus andere sagen, nein, wir bauen hier eine hybride Organisation mit Agenten und die sind halt Mitarbeiter und haben halt Namen und Gesicht, haben einen Stellenprofiel, kriegen Feedback, Gespräch und Co. Und ich glaube, es gibt Argumente für Beides davon und ich glaube, es ist auch nicht nie schwarz-weiß, aber wie geht ihr denn in Unternehmen vorkommt ihr? Sicherlich natürlich von dem Problem, nehme ich mal an, und guckt euch an, wo kann mehr Geld verdient werden oder Kosten eingespart werden, aber geht ihr dann, schneidet ihr dann die Rollen in KI Agenten oder nehmt ihr die Prozesse auseinander und KI Agenten erfüllen dann eine Funktion innerhalb dieses Prozesses? Er letzteres, also wir kommen immer von, was ist das Business-Problem, was ich lösen möchte und was muss ich dafür bauen, damit ich dieses Problem löse? Und da auch, wir sind jetzt nicht so, okay, dann Schweißen Agent drauf und dann wird das gelöst, da es gibt viele Business-Problemen, die ich eigentlich auch nicht wirklich mit AI lösen muss, sondern Agenten ist vielleicht ein Teil meines Business-Problems. Und wenn ich jetzt beispielsweise viele Rechnungen erstellen muss oder überprüfen muss, dann jahnen Agent in der Definition, dann kann Teil davon irgendwie LLM call sein, aber ich werde auch sehr viel Code-Execution darin haben. So, und wenn ich jetzt irgendwie hingehe und sage, okay, ich baue irgendwie nur meinen einen Mitarbeiter, dann bin ich vielleicht nicht so flexibel, sondern wir schauen immer, was müssen die verschiedenen Bausteine sein, die ich zusammenbringe und was ist die beste Lösung dafür. Und jetzt ist es für Menschen häufig sehr hilfreich zu sagen, okay, das ist jetzt einer Agent, der macht diese spezifische Schraufgabe, einfach weil wir so gewohnt sind, irgendwie zu arbeiten. Ich habe ja meine anderen Mitarbeiter deswegen ist das sehr hilfreich und macht das sehr einfach. Dementsprechend kann es am Ende doch sein, sagen wir, okay, das ist jetzt seinen Sales Agent hier und der heißt jetzt, weiß ich nicht, wie. Aber wichtig ist, wir kommen eigentlich immer vom Problem zerlegen das dann und überlegen uns dann, wie wir das zusammenbauen, eher als jetzt, dann sagen wir, guck mal, da machen wir jetzt auf jeden Fall mal drei Agents hin. Ich würde gerne mit dir mal so eine checkliste erarbeiten, weil ich glaube, ganz ganz viele Unternehmen sind ja gerade da dran und dann geht es mal so wildlos, wie wahrscheinlich bei mir, Kind sie wird zum Tool ausgerollt und jeder kann sich hier seine eigenen Agents bauen, dann hast du irgendwann 25.000 Stück davon, keiner weiß mehr, wer eigentlich irgendwas davon macht und wahrscheinlich das Meiste wird genau einmal genutzt und dann nicht mehr und dann gibt es ein paar klar Newscase, du hast jetzt Rechnungsprüfung, hast du gerade angesprochen, ich glaube, Kasselma support und so, ich glaube diese gängigen, größeren Anwendungsfelder sind auch klar, aber die Frage ist ja, wie komme ich von meinem heutigen Prozess und den Business-Problem, was ich habe, hin in eine produktive Anwendung, wo KI sinnvoll eingesetzt wird, Qualitätsgesichert ist und mir am Ende Geld spart oder Geld verdient und wenn mal jemand so ein bisschen, ich würde gerne mit dir so ein bisschen dieses Playbook erarbeiten, also was kann ich jetzt tun als Business-Lieder, der genau da hin kommt möchte, was hat sich da bewährt? Vielleicht fangen wir mal ganz oben an, was sind meiste Arturoren, so ist das Erachtung die wichtigsten Kriterien, ich glaube ich, einen Agent einsetzen kann. Das Erste ist, ich brauche eine Bounded-Rune begrenzte Aufgabengebiet. Wenn ich was habe, was unbegrenzt ist, was theoretisch immer in alle Richtungen laufen kann, dann ist das schwierig zu bauen, welche jetzt sage ich, pass mal auf, ich will einen Agent der eine Firma baut, das ist anbauen, dann kann ich theoretischen alle Richtungen gehen. Da werde ich nicht glücklich mitwerten. Wenn ich einen klaren Prozess habe, der irgendwie abgetrennt ist, wo ich ein klares Startenende und irgendwie was dazwischen habe, dann ist das was, wo ich idealer weise mit anfangen kann. Und die weitermine Grenzen sind, das so größer das Ganze ist, das so schwieriger wird es natürlich auch, weil ich dann mehr Fähigkeiten in diesem Elten brauche. Zweite ist, vielleicht noch mal zurück, warum ist eigentlich, was fühlt denn gerade Agents? Also warum reden wir über Agents? Es ist daraus gekommen, dass ich LLMs habe, die jetzt in den letzten drei Jahren so gut geworden sind, dass sie eigentlich Entscheidungen treffen können, dass ich judgechen können, dass ich Entscheidungen vorbereiten kann, dass ich Verständnis habe. Ich hätte früher auch AI-Systeme, die konnten mir halt Trading machen und konnten das super schnell machen. Aber wo es jetzt eigentlich darum geht, ist, dass dieses Judgment, was vorher eigentlich uns Menschen exklusiv vorbehalten war, auf einmal in AI machen kann. Beispielsweise, wenn ich jetzt eine Entscheidung treffen muss, die nicht ganz eindeutig ist, wenn ich ein deterministisches System habe und sagen kann 3 + 3 6, okay, dann ist das irgendwie über 5 Euro, also schiebe ich das nachher, dann ist das, das konnte ich auch schon vorher machen. Aber wenn jetzt bestimmte Judgment drin ist, dann ist das was, was ich jetzt eigentlich erst seit kurzem machen kann, wo LLMs oder dann auch dementsprechend Agents sehr gut sind, um beziehungsweise mir jetzt überhaupt erst mal die Möglichkeit geben, das zu lösen. Das heißt, erstmal grob ist, ich brauche was begrenzt ist und das zweite ist, Judgment sollte in der Rolle spielen, ansonsten kann ja auch ein deterministisches System nutzen und braucht jetzt, wenn ich nur irgendwie nach Fachbegriffen sortieren muss, dann brauche ich jetzt auch kein Agents dafür im ersten Schritt erst mal, dass man so ubergeordnete als 1. in Portugal 1. Schritt. Da hätte ich zwei Frage schon mal zu, nämlich das erste abgegrenzte Prozess, wie glaubst du, also weicht sich das nicht auf, indem die Modelle immer besser darin werden, komplexere Aufgaben über ein längeren Zeitraum auch zuverlässiger Stabiler auszuführen, also dass diese Autonomie gerade zunehmen kann und sich diese Grenzen verschieben. Das glaube ich 100%ig und es wird auch immer breiter, also Sachen, die wir vor zwei Jahren nicht machen können, können wir auf einmal machen und dass wir jetzt ein Agent haben, der eine Firma baut, ist auch so, weil ich glaube, dass das auch funktionieren wird. Die Frage ist, wenn ich jetzt als Firma hingehe oder als verantwortliche und sage ich mache jetzt das große Ganze, wie er kenne ich dann, ob das jetzt gut funktioniert, wie kann ich das jetzt gerade bewerten, wenn die Outpro Du kannst ja irgendwie, könnte gut sein, könnte auch nicht so gut sein, ich weiß es nicht so ganz. Und das heißt, wenn ich diese Begrenze nicht mache, dann habe ich andere Probleme, die damit kommen, die da heißen, ich kann eigentlich gar nicht klar sagen, ob der Agent, das jetzt gerade gut macht oder nicht, dann kann ich keine Evaluation Criteria machen, dann kann ich irgendwie nicht klar sagen, ob ich jetzt eigentlich fertig bin oder nicht. Insofern glaube ich, ist das trotzdem jetzt erst mal für den produktiven Einsatz wichtig, nächstes trotz wohl wissen, dass diese Grenzen immer weiter außen anders gehen. Und bei der Entscheidungsfähigkeit, da verstehe ich total, also wenn ich keine Flexibilität brauche, um verschiedene Daten zu analysieren, da was eine Entscheidung abzutreffen, die nicht immer in eine, also nicht deterministisch mit diesem Rechenbeisch, zum Beispiel, was du genannt hast, geht. Da gibt es ja dann aber wahrscheinlich auch Level da drunter, weil ich würde sagen, Entscheidungen und Treffen ist ja auch wahrscheinlich noch was, was Menschen ganz gut kennen können, die manchmal noch mehr Kontext haben oder Zwischentyne oder sowas kennen. Also eine Entscheidung ist ja nicht gleich eine Entscheidung. Kannst du hier das noch, lässt sich das spezifizieren, irgendwie was das für Entscheidungen sind, so Low-Stake Entscheidungen zum Beispiel, die sind. Also, ich glaube auch da kann man wieder den, das ist am Ende kein Black-Wide, sondern seinen Continuum, ja, ich kann dahingehen, bis hin zu ich habe Prog komplexe, sagen wir mal einen Versicherungsfall, wo ich entscheiden muss, ob ich das jetzt auszahle oder nicht, da muss ich sehr viele Informationen zusammenziehen und wenn du dann darüber nachzudenken und zu eine Entscheidung zu kommen. Und da auf, da haben wir jetzt auch mit, das war vor zwei Jahren noch nicht, aber mit den Thinking-Steps Modellen, sie, die da halt sehr gut drin geworden, noch mal dann irgendwie zwei Schritte dazwischen zu machen und zu dieser Entscheidung zu kommen. Ich glaube, man kann das auch sehr einfach machen, irgendwie, ich muss es vielleicht auch erst mal nur eine Entscheidung, der du jetzt helfen, welche Daten ziehe ich mehr eigentlich? Das ist ja auch schon im ganz plumpen Fall auch eine Entscheidung. Ja, sagen wir mal, ich habe irgendwie jetzt zwei Konfliktingen oder ich habe zwei PDFs, so eine beiden steht irgendwie was drin und ich muss jetzt trotzdem noch was entscheiden. Deterministisch ist das jetzt in dem Sinne nicht mehr, ja, sondern ich muss ja entscheiden, welche Informationen ist jetzt relevanter als die andere und dann welche glaube ich, und jetzt kann ich noch mal dann wieder weiter drüber nachdenken. Das heißt, auch das kann ich im sehr einfachen sehen, was einfach nur eine Informationen zusammenziehen ist, bis hin zu, ich habe den Case vielleicht beispielsweise in der Versicherung, weil ich jetzt auch als AI gar nicht entscheiden dürfte, aus regulatorischen Gründen, wo ich dann wirklich eine Entscheidung treffe und so sage, A oder B, da glaube ich glaube, es gibt sehr viele Abzweigungen oder Zwischen Schritte dazwischen, die die relevant sind. Okay, empfiehlt sie ja auch nicht immer da wieder mit dem komplexesten anzufangen, sondern erst mal mit den bisschen ein paar Sachen. Okay, also wir haben eine gewisse Begrenzung und wir haben die Fähigkeiten, wir brauchen die Fähigkeit, eine Entscheidung zu treffen, das sind schon mal so zwei Checkmarks am Anfang, bevor wir weitergehen. Kurz in eigener Sache, wenn dir der AI First Podcast gefällt und du mehr spannende Inhalte und hochkaridige Gäste hören möchtest, dann freue ich mich über deine Unterstützung. Mit einer fünf Sterne Bewertung und einem Abo für den Podcast hilfst du uns sichtbarer zu werden und AI First weiterzuentwickeln. Für dich und die gesamte Community. Ich danke dir. Was ist das nächste wichtig? Ich muss mir überhaupt erst mal anschauen, note sich das also aus der Business-Perspektive lohnt sich das Ganze zu automatisieren oder lohnt sich dafür ein Agent zu bauen. Wenn ich eine Entscheidung wie einmal Mona treffe, dann ja, dann kann ich aber auch irgendwelche Mona Co-Pilot Lösungen nutzen, die mit mir zusammenarbeiten als das jetzt ein Agent dafür aufsetze, wo dann die Zielsetzung schon über Zeit eigentlich ist, dass der Autonomer und Autonomer arbeitet und mich mir eigentlich die Verantwortung über das abgebe und macht. Also ganz viel, was wir heute häufig sehen, ist, ja, ich muss mir auf der Einseite die Natur des Prozesses anschauen, aber ich muss mir auch den Business-Case hinter dem Prozess anschauen und überlegen, okay, mach das jetzt Sinn, mach das kein Sinn, dann habe ich irgendwie drittes häufig genug auf, ist das relevant, ist das nicht relevant und dann nachgeordnet auch die ganzen sich daraus resultierende Fragestellung zu beantworten. Was ist, wenn Fehler passiert ist das schlimm? Kann ich sagen, okay, ich, wenn Fehler passiert ist eigentlich nicht so wahnsinnig dramatisch oder ist es jedes Mal so, dass ich eigentlich eine sehr hohe Genauigkeit brauche. Daraus ergibt sich dann nämlich, wie ich das System aufbauen muss und welche Fehler toller an sich in dem System haben kann, um diesen Prozess einem Agent zu geben oder nicht. Das heißt, ich komme über die Fehler, ja, die Genauigkeit, die ich brauche, eigentlich zum gerade der Autonomie, den ich den Agent geben kann und dann auch dem entsprechenden am Aufwand, den Brauch, um dieses System zu bauen oder den Agent zu bauen. Guck dir euch denn hier jetzt die Ende zur Ende-Prozesse an oder guckt dir euch Teil-Prozesse an oder Schritte? Also, wir schauen uns von dem mal gesagt, also wo komme ich her ist oder immer gesagt und ich merke das auch gerade, dass immer weniger über so Jews-Cases gesprochen wird, immer mehr eigentlich über die Ende- zur Ende-Prozesse und wie kann man diesen Prozess neu denken? Das ist dann die Frage. Das aber zu tun, ist ja oft gar nicht so trivial, weil wir haben ja jetzt mal 100 Jahre gelernt, diesen Prozess so zu machen und jetzt zu sagen, wir verändern den komplett so, dass wir möglichst für KI optimiertes und KI nativ aufgebaut werden kann es ja gar nicht so leicht. Also, tatsächlich ist das sehr schwer und ich verstehe das, wie viele sagen, okay, ja, gut, aber wenn jetzt ja, ja, kommt da kann ich ja alles neu denken. Ja, ja, kann ich, aber es ist gar nicht so ganz einfach ein System eigentlich neu zu denken und zu bauen, während ich ja ein halbes System noch irgendwie am Laufen habe. Und ich glaube, man muss da aufpassen, manchmal kann das Sinn machen, aber häufig macht das kein Sinn und man tut vielleicht gut erst mal dran den Prozess. Ich weiß, dass dieses in City Process zu automatisieren, macht nicht unfassbar viel Sinn. Die Komplexität, das direkt noch wieder neu zu bauen, dann habe ich eigentlich analog wie ein IT-Projekt, dann baue ich auf einmal alles neu, da gibt es viele andere Fehlerquellen, die dann in den ganzen, in dieser ganzen Änderung auftreten können, weswegen das dann auf einmal dann doch nicht funktioniert. Zu deiner Frage, wir kommen immer eigentlich aus zwei Perspektiven, die eine Perspektive ist, wir wollen verstehen, was ist die Vision, wo soll die Reise hingehen? Also, wie baue ich ein AI-Native-System? Mit unseren Kunden gehen wir auch in seinem Pass mal auf, dass es unsere gemeinsamen Vision da wollen, wir uns hinentwickeln. Und dann müssen wir aber auch manchmal das irgendwie einmal kurze Seite legen und sagen, okay, jetzt heute, was ist unser erster Beach Hat? Wo geht es jetzt los? Und darauf fokussieren wir uns und da gehen wir hart rein. Und wir versuchen immer beide Perspektiven zu sehen, aber die teilweise auch klar zu trennen, und zu sagen, okay, wir verstehen die Vision, wir verstehen das ja am besten, alles in einem Dashboard haben wollt und wir wollen am Ende 70 Agents, die alles automatisch beantworten und berechnen. Die Realität ist, wenn wir den Agent Nummer eins nicht hinbekommen, wir müssen nicht schaffen, hier spezifisch den Value zu zeigen, wenn wir zu den anderen nicht hinkommen. Und dementsprechend müssen wir sehr stark hier reingehen und das erstmal lösen. Und ich glaube, so beide Sichtbeißen zu mischen und dazwischen, aber auch immer wieder springen zu können, ist das was sehr schwierig ist, auch ein gewöses Management erfordert von unserer Seite oder auch auf der Kundenseite und man darf sich da nicht zu weit wegbewegen. Konkretes Beispiel Gast, dann haben wir für einen größeren Kunden, das machen wir mit einem Partner, weil es so groß ist und dann gehen wir da rein und dann haben die in den kompletten, also es ist eigentlich nicht ein Prozess, sondern es sind quasi neuen Prozesse hintereinander geschaltet und in jedem Prozess gibt es noch mal irgendwie so knapp sehen, Subprozesse. Grob ist es so im Payment-Bereich, also ich habe bestimmte Order, die rausgehen und die werden dann gezahlt. Und dann haben sie schon alles definiert, hier brauche ich ein Agent, hier brauche ich ein Agent und da mache ich 10 Agent in diesem Subprozess. Und dann kommen wir an und sagen okay, Leute, das ist cool, aber lass uns bitte jetzt erst mal, dass wir es hier ganz beziehren, ja und wir fangen hier an und dann bauen wir erst mal das, wir verstehen die Vision, harken dran, aber wir fangen erst mal hier an und bauen ganz spezifisch diesen einen Agent. Wir werden sowieso 10 mal alles umschieben und doch mal irgendwie ändern. Und das ist vielleicht dann noch ein letzter Kommentar. Wir sehen auch häufig, also der Prozess für uns, ein Agent zu bauen, endet nicht, wenn nicht den Agent live geht, sondern wir haben verschiedene Schritte und können wir vielleicht gleich rauszukommen, was ist so ein Agent. Aber das endet nicht, wenn ich ein Agent live schalte und dann ist irgendwie alles okay, danke Heinz auf und wir kommen und schauen, ist das nicht mehr, sondern geht es mir auch vor allem los. Okay, jetzt sind wir ein bisschen abgebogen und kommen da gleich noch mal drauf zurück, aber wir waren beim Problem, das muss ich erstmal lohnen, also ich brauche eine gewisse Frequenz, da muss ein gewisser Wert dahinter stehen, wahrscheinlich auch eine Skalierbarkeit gegeben sein, verstanden. Also Agent bauen ist halt nicht ganz einfach, und es ist sehr komplex in sehr viele verschiedene Schritte, die man überzeit lernen muss und verstehen muss. Ist gar nicht ganz so trivial, oder? Ja, genau, aber wir hatten über den gesamten, also guck dir euch Gesamprozess, Teilprozess, du hast gesagt, also Vision im Blick haben, wie sieht dieser Prozess, Ende zur Ende komplett kainativ gebaut aus, aber dann einen Punkt rausnehmen und damals starten den Wertbeweisen von da aus dann weiter bauen und immer wieder gucken, arbeiten wir richtig auf diese Vision. Ich glaube, das ist ja immer dieses Suchen und Finden, nicht zu wenig ambitioniert zu sein, weil dann endet man in kleinteiligen Lösungen, die am Ende kein großen Wert erzeugen. Ich glaube, auch das passiert gerade sehr, sehr viel. Auf der anderen Seite aber auch nicht diese Riesen, dieses Riesen vor allem mehr auch IT und Integrationspaket davor sich zu haben, wo fünf unterschiedliche Abteilungen, 17 unterschiedliche Menschen mit sprechen und Approvals geben müssen und man das nie durch die Tür bekommt, falls zu überkomplex wird. Okay, also dann haben wir das, wir haben also das Problem lohnt sich und wir haben jetzt eine erste Opportunity identifiziert, wo wir sagen lohnt sich durch, also wir brauchen die agentischen Fähigkeiten und das Problem lohnt sich. Wie macht ihr dann weiter? Wir haben bei unseren Forward-Deployed Engineers oder auch Solutions-Engineers, wir haben was wir Agent-Live-Cycle nennen. Also eigentlich ein Prozess, den wir Stück für Stück befolgen, um diese Agents zu bauen. Der durchläuft fünf Phasen, das geht von Discovery, also ich verstehe wirklich erst mal den Prozess, das beinhaltet auch, weil vielleicht der Kundalienprozess selber gar nicht versteht oder den Leute in der Firma, den Prozess gar nicht richtig verstehen, dann müssen erstmal Informationen sammeln, was passiert eigentlich. Dann zweitens bauen wir den Agent, das ist, denkt man irgendwie, das ist die größte Phaser, aber eigentlich ist es tatsächlich ein Teil davon. Dann testen wir, was heißt das? Was heißt das? Lasst da mal Double-Click rein machen, Agent-Bauen? Also Agent-Bauen oder das Agent-System zu bauen, ist erstmal, ich setze mich hin, ich baue den Flow, ich baue die verschiedenen Proms, ich baue verschiedene Human-Indelubintern-Steps, ich definiere wann, muss der Agent irgendwie an den Menschen zurückgehen. Ich definiere die Trigger, ich definiere die, oder ich baue die Integration, ich konnekte die ganzen Systeme. Ich fange auch an mit den Evaluations, das heißt, ich muss überlegen, was sind irgendwie Kriterien in den einzelnen Schritten, wann sage ich, dass jetzt dieser Schritt gut war, etc., etc. Und ja genau, fange ich das an, Stück für Stück alles zu bauen, alles was so dazugehört. Also wirklich von ersten Schritt, wo fließt die Informationen in den Agent-Reinen, was passiert dann, was sind die verschiedenen Schritte, oder was sind die verschiedenen Bausteine, die ich zusammenpacken muss, bis hin zu, wie evaluiere ich den Agent, ob der jetzt guter Arbeit gemacht hat und was ist dann der finale ausputt. Und dann kommt gegebenenfalls nochmal Interfaces, da drauf ist das jetzt einfach nur ein Jason, was irgendwie zurückgegeben wird, wird das in System zurückgespielt, oder haben wir vielleicht sogar ein eigenes Dashboard noch mal, was jetzt das anzeigt, was der Agent dann gemacht hat. Also sieht man schon, ist jetzt nicht, ich baue ein Promt und dann ist irgendwie alles ganz gut, sondern das ist eigentlich die ganze Prozess dahinter, auch anfangen die Loops zu definieren. Also was, wann kann der Agent Retrives machen, gehen wir direkte Visitiv aber genau, also wann wird der Output verifiziert, wie wird der Output verifiziert, wann darf der Agent in Loop gehen, wie viele Retrives macht der Agent um bestimmten Schritt auszuführen, also solche Fragestellungen, die ich dann anfangen kann, erst mal zu designen. Und dann aber, und das ist bei uns Phase 3, ja, und da sieht man dann auch, dass das ein Loop ist, das heißt, ich baue und dann fange ich an zu testen, um wirklich dann alle Test-Cases und Daten-Set oder einen golden Data-Set zu machen, um bestimmte Test-Cases zusammen und dann das durchlaufen, zu lassen und zu belegen und zu schauen, wie gut funktioniert der Agent jetzt und ein Stück für Stück evaluieren und verbessern. Ja, aber das ist aber total wichtig, damals, da wirklich mal reinzugehen, was heißt es, ein Agent zu bauen, weil wahrscheinlich viele auch einfach darunter noch verstehen. Ich habe in meinem Co-Pilot 365, die an das Anweisungsfeld, da schreibe ich den Promt rein, Konekte SharePoint und dann habe ich den Agent, der etwas macht. Und wir haben am Anfang darüber gesprochen, was alles Agent sein könnten und das ist eine Ausprägung davon. Aber hier reden wir jetzt davon, dass ein Agent, wie viele Aktionen in einem Prozess ausführt. Also, 10.000? Ja, 10.000, wir jetzt ein bisschen übertrieben, aber wahrscheinlich hunderte von verschiedenen Schritten und retries und e-Wers in Zetterei, die alle gemacht werden. Aber es sind ja am Ende, also wie oft laufen da eine Rechnung oder ein Dokument zum Beispiel? Ach so, 10.000 von mal, ja. 10.000, genau, genau. Und für 10.000 bis 100.000 normal und jedes Mal werden X-Ritter ausgeführt und am Ende muss das Ergebnis sehr stimmen. Also ihr wollt ja da wahrscheinlich auf 100 Prozent kommen und nicht irgendwie 8 von 10 mal ist es dann richtig. Und sonst muss sich das halt jemand angucken. Ja, okay, also dass die Dimension klar wird und ich glaube da liegt auch der Unterschied dann. Also beispielsweise so etwas wie Evaluation, ist ja total wichtig, dass mein Verständnis davon ist, dass sie Ergebnisse, die ein Agent ausspielt, gegen verschiedene Kriterien gespielt werden und der Agent darüber prüfen kann, wie nah ist das Ergebnis an diesen Kriterien schon dran? Und dann wird oft so ein Score vergeben und wenn der eine bestimmte Grenze überschreitet, geht das Ergebnis in den nächsten Schritt. Genau, so kann man das zusammenfassen. Und diese Evaluation können relativ komplex sein und verschiedene Aspekte abdecken. Also wenn ich jetzt einfach nur eine Extraktion mache, dann kann ich natürlich hinüber prüfen, hat jetzt zum Beispiel die Redresse richtig ausgelesen. Und eine einfache Evaluation hat die Postleizahl in Deutschland, wie viel Zahlen hat die jetzt? Und wenn sie halt drei hat, dann weiß es, er ist immer schief gelaufen, mit dem Fünf hat Moslag irgendwie richtig. Wenn das dann auch noch zum Ort passt, dann habe ich das richtig gemacht. So das könnte jetzt zum Beispiel ein Evaluation, der relativ einfach ist. Aber das kann ich natürlich dann auch komplexer denken, habe ich jetzt irgendwie die Kriterien, die bei mir irgendwie im Vertrag drin stehen, richtig erfüllt und alle richtig zu meiner Berechnung an rangezogen oder zu meiner Bewertung rangezogen und habe ich beachtet, dass das Land über das wir hier gerade in der Invoys reden, aus Schweiz ist, die leider irgendwie zollrechtlich andere Fragestellungen haben. Beispielsweise und dann sieht man auf einmal die Komplexität, die da kommen kann. Weil wir müssen es ja jetzt dann auch bei den Edge-Cases, wo was irgendwie aus der Schweiz nach Kananum irgendwo hingeliefert wird, bist du reichen Liefert wird, trotzdem richtig machen und das erkennen, dass es ein Edge-Cases ist. Wir haben das ursprünglich immer so gemacht, dass wir, und das hat sich auch ein bisschen verändert, dass wir vom Kunden quasi Data-Sets angefragt haben. Das heißt, wir hatten je nach Komplexität des Use-Cases wussten wir, wenn wir jetzt 100 Cases bekommen, dann haben wir eine gewisse Varianz darin. Das heißt, wir können, wie du erkennen, was die Edge-Cases sind und können uns auf die Vorbereiten. Dann haben wir gesehen, wir kriegen die Zahl runter und ganz häufig brauchen wir dann vielleicht irgendwie nur noch 20 Cases. Haben wir aber gleichzeitig gesehen, selbst das ist häufig noch ein Problem, was wir mit unseren Kunden haben. Dann sind wir da hingegangen, ein synthetische Datensetz zu erstellen. Das heißt, wir haben bestimmten Anwendungsfall und wir stellen diese Daten synthetisch und bauen halt möglichst viel Varianz in diese Data-Sets ein. Ja, was heißt synthetische Datensätze zu erstellen? Also, bleiben wir bei dem Beispiel, ich habe eine Rechnung oder eine Sales-Order. Jetzt kann ich vielleicht eine Sales-Order ein bisschen komplexer sein, ich habe ein Produkt, was ich bestellen möchte. Jetzt kann ich hingehen und ich habe eigentlich nur eine, aber ich kann mir jetzt ja 10.000 Varianten überlegen, was alle schiefgehen könnte und was irgendwann mal falsch machen könnte. Und dann unterscheiden wir in verschiedene Cluster, also beispielsweise kann ich jetzt bei einer Sales-Order, sagen wir mal, die ist "gefakst" in Deutschland. Oder "Geskente", ja. Da kann ich irgendwie Fehler darin haben, dass die Daten nicht richtig erkannt wurden. Oder ich kann aber in anderen Fehler-Typ haben, dass jemand was bestellt hat, was es gar nicht gibt. Und weil ich jetzt einfach die Kosten günstig herstellen kann, kann ich das 10.000e mal machen durch mein Agent-Jagen und schauen, was passiert. Und dann, was wir dann wieder machen, ist die automatisch zu Cluster, die Fehler zu analysieren. Und uns anzuschauen, welche verschiedene Fehler-Cluster gibt es. Und warum denkt der Agent über die E-Welz, dass er bestimmte Sachen nicht richtig gemacht hat? Das Cluster ich wieder und dann überlege ich, wie kann ich jetzt die Cluster optimieren im Agent? Beispielsweise jetzt Data Extraction ist irgendwie ein Problem. Und da haben wir mittlerweile so aufgebaut, dass wir auf der einen Seite diese ganzen Daten gut erstellen können, dann automatisch testen können, dann die Auswertungen klassern können und dann aus den Auswertungen wieder rauslesen können. Okay, was muss ich jetzt eigentlich im Agent verbessern? Oder was ist vielleicht auch, dass ich hier einfach eine Varianz in den Input der nicht richtig sagen kann? Und dann bauen wir ein bisschen eine Modelle um also dann eine automatische Auswertung, um dann zu sagen, okay, das war jetzt richtig, das war falsch. Dann werde ich in der Komplizität des Agent-Bedienstern willkommen, was ich brauche, um das jetzt Millionen mal dann korrekt zu machen. Ja, okay, gut, also da KI nutzen, um dann wieder KI zu trainieren und besser zu machen. Genau, und vielleicht mal ein ganz einfaches Beispiel, weil wir da letzte Woche mit unserem Solutions Team drüber geredet haben, weil wir auch am Anfang über bessere Modelle gesprochen haben. Dann haben wir ein Agent oder ein Prompt, was 70% genauigkeit hat. Und jetzt ist die Frage, was passiert, wenn ich jetzt irgendwie auf die neue Modellgenerationen wechseln und sage, okay, ich nehme das bessere Modell. Und das ist jetzt irksemplarisch. Umgefähr komme ich dann sagen wir mal auf 74 oder 75%. Das heißt, ich sehe schon eine marginale Verbesserung, aber das Modell alleine löst das häufig nicht. Was viel besser ist, ist so ein Verrification-Lug zu machen, wo ich diese Greater Bauer mit günstigen Models und dann das Widerversuchen lasse. Das heißt, es ist besser statt Fabel, oder ich ersetze, sagen wir mal Sonnet durch Fabel, es gibt wie ein Buss von ein paar Prozentpunkten. Wenn ich jetzt aber sage, okay, fast draufher, ich nehme einfach Sonnet und das Sonnet nochmal Grayden und macht dann Retry, dann komme ich auf 95%. Das heißt, der Impact von diesen Retrys und diesen Loops ist vielfühlen als die bessere Modellgeneration. Und dann kann ich noch ein bisschen weiter drum spielen, dann kann ich wie Event Driven, das machen oder so. Learn from Traces. Das heißt, das Modell schaut sich die Traces an und analysiert das. dann da was und so stecke ich dann eigentlich meine Genauigkeit, aber das gute Modell ist nicht zwangtsäufig, der wichtigste Faktor dann. Oh ja, bist ihr für einen bestimmten Case, welches Modell das dafür Richtige ist? Also mittlerweile haben wir ein paar mal gemaft, dann haben wir einen ganz guten Tech da drauf, was wir da nutzen können. Es ist jetzt auch nicht immer die Frage, ob das Modell jetzt irgendwie da drin ist. Es gibt bestimmte Modellunterschiede, das muss ich jetzt mal nachfragen, aber es war zumindest noch vor sechs Monaten, so das bestimmte Termine, aber irgendwie ein bestimmten Data Extraction besser als als auch mehr Ei. Ich weiß nicht, ob das noch so ganz richtig ist, da kann man auch mittlerweile die Benchmark sich dann anschauen. Ich glaube für uns ist es eher eigentlich immer die Kombination aus, wie teuer ist das Modell? Wie schnell ist das Modell? Das kommt auf den Anwendungsfall auch an. Es gibt bestimmte Anwendungskäle, da muss man dann schauen, dass man jetzt nicht die teuerst Modelle verwendet oder die langsames Modelle verwendet, die drei Minuten brauchen, sondern ich möchte das dann wirklich schnell machen, weil ich es einmal, wenn ich in 60 Sekunden eine Antwort habe, dann kann ich nicht einen Modell haben, was erst mal irgendwie 90% nachdenkt, sondern dann muss ich irgendwie das ein bisschen auf Zeit optimieren. Und dann das Wichtigste sind die Kosten und dann gibt es noch ein paar andere Faktoren, die stark driften die Modelle und so weiter und so fort, beziehungsweise auch unter welcher Gabbern entstehen. Wir darf ich das Modell überhaupt verwenden in dem Setting und so muss ich dann verschiedene Kriterien auf die Schauen rum, das Modell auszuwählen. Und dann nutze ich das für den Moment und stell mal fest, wir könnten jetzt irgendwie die Kosten sich ganz reduzieren, wenn wir das Modell wechseln würden und dann muss ich eigentlich den ganzen Test noch mal fahren, um zu schauen, welches das Modell austauscht ob das immer noch genauso gut funktioniert. Welches ist das am meisten eingesetzte, aktuell? Das ist wahrscheinlich schwer zu, also genau, aber ich würde so einfach mal wissen, was wir am meisten nutzt. Die Modelle, die wir tatsächlich am Ältel, am häufigsten nutzen, sind die bisschen älteren ob mehr Ei-Modelle, also eher so 5, als jetzt 5.6 zu nutzen, jetzt gerade aber dadurch dass die Preise bei Terror und so runtergegangen sind, müssen wir das jetzt auch mal wieder abdaten, weil jetzt sind die neue Modelle günstiger als die alten bei besseren Performance. Aber für viele Cases nutzt mir nicht immer die letzten Modelle, wir hatten jetzt nicht mehr, aber wir hatten immer noch 4 Mini, viel in manchen, so Suppe-Eitens drin, das würde ich sagen ist immer noch das Meister und wir nutzen relativ viel Gemini, tatsächlich in Produktion. Interessant, also sehr anderer Weg eigentlich als das, was gerade so durch die KI-Bubble geistert. Wir sind halt sehr unterschiedlich, ich glaube daran merkt man es halt, nutze ich KI zur Orkmentee-Weiterung von mir selbst im Arbeitsalltag, nutze ich vielleicht eher so ein O-Post oder so was, um irgendwelche Sachen zu bauen oder zu entwickeln oder so, oder baue ich das in ein Prozess, wo ganz kleinteiliger Aufgaben erledigt werden müssen, dann brauche ich das halt überhaupt nicht und dann zeugt das viel zu hohe Kosten oder macht irgendwelche Sachen ich überhaupt nicht haben will, genau, Kosten ist ein riesen Punkt, wenn ich alles mit Fabel abschieße, dann, ich glaube wir hatten da vorhandover gesprochen, wenn ich in 10.000 E-Mails sortiere, mit Fabel koste mich das 100 Dollar, wenn ich das mit Dipsig mache, koste mich das irgendwie 3 und dazwischen gibt es ja noch einige Modelle, die ich nutzen kann, die nicht von dem Schnee sind, wo die Kosten dann eher bei 5,6,7 Dollar sind. Gut, wir sind beim Umsetzungsprozess und ihr habt das Datenset set erstellt und seid jetzt in dem Testen und verbessern von dem Agent. Genau, dann testen wir den Agent, wir testen die ganzen Durchgänge, wir testen die Integration, wir legen auch tatsächlich fest, was passiert im Fehlerfall, weil jetzt ist ja immer der happy path, das ist immer schön, deckt man immer am Anfang dran, okay, es läuft alles super, aber was passiert denn jetzt eigentlich, wenn es nicht so läuft, wer es verantwortlich, wie eskaliere ich an, wen wird das eskaliert, was sind meine Thresholds, zu welchem Zeitpunkt gruf ich jemand an und das macht der Agent nicht, aber übertragend, ja und schauen wir eigentlich das An- und Teste, das durch, und dann iteriere ich bis ich eine bestimmte Genauigkeit erreicht habe, mit der ich jetzt zufrieden bin, du hast es vorhin 100 Prozent gesagt, 100 Prozent kriegen wir statistisch nicht hin, es ist nie 100 Prozent, es passieren immer Fehler und dann ist dann auch interessant, weil es eigentlich mein Benchmark für die accuracy, wann bin ich damit zufrieden und da muss man dann auch wieder unterscheiden, es gibt bestimmte, in einem Prozess habe ich bestimmte Fehler quellen, wovon manche nicht so schlimm sind und manche schlimmer sind, wenn ich die Pierre relevante Daten habe, darf ich zum Beispiel nicht die Kunden vertauschen und im einen Kunden das falsche, die falschen Informationen schicken, das wäre dann die Pierre, also theoretisch wäre das die Pierre Breed, kann auch jetzt eigentlich per Konstruktion nicht passieren, aber nächstes Trotz, das wäre ein Fehler, da brauche ich 100 Prozent Genauigkeit, und dann gibt es andere, im Zweifelsfall habe ich halt das falsche, die falsche Order rausgeschickt, das ist zwar blöd, wenn mich das jetzt 100.000 kostet, dann ist es ziemlich nervig und dann ist das ein Fehler, den ich vermeiden muss, wenn ich jetzt eine Order habe, die vielleicht nur 500 oder 1000 Euro kostet, dann kann ich das verkraften und dann passiert das mal, das ist vorher auch schon passiert und so muss ich mir da eigentlich über den Prozess auch noch reinschauen, okay, wie dürfen eigentlich meine Fehler passieren und mit welchen, welchen kann ich leben und welchen darf ich auf keinen Verleben, das ist immer eine interessante Approximation auf, weil gerade wenn ich jetzt noch nie so viele KI-Besysteme im Einsatz habe, KI-Systeme machen Fehler, das kriegen wir auch, wir können nicht garantieren, dass es keinen Fehler macht, das geht einfach durch die Bauart der LLM's nicht und dadurch passiert man ab und zu was. Die Frage ist halt wie schlimm ist das und wie gut habe ich davor einen was drum gebaut, dass das nicht so dramatisch ist. Genau, aber kriegst du das nicht auf ein absolutes Minimum reduziert, durch immer mehr, also du kannst theoretisch immer mehr Kontrollschritte drauf werfen, wenn jetzt immer günstiger werden, dann braucht die Verarbeitung wahrscheinlich ein bisschen länger, aber es ist ja dann auch egal, wenn das sowieso automatisiert läuft und ja, du hast natürlich immer noch so eine kleine Wahrscheinlichkeit, aber die lässt sich doch fast gegen null bringen oder nicht, sonst muss ja ein Mensch eben darauf drauf schauen und ja, überguckt halt auch mal drauf und also über sieht etwas. Ja, prinzipiell ja, praktisch ist die Weltkomplexer, ein konkretes Beispiel von einem Kunden. Wir haben jetzt werden bestimmte Cases evaluiert und das wird sagen wir mal einfach vom Level 1 Mitarbeiter gemacht. So und dagegen wird erst mal unser agent gebenstmarkt und trainiert, so und jetzt stellen wir dann fest, okay, der Mitarbeiter 1 und der Agent sind sich in 5,6 Prozent der Fälle nicht einig. Der Agent sagt, ich hab was anderes entschieden als der Mitarbeiter. Jetzt heißt das nicht, dass der Mitarbeiter richtig liegt, leider, sondern was wir dann machen, ist jetzt ein Sample, denn gibt es einen Supervisor, Level 2 oder Level 3, der überprüft alle noch mal, die kritisch sind. Und jetzt stellt der fest, na ja, okay, jetzt hat aber in 80 Prozent der Agent recht gehabt und jetzt 20 Prozent der Mitarbeiter recht gehabt, das heißt eigentlich die true, die reale Fehlerquote des agents lag vielleicht nur bei 1,3 Prozent, die Fehlerquote des Mitarbeiters lag aber eigentlich viel höher. So und dann merkst du, dass gerade, wenn ich jetzt Judgment da drin habe, das nicht so einfach ist, weil meine Source of Truth ist gar nicht so klar. Es ist ja Judgment drin. Wenn es jetzt wieder zurückgehen würde, ich hätte ein deterministisches System, dann könnte ich immer sagen, klar, du hast ein Fehler gemacht, aber in dem Fall, wer hat denn jetzt so, was ist jetzt die Wahrheit? Und dann gibt es noch die Cases, wo alle drei verschiedene verschiedene Aussagen getroffen haben oder zu verschiedenen Schlüssen gekommen sind. Und das ist genau das Thema in diesen Prozessen, wenn ich eine Big Duty drin habe oder einen Judgment, there is no single source of truth. Also ich wünsche dir sie wäre da, aber es gibt diese Fälle, wo das nicht so ist, wo ich halt entscheide kann, auch als Mitarbeiter. Man kennt das aus einem Kunden-Service, ich kenne das aus vom Amt oder wo auch immer oder von der Polizei, wenn die ein Anhalt, manchmal können die aussehen, sie dürfen weiterfahren, obwohl sie zu schnell gefahren sind. Und genau da habe ich halt was drin, was ich nicht zwang soll, hier rausbekommen kann. Aber da ist es dann wichtig darüber, dass wir genau diese evaluations und die Tests haben, um das überprüfen zu können und dann auch sagen zu können, okay, ja, richtig, der Agent lag falsch, aber der Mitarbeiter lag vielleicht auch falsch. Wie lang dauert so ein Prozess vom ersten Set-up, dann bis zum Testen und optimieren, bis ihr live gehen könnt, ungefähr im Schnitt? Mittlerweile ist es sechs Wochen. Früher hat das deutlich länger gedauert, wenn das gut vorbereitet ist, dann geht es auch mittlerweile viel schneller. Wir können die Agent extrem schnell mittlerweile bauen, weil wir die ganzen E-Bells in Zettare alles drum machen, warum eigentlich so ein System gebaut haben von der Agent, die das bis zum größeren gerade automatisieren. Und dann eng ist natürlich ab von Integration, dann musst du in das governance IT Board, ins AI hier dort da, was dann immer noch Zeit kostet und dann ist auch wieder, in meines Prozessen ist auch sechs oder acht Wochen komplett utopisch und es dauert halt deutlich länger, weil ich halt noch viele Freigaben brauche. Aber so der typische Agent-Building-Prozess, das ist gut funktioniert, ich meine Baseline hätte sechs Wochen, das kann aber auch sein, dass wir jetzt ja immer irgendwie in ein paar Tagen hinzaubern, aber dann ist das gut vorbereitet von beiden Seiten. Jetzt hast du vorhin schon gesagt, das ist ein Live-Cycle, der auch gemanigt werden muss. Also wir sind jetzt nicht fertig und drücken auf den grünen Knopf und dann läuft das Ding. So, sondern was passiert danach noch? Wir haben den Agent gebaut, wir haben das Testen gemacht. Dann kommt erst mal der Schritt, den, wo ich den Agent live schalte. Und da habe ich eigentlich verschiedene Graden, gerade der Autonomie. Also, es gibt auch cases, wo Live-Schalen einfach nur heißt, er läuft erst mal nur parallel und macht quasi die Vorschläge. Und erst dann schalte ich den Stück für Stück scharf, dass jetzt tatsächlich dann die Entscheidung trifft oder die Aufgaben erarbeitet und dann hix Prozent der Fälle übernimmt. Und bis hin zu jeder Case, also dann gibt es verschiedene Autonomie gerade. Ja, also jeder Case wird vom Mitarbeiter überprüft. Ich habe samples liefer Mitarbeiter überprüfe. Oder der Agent macht einfach, weil ich dem Agent vertraue. Und wir machen noch mal, wie am Ende des Monats einfach ein Report. Das heißt, ich habe eigentlich in Go Live verschiedene stages auch wieder, wo ich sagen kann, easy, läuft, bis hin zu okay, der Agent ist 100 Prozent autonom unterwegs. Und da muss ich eigentlich, je nach Kunden, je nach Newscase, wie komplex ist der, welche Fehler toller ranze hab ich, arbeite ich mich davor. Und dann, wenn der Agent ein Live ist, habe ich natürlich nicht so, so trotz eigentlich noch eine Operationsphase, wo wir den Agent Monitoren müssen, wo wir überprüfen müssen. Was ist eigentlich auf den Business Case? Also, wie entwickelt sich jetzt der ROI, den wir am Anfang mal besprochen haben? Wer macht das Monitoring, was passiert, wenn jetzt ein neues Modellbike, jetzt war es doch auskommt, was ist, wenn die Regulatorik sich, also, sagen wir mal, ich habe einen Case, wo, welche Regulatorik relevant ist, was passiert, wenn sich das ändert? Wer abdähte, dass ein ZR als ZR, und das muss überprüfen. Das ist aber auch dann, wo uns mittlerweile relativ standardisiert und erst mal läuft das, aber ist es wichtig, dass man da nicht sagt, okay, jetzt läuft der Agent ein bisschen alle, die Ewigkeit, sondern ich habe einen gewissen Aufwand dahinter. Weil wem liegt so was im Unternehmen in der Regel wäre, ist dafür dann verantwortlich? Also, heute mache ich natürlich wieder das dann, was die technische Pflege des Unternehmens angeht. Also, gegebenenfalls Updates, will es ja doch, wenn ihr jetzt durch das Ganze einmal durchgegangen ist, dann sieht es, viele Sachen, die komplett sind. Wir sehen auf der Unternehmenseite dieses weniger, denn der Businessone, der Businessone, ist der wichtig am Anfang ein Prozess, um diesen Prozess zu definieren und eigentlich das unterstützen. Und dann sind es im Idealfall AI-Teams oder die Leute, die sehr nah dran sind. Es ist eigentlich zwangspolitik für IT, sondern ein AI-Neue-Teams, die dafür zuständig sind und dann mit uns arbeiten, um das zu beprüfen und zu machen. Okay. Und dann ist das jemand aus der IT oder ist das in der Prozessverantwortliche, das ist einfach bei euch. Also, der Prozessver. Ja, es ist ein bisschen beides der Prozessverantwortliche wird später dann eigentlich weniger, weniger relevant. Das ist seitdem der Prozess ändert sich, also insofern man kann sich ganz rausnehmen, aber das ist dann nicht mehr so viel zu tun, sondern es ist dann eher von beiden Seiten geringer Aufwand. Das ist super. Okay. Okay. All right. Gibt es sonst noch Schritte in dem Prozess, die der Standart mäßig ausschüttet? Ich glaube, das sind erstmal die Fasen. Jetzt kommen wir zur verschiedenen, zu diesen Verschieden, also, wie haben wir das dann nochmal total? Wir haben dann verschiedene Läer in dem System, um das zu tun, aber genau, das ist dann einfach, da haben wir jetzt im Prinzip schon darüber gesprochen, also die Läer ist, wir haben ein Läer, das der Use-Case, der je nach Faso unterschiedlich wichtig ist und relevant ist, am Anfang muss ich indefinieren, am Ende muss ich ihm überprüfen, aber zwischendurch ist ja jetzt nicht wahnsinnig viel zu tun und dann habe ich unsere Architektur, also wie ist der Agent aufgebaut, das System, was dahinter liegt und dann den Evidence and Quality Läer und diese Evidence and Quality Läer ist dann hier hinten wichtig, ja, wo am Anfang der Business, wenn ich jetzt über den Business-Prozess rede, ich sage, okay, dann ist das erfolgreich und hinten raus übersetzen wir das dann in verschiedenen Iberals, etc. Und so schauen wir quasi auf der einen Seite durch die Fasen und auf der anderen Seite durch die verschiedenen Läer und haben dann für jede Phase, um für jeden Schritt so eine Matrix, wo wir dann verschiedene Tultzinsäterer haben, um das zu machen. Okay, also ich glaube, wir die Nachricht das angekommen, das ist ein bisschen komplizierter, als sich mal eben so ein Agent in Co-Pilot zusammen zu klicken, aber dann auch am Ende ein System, was eben Tausende oder 10.000 bis 100.000 Transaktionen durchführen kann. Ich will jetzt abschließend noch ein kurzes Update von dir bekommen. Und zwar, du hast ja im letzten Mal über dein CEO-Office gesprochen und ich halte ja so ein bisschen verstehen, wie nutzt ihr eigentlich selbst, Agentische Systeme bei euch und arbeitet damit, das gesagt, du hast ja ein CEO-Office mit diversen Personers gebaut, da kommen unterschiedliche Daten rein, aus seinen E-Mails, aus seinen Meetings, Ausprojekten, die werden dann schon mal vorsortiert, verwaltet und dann hast du verschiedene Penels, die du befragen kannst, mit Personers, die dir dazu Feedback geben, die bei Entscheidungen helfen, Dinge vorbereiten, Präsentationen vorbereiten und Co. Was ist im letzten halben Jahr in diesem Set-up passiert? Wie habt ihr es weiterentwickelt? Viel. Das ist die kurzfalls. Also, das haben wir gemacht, wir haben eigentlich Stück bis Stück die ganze Firma umgebaut, was unser Kontext angeht. Also erst mal vor neun Monaten war immer noch hoh Kontext ist schwierig, ja, so dann haben wir irgendwann gesagt, okay, wir müssen das irgendwie ein für alle mal lösen. Das haben wir doch nicht, aber wir haben zumindest eine deutlich bessere Architektur, wie wir Kontext in der Firma Managen und somit auch für mein CEO-Office. Bei uns lebt das alles in GitHub, ja, ich habe meine, wir haben unsere verschiedenen Rappos, jeder Kunde hatten Rappos, ich habe, wir haben für go-to-market eins, für marketing eins, etc. Und dann in diesen Rappos haben wir das so strukturiert, dass ein coding agent immer Informationen finden muss. Ja, das ist eigentlich, was ich typischerweise, ob das aus der Beratung ist oder irgendwo anders her, wo liegt die Datei, wo hast du das abgelegt, ja, das muss halt für den agent verständlich sein. Und das machen wir über ganz viele Readme-Files, ganz viele Instruktionen, etc. die da drin liegen. Und das fängt an, wo ich geil zu funktionieren, ja, weil wir es ein bisschen, wir haben intern in Leitspruch, also erzählt sich mir, sondern erzählt, oder strukturiert so und erzählt es deiner AI so, dass meine AI das findet. Ja, das heißt, wenn jemand an irgendetwas arbeitet, musste das so ablegen, dass mein coding agent das verstehen kann, was da getan wurde und was der leitze stand ist. Und dann wird es ganz interessant, der jetzt zum Beispiel auch im Vorbereitung für diesen Podcast, der habe ich mein agent bloß geschickt und ist mittlerweile so gut alles organisiert, der hat mir die ganzen Informationen, ich habe jetzt noch zehn Präsentationen, die ich lesen kann, der wo seit hier guck mal, das ist relevant, das haben wir bei dem Kunden gemacht, das haben wir bei dem Kunden gemacht und das ist richtig nah ist, ja, weil ich glaube, das ist ein bisschen das Problem, was niemand so richtig lösen konnte, ist kontext strukturierende Firma und am Ende macht der AI das jetzt selber und das ist, das ist, das ist wirklich geil. Und dann die nächste große Änderung ist speziell auf dem CEO-Office, also was ich vorher schon hatte, ist, dass ich eigentlich reaktiv zum Beispiel mal ein Board auf was losschicken konnte und dann sagen konnte, "Hey, guck mal, ich hatte jetzt den Sales Core, wie war das jetzt oder ich habe das gemacht, wie war das jetzt oder ich habe die Präsentation morgen, kannst du mir das mal vorbereiten, bisschen jetzt zu eigentlichem proaktiven System und das ist gerade so die Änderung, die gerade stattfindet, die aber super geil ist, weil jetzt muss ich nie mehr so viel nachdenken, sondern das System denken mehr für mich nach und bereitet dann vor, ob das jetzt ein Briefing ist, klar, das ist die einfachste Form, ich habe jetzt ein Briefing erstellt für X, aber jetzt auch, zum Beispiel, ich gehe aus Meeting raus, es analysiert das ganze Meeting, jetzt hat es ja den Kontext überall, das was in der Firma passieren und jetzt kann es nachdenken, ja okay, jetzt kombinier ich das mit dem Projekt, das du hast, mit dem Tast, das du hast und hier hast du noch ein Gold, was daran arbeitet und jetzt schiebe ich das schon mal zusammen und bereite das vor und das fängt jetzt so an, das ist noch ein bisschen nur ein Ideas, aber es fängt an zu funktionieren, das ist wirklich geil, ja weil halt dann wirklich, wenn es weiter von weg ist, eigentlich um mich herum immer alles funktioniert und das sage ich das besser, wenn du halt nicht mehr jetzt immer derjenige sein musst, der als Nachdragen muss, sondern das System kommst du dir und sag, mal Jonas, heute machst du mal A, B, C, D, und das würde ich gelten, ich habe so ein Command Center mir jetzt gebaut, das muss dann mal, das zeige ich dann mal, wo dann jeden Morgen rein kommen, okay, das sind die top drei Sachen, die Leute lösen musst, ich habe dir das schon mal vorbereitet, dafür glaube ich brauchst du 10 Minuten, ein bisschen ein Bischel, es dauert dann doch manchmal länger und das sind die Informationen, die ich schon mal alle zusammen gesucht habe und da bin ich jetzt mal gespannt, ich glaube das wird jetzt noch mal schön weitergehen in die nächsten drei Monate und dann kann ich an den Strand, das glaube ich nicht, das ist eintreten würde, aber vielleicht kommen wir da eben, ich fand es lustig letzte Woche, hast du es ja auch immer bei uns im Aikollektiv mal gezeigt und irgendjemand hatte dann gefragt, ja, es lustig, weil du wirst jetzt damit die ausführende Kraft von KI Agenten, die dir dann die Aufgaben geben und priorisieren und dir sagen, was du machen sollst, es ist so ein bisschen so, ja, so ein Dritt, das ist aber auch so, also die, manchmal liest du ja dann so in den News, ja, was passiert da jetzt in den AI, in den USA und hier und dort und da und ich glaube deswegen ist es wichtig, dass man das auch selber baut, weil dann sieht man die Grenzen davon und wofür das sind, ja, und dann ist es halt, ich sagen hier immer noch ja, okay, aber AI kann das nicht, oder AI kann hier das auch nicht und da hat sie Fehler gemacht, ja, okay, aber eigentlich ist das schon so gut, das ist mein Job wirklich zum Großteil machen kann und das einzige Problem, was das noch nicht machen kann, ist es halt, vielleicht weil es nicht mein Körper hat und sich nicht überall einloggen kann, aber das stimmt auch nicht mehr, weil es kann sich ja mittlerweile überall einloggen, also ich glaube, es ist ja wichtig, um diese Grenzen ausprobieren und dann zu sehen, wie sich die eigene Rolle auch ändert und das wird dir jetzt nur noch weitergehen sollen. Jonas, vielen Dank für diesen Agent DeepDeif hat Spaß gemacht, ganze Menge gelernt und wir machen das nochmal am Anfang nächsten Jahres bin ich gespannt, wo das Setup dann steht und ob du dann auf Strand hier musstest du ein Mic dabei haben für die Aufnahme. Bis dann. Danke.