#136 - Prompt Engineering 2.0 — Warum 90% eurer KI-Rechnung Müll ist

[Musik] Erinnert ihr euch noch ein neuer erstes Telefonrechnung-Shock, bist ihr wo ihr vielleicht zu Hause immer so ein Tarif hattet für 30 eure Monat und dann seid ihr auf Urlaub gegangen und dann seid ihr zurückgekommen und dann wird die Rechnung extrem hoch. Bei mir war es so, ich habe damals bei Schlummerge gearbeitet und ich hatte meinen ersten Trip nach Dubai, da war ich glaube ich kann haben, weil ich so zwei Wochen lang und so. Dann komm ich zurück und dann hatte ich in der Rechnung von richtig so 1.000 Euro. [lacht] Und ich war es halt broch, jetzt ist es eine normalerweise 20 Euro im Monat oder 30 Euro im Monat. Und dann hatte ich eine Rechnung für 1.000 Euro. Wegen Roaming und so weiter und Datenutzungen und so weiter. Und vielleicht ist es ja auch bauch passiert und vielleicht habt ihr noch bei den Eltern gewohnt. Das heißt nicht ihr habt die Rechnung und bekommen, sondern der Papa hat vielleicht die Telefonrechnung aufgemacht und vielleicht stammt 1.000 oder 900 oder 1.900 Euro. Und dann kann man sich natürlich vorstellen, wie es war. Also still am Küchentisch und euer Vater hat dann langsam raufgeschaut. Vielleicht ist er ein Engineer, vielleicht denkt er auch mal demnertisch. Und dann hat er vielleicht so gesagt, 1.000 Euro. Erklär mir das mal. Aber wenn man überlegt, ist es ja genau das selber Handy. Ob das Handy jetzt auf Dubai genutzt wird oder bei dir zu Hause ist es genau das selber Handy. Zu Hause hast du eine Flat Rate, da kannst du so viele telefonieren, so viel SMS. Das beschickt heute noch SMS und WhatsApp und so weiter. Und damals, natürlich wenn du in Roaming gegangen bist, was halt dementsprechend teurer. Das selber verhalten und die selber Person. Nur wie wir jetzt verstehen, ein anderes sagen wir mal, Abrechnungsmodell. Okay, ein anderes Abrechnungsmodell. Und jetzt gehst du rein in Firmen. Und erklärst du ihnen ein bisschen, also Leute, du sitio oder du siehe vor. Wie ist wie diesen Vater am Küchentisch sitzen? Nein, aber wir zahlen 30 Euro im Monat für Copilot, Lizenzen. Ja, aber deine Mitarbeiter werden bald Klodkod, Codex, GitHub-Copilot nutzen, Körsen nutzen das API. Und da ist das Abrechnungsmodell, ganzen andere. Da zahlst du Pro-Tokenz. Und bevor wir weitergehen, gibt es wirklich zwei Welten, mit der wir in Berührung kommen müssen. Das erste ist privat und das Problem ist dieses sitios und dieses CFO, so weiter oder headerwareeis, die denken noch in privaten Abrechnungsmustern. Na, ich zahl ja für ChatGPT+20 Euro im Monat und ich zahl für Klodpro, vielleicht sogar die Superdizenz für 100 Euro im Monat und für Gemini noch mal 20 Euro im Monat. Und da kannst du hier rein ballen, was ihr wollt. Da zahlst du ja meine Des Monats noch immer diese 30 Euro, diese 100 Euro oder was immer. Egal, was ihr verbrannt, so der Preis bleibt gleich. Die zweite Welt ist die Welt in der eure Firma arbeitet. Und zwar in eure Abteilung, in euren interne Napteilung, prüfen jetzt gerade viele Head-up-Compliens und Rechtsabteilungen und so was, ob sie zum Beispiel Klodkod nutzen können oder Codex und die werden das auch zusagen. Also die werden die Nutzung auch freigeben. In dem Moment, wo sie es freigeben, werden eure KI-Kosten in eure Firma, die werden sich nicht verdoppeln. Die werden sich nicht verdreifachen. Die werden sich fährt zehnfachen. Fertzähnfachen. Und bei uns ist es in der Firma natürlich so und auch bei größeren Firmen, die das schon gecheckt haben. Aber ich glaube, so 99% alle Firmen haben nicht gecheckt. Das, wenn man apri, also Enterprise AI nutzt, läuft die meistens über eine API. Und wenn ich weiß, was eine API ist, quasi so eine technische Schnittstelle, es ist die Telefonnummer zwischen deinem KI und ein Tropik oder zwischen deine KI und Chat GPD oder Kopilot. Und da zahlt man Pro Lieferung. Was liefest du mir einen Token? Und ein Token? Wir wissen es ca. ca. vier Buchstaben. Okay. Jetzt. Wir reden von einer Million Token. Eine Million Token verbrennt hier relativ schnell. Wenn ihr zehn Bücher reinballert und ihr sagt, du liest dir das mal durch, dann kostet das ca. eine Million Token. Und eine Million Token sind irgendwo zwischen drei und 25 Dollar je nach Modell. Versteht ihr das jetzt? Ihr habt einen Mitarbeiter und der Mitarbeiter sitzt in irgendeiner Abteilung und sagt, also diese zehn Richtlinien von 100 Seiten pro Richtlinien möchte ich mir nicht durchlesen. Da schmeißt ich mal rein in unser vier Mann K.I. Kannst du das mal durchlesen und mir das zusammenfassen. Das alleine wäre vielleicht eine 25 Dollar Abfrage, eine einzige Abfrage. Und das ist damals, wie ich nach Dubai gegangen bin. Eigentlich habe ich dort gar nicht so viele Umteile von mir. Ich habe wahrscheinlich genau gleich die die findet wie zu Hause. Und heute reden wir über die Art und Weise, wie sich die Abfragen von diesen Systemen geändert hat, damit wir eben Token sparen können, damit es eben nicht so teuer ist. Am Anfang, weil die Evolution ein bisschen so, sagt bitte um Danke, sagt, das ist mein Job, weil ich zu du musst wissen, welches Modell zu für welche Aufgabe nutzen wusst, das war so vor drei Jahren. Und jetzt haben wir dann eine Folge gemacht, vor ein paar Monaten, da ging es um Kontext-Engineering. Kontext-Engineering, wie frage ich diese Systeme ab, damit ich der K.I. viel erklären kann. Und jetzt müssen wir noch einen Schritt weiter machen und eine ganz neue Art und Weise einführen, wie wir mit diesen K.I. Systemen arbeiten, damit nicht jeder Mitarbeiter bei uns 1.000 oder 1.500 Euro ein Token, jedes Moolat, durch Ballert. Ich bin Marc-Mercota, das ist das K.I. Kochbuch, das einzige Podcast auf Deutsch und auf Englisch über K.I. Auf Englisch heißt das der Ehrer-Kuckbuck-Show. Heute aus Briggens, morgen fliege ich nach London, also müssen wir das jetzt schnell aufnehmen. Also ja Leute, Action Let's Go! Okay Leute, also es gibt einen Mann, der diese heutige These, der ganze Podcast heute, eigentlich ist ein relativ kurzer Post von Andre Kapati. Wir haben über andere Kapati sehr aufgesprochen, aber Andre Kapati, das ist so ein K.I. Papst, der war vor er. Der war eigentlich mitgründer bei Openair, also die Firma Judge-Pity-Macht, dann war der K.I. Chef bei Tesla und so weiter. Und er hat einen Satz gesagt, der so geht. 90 Prozent eure K.I. Rechnung zahlt ihr für Kontext den Jahr, wenn ihr braucht. Verstehst du? Es ist das, ob du quasi ein Haus bauen lässt. Und dann sagt man dir, ja, das Haus, also ich glaube, das wird ja sicher, sagen wir mal, 100.000 Euro kosten, ein bisschen kleines Haus. Aber Marc-Mercota, du musst mir eine Million zahlen. Warte, warum muss ich 9 mal mehr zahlen? Nee, das brauchen wir für Kontext, weil wir müssen verstehen, wo das Haus liegt und wir müssen verstehen, wie hoch er sein muss oder verstehen. Wir müssen verstehen, wie viele Leute drinin wohnen werden. Ja, das kann ich dir in eine Sekunde erklären. Und genau so ist es mit der K.I. im Moment. Das heißt, wenn ihr eine Antwort von der K.I. braucht, tut ihr nicht eigentlich doppelt so viel oder dreimal so viel rein im Moment, absichtlich oder unabsichtlich darüber reden wir auch. Sondern ihr schmeißt 90 Prozent viel zu viel Daten und die K.I. die braucht das eigentlich gar nicht. Jetzt macht wir ein bisschen eine Retro. Also am Anfang, am 30. November 2022, ein paar Monate danach habe ich ja mein Job gekönigt, ist "Chachibidi-Life" gekommen. Und dann kam ein relativ schnell auf LinkedIn, Social-Berufstitel, wie Prompt Engineer. Ein Prompt Engineer, das waren so. Stellan zeigen, das habe ich damals auch in so ein Kino zu gezeigt. Da, zuerst stelle ich noch mal ein bisschen. zwischen 200 bis 4500 Dollar im Jahr gehalt bekommen. Was, damit ich Prompten kann, hätte ich damals 400.000 Euro verdienen können? Ja. Wer hat so was bezahlt nach der Open Air and Tropics Scale und so weiter? Und wer das nicht weiß, ein Prompt-Engineer ist jemand, der wirklich am Anfang wusste, wie man mehr aus der Kai rausholt, indem man sagt, "Bitter", oder du bist eine erfahrener Finanzanalyse, oder bitte "denke Schritt für Schritt", "denke Schritt für Schritt" funktioniert bei der "Way heute noch immer sehr gut". Das nennt sich Jane of the North, das ist ein Paper, das rausgekommen ist. Ich glaube, ich ein Jahr vor Chat Gb2. Das heißt, wenn ihr eine gute Antwort haben wollt, könnt ihr einfach sagen, "Okay, okay, stopp mal". "Bitter", "Erklär mir Schritt für Schritt, wie du auf die Antwort kommst". Das funktioniert da, man ist das funktioniert heute noch immer. Heute gibt es, heute funktioniert sein bisschen besser. Das heißt, statt eine gute Antwort zu bekommen, bekommt man eine bisschen bessere Antwort. Aber damals, was wirklich so mit diesen richtigen Sauberworten, konnte man so aus einer mittelmäßigen Modell zehnmal bessere Antworten bekommen. Rollenspiele, Vorgaben, Formate. Diese ganze Disziplik, bitte und danke bei der Webite und danke funktioniert heute noch hier. Und alle diesen Sachen haben die Leute sich anleernen müssen. Das heißt, wenn du bei einer Privatbank gegangen bist, die haben gesagt, also wir möchten diesen Vertrag prüfen und das funktioniert da nicht. Und dann hast du so ein Juni-Entwickler bei einer Schweizer Privatbank erklärt, "Na ja, so funktioniert das, so musst du das aufsetzen." Und er oder sie hat dann fünf oder sechs Stunden an der Raum getan, um diesen perfekten Prom zu finden. 400 Wörter, 500 Wörter und so weiter. Und er hat es dann reingeschmissen und dann ist eine gute Antwort rausgekommen bei so eine Vertragsprüfung. Und dann hat die Kai auch weniger halluciniert. Eine Woche später hat die Bank dann gesagt, "Ja, so jetzt haben wir hier einen anderen Vertrag." Denn dann hat es nicht mehr funktioniert. Weil dann musst du mal sich wiederhinsetzt und einen neuen Promt machen. Okay. Also das ist als Chat GPD rausgekommen ist, hat man so diese perfekten Einzel Promz gebaut. Okay. Und diese Jobkartigerie Prompt-Engenier, die ist so irgendwann mal in 2024 eigentlich auch für Schwunden. Jetzt ist es dann überarbeitet worden von so was wie KI Architekt oder Kontext-Engenier. Kontext-Engenier? Okay. Kontext-Engeniering. Wieder jemand, der Kontext-Engeniering quasi hervorgebracht hat, ist wieder andere Kapati. Kontext-Engenier ist jetzt ein bisschen anders. Kontext-Engenier ist okay. So sagen wir mal, dass kurzzeit Gedächtnis von "Malchem" ist eine Stunde. Also eine Stunde heute zu. Das heißt, Kontext-Engeniering ist dieser delikate Kunst- und Wissenschaft und das richtige, in dem richtigen Kontext-Fenster, die richtigen Informationen zu bringen, damit der letzte Schritt gemacht werden kann. So, ich präsentiere vor "Malchem", ich möchte dies, ich möchte das, vielleicht möchte ich das in diese Firma investiert. Das heißt, ich werde immer diese Sachen zagen, sagen wir mal so in ein halbes Stunde, dann nehmen die Chance, gegen 15 Minuten Fragen zu stellen und dann hat er noch 15 Minuten und drüber nachzudenken. Bei "Nikai" ist es genau das selber. Kontext-Fenster sind nicht zu groß. Also Kontext-Fenster heißt, man kann keine hunderttausende Dokumente in eine Kaischrein werfen. Da ist sie überfordert, da kann sie nicht mehr mitdenken, da kann sie nicht mehr arbeiten. Und ich möchte euch einfach nur eine kurze Geschichte erzählen, die euch das ganz, ganz klar macht. Jetzt stellen wir uns mal vor, wir haben in eine zürichere Großbank eine Senior-Analistin. Okay? Jetzt, diese Senior-Analistin heißt "Mara". Und was "Mara" macht es folgendes. Kurz in der Früh schaut sie rein und sie arbeitet in Körser, in dem Proplan. Und in dem Proplan, was dann passiert ist, sie nimmt irgendwelche Dokumente und ladet sie hoch, vier oder fünf Dokumente und stellt irgendwelche Fragen. Und es kommen eigentlich nur falsche Antworten raus. Wo steht diese Klausel, das ist ganz erfunden, das steht irgendwie anderswo. Wo ist das? Das ist überhaupt erfunden, eine ganze Halluzination. Und dann denkt sie sich, wie geht das denn? Ich meine, das geht nicht. Und dann setzt uns mit "Mara" zusammen und dann sagen wir, okay, "Mara" schauen wir. Statt fünf Dokumente reinzuwerfen, wirf nur ein einziges Compliance-Dokument rein. Warum? Weil die LPI-Calls oder sagen wir mal, die Restriktionen, wie viel die Kai durchlesen kann, eigentlich sehr, sehr, sehr niedrig sind. Die Kai kann keine Hundezeiten auf einmal und fünf Dokumente zu selben Zeit lesen. Das geht sich nicht. Sie kann sagen, wir mal 20 Seiten sehr gut lesen. Und dann noch mal 20 Seiten sehr gut lesen. Das nennt sich "Chanking". "Chanking" ist ein Dokument zu nesen und das rein zu brechen in kleinen Teile, die man dann über die API hochladen kann. Und dann kann man diese analysieren lassen. Das ist "Context Engineering". Wie gesagt, wenn ich mal kümpe, meine Start-up erklären will, damit den investieren soll, dann kann ich ihm nicht hundert Sachen sagen, sondern "I" aufgebrochen in zweiter Sachen. Malkom, das ist das Problem, das ist die Lösung. So lösen wir das, das ist das Team, so viel Geld brauchen wir. Und in "Context Engineering" in eurem Kontext Engineering Werkzeugkasten ist "Chanking" eine sehr, sehr, sehr gute Sache. Eine andere ist "Grab Before Fetch". Also, bevor man jede Datei hochladet, suchst du erst, brauch ich diese wirklich. Jetzt alleine so eine Suchanfrage kostet einige hundert Tokens. Wenn ihr in eurem Fall, wo ihr arbeitet, sagen wir mal hundert Dokumente habt, was macht die KI? Die versucht alle hundert Dokumente schnell durchzulesen und zu verstehen und dann sagt sie, "Hah, okay, ich brauche eigentlich nur Dokument-Rallen-Dokument 4". Aber was ihr machen könntet, ist ihr könntet vor ein kleines Dokument schreiben, so ein drei Zeiler, wo ihr sagt, "Wenn du hier reinkommst und du für diese Compliance-Anfrage etwas wisst, dann schau dir nur das an". Das ist eine kleine, kleine Datei mit ein paar Zeilen und wenn die KI das ließ, dann konnte es kostet das nicht mal Sensor. Also, wenn man so eine Abfrage sich dann anschaut, in den API-Kosten, da ist das 0,001 Sensor oder so was. Aber wenn man das nicht macht, kommt man gleich auf ein Dollar auf API-Kosten. Also das 1000 Fache oder das 10.000 Fache, nur weil die KI versucht, die Datei zu verstehen. Das ist ein weiterer Trick außer Caching, außer Chunking, das sehr sehr gut funktioniert. Jetzt das nächste ist Prompt Caching. Ich weiß, das klingt jetzt alles sehr sehr technisch, ist es aber nicht. Es ist eigentlich alles sehr sehr sehr logisch, Leute. Sehr logisch. Wenn ihr auch jemand rein schickt in die Bibliotheke und sagt, "Du sagst nicht, such mir ein Buch über Quantenmechanik." Meine dieser arme Person war es. Muss sie jetzt durch 100 Bücher durchlesen? Nein, du gehst rein. Sehr gezielt und sagt, ich brauche von dem das Buch. Und dann muss die Person nicht tagelang verbringen, Bücher zu versuchen und dann das Quantmechanik-Buch zu finden. Und Grab-Before-Fatch ist eben sehr sehr ewig. So, jetzt geht's weiter. Jetzt kommen wir auf Prompt Caching. Prompt Caching ist sowas. Also, wenn ihr eine große, große Anweisung habt, zum Beispiel du bist ein Compliance-Officeer, du kennst dich 14 EU-Verordnungen, da sagt, sagt, sagt, sagt, sagt, sagt, sagt. Wenn ihr sowas das erste Mal durchschickt, dann zahlt ihr den vollen Preis. Also die KI muss diese ganze Anordnung lesen, kann sein, dass sie 17 Seiten lang ist, zum Beispiel. Aber, wenn ihr beim nächsten Mal das durchschickt als stabile Präfix an Weiso, dann zahlt ihr nur noch 10%. Eigentlich verlangt ein Tropik 90% des Geldes nur für Scaching. Also nur, dass die KI das irgendwie irgendwo reintut in ihrer Bibliothek. Sobald das aber gecerst ist, um das wieder rauszuholen, dann zahlt ihr nur 10%. Und diesen Hebel denke ich, nutzen im deutschsprachigen Raum keine Mittelstände. Ich sage, und ich sage, ein Purpose-Mittelstände, weil Mittelstände wir haben nicht eine E-Ei-Abteilung mit 5 KI-Gurus. Jetzt bin ich. Sieben ins Bin oder B.R.S.L. oder was immer oder deutsche Bank. Da habe ich diese Abteilung. Und diese Abteilung, die weiß ganz genau, mein Gott, die Tokenkosten gehen so hoch, das heißt, ich muss Prompt Caching machen. Vor allem bei diesen riesen großen Anweisungen. Nicht, wenn ich schreibe, kannst du das bitter analysieren oder kannst du das vergleichen. Dann ist es purschend. Aber wenn ich so eine große, große Anweisung habe zuerst machst du dies, dann da ist dann möchte ich das so und so und so haben, dann müsst ihr Caching. So, machen wir weiter. Nur noch zwei Sachen, nur in Prompt Engineering. Also nicht in Prompt Engineering, sondern doch Prompt Engineering. Oder? Kontext Engineering. There we go. Siehst du sogar Malcolm Prompt einander. Okay, das nix ist Skill MDs. Also ich war in Leoben an dem Montag und ich war im Freitag und am Freitag habe ich mich zusammengesetzt mit Manuel und Simone. Und Manuel und Simone haben meine kleine Firma. Aber eine Firma, die eine große, große Chance hat sehr, sehr schnell zu wachsen. Und wir haben eigentlich über Kai gesprochen, so sechs bis acht Stunden lang und viel Zeit haben wir für Bracht über Agenten zu reden und Agentik Workflows. Und da habe ich den gesagt, okay, Leute, wenn ihr etwas durchgemacht habt von Anfang an bis Ende, lasst euch davon eine Anweisung bauen. Also eine Skill MD oder eine Agent MD bauen. Was ist eine Skill MD oder Agent MD? Eine Agent MD ist einfach nur eine Arbeitsanweisung. Ihr geht rein, das ist eure erste Job. Da ist der Kern. Ihr habt gerade den Kern für das Schein gemacht und dann sagt er, nein, du musst nochmal erweise das, das, das, das, das machen. Aber Malcolm macht die keine Sorgen. Hier ist die Arbeitsanweisung. Die ist so fünf Seiten lang. Da steht alles drin. Eine Skill MD oder eine Agent MD ist eine Arbeitsanweisung für eine Kai. Und wenn ihr diese Dateischreit, dann verbringt ihr viel, viel, viel, viel weniger Zeit, der Kai zu sagen, was zu machen ist. Und Kapati hat das ein bisschen ausgerechnet. Der hat gesagt, wenn er eine Session hat, ohne Skill MD, also ohne Arbeitsanweisung, konnte es kostet, das sehen wir in den Kanal 4 Dollar. Und mit Skill MD 30 Cent. Versteht ihr, das ist ein Faktor 13. Ihr kennt ein Faktor 13, wenige Tokens nutzen, wenn ihr schon eure Skill MDs oder Agent MDs immer zusammenfasst. Wenn ihr die Arbeitsanweisung dafür zusammenfasst. Und das letzte und dann höre ich jetzt auf, ist kompakt. Kompaktion machen diese Kai zum Teil selber. Kompaktion heißt, das Gespräch wird Ihnen immer so lange, okay, warte, ich werde mir das zusammenfassen auf eine halbe Seite. Und dann geht es wieder weiter. Und was machen wir, wie arbeiten, arbeiten, Stunde oder zwei oder drei und kompaktieren? Das heißt, jedes Mal, wenn die Kai irgendwie etwas durcharbeiten muss, nimmt sie den gesamten Kontext oder ein Großteil davon von diesen zwei oder drei Stunden Konversationen. Und die könnte in der Kanal 100 Seiten lang sein. Aber wenn ihr es kompaktiert, dann kommt ihr runter auf eine halbe Seite. Und was ich versuche zu sagen, in Cloud Code, in Codex und so weiter, müsst ihr nicht warten bis hier kompaktiert. Ihr müsst nicht warten. Ihr könnt es selber machen. Ihr könnt eine Command rausschicken, damit ihr selber kompaktieren kann. So und jetzt setzen wir uns mit "Head of IT" zusammen oder mit "Leute IT" und wir bringen den das bei. Okay, das Problem, dass die Bank hat, ist im Moment gibt es keine Schulungen dafür. Es gibt keine offizielle Empfehlungen. Es gibt keine E-Mails, auch in eine riesengroßen Unternehmen wie Kanano, wie Siemens oder wie BASL oder wie die Deutsche Bank oder so. Da ballen sie die Tokens durch und die Chefszahlen für eine riesengroße Rechnung, ohne überhaupt zu verstehen, wofür. Okay, also jetzt kommen wir eigentlich zum interessanten Punkt. Bis jetzt das war alles nur, das war alles "Petting", bis hier wie vor wir mit einander schlafen. Also, jetzt überlegen wir mal in zu Hause. Also ich weiß nicht, ob euer Vater so wie meine ist, aber da ist oft herum gerannt und dann sagt, "Schalt das Licht aus, schalt das Licht aus, okay?" Wenn es nicht braucht. Warum? Weil, wenn wir das Lichting erzmauen, anlassen, wenn du was kostet, das ist ein Passend, okay? Und am Ende des Jahres haben wir eine Stromrechnung von 800 Euro. Aber ob das Licht, ob es jetzt 800 oder 820 oder 850 Euro ist, ist am Ende des Tages wirklich vorst, okay? Aber jetzt nehme wir mal eine Fabrikhalle, okay? Und wenn wir jetzt 50.000 Lampen haben und die arbeiten 24 Stunden lang, weil wir auch drei Schichtbetrieb haben und sieben Tage die Woche Maschinen plus ein Lage serverer, brah! Wenn wir jetzt kommen, wir gleich auf Kanano, 4,56 Millionen Euro. Aber merkt man, es ist der selbe Strom, es sind die selben Leute, es ist der selbe Anbiet, aber jetzt ist natürlich 100 mal die Menge. Und eure Firma hat in den letzten zwei Jahren KI gekauft, ohne den Stromrechnen dabei eingebaut zu haben. Ihr habt zu Hause privat diese 20 Euro glühbierende benutzt und eure Firmen API, die Fabrikhalle, da war bis jetzt kein Stromzähler. Das hat kein Schweing gemerkt. Aber jetzt würde jede CEO ausfreakhen, wenn er dann merkt oder der, der hat auf Produktion und CEO, wenn man ihm sagt, du weißt, du deine Jahresrechnung von 5 Millionen Euro, eigentlich habe ich irgendwie gemerkt, die könnte 500.000 Euro sein. Und in dem Moment, wenn ich malke Masperate reinkomme, dann ist es wüscht, ob dieses Projekt eine Million Euro kostet. Warte, das kostet 1 Million Euro, um diese ganze Promptsachen, die wir in der Firmen machen, zu verbessern, ne, ja klar, man. Weil jetzt gibst du 5 Millionen Euro dafür aus und wenn wir dann fertig sind, gibst du dann nur noch 500.000. Ich bin ja gar nicht greedy. Von den 4, also 3,5 Millionen oder 4 Millionen, die du dir spast, will ich nur 1 Million. Dieser Aniktote erkläre ich euch nur damit ihr versteht, dass es Leute gibt, die sich sogar so was bauen. So was ihr könnt nachschauen, da es geht auf TikTok, es geht ein GitHub-Report über, das nennt sich hier ein Cloud Meter und ein Cloud Meter, jemand hat sich so einen kleinen Würfel gebaut mit so einen Touchscreen. Das haben sie sich vorne hingelägt, nehmen den Laptop, das sitzt auf dem Schreibtisch. Das zeigt in echt Zeit, wie viel Geld diese Person verbrennt an Tokens. Nicht oh, jetzt habe ich wieder 1 Million Tokens ausgegeben, das kann sich keine vorstellen, wie viel das ist. Sondern Leute, ein Mensch hat sich ein physischen Stromzähler für die Kai gebaut, weil auch er einfach überfordert ist mit dieser Kosten, weil wir noch nicht so weit sind, diese Kosten in eine Firma auch zu quantifizieren. Okay, okay, merken, das klingt alles so kompliziert, wie fange ich bitte an, weißt du, wie du anfachst. Eine Art und Weise, wie du einfach anfangen kannst, ist Model Routing. Boah, schon wieder so ein schwieriges Wort. Okay, Model Routing heißt nur, nutzt das respektive Modell für die respektiven Sachen. Marken, wir haben bei uns nur Kopilot oder wir haben bei uns nur Klote oder wir haben bei uns nur Kananungen irgendwas. Okay, das macht einen großen Unterschied. Sagen wir mal, ihr habt Klote. Es gibt den Klote ein Modell, das der sich Heikuh. Heikuh zahlt man pro Millionen Tokens aus putt 5 Dollar. Es heißt, ich schmeis daten, er analysiert es und geht mir die Antworten und die Antworten ist, sagen wir mal so, 100 davon seiten, dann zeige ich dafür 5 Dollar. Diese Sachen, diese Modelle sollte man nutzen, um Sachen zu machen, wie Formatieren, Unbenennen, Klassifikationen und so weiter. Wenn ich jetzt aber etwas von einer mittlere Komplexität haben will, so Code Review, so, dann nutze ich kein Heikumel. Dann brauche ich Sonnet. Aber Sonnet 4.6 kostet gleich 15 Dollar. Jetzt schon das Dreifache. Das Dreifache. Boah. Und wenn ich aber so eine richtig Architekturfrage habe oder wo ich richtig so brainstormen muss, dann nutze ich Opus 4.7. Und Opus 4.7 kostet gleich 5 Mal mehr wie Heikuh. Und die Frage, die ich euch stelle, die auch kapattig gestellt hat, ist in eure Ideie, also in Körsel, Code, GitHub, Copilot und so weiter, eure Developer, welches Modell haben Sie erst die fort eingestellt. Und ich bin sicher, dass Sie erst die fort, dass teuerste Modell eingestellt haben. Aber auch wenn du ein Skoda hast, Und ein Porsche und dann den Bugatti, du fährst den Bugatti nicht jeden Tag, wenn du einkaufen gehst. Du fährst ins Guder. Weil der Schulaiber kostet wenig, da kriegst du deine ganze fünf Kinder rein und alles drum und ran. Und den Ferrari fährst du, wenn du ins Casino fährst. Und wenn du einen High-End-Event hast, dann fährst du den Bugatti. Aber alle die Wellepers oder viele, viele Leute, die vor allem so weibkodig machen und so, die fahren den Bugatti non stop, non stop. Wobei wahrscheinlich sonnet, in 85% der Fälle für Power User mehr als genug ist, mehr als genug. Also wie gesagt, achtet bitte darauf, welches Modell ihr Erstandardinnen habt. Ihr braucht den Bugatti des Modells ja nicht immer haben. Okay, wuf, wau, viele, viele interessante Sachen, auch viele Informationen. Diese Liste ist viel, viel länger. Also wie könnte noch über 30 anderen Sachen reden, ihr machen könnt. Vielleicht kommt, wenn du schon dabei bist, vielleicht nur noch zwei, drei andere kleine Sachen, nur zwei, drei andere kleine Sachen. Und zwar, was ihr machen könnt, was euch vielleicht helfen wird, ist dieses Auto-Context-Loting. Das ist ja wieder "Grap Before Fetch", was wir besprochen haben. Und was wir auch machen können, ist, ihr könnt euch überlegen, wenn ihr Prompt-Ordits macht, Prompt-Ordits heißt, nachdem ihr fertig gearbeitet habt, nimmt ihr das ganze, was ich, schon, Clote zum Beispiel gemacht habe. Und das gibt ja eine andere Kai. Und dann sagst du, ein Handysup Prompt-Ordit erkrehe mir bitte, wie ich den Kontext-Blood, also das, nennt sich "Context-Blood", wie ich den Kontext-Blood runterbringen kann. Weil wenn ich den Kontext-Blood runter bringe, ist das ein perfekter Budget-Killer. Das ist eine sehr schnelle Art und Weise herauszufinden von einer anderen Kai, wie kann ich eigentlich sparen, ja. Und diese Fragen, die aus diesen Podcast jetzt kommen, überlegt euch die, ob ihr wirklich nicht nur das, ob ihr das so als Checkliste für euch baut, weil das erklären wir für mir normalerweise. Aber das andere, was ihr auch machen könnt, ist diese drei Abos, die ihr parallel habt. Was habt ihr jetzt? Ihr habt Clote Code, Ihr habt Codex, Ihr habt Kurser, Ihr habt keine Love-Bill, Ihr habt also meine liste, ist viel länger. Wir haben 10/15 Sachen. Aber wenn ich mir selber zuhör, oder wenn ich dieses Podcast jetzt mache, braucht ihr wirklich alle diese Ernsthaft. In ein oder zwei arbeitet ihr die meiste Zeit und die anderen sind Gewohnheit. Ich habe ja "E Love-Bill", die Super-Proversion. Ganz im März, ich merke mir, gehen Love-Bill einmal im Monat rein. Und als ich den Kurs an der Hochschule Luzellen gemacht habe, da war so ein Typ der Armin, das ist seine Ideal, der ist eigentlich immer in Love-Bill. Aber die Frage ist, brauch ich diese Super-Proversion von "Mernes", brauch ich diese Super-Proversion von "Love-Bill, Leute, kündige ich sie". Und wenn ich sie mal wirklich drei Monate später brauche, dann kann ich es ja wieder nur für ein Monat nehmen. Und alle diese Sachen, die ihr bis jetzt gehört habt, da sind so 8/19 Erhebel, mesbare Hebel, die ihr nutzen könnt, um eure Token-Kosten runterzubringen. Also, was macht ihr jetzt, nachdem ihr diese Folge gehört habt? Okay, das erste und das war auch in Leopand. Ich in Leopand war auch die Manuel und das Simone, das erklärt, dass wir eigentlich KI-Agenten haben, die jedes Monat zu einem Syscription-Ordet machen bei uns. Syscription-Ordet ist die Schauen, wo wir Geld ausgeben und dann sagt sie, "Du brauchst du wirklich Kurser-Pro, weil du kannst die meisten Sachen, die du in Kurser-Pro machst, kannst du auch einen Club Code machen". Ja, vielleicht versuch ich das. Brauchst du wirklich ChatGPT, die private Version für 200 Euro, wenn du Codex in der Arbeit hast für 100 Euro. Ja, vielleicht was recht. Und so kommen wir monatlich auf Erspanisse, monatlich kommen wir auf Erspanisse, weil wir sehr schnell Syscriptions nehmen, aber auch sehr schnell Syscriptions kündigen. Also Syscription-Ordet. Das zweite ist, fängt an, euch Skill-MDs zu schreiben. In unserer Firma, Werrotter AI, haben wir auf GitHub eine Skill Repository. Da sind alle Skills drinnen, alle Helfer drinnen von der Firma. Und somit kann sich jede in der Firma dran verbinden und sagen "Marke, wie machst du das nochmal, dass mit den Use-Cases sich rausfiltrieren, nachdem du mit den Kunden geltet hast, frag mich nicht, da gibt es eine Skill". Und ich weiß ganz genau, wenn sie die Skill nutzen, ist die Qualität sowieso schon besser, weil das ist ja Schritt für Schritt für eine Kalle erklärt. Aber dann ist die API-Kosten für diese Session vielleicht nicht mehr $8 oder $8, sondern nur noch 60 Cent. Sobald ihr ein Prozess mehr als 1-2 Mal macht, bitte schreibt euch ein Skill-MD und legt sie nicht nur für euch irgendwo ab, sondern legt sie irgendwo ab, wo die ganze Firma drauf zugreifen kann. Und das dritte an Werschung sagt, ist euer default Model. Auch bei euch, wenn ihr Klothap geht runter, drückt drauf und bitte ihr braucht jetzt nicht immer Sonnet 4.7, das braucht ihr nicht. Oder ihr braucht nicht schon GPT 5.5, das braucht ihr nicht in 90 Prozent der Fällen. Wechselt das default Model. Wenn ihr natürlich auch das default Model wechselt, dann tut ihr weniger oft, wie heißt das jetzt, you know max out. Das heißt, ihr arbeitet und dann sagt die Karriereuhe jetzt nix und fünf Stunden musst du warten. Wenn ihr Modellen nutzt, die nicht die besten größeren Bugatti-Modelle sind, dann könnt ihr viel, viel mehr arbeiten, ihr kennt viel mehr arbeiten. Also ja Leute und dann kommen wir jetzt zurück zu unseren Vorständen. Jetzt, wenn du dich mit einem Vorstand zusammensetzt, kommt folgendes. Da kannst du sagen, wisst ihr, wie viel wir für Strom jedes Jahr ausgeben, das wissen aus dem FF 3,6 Millionen Ruhr. Okay, fine. Wisst du hier im Moment, Karallung, sag mal, die seid einhersteller, der irgendwie für Platinen, sagen wir mal, also Gold zum Beispiel, zum Beispiel Gold drauf. Wie ist hier was jetzt? Der Goldpreis ist ja 4.543. Das war heute Morgen. Das wissen die. Oder du fragst zum Beispiel, weißt du, wie viel der Liter Benzin kostet, ja, 2.5, wie viel kostet dein Liter mich? Oh, 1,9 beim Karallung, beim Kaufland. Und dann stellst du die Frage an den Vorstand. Wie viel kostet dein Token bei uns? Ah, dir im Karallung was ein Token ist? B, die wissen eure EI-Kosten nicht. Ich habe EI-Kosten vor 6 Millionen. N, n, n, in diesen EI-Kosten sind deine Laptops. Also in einer Dies ist der, ist die EI-Kosten-Kur. Wie viel kostet die Tokens? Und das ist etwas, das wir jetzt lernen müssen. Wir müssen lernen, in KI-Sprache zu denken und natürlich auch wissen, wie wir KI-Kosten optimieren können. Das müssen wir lernen. Das ist eine neue Sprache, die wir lernen müssen. Weil wenn die zu ihrer IT gehen und sagen, also der Merkermat gesagt, bekennah unsere Tokenkosten runterfahren, dann wird die IT sagen, nee, das können wir nicht. Oder die wird nicht meine Idee haben, wie das überventig überhaupt geht. Also ja, Leute, ich hoffe, heute war ein bisschen technisch. Ich hoffe, es war nicht zu technisch, aber die Leute, die EI-Kosten-Koder-Kodex und so weiter, in Nutzen verstehen die Sachen sehr gut, was ich jetzt gerade sage. Und verstehen, dass es nicht darum geht, dass sie es verstehen, sondern dass sie es den fünf anderen Leuten oder den zehn anderen Leuten in der Firma verklicken müssen, die das dann auch eines Tages verstehen müssen. Also ja, Leute, schöne Grüße aus abregend, wo es heute regnet. Und ja, Merkermat.