Den falske tryghed, der gør dine AI-systemer dårligere: Human in the Loop - Soloafsnit med Dan Rose

I dag skal vi snakke om humende en elub i ERI. Det er omtidigt snemne ofte som en nemløsning, der fjerner alle risis i, der kommer med ERI, men spørgsmål er om det faktisk er så simpelthen. Og hvor godt virker det inden og hvor nogen virker det. Jeg kalder afslører, at det ikke virker altid og nogle gange så gør humende en elub, bare tinget være. Så i det her afsnit, der være så givt er indtigt i et, hvor godt virker humende en elub faktisk. To, hvor nogen virker det ikke, fordi nogle gange så har det faktisk en negativt faktisk som sagt, at se et mennesker ind i luke. Og der er mange interessantere oversker til det, og det ved jeg gerne givt i afsnitet. Jeg ved også fortælde lidt om, hvorfor det nogle gange er ret skiter for mennesker med det her luke. Og tre, så ved jeg gerne fortælde, hvor Danne er i, og mennesker på arbejdsamme, hvor det bliver produktivt. Og så vil Danne implementere ved det her rigtigt, så det giver et godt resultatet. Og jeg starter med at fortælde, hvorfor jeg synes det her er det et vigtigt emne lige nu. For det første, vi er ikke kanle humende en elub for en ny hype, fordi konceptet det her ikke sidder længen. Men det er udentvul ved en af de absolute forrigt døsninger vi borer, når vi skal sætte AE-produktion. Og det ved sådan lidt et katsj overlpegræt for sækkerhed. Vi sætter bare humende eluben, så er det altid meget bedre. Og som i var et konkret eksempel, så kan jeg se på Google Trends, at søjninger på humende elub i verden er 5.000 overløbet over det seneste år. Og det er ret meget for at spise fik begrepp, så der er en eller anden trend her der gør, at det er det ennomere relevant. Og så er det også selv, at når virksomheder kigger på en AE-projekt og jure og komplejnsavdelningen, det ser tigt, okay, det her virker riskable. Hvad gør vi, hvis AE til fejle? Så er standardfejle bare roligt. Vi sætter et menneskende elubet. Vi lade den nedbejder, kigde igennem, der er på, der kommer fra AE, og tryg udkendt for osystemet gør noget overhovedet. Og det løder utrolig trygt og nemt bemlimitering. Og det er faktisk bedt så meget, at en standard løsning, at det skræder direkte in i EU-æreakt under krav, menskelig tilsyn på danske. Og det betraktisk faktisk lidt som et kæmpe sikkerhedsnett. Og de har skrædet et helt kapitel om det, der kan pilet fjorden under højris og kursystemet. Og det beskriv os godt, at jeg er meget løsevendninger, men det beskriv os som en masse løsninger, når vi ikke er sikker på, at kalde til, når jeg er brug nok. Og det fjerner ind i en masse risiko for osystemet. Problemet er bare, at det også grund til at tage et oppe dag, at det er en løsning, der løder meget fantastisk på et stykke papir, men det er utroende svære og fortæere fungerer praksist og et specielt tilførge kvalitet til voresystemer. Og når vi kigger på forstækken, så viser det faktisk ned ret skamene. I mange tilfælde gør det, at det mennesker i lubet faktisk den samme kvalitet, doljere, en hvis maskinen bare hedder for at køre, fulstændig på einhånd. Når vi desiderer de her lubet, så skaber vi bare stræsset robot babysitter og endnu være. Vi ender bare med at bruge vores støkkelige medarbejder, som det er en forske at kalde en moralsk deformationzone, det skal nok komme tilbage til. Så hvor vi setter et menneske entom en slags krofanger, for at ta det juridisk ansvar og demore skes kral når alt gritten fejler, og selvom at medarbejderne ikke har indiordet sjankse for at fange fejlen til. Så i dagens havsnet skal vi døk ned i det her. Og vi skal forstå, at voreskende kalder for prestationspart-dokset, og vi skal se på nogle de kronitiverfaldgrubber, som vi kaster vores medarbejder ned i. Og ved det, så verguer jeg tre konkreter design grev til at bygge borgflose med humanelle lubet der ren faktisk virker, og ikke bare er indfaldsk trykket. Godt, laver sig at komme i gang. Inden vi kigger på, hvorfor det går så galt, så laver de prøver at bruge bryrde definitioner lidt ud og få dem på plads. Så når vi sier, at vi setter et menneske ent, så bliver det typisk brugten lille smule tilfældet. Og faktisk oprager vi i praksis med tre forskellige vore af menneske i en planning. Og det første, det den klassiske humanelle lub, det der, hvor at til en menneske af flaskerhalsen, maskinen laver et udkast eller modering og processen stopper efter den moderinger kommet ud. Så inden sker at folk mennesker aktiv kiggerpålet og trykker godkæn eller retter og trykker godkænbefter og afvis. Og mennesker det er en tung del af arbejdsgang. Så har vi human underlub, det her hvor maskinen kører af til nogle, der der trofe beslutninger eller eksikkerer noget løbende. Og et menneske sidder bare inden overlubet og overvå processen. Og det kan for eksempel være, at det kigger ind i dashboard eller man rettuspektiv kan krebe ind og se, okay, nu stopper man maskinen eller justerer vi lige reglerne og enden tingene stikker helt dig. Til sidst har vi eget endelub og det er, at det vi ofte katterkorepeile, det er når et menneske tryk og processen og sidder laver arbejdet og en AI fungerer som en assistent, man aktiv kan heve frem og siden nu skal inden AI kompobanden. Når vi i dag taler om complianes og om man sikrer os med AI-fein, så er det næsten altid den første modell, den klassiske human-indelub med tung godkændelse som vi tar fattig, det er også helv fliste problemet opstå. Så ud over det, så vil jeg gerne gå ind i en misestort til at se et. Og fordi vi forsøger nemlig titt og løs de her generativerie i problematiket, ved at prologikere det kommer fra den præditiverie i verden. Råd til en politisk sådan her, den gange vi var primært arbejdet med præditiverie, hvis der var nogle lov med så længge, har vi med så længge, så er det det vi typisk kaller. Genløning, det er det, der præditiverie noget i et begrætset udfaltrum. Der var mennesket i lupe en ret led øvel, så der er stadig med så problemet med det var næmer og forind, fordi den gange der kunne man måske handme modelt der analyser den transaktion og sagde, okay her er der 55% sensoriet for at det er ved værsk. Og det var en rimelig konkret statistisk kore, det gør være modellen, at den her kore er modellen i en opfattelse af 17. Men det var ret konkret tale og typisk rimel til at påvirke det her. Men i dag er det sådan så de fleste systemer, bruger generativ af i, og der kan vi ikke få det samme tale, det var meget svære og få noget linende ud, så det er bæksejernen generativ af i virker. Om det er man lige prøver at komme med rimelig aktuelle exemplet, som illustrerer den her misforståelse. Det har nemlig fornyggelig jeg tror, jeg stadig er aktivt i det udbud ud og der er det vi gerne givet af i. Det vi gerne har i læser nogle langen komplexer sagde sagtere, igenom og så skal der skrive os resumerier og tidslige nærdudfraget. Det er en meget klassisk jutskase, men i udbudsmaterialet kan man læse at diskrever, som er krav at minimum 95% ud og 100 resumerier skal opfylde kravlet til et godkændt resumer. Der er et af kravne for godkændt resumerier, er at diskreverer acenterere her korrekt angiveelse af en konfinanskore. Altså, maskinens kan korrekt kunne angive, hvor sikker den er på sit aadrøsmerie. Der man læser udbud, så er det meget klart et generativ synesdindig ved at få køre her. Så når man læser det, så afstører der også, at humiden er en lød og nemt på papideren, når man tager skriver udbud med en et praksisk, så er det ekstræmst være. Fordi angestører de tror her, at en generativ a i bakkeleverer en evolut krømfledenskore. Og det er præsive, som en prædiktive modelt kan, og det kan ikke lade sig gøre. Det giver slægt teknisk mening. En sprømodel for at se, at kun den næste år, er for at få en sådan en god statistisk krømfledenskore, så skal man altså over noget prædiktive a i. Og det er en helt andet tilgang og det er en kæmpe ekstra projekt og lave det. Så hvis du bare bliver en sprømodel om, hvor det er en tekst, hvor gode er, var jeg til at kompremt til dræsmeer, så får du en rimelige udsikker modet skivefledenskore på. Og du bærer egentlig bare om halvshylussioner. Og hvad der måske også er, er det, at spørgsmål om man går ud og hud sig, vand kan rejte kompremt til en skore af prønne tekst. Altså hvad kan rejte kæmpe ekstra, og det her er denne af min helt stor kæmpe. Det er at mennesker er næsten aldrig enig om, der går kvittet til der. Og hvis du har den samme 6-akt på 100 sider med 5 forskellige døkdi 6-behænder, så får du altid 5 forskellige 6-restmøger. Og det kan være, det kan være, det er alle samme er rigtige, og det kan også være, det er rigtig, altså med gode, men der vil helt sikker at være forskellige opfattelser, selvfølgelig at meget døk de folk om, der er de mest rigtige. Så der findes en masse med nogen oppe i kvittiv sannheder. Og spørgsmål er så, hvor danske maskinen kunne buddee om, at med det rejse med at korejte om den skore er rigtig. Det er den hele gravel i generativ af i er kommet frem til, hvordan ved vi, at tingene er korejte, så det kan man simpelthen ikke indtil videre. Man kan synes det frem til det, men man kan ikke lave det, som angestøres en bære om her. Så prøver jeg at sætte der ind i 6-behænderne sted her. Du sidder efter med dig, og du har travlt, og du får et af i generatet resumme på 100 sider, som vi op og sker med mæk. Er den 6-sakten af 100 sider, og du får et resummys med dig på skærmen. Og nu er du human indtil du. Det er det andet far, at godkander om resummet er faktøet dignende inden sænker videre. Spørgsmål er, hvordan skal du løn hurtig, hvis du ikke har læst i her 100 sider og i generativet sætte. Det kan du ikke, hvordan skal du vide, at der resummet er rigtig fordi du mangler kontext til at godkander. Hvis du er livhjørl skal læste hele, selv hvor er businesskassen, og hvor er et besparelsen, er det bare kun på skriv og resummetet og ikke på læst i 100 sider. Det ender, at vi har fået businesskassen ret meget. Så hvad skal der praxiserere, at vi tror, at vi har bygget et sikertøstig med et menskelige filter, men i virkeligheden har vi bare skabben process, hvor der er et menskel, der kom i stemler. Man skal ikke arbejde, fordi opgaven er umoelig løse, men mennesker har ikke kontext med mindre, det har fået kontext med alist og material. Så, han kan stjere. Udbud her er et klassisk eksempel på, hvor man ikke skal arbejde med humanindelub. Jeg glæder mig lidt til at se, hvordan de ender med at løves problemet, fordi jeg bl.a. en fed case til at se gode og dårligt implementeringer af en rimel svært problemstilling. Det her er det, at man faktisk er den næste spørgsmål. Det er, hvorfor vi egentlig bruger humanindelub. Hvad er formående af mitte, og deres de prøver at kigge på det. Hvis vi kigger på, hvordan bliver det brugt udvikletet lige nu, så er der en rigtig meget faste år til at man ville at den her til gang. Og lafs lige prøver at lafs lige at læste de mest to udbræte. For det første, så gør vi det for at fange de hele vile fejl. Altså selvom er i er helt fantastisk til at genkælge den mønstre. Så mangler det nogle gange noget meget basalt, mensklig sund fornuft. Og vi har profer i landet sikkerhedsnætterkribind, når man skiner med en helt nyt situation. Det er, for eksempel, som i cybersikkerhed er i meget bedre til at fænde og genkælge en eksisterende type angreve. Det er fordi det er et nytster. Men helt nyt type angreve, så det vil kære dig sig. Siver det i exploits. Det er typisk meget svar situation for AI. Det hænger også det samme med broken legthuer, vi som jeg har beskredet før i den her afstæt. Og nogle gange gør det her AI-løsninger, og så spart nogle skørt ting. Jeg kan sætte huske, hvordan jeg starter med AI, at vi læste i pærefloden i gamle virksomheder, læst vi datefra fakturer. Og selvom, at alle mennesker kan sige selv, at det er meget få fakturer, hvor det er mange miljarder krænere. Man har betalt, så kunne den AI-libluse komme til at sige, "Hå, nu er der den her fakturer, for hvad ved jeg?" "Frog er stengkøk, den er på flere miljarder." Det sker bare en gangebæld. Det er faktisk det vi prøver at gøre ved at sætte humiden, det er at tage de dummeeste farvelvægse, hvor system ikke så dårligt ud. Det er ind i bare det vi gerne vil unge og se dummen ud og heve kvaliteten, de steder vård, det er helt forfældigt. For det andet nænden løsning, der er det helt her, det er det her, det handler utrolig ofte om, hvor jeg er. Det handler om at have compliance og en ansvarsplussering. En algoritme kan vi tage i det rediske, der må være altid, så organisationerne har den indbygge på hov, for der kommer en varnkrop, en rigtig menneske ind og kvitter for beslutningen. Det kan lyde kynisk, men i mange sille fælder, så er det menneske i lubet af virkeligheden primert en juridisk antifrazzforskidelse, der pakket en en teknologisk sikkerhed, og det er meget ofte en fadsdrøkhed. Jeg har faktisk fundet en ret interessant venkel på det her, end det er efter at havet forberedt, og forberedt det her podcast afsnit, så postede jeg på linken om humannet lub, og en af forfatterne til et meget interessant stulde kommenteret på det her. Stulde det er fra Oahu's Universitet, og det hedder "The Value of Responsibility Gaps in Algorithmic Design Making, decision making". Jeg skal nok linke til det i "Shownout", og det argumenterer for at responsibilitygap er at ansvartstål, hvor der er ikke nogen der står til ansvart for fejlen, det kan være demokralskreativ og design af efter. I det er at organisationen, de har en bygget behov for en varnkrop i lubet, der kan lukke det her ansvartstål og tage skrele, som jeg sagde til at starte med, når noget kogelt. Det kan være, at det er et i system, det er et træført infokert, eller der er det for talt beslutning, og så skal der være et menneske, vi kan placerere ansvartstål og den lukkig prøver studet og vend på råd. Det er det tre forske at argumentere for, der nemlig er vi skal stoppe med, hvad er så mange for de her ansvartståler, for de faktisk sier de, at i mange tilfælde er der en massiv moralsk fordel ved at byde ansvartstålerne velkommen, og sige, der er bare ingen mennesker, som man dekler linningen. Deres pointet er, at de store komplexysystemer er så for eksempel, der er en kommunene skal fordel velfærds udelte, eller en virksomhedsskruine masse ansøger, så er det ved at, når vi implementerer et ene i løsning, er det ikke nogen i løsning, så er det al tidskefæld. Og også nogen, som man kan sige, har store skade til dem, der for eksempel har sendt den ansøgning eller syk nu velfærds udelte. Så hvis vi tvinger en 6 behandler ind i et e-I-LU bare til at komis stemple de her beslutninger, altså bare sige, jeg udner kunne være sikker på at gøre det rigtig, så gør vi det, for at vi får nogle mensklig ansvartlige forfældende. Og forfældrene argumenter også for at det er det rigtig skadet, for mennesker og bære ansvartet, for noget eller har begået inden form for uret mod andre, altså bare som en isolerede ting. Hvis jeg gør noget, der er dårligt, så er det dårligt for mig, og så ser der, at man ikke kan kæde, at jeg gør noget dårligt. Det er jo ikke meget mere ind i stuldet i den af afsnitrøj, fordi det er virkelig spændende. Det her det satte der er der vandt for, når et system, der siger, at vi har en løsning vore, at A.I har den samme mængde fejl, der er spændt det her velfærds uelses-exemplet. Hvis man daver 5% fejl i at sige hjærelerne lejt sige nogen må få en uelse med A.I, og hvis man også daver 5% fejl når det er A.I og human ind i L.U., så tilførrer man egentlig bare nogle mennesker, der gør noget, der får en doldlig oplevelse, medarbejlene, der skal sige hjærelerne lejt, uden, men tilførrer en bennefitt for de borger der sørg udsene, som en tilførrer faktisk bare dårligt ting i systemet. Det håber jeg ikke min. Så forskendes konklusion den er egentlig meget enpaglisk og det er, at nogle gange er den mere etisk forsvaret, at det er med skinen bare kører selv, og så bevist akcepter de her ansvarsholder, frem for at tvinge en uskylde medarbejl og til at være den, der bare den moralskabyrte, for noget der lige ved komaterer sker, eller noget de muskier ikke kontrollerer. Det behøver ikke, hvad de ikke kan kontrollere det i form af, at de ikke kan få datagen, men bare, at de uden godlig komaterer lever frejler. Der også en ting, at gerne lige vil stå helt fast her, der er, at humen inde lubet er altid en dolde dag, det kan fungere helt fantastisk. Her, der ved at ta et andet markekrætsstuglig frem, er et stort video for MIT, de har noget, der er sendt her for kollektiv et legendens, og de har fornydt politiset noget i et stuglig i nature, humen, behavior, tidskraftet. Det gør forskerne gør her, at de har grømme god 100 experimenter med samarbejl med mennesker og maskiner, for at finde ud af, hvor nå det faktisk fungerer. Det er ret spændet. Stulligheder, humen er i synesiet, og det er der en masse situationer, hvor mennesker og maskiner til sammen skaber et mærkbær bedre respektat, en hvad de kunne præser, hvad jeg får seje, og der er svødøres nogle steder, hvor det skaber et rolig respektat. Og forskerne konklusion er en også ret simpel, der er, at synesigen opstår primært der, hvor mennesker tilfører en kontext, som maskinen ikke har adgang til. Det igen, vi skal huske "Product and Theory", hvis der noget du ved, som maskinen ikke har en særkseforvedet, så er du god og ham ved i lupe. Og laver gik to eksempel at forvirksomheden, hvor det virker sendt rimelig maskinet. Det første er inden for klinisk djernerstik, et studietestet nemlig hvad der sker, der skadet, studerer og radiolover, bruger af i til at finde knålebrød. Og det gjorde det på over 2.600 rønge billeder. Og her fungerer jeg en nemlig sådan ret god sækkerne pinion, der markerede mistingene områder, og det der er maskinen ikke ved, hvor den patienten har det, eller hvor den er et fald for example der sker. Og lænne her har sådan unikke patientkontext, og i det her tilfældret, der visste studiet, at lærerne og af i fældskab lyftet djernerstikene fra en øjekelighed på 64,5 % til 65 % og lærerne sparet 27 % deres tid. Så maskinen havde data fra billede og menneskehed kontexten, og det skapte en synergik som gjorde, at de fik bedre restatet. Det skal de sige, at man kan også vende det her studiet om, jeg har set tidligere, at når lærer har en kontext på en patient, så kan den kontext være så bejrest som for eksempel, hvis en person er kraftigt overvægtigt, så kan man håe det kom til at tænke, når den typiske komplikationer fra overvægt og måske ikke et brud. Og den bejrest kan faktisk ødelægge læns resultat eller lænsk koldtid i nogle tilfældet. Så der er sådan der plus om min ud. Det er en eksempel, det er det, jeg nu før, det er i cybersäkerhed. Her viser studene, at når man har det automatisere forståssystemer, så er det virkelig godt til at være i virkelig godt til at overvå rigtig mange netberkslok og fjernet en masse støj og gennem de her typiske angreb. Men når du kommer til det helt ny, siver det, er exploits som en eksempel, så kan man typisk til kort. Her er også en menneskel, der er rigtig god, fordi de kan typisk både se på de her ag genererede restrater og have deres egen, så en integration til vædder, animæler, vædder, ikke og med. Og til samt gælde det bedre restræt. Så i varie tid for at skulle de konkurriere, at EI med humanin lupe kan være en virkelig godt aktektur. Og når mennesker de supler med skinen med en specifik farlighed eller kontext fra virkeligheden, så øjerte kvældtiden. Men spørgsmål er så, hvad der sker når mennesker ikke har den kontext eller måske ikke har tid til at få den kontext, hvad er restrater. Og det er så følge meget her, hvor det går rigtig afvåliggellet. Og den inbygget antelsen, en næsten alle virksomheder, der er jo den menneske, plus A i, det giver det bedste restrater. Og det passer simpelthen det. For i nogle gange er der en direkte, som jeg sætter start med, negativ effekt af at brængere mennesker ind i duplet. Og det kaller vi for præsentationspartdoksen. Så deres de kommet bad til det her i Mathis studie. Det er de undersøgte, det var nemlig alt udordet de opgave vores. - hvor der var synergie og det fungerede rigtig godt. Så var der også noget, hvor at i nivåvarend var bedre end et menneske til at genmiskuge data ind. Og et af deres forsøg ikke ud på at spørge det faldskæk, hvordan er mennesere. Prøv at høre, at jeg tager, der mennesker forsøgte at spørge det faldskæk, - at mennesere er lene, så ramte de noget aktivt på 35%. Der er en fikl over og kører helt alternon, så ramte det en 3,4%. Og det var så klart bedre end mennesker. Men der er en kombinere open, at klassiske humannede lupsetter, hvor at mennesker fik lort og se af en soudering på skærmere, - og så skulle de selv vælge det bag efter, hvad den endelige beslutning var, - så landede noget aktivt på nye 30%. Så mennesker humannede lup her, det trækse med henne den samlene precisionnede. Og som forfatterne for klarer, så er det konkurderer. Så hvis et menneske alene er bedre, så er mennesker så en syge nivis, - også bedre til at vide, hvor når man skal ståle på A1 og hvor når man skal ståle på sig selv. Så du kan godt sagt være at døgtige en A1 på forhånd, og så kan du overvå og køge i den ordnet. Men hvorfor er det mennesker, kan træk A1 ned, og hvorfor er det vi ender med underkendene med skinen og den her ret, - og hvorfor er det vi nogle gange ståler på den til fejl? Det spørgsmål er også bliv undersøgte i et andet ret fascinerende stupe, - som har til den konjunktivt challenge-hæs af en human artificial intelligence corporation - en investigating depart towards productive delegation. Forst kan det i det her studie, de undersøgte de konjunktiv udfordringer, - hvis jeg var bejdet og det de komploderer, det er at vi mennesker mangler de de kældre medtavet. Og medtavet, det er vores A1 evnetuer, og volderer vores A1-kompetencer, - altså præcis det vi ved og hvad vi ikke ved. Og forstning viser, at vi har en katastruf fælddårlig medtavet, - altså i særne opgærende er komplexe, fordi når vi står i en svært situation, - så uddeligerer vi en nervest, de fælddet til A1. Og vi undervudderer A1-koreaktesvar, og vi får en irrationell medofenemse. Og samtidig så ståler vi bare bliv på maskinen i de steder, hvor vi ikke får stå noget selv. Så forkører det hænke og krelt, så det er lige prøv at kigge på to kendeexamler, - på hvor at den her mangler på mitten ved en D-reftere i en dårlig aktiektur. Det første, det er silo, det er den ønyste eksempel. Det er denne her amerikanske eind omskede gand. De brugte A1-tere for at sige huspriser, så silo automatisk kunne opkøbe husen, - set dem i stand og selvom med profilt. Og de havde faktisk, de havde A1, der så prædigtede en huspris, - og så bag efter, så havde de nogle menskexperler, som var lokale eind om smelter, - sidenne til at varelite det her priser, så det var ikke fulstant det, hvad A1-sae. Og det der sker i det også, ved du ikke, nu andre studer, - det er, at det endte mere, hver en kæmpe katastrufe, - silo, de tabte over 300 miljoner dollars, og de måtte det 45 % af deres arbejdsstyrelket. Og spørgsmålet, det er jo selvfølgelig, når der sidder de halokale eind om smelter og eksperter. Hvorfor var det så, at de kreppe ind, når Algritmen var alt fra optimistisk? Og det gjorde det sig at man ikke, fordi at de manglede kontext, - af en den rejnede priser udbaser på nogle skatterregister, nogle historiske selvdater, - at det er lidt billeder. Men det er den ikke viste, det var sådan noget, som for eksempel, - at der skimmelt svarm i Kælern, eller at der er noget ulovlig eller, eller et eller andet, - at der er røg, eller hvordan, når man egentlig kommer ind og krejs i det råfladen, - og at den sidder så ud. Så problemet, det var, at de her eksperter, de var sidder baskærm, - og så skulle de gå i kæmpe priserne. Og de havde helt en fysiske kontext, som A1-manglede. De var ikke ud at se på husene, de sidder bare kiggeret, og så den samme detalj dater, - som en A1, og når du komponerer, den manglende kontext, - med, at der var et stort press for at få den her vækst, som sider, og gerne vil have, - så havde, så var der steg til at gå dyber ind og finde den her kontext, hvor menneskerne. Så i virkeligheden, begyndte de bare, bejænde godkender, og det reducerer dem til de her gummisk dem, - der var de bare, siger, ja, eller nej, og skal de som kom videre i tekstning. Det var opnede, det var egentlig bare, at man fik skaldeet, dårlig beslutninger og samtidig, - så havde man en fatt trøkket, fordi der var nogle mennesker, der havde sagt, ja. Så klæsse eksempel på, at hvis man ikke giver mere kontext til mennesker, - så en A1 har, så gør man bare tænke det været, og så tror man, at man kan stå på afputtet, men det kan man ikke. Det andre eksempel, det er også et meget kænt eksempel, der er Amazon, der forsøgte på byggesne den A i rekrutteringsverkte øje, - der skulle skeende masse sever, og modellen, den var trændet på en masse historisk data, - og det var en meget, mens du mener, takpankse, det var takført de skulle anset, - og det endte selv i med, at den her modellet, den systematisk begynder, fra sortere kvinder. Og igen, så var der folk med i luftet, og her, der var det nogle HR-specidister, - som egentlig skulle have fanget, at den her modellet, der begynder fra sortere kvinder, rimelig systematisk. Men det gjorde det ikke, og det gjorde det ikke, fordi her, der fungerede systemet, - egentlig bare, som en black box, den gav nogle kandidater, ind til 5-djerner, - og både for at de her stjerner var bled gud, det kunne man ikke se, som HR-medarbejder. Og hvis det her problem er der, der sker ud af data for starten af, og man ikke kan se, - viksomvædens når man skinens resurder mange, så får man så mange, når man i midtøveten, - er som midtøveten om modellen, og det er svaret til kontext, så i det her tilfælde, - så har man altså hælder i kontext til at sige om det er en god eller dårlig uddeling, der kommer. Og så ved jeg godt, så der mange, der vil sige, he, okay, den husk lige, - at der er noget, der hedder Explainable AI, så tvinger vi bare modellen til at få klarer, hvorfor, - at der kommer fremt til at se, ved det, er godt, det er det skit. Men altså her viser forskning faktisk også noget, den viser, at Explainable AI ikke altid af QuickFix, - og det er blandt andet et paper, som man hedder "To Trust" og "To Think" - at konjunktive forzingen, functions, can reduce, or we lines an AI. Det forfatterne her viser der, at Explainable AI i mange tilfælde, for hvad er problemet, - og det er det man kalder et forklarelighedsparadoks, og det er ret sjældende, - at når vi har trævnet at vi gider forholdere til de dybtige gode argumenter, - altså vi har forholdere sig egentlig bare til om det løder overvisende, - fordi der bygger vores hjernen her, og stikter sig at okay, det her, det løder en rigtig, - det ser veler argumentet ud, og som er maskinen, har styr på det. Og det er også, at om maskinen bare tottelt hallucinerer en mega lang plavsiblet efter rationalt sæng, - og hvis du kan huske et tidligere afsnit, hvor jeg også er starket med benemindens sagatrød, - det var også så starket om det, at de her output vi får, så bruger modeller i dag, - og sier, hvordan er det kommet frem til et tvar, det er egentlig bare af fake. Så ved vi, at der ikke er nogle grund til at gik den her intikte i generativsystemer, som det sidde lige nu. Men det forfatterne også præger på, at når de her gode forklaringer eller vel argumenteret forklaringer kommer, - så sænker vi egentlig bare på ræderne og så laver vi være mere været så kritisk over, for det vil se. Så er rundt et snak, så kom de frem til, at hvis man kun giver en overrattør, - så den der side, som højvennede lobe, en datevis eller fragmenteret forklaring, - så aktiverer vi mennesker kritisk sands, og deres vil til at tænke selv og gå det dypende med kontexten. Og om man så vil vi giver den fudgige forklaring, så aktiviterer de bare det der står. Det synes jeg er ret spændet. Det er også en anden sådan, nye drag reaction, at vi tror, at det er eksplendet på læge, - det fixer en masse af vores problemer, men det viser så bare, når vi kigger på det, at det gør nogle gange bare tingene være. Okay, vores jerner er rent fyllot skud sammen på en måde der gør et skrimeligt, ellende til at være det her sikker og snett. Og forstå de pager på, at det er et, den rigtig, helt specifiket, bejereses eller mentale genvejder, - altid er også en tv-faler i her. Og for det første, så er det vi kælder, vigtiglens dokument. På danskede det bare tape er overvundhed, og jeg taler os det, om det er i august 1936, - om brainfri, og der er, at vi mennesker, vi kan ikke sidde og overvå, - og til sting, der næsten er altid ret, hvis en afileverer i et 25 % kv. svar, eller 75 % af tiden leverer kv. svar, - så så når vi simpelthen er ud, vi bliver udlyd søren, og vi er en af de her passie, urobot, babysitter, - og et ret tragisk eksempel på det er udlykkende med det der hed "Tarak 25" i 1904, - det var en rimelig, at jeg har unkisset strålepandlingsmaskin, og man skiner den gæk konstant over tøjrenden, - nogle kryptiske fejlmeddel, som beskærme, som de skulle være trøk på sige, - fordi det var typisk bare sådan nogle ikke fejl. Og fordi det næsten altid var ikke fejl, så blev de vantet og så vigtende at ren reflex bare trøk på sige, - de var meget vatterskilt, og der er så endelig varent fortælde fejl, så trøkket de os bare igen til følge. Og de opdater det ikke, fordi det var mentalt slukket over den her kritiske sands, - fordi der havde været så mange udmengkommers, og det endelig var det, - der var nogle der døde af, fordi det blev bare trøkket på fulstråling, - nogle gange, hvor der ikke skulle være trøkket. Og om det her kommer belejlighedet hos Bayas, fordi selvom af implementeret for at vi kan spare et tid, - så skaber det faktisk en præs for at vi kan eksikvirre, endnu hårde det her, - fordi at nu er baselineen, for hvad vi kan nå denne bar røkket. Og bruger den som svært af det her, akcytter egentlig bare godt nok alt putt fra AI, vilket forringer kvaliteten af volderingen, fordi nogen af træv tilhandel var, at man skal være lige på sige godt nok til vi kaksteterede. Så for eksempel hvis vi har en masse sære, en orsæsbehandling og man skal nu kope i. Så trykker man bare videre. Jeg faktisk har selvt seet det her for nye punkt case, hvor de mennesker der hedder ansvært for en process. De havde sementen helt troppe kvalitetkontrollen, som var mindingen i processen på grund af et tidspras. Og det gjorde at det eneste de lavede var, det var egentlig bare at sidde og tage sigt, som de godt visste nok var lidt forkert. Og i det her, så et de her tyber situationer, så er det næsten altid vores reaktion, at ved et beklæmme løsning, så den var vi for problemet løsende for det væk fra os, bare det godt nok, så akcytter vi nogle fejlen for at forrøde skriv på rød. Det bliver også kaldt læsier at prøve at forrøske. Så her, der laver vi så meget, vi har en kvalitetkontroll med relælet, relælet, så stedet vi bare og godkender for at komme videre. Der også er det, der hedder besødelseseffekten. Det her ser det en daumend effekt. Det er den emotionaltildt tilknüttning, vi får for ting, vi har investeret i. Og laz nu sige, en medarbejder har stedet og svæt i langsed over en god prompt, eller prøved at få en A, i til at have gott output. Så til at ikke have de liplusste, det her output, en langt højere, hvad de end det er, og betyder til at have. Det kan jeg, man måske, selv, eller man har brugt med sin ettergipen noget, så har man tværvæg akcytter og sønkost. Og vi ved helst ikke, kan se, at det bliver lavet og start forfra. Sæt om det er optimale gør, se, men bare fordi vi sætter investerede i det. Men de to måske mest afgørende og farlig fallegrober, det er for angkring spæres og bekraftelsespeis og confirmationpeis. For angkring spæres, det har jeg svet ind på nogle gange før, men det betyder, at vi har det andre første støkke information, vi præsenteres for det for meget stor vegt. Det bliver sådan vores mentale angre. For når A bliver en del af en process, så der rigtig ved, det vi tænker over, hvor nob det her angre skal småes, hvis du skal være kreativ og skal finde på det helt nyt, så skal du ikke smået A i angre. Alt for tidligt skal jeg komme senere i processen, fordi ellers tager det din kreativtid, og så går det bare ud for det A i har sagt. Og det her kan forstærkes af confirmationpeis, hvor vi efterfølgende sætektiv begønder at lede efter det information, der bekrafter det angre, vi har smitt eller rød, og så alt der ikke bekrafter angre, det er en rød, bare. Så vi har selvfølgelig haft nogle sager her hjemme, omkring det her på velfærds overvågning i det offentlige, og der havde amlis det i faktisk en helt et kritik af udbetælling Danmark, som man diger af ATP, og her der brugt man nogle modeller til at skandes store data set, og flake borger, der havde potentiell snud med socialt udløsere. Og problem af, at når man smider et angre, som potentiell snud, så det der sker kognitiv for insæt behandler, der at man måde tage en say på skærmen og kan se, og Danmark potentiell snud, og så kigger man efter information, der bekrafter snud og ikke gik opiktyp på det mere. Vi har også haft nogle andre sager, hvor til stammen bliver påvirket af et afput, så bliver man virkelig påvirket og daver nogle store fejlen. Så det der sker, at man ubevist begynder og kører en sådan en form for bevidst førstelsjagt, hvor man prøver ret farligt gøre det med skinen, tænker. Og i de her situationer, så det virkelig afgørne, at man tænker den her menneskelig reaktion ind i sin UX, så er faktisk en måske, men ikke prøv at flake potentiell snud, men mere siger nogle ting, som det her information, bare du tjekker, er en borger, så dræse er måske forkert, men det kan der være mange oversager til. Så i det ene er, at når vi tror, vi er sat et mennesk ind for fjerne bejres og se krigt sikkerhed i sådan nogle her typer systemer, så tager vi meget ofte fejle, for de i mange tilfærdet så fungerer menneskede i lubet, som en form for vydvæsker og ind for stærker af den her alkohedmisk bejres. Og det er så, ponselt, det betyder det her, så at i sådan nogle her systemer, human inden du være en bare ring alkohedm. Og for det at afstå det her billed, så ser vi faktisk også nogle gange det modsatte, alkohedmisk avhation. Og hvis maskinen først har lavet en åbenlyst dum fejlen, så hvad hedder det, og den måske fungerer som en black box, så kan nederbejde at fuldstænde i mestetiliden til AI, og var konsekvent begønne at afvise al grødmænd, lige meget, hvor godt et svart den har. Det har jeg selvopelt mange gange, der skal en doble afput, fra at mennesker skal helt forfra overvise, som er i kanod. Og når man ligger alle de her konditivkortlundning af sammen, så tegner der sig et rimel udforddene billed af, at sikrer et AI-avput med human inden du ikke bare skeder mere end det gavne. Og det bringer mig faktisk videre til et af de viktigste begreter her i det afsnit. Og det er, det som et ekologifororskaren, Madeleine Ellich, kan der for den mål Krumpelssone, den morarske deformationssjående. Prøv at tænke på frenden en bill herring. En bill er bevisst designet sådan, så den har en Krumpelssone, den eneste opgave, med den her Krumpelsson, der, at hvis den rammer noget, bilen, så kryller den samme og absorberet det her energi, der er i for eksempeligt et trafikohed. Så både passjeren ind i bilen, men også måske ind, der bliver ramt af bilen, ikke tager hele slad fra ulyken. Det er Ellich hundakomentere for her, der er, at i IT og AI-systemer, der har vi ofte vent den her logik om på råd, det er en af menneskerne, der fungerer, som den her deformationssjående. Når ledsen indfører et AI-system og sætter en af mindre medarbejda, en elugget for overvåge, så ved vi nu for forskningen, at mennesker har ikke det ventevis de har ikke mulighederne, eller kontext til her fange af alle frejler, nogle gange af det fuldstænde mulighed. Og så er spørgsmålet, hvad er det, så de her mennesker funktion er. Og der, lige præcis, at være den her mål Krumpelsson, den her juridiske og morarske, kom for deformationssjående for et IT-system, så mennesker beskøter IT-systemet for at blive skade. Og algeritmet begynder at bekoffere fjel, det kan være den diskvernereen borger eller oversanen, kritister og nose, eller udbetættet at få kære beløb. Hvem er det, så derfor, skulen, det er, det ikke virkelig noget, der bygge modellen, det er ikke topletet sådan, det bliver købsystemet, det er selvfølgelig 6 behandlern. Det kan også være en lege eller en kunnisk øjsmålet, bare der hvad nu er, fordi systemet, og ladet sådan, de kan bare se, ja, man der var et menneske i luubet, det var 6 behandlern, der klægte godkænd, og så var det en menneskelføl. Og jeg ved ikke, altså hver gang jeg hører nogle skige, det var en menneskelføl, så tænker jeg altid, der er ikke noget der hed menneskelføl. Der er mennesker, der sidder sæt ind i en system, som skaber nogle fejl, som er naturlig, men det gør det ikke til menneskelsfejl. Det er meget meget sjændende, vi skal kunne kigge på et enkelt mennesker, den person er aline alt svarelig for et dårlig outcome, så har du også bygget din processer for kæld. Så det der sker, der vi placerer her ansvaret huske menneske, men vi fra tag, men de ved den inden i kontrol, altså de kan ikke have den kontext eller de kan ikke bare prøve de her bejse, som vi lige har været igennem altså de har konjunktiv spillereilere, fordi det kan mennesker bare ikke. Så vi prøver egentlig bare, hvor smederbejder til at opsobere de her, hvis vi skal sige juridisk istud, og så kan jeg på dem, at jeg kan teknologien og systemen, at de kan egentlig bare gå fri, og det kan jeg det udsne os. Så den ultrærtige uslavsed i mindoptigt ved hymeten, det er, at det er dårnd, kvar As, verktøj, som egentlig bare, at det får at have nogle af skulle skyldten på og ikke øje kvittet til den video-system. Og det synes jeg faktisk er en vinkled ved fortælling om AI og sikker AI, som mangler ret meget. Men okay, men spørgsmånd er så, hvordan kommer vi så ud af den her fælde, hvis vi ikke bare vil have stresset robotbibisider og moralskede deformationssønder, hvordan designer vi så et du kan ikke få derin faktisk virker. Og der har forskning også en masse grove vinkeler og hættesvis også nogle ret konkretes far, som vi lige vil ta i her til sist. Fordi vi kan ikke bare drubbe i hymeten i det lube, der er masse af steder som så før, hvor det giver masse opmængelig når der er ekstra kontext fra mennesker. Løsning er bare, at vi skal designe de her hymeten i det lube forløb og processer anderledes. Og det første vi kan gøre, er, vi kan bruge det vi kalder for konjunktivt fangfunktioner. Og vi teller om det lige før, for angkingspeis, der er nogle eksempel på særm med velfærdsovervåning, hvor hvis man først får noget fra en A i for tidligt, så man får angkring det. Og spørgsmånd er, hvordan vi prøver den her for angkring. Og det gør vi ved bevisst at bygge frikktionen i vores systemer. Altså, vi vandt til at tænke det skal være sådan der rimelig glidende og fiktionsløsende, jo mere glidende, der er jo bedre føles i en UX og system. men navite. og maldering om, er i afput, så skal vi nogle gange gøre det mod sætte. Og det betyder helt lave praktisk, at i nogle tilfælder, så skal du viset resultatet til, så må du ikke viset resultatet til en vedarbejder, som det første. Du nød til at restrukturere workfledet en lille smule, så du skal tænke medarbejderne til første afkået råddatagen. Det ved jeg så siger, at du skal be medarbejderne om at afgiv i landet forløb i sættesendet, skal du i et lukket interfæst, det kan være du måske bedre medarbejderne om at vælge en kalkuri eller skrive i landet stickerer, inden et af i prædiction eller et afkommert fram på skærmen. Og det er lidt sådan et færd, jeg kan sferere her, fordi i nogle tilfælde, så vil det rædders for en masse katterstrofer og sikre kvaliteten i andre tilfælde, så vil det udeligt den her business case, at det mennesker skal sidde givne kog alt kontexten igen. Og at vi kan lide tatt nogle eksempel af, hvor det udeligt ikke er helt idén, eller et eksempel. Prøv forstælder, at du har en kundeservice afdelning og det primære problem, der man modtager i landet 2000-tryverede mellem som dagen, med spørgsmålet som vormind parke, hvad med loggen. Og her er hele business case, at vi bruger a i til hårdede afdelningsmalen, hur de genererede af et færdedkast, og så medarbejderne skal ind i bare bruge 2000-kunder på at skivemende. Det er siden, at det er meget unik kontext, og det er helt aggivt og død. Så det er noget i lovrende, hvis der ikke er meget unik kontext, og der ikke er meget risiko, vi fortæller frejlet. Forført til at frejlet, så er det et godt sted, og putt humendende lube ind, hvor det er en giver afput først. Og hvis du i denne processet bygger en trænk funktion ind, hvor at nederbejder først kan tage læstet hele gennem, måske i landet udkastet eller vælge en kalekrie, så har du uddagt hele tidsbesparssen. Så i det her low-risk hajvolium processer, så skal man ind i bare fortidt, som vi plærer kører. Men der har set et eksempel på en mudsert her, der er, at hvis prøver tænk på en læse, så er det et rønke billed af kraft eller en tidsbesparen af kommunisk afkører en trafning afgøltet i en komplexa omgivet på Davri, så er opgavn svære, og den har meget unik kontext, alle tager forskellige her, ikke at alle krafttydomme eller kraftfuldige, og prisen er en vant fejl, og høj, så det er også en halvisk situation. Hvis læn er åbnerringen billeder og er i en allerede fra start og satte stort rød cykel rund om et landet i gørne eller i landeste, så er det vi får den her for angkingsbejres. Så læn sigernet ved hele naturlisumene, kig på den her rød cykel og være primært fokuset der og glæmmer rasen af billede, så det er der, hvor man kan overset noget. Så i de her tilfælde, der skal du vise billede og be og med en anden reaktion for læn eller vise satsmadrille først til en medarbejder, hvis det det handler om, og få dærsvuddering eller forme til at gøre et eller andet som gør de har setter ind i noget kontexten. Så toppen fingeren er prisen for fejret høj, så skal du bygne funktionen og tvinge medarbejderne til at vise prisen fejret lave, målede er effektivitet, så skal du fjærne funktion. Det er et etet, og det kan du grep, man kan tage det, det er det, vi kan der er "Dedication inversion", så er vi først lavet en a i uddedegerer. Der har vi et et i studiet, vi tager dem tidligere, tager det om, at vi mennesker mange af meterveden og vi er jo trodlig dårligt til at vore nøgen opgave os færfor os og vore nøg den er bedre til maskinen. Men maskiner har faktisk gået af i studiet, og har faktisk tændt det, der er bedre meterveden i nøges. Så er det de her præditivlysning, jeg har en god konferent skor. Der kan maskinen rett og hurtigere sige her, er jeg nærligt og procentikker, eller her er måske kun færre procentikker. Her løsning er, at det er maskinen, der uddedegerer de ting, der skal kage skemme til os mennesker. Det kreves fordi præditiv er i, som et tal om tid der. Men det spærer os også for en helt masse, trijeltet opgave og vi unger for det her, er at brainfrile og vi unger også for den her automation bias, hvor vi bare sidder, trykker videre, de som dem der kørt den her strålmaskin, der fik masket fejlt som ikke. Det her konceptet ender, så er det op at de vil kældre aktivløning i treningstater. Det man gør, der er de steder, hvor en AI har mest har svært ved at komme ved et rigtigt svar. De steder peger vi ud og så giver vi det til nogle mennesker der sidder og giver fik bagstret, så det kan bruge som treningstater igen. Det er godt. Men du selv måske også her tænker, men var det ikke lige frisistet ud, kritiser en kestyrsen for at sige, at der skal man bruge en konfinenskorre, det kan vi ikke begynder til AI. Det kräver nemlig den her prædektivet, at få en politikonfinenskorre. Så når vi trykker videre, kan man godt få en skor på, hvor sikker var den på det data i hvert fald var det rigtig. Så kan man tjejøs og frem til det, men det er ikke klart ikke lige så godt i generativ synesdinger. Så i det ene er så, at vi kan køre human underlupe, der hvor at synesdingerne er sikker på det her ret, eller meget sikker. Og så kører vi human inden du, der hvor at AI-løsningen ikke er på 100 sikker på sig selv. Og det 3. og siste grej, det hernne ikke så meget om såfører, det herne er ind i bare mere om lille til og kultur. Og det, det vi kalder korte og terejner. I det er, at lille skal skepe en psykologisk trøk kultur, for at det er aktsultækkelt, i bare sultækket faktisk, men de rejte for vendet, at man nogle gange går i modsystemet. Og for at få sin gamle røsport, at når korte er terejner i pass og sammen, så føler man terejner. Og AI-ens output er i virkeligheden bare korte, men de nederbejder, at sæspehanderen læge en rødgiverne, hvad det nu er, de står ud i terejner. Så når menneskinen korte ikke er mening i den virkelig kontext og menneskede skal jeg have en så skal menneskede have en et mandat til at underkete maskinen. Og de skal have en kulturell ting, at man selvfølgelig tænker, om man har mere kontext i en maskinen og så det bare er mere følge til regnet. Så det er ikke så meget en processdesignet, det er mere en kulturell ting, at det er okay, at det er for vendet, at når de to tinger i pass og sammen, så kører man med til regnet og sin regnet ved den. Så okay, og så til sidste, så bare de peger på, at ligesom i de sineste peger afsnit, så peger de her problemen med humaninelub, at man har brug for mange flere processer, der bliver full automatiseredet og måske endda jeg har de her ansvarshuller. Og ikke, at istedenfor, at vi bare halv automatiserede en masse processer og setter humaninelub ind, fordi det skaber sig med en bare masse problemer. Så lasst de på op, som med artisisting, at skrive humaninelub ind i en kompleienstorganisation, det løser bare ikke altid i udfordringen vi har, det bliver lidt i børsport og det er lidt indfaldt trøkket. Hvis du designer humaninelub for kære, så får du en dove de samme kvalitetet. Du får brain-fright medarbejder og du vedværsker og forstærker af i alt grødements inbyggede bejses. Og man ender egentlig bare, at vi har brug sin døkdysde farfår til skrele spanden, i ryddske skrele spanden og de her deformationse. Så til gengæld, hvis du gør det rigtigt, så får du en synergie, hvor du får mere kvalitetet af både mennesker og menneskiner. Og det synes jeg er ret vigtigt, at det er en svært og gav, at få mere kvalitetet ud af mennesker og menneskiner, end bare og sette den ene eller den anden op. Ok, og så det synes jeg også, vigtigt at spørge sig selv om der er, at de medarbejder vi at sætte en et EI humaninelub, er de sætter for at gøre en prosive forskel og ved, at de gør en prosive forskel eller er de egentlig bare sætter for at vi har nogen og gi ansfordet, når tingene er kogelt. Det synes jeg er rett eller vand. Det var alt, hvad jeg havde for i dag. Tak til at du løde med.