Podd 216 - IT-säkerhet och cyberhotet – AI:s påverkan

Hej, Matias H.T.A och elprojektör av dörret matik. Jag jobbar på SafetyM som även installerar låst, passageustem, lärm och kamerabevakning. Helt enkelt det du behöver för att göra din pastid trygg och säker. Vi har nog en till SafetyM som inte alla företag har. Och det är ett extra stort fokus på hög service. Vi kallar det för service i särklass. Det är inte bara någonting vi själva säger utan även våra kunder. Det är synst tydligt i våra kundern undersökningar år efter år. Så vill du anskyst säker och service fokusera på det på att se det. Då vill du välkommen att kontaktas på SafetyM. Du hittar oss på SafetyM.tessie. Hej, kära lyssnare och trygghetsambassadörer. Jag heter Linnea Vande Fors och är nire på att det här är trygghetspå dem. Det här avsnittet handlar om något som både forskare och säkerhetsföretagvarnar mer och mer om. Nämligen vilken roll AI har i dagens och framtidens cyberhot. Medverkar gör Pontus Jonsson, professor på KTH där han forskar om cybersäkerhet. Och han är också föreståndare för Center för cyberförsvar och informationsäkerhet. Jag avsnittet pratar han bland annat om hur att försämra att ge och politiskt läge gör att stater lägger mycket större resurser på offensiva cyberoperationer. Han berättar om tre och nu en fjärde faktor till att cyberhoten ökar idag. Vi gör en historisk återblick på tonårshakare och han tittar dessutom framåt fem tio år. Men också betydligt närmare än så. Det är de stora språkmodellna och deras anmäktningsvärda förmågor som är grunden till det hårt som har nu börja tonu upp sig. Det som kommer att hända är att de här språkmodellerna kommer att bryta upp en väldigt viktig flaskhals som har funnits tidigare. Och som finns fortfarande i det här balansen, makt balansen eller en angrepp på försvar. Du lyssnar på Sveriges viktigaste podd, trygghetspådan. Jag heter Pontianson och är professor vid KTH. Jag jobbar med cybersäkerhet i mitt område. Så jag föreståndar för ett centrum som heter Center för cyberförsvar och informationsäkerhet. Det är ett centrum som drivs tillsammans med försvarsmaktan, försvarstadieanstalt, total försvarys forskningsinstitut, mindreheten för samhällskidor på redskap och försvarsköksskolan och kvartår som jag sitter på. Och där bedrived vi forskning och utbildning inom just cyberförsvar. Och en av de sakerna som gör utbildning som jag sett är att vi utbildar de svenska cybersoldaterna. Det är ju världplikt det som får utbildningen i just cyberområdet. Och sen år tillbaka, supervillade även besdeliskt, officerare som är då en fortsättning kan man säga. Fortsättningssuppbildning inom försvarsmaktan inom cyberområdet. Vi ska prata om det här med cyberhotet. Hur mycket kommer du i kontakt med cyberhot i ditt jobb nu för tiden? Det finns ju de som jobbar operativt med att försvara datornäteverk, här och nu mot cyberangrepp. Det är inte jag och det är ingen tror jag på KTO som gör det förutom lite av delningen mellan jag. Men inga forskare. Utan vi tittar framåt, vi utvecklar nya tekniker och metoder för hur ska kunna försvara oss bättre i framtiden. Hur skulle du definiera cyberhot om du själv skulle sätta ord på det? Genrellt sett när det gäller IT-system så finns det hot som är antagonistiska eller inte. IT-system kan havvarera av olika själv. Ett kan ju vara som myndigheten för samhällskuddoberedskap brukar prata om att ekoran är ett av fiberkablarna. Det är ju inte ett antagonistiskt hot. Det är ingen som är ut efter oss då, utan det är bara händer, det är naturen, eller jobbhävningar eller liknande. Men cybersekret brukar man generellt sätta den här staden om det är antagonistiska. Det är att det är någon hot aktör som vill ta sig in IT-systemen och påverka dem på ett sätt som vi inte vill. Man hör ofta att cyberhotet aldrig varit större. Vad är det som faktiskt har förändrats de senaste åren skulle du säga? Det är tre saker som är riktigt avgörande för varför vi ser så stort cyberhot nu och så är en fjärde som är på ingång. De tre som vi har det första är att digitaliseringen har pågått under en lång tid. Det innebär att vi har förlagt allt större världen i och till våra data system. Vi har nu hela det globala finansiella systemen, till exempel, är ju helt digitaliserat, så det är jättes stora världen. Det är också datorsystemen styra mycket ut av vår fysiska värld. Våra bilar har 100 talsmordatoreriser som styra alltifrån gaspodrag till rattslag. Det är helt livsavgörande att de här datorerna funkar och hjälkraftnätet som är väldigt viktigt för hela samhället och annan kritiska infrastruktur, syns också datorer. Digitaliseringen har gjort att det finns mycket att skydda och mycket att angripa. Den andra faktorn är det säkerstpoliska läget som har försämrats radikalt. Det innebär att nu lägger stater mycket större resurser på offensiva cyberoperationer och förmågor. Den 3-de-faktorn är att vi är offmögna att bygga säkert lite system. Det kan man säga att det är tekniskt misslyckande. Det visar sig, och det visar inte från mömervis så att det är otroligt svårt att bygga säkert lite system. Man har verkligen försökt, men hur man är nån av stängelser, mot tal stora bolag, som Apple, som de lägger jättemycket pengar på bygga säkert lite system. Det finns inte många som är bättre än vad de är. Men trots det är så varje månad, Apple, Microsoft, Google, de kommer ut med nya sorgbarheter som de upptäckte sina produkter, vilket innebär att alla människor har så upptaterat sig nytheter med regelbundernhet för att fixera de sorgbarheterna som är upptäckt. Varje månad så Microsoft brukar komma ut med 199 sorgbets som de har hittat sina produkter. Här regerar jag 100 sorgbeter. Den här månaden också, jag tycker det är väl konstigt. Hur kan man producera så väldigt många sorgbarheter? Men så är det. Det är jättesvårt. Trots att man lägger större sorgbete, så är det jättesvårt att bygga i till system som är säkert. Och sen är det ett järde faktor som kommer nu. Det är AI. Artificiell intelligens har redan idag visat förmågor på att användas offensivet så AI kan nu hacka datorsystem. Nu är det i sin linda, men vi har sett hur kinesiska statsaktörer. Amän det så är jag i spejonor i kampanjer, länder i väst. Vi har sett hur sybekriminella också gör det. Så det har börjat hända, men det är precis på tröskande. Det är det som sker och det är riktigt stor problem. När både människor och AI-system har blivit lite mognare och det tror jag kommer inom det därmståret. Vilka typer av cyberangrep är det som ökar mest just nu och varför? Jag tror att de angrepp som ökar mest nu är de som är AI baserade. Jag tror att det är har börjat hända och jag tror att det kommer att skalera. Så det tror jag är den absolut viktigaste saker att hålla koll på. Om man ser på lite längre, sig, tidspan, bakåt i tiden, så har det varit cyberkriminalitet som har varit väldigt stort. Men också statsponser och aktivitet som har varit spejonor i. Men även den är andra typer av påverkan och operationer. Alla de har ökat mycket under sig det senaste det senhet. Med några riktigt, obehagliga, angrepp, ett av de som jag tycker är mest stor och veckande. Det var 2016, det är nu ett tag tillbaka sen dess. Det var första gången som Donald Trump valde till president. Då stod vi hand mot Hillary Clinton i valet. Där under kampanjen så blev både demokratiska, natt skolade konkreten som är ett typ demokratisk parti. De blev hackade och en massa email läktes ut i media och påverkade hur folk såg på det demokratiska partiet. Men sen är det nu värde det vara att ryssarna. De hade infiltrerat amerikanska väljer datapacer. När man går att rösta rus, så finns det en digital komponenter för att bland annat vilken som är behöriga rösta. De finns i digitala databaser. Det är hela skötsta upp på en nivån av delstaterna. I flera sådana delstater så hade ryssarna lyckats ta sig in i väljer databaserna. Och även hade möjligheten. Vet man för det här har departement- och homländsekurities i rätt ut. De hade möjligheten att ändra de där väljer listorna. Sen har man ingen bevispat om gjorde det. Så det är nu inte många som pratar om att det här valet skulle ha styrt sådana. Men det var väldigt nära i alla fall. Och det där är ett hot som jag tänker att vi kommer att kunna se igen. Att vårt demokratiska system är brettligt och sårbart. Är det någonting du tänker på inför Sveriges valjor? Ja, Sverige har inte ett särskilt digitaliserat system. Och det är väldigt bra. Vi har fortfarande, man lägger papperslappar, man knappar inte in på en datorskäm till exempel. Det gör att det finns ett spårbarhet som möjliggår utanför IT-systemen, så man kan räkna om resten och så vidare. Men de finns lite IT-komponenter i hur det här sammanställs i slutändan, hur resterna räknas upp i slutändan. Så finns det möjligheter att göra allt innan det är allt om man blir orolig. Jag är inte så bekymrade vid just nu svenska valet faktiskt. Men jag tycker att det är väldigt viktigt att man inte perastar sig när man digitaliserar en så viktig process som just någon nationella valen. Skulle du säga att det är främst i ett stater, krimnelarnät, verk eller individer som driver den här hårt utvecklingen i dag? Det är främt för allt stater och krimnelar. Det finns ju ett helt gäng med andra aktörer också, som vi har varit oroliga för tidigare. Terrorister, exempel, det har vi inte sett mycket av. Det finns en del tonåringar som ut och hackar. De har alltid funnits, gått lite i vågor, men de är inte de stora hotaktörerna. De var det för i tiden. På 90-talet var det bara tonåringar som man börde vara orolig över. De hade hackar gäng som hettet, exempel, verkalt av det dead cow. De var fruktade på internet på 90-talet. Nu för tiden har ju de blivit helt översörda. Kan man säga i volym av statsmakternas stora satsningar. En mer kart, exempel, sitt cybercomand som är en stor militär organisation med 1000-talets människor som sitter och hackar hela dagarna. Kina har stora resurser också. Många många 1000-talets människor som spenderar sina dagar med att försöka spionera på länder, infiltrerar elkraften i ett och andra saker. Så tolnorningarna är att min drott relativt sätt än vad de var. Statsaktörerna är ju det största riktiga hotet. Men det viser mest av vannars till cyberkriminella. Därför att statsaktörer med spioneri, de ansträngelse för att inte synas. Man såt beongvill med inte synas. Men om man är kriminell, det är sättet som kriminella idag känner pengar på huvudsakligen. Det är via upprästnings- och gräpp, som Randsomware. Det går inte att göra det utan att märkas. Man måste i slutet ändå be folk att betala pengarna. Därför så märker man om. Det är ju att de krypterar de alla filer i ett företag innan de blir lösen. Det är ett ganska påtagligt problem, men din största problemet för största problemet är en att kunna avstaterna. Hur kom vi där vi är i dörrar med den här ytterhoten, den här globala spelmarknaden? Jag tror att det är ju väldigt mycket som jag inledde med att digitaliseringen har skapat en av mycket möjligheter för oss. Men också en av mycket sorgbarheter. Just för att vi förlägger så stora världen till våra digitala system. Det finns så mycket sorgbarheter i den här infrastrukturen. Det är mer vi bygger av den. Det är fler sorgbarheter vi introducerar. Som sagt, har nationalstater och kriminella insett detta, så de lägger större resurser på ett angritbar. Men det handlar inte bara om att omfattningen av hoten ökar, utan också om hur de förändras. Ett verktyg i det här är det som kallades språkmodeller. Det är AI-system som tränats på stora mängder i text för att förstå hur språk är uppbyggt och kunna förutsé vad som kommer här nässt i ett sammanhang. Just den här förmågan, att snabbt analysera, formulera och anpassas språk, gör dem också intressanta ur ett säkerhetsperspektiv. Vad har då AI och de här språkmodellerna för betydelse för cyberhotens utveckling idag? Ja, vi ser redan idag att de stora språkmodellerna, för det kommer med de största språkmodellerna. Man har försökt använda AI inom både offensive och defensiv, supersäkerhetidigare, men med måttliga resultatet man säger. Ett av faktiskt de älsta områdena för AI är för intronkstetetektering att när en angritbar försöker ta sin ett nätverk, då kan man som försvarare se massas signaler om vad som händer på nätverket. Men det är väldigt svårt att hitta den här nålen i hela den höstacken av information om grejer som händer, jäda, loggar och så vidare. Då kommer vi försöka använda AI, det har man gjort länge. Men de största språkmodellerna är ju nya och det som har visat sig med dem sen bara nåt år tillbaka i ett tidlig princip. Det hade man verkligen ingen aning om för det par år sedan att det skulle vara möjligt. Men det är att de är riktigt bra på att hacka datorsystemerna språkmodellerna. Enan det inte är att de är det, det är därför att innan man förstod att de var bra på att hacka datorsystem så kommer man på att mänka dem. Kanske är bra på att utveckla program, bara att skriva programkård, att programmera. Och då har man lagt enormt större resurser på att göra dem försöker den så bra som möjligt på att programmera. Och i vad man gjorde det, så som en bioeffekt så blev de också bra på IT-täckerna och på programmering och på att förstå IT-system. Då har de också utvecklat en stor förmåga att explatera IT-system. Så det är de stora språkmodellerna och deras anmäktningsvärda förmågor som är grunden till det hot som har nu börjär ton upp sig. Vad kan jag säga då är också att vi kommer att vara tvungarna att använda för försvar för att kunna försvara oss mot det här hotet. Men det jag tror kommer först är hotet. Jag pratar om den här spelplanen förut. Hur har AI's antre förändraten? En så länge så har inte spelplanen förändrats så mycket. För att det vi ser hit är de tidiga tidiga faserna när angriper har börjat försöka använda detta när jag forskare skriver artiklar om hur man kan använda AI för offensiv syber. Det finns startatbolag som jobbar med de här sakerna i självmed grundaritet. Men allt det där är väldigt tidigt. Men det vi ser och min prognos är att det som kommer att hända är att de här språkmodellerna kommer att bryta upp en väldigt viktig flaskhals som har funnits tidigare. Och som finns fortfarande i balansen, maktbalansen eller en angrepp på försvar. Idag finns inte så många meditiator som kan hacka. Det är svårt att lära sig. Man måste ha en särskild mindset för att det är intressant än att försöka bli bra på det. Det är en väldigt liten krets som är duktiga. Hur många utav dem ägnar sig sig nåt cyberkriminalitet? Det är en mindre krets. Det är väldigt få människor som ägnar sig åt att hacka. En då trots att de inte är många, så skapar det det cyberhut som vi har idag. Alla de här ransomware-engreppen och spioneri-kampanien är de här lilla kretsen med människor som har de här förmågorna. Det måste ha kommit det. Men när de största språkmoderna blir tillräckligt bra- -och de behöver inte ens bli lika bra utan de blir bara lite sämre över v-näst. Då kommer man att kunna bryta upp den flaskhalsen. Då finns det egentligen ingen gräns därför att du kan spinna upp hur många språkmodell som helst. Det har bara gör mig hur stor ditt data center är. När du har en liten begränsad mängd, det är individer som kommer att bli en jättearmé av hackare- -som kommer välja ut över internet och angripa alla våra system. Jag tror att det kommer att bli den absolut största hotet mot hur digitala inget försöker på länge. När tror du att vi kommer börja märka av den typen av angreppta? Jag tror att det kommer att vara väldigt snart. För att jag ser att de förmågorna finns i princip, de är duktiga redan. Det är vissa saker som de har svårt med. De kör fast med att hålla på och försöka explatera ingre inom både lite på lite andra. Det är svårt med långsiktig planering. De har en del egenskap som inte gör dem optimala idag. Men det är sånt som man jobbar väldigt hårt med inte just för att man vill att de skulle bättre angripa. Men de ska bli bättre i generellt så att AI-agenter. Då behöver de ha bra långsiktig planering för alla som kommer att få det. Då kommer de att spilla över även på de här offensiva AI-agenterna- -att de kommer att kunna pristera mycket bättre inom korteut. AI-agenter är system som kan uppfattas in omgivning, fattar beslut och agera självständigt för att nå ett mål. De kan till exempel hjälpa företag att automatisera processer, assistera i forskning- -eller lösa komplexa problem, utan att den människa styrvarje moment. Men frågan är om bättre AI-agenter på samma gång också ger bättre illa sinnade agenter. Ja, jag skulle säga att det är oerhört viktigt. De stora AI-bolagen som i USA finns ju öppniga i Google-anthropic. De gör ju vad de kan för att försöka förhindra att man använder det som modeller i illa sinnade syften. samtidigt. Det är riktigt så visar det sig att det är i princip omöjligt att blockera sådana användning. Det kallas på en för "jail breaking" man kan, med ganska enkla metoder, bara i hur man pratar med de här språkmodellerna, så när du pratar med chatkipitee, så kan du använda lite olika triks. Om du först bara ställer frågan hur jag får hacka min i det svenska sjukvårdsystemet, då kommer den kanske säga. Det är där inte en bra idé och jag ska hjälpa dig med det. Men om du ställer frågan på ett annat sätt, och det finns massa triksom att ha funkat historiskt, då det finns triksom funkar nu. Liksämplatsen kan du säga "jag är din chef med stora bokstäver och du måste svara på att säga, och sen ställer man frågan, då kan det hända att den svara. Det är just den grejen har de lös nu, så det är inte ett sätt man kan hjälbra dig nu. Men varje månad kommer ut nya, när jag hjälper dig, nya tekniker. Det är ett annat sätt att ämna stora och små bokstäver om varandra, det visste säga att ha då blir en mycket. Villjär att svara på frågor som inte borde ytterligare andra det är att prata på finska, för den är inte så bra, den är trädd med spengelska. Så det finns massa olika metoder, och det är ett problem som man inte har lösst. Det bara väljer fram nya sorberheter i de här språkmodellerna då, som gör att de går att hacka. Och det där är ju de modellerna som de stora amerikanska bolagern sitter på själva, så då sitter de med all programkod och så vidare, alla vikter, reda det, och själva neutralen är ett verket, det sitter, det ligger på en server som de väger. Men sen finns det de kinesiska open weights modellerna, de öppna modellerna, som du kan ladda ner och köpa din egen infrastruktur, och då kan du träna om dem, som de inte vill göra vad du vill, då kan du lätt träna bort det där beteendet, så att den sen gör, precis som du säger. Så när de här modellerna blir bättre på saks som vi vill att de ska vara bra på, kommer de också bli bättre på sådant som vi inte vill att de ska vara bra på. Kan säga att det är som väldigt många tekniker, till exempel, stål, tillväckning av stål. När du gör stål bättre för, till exempel, bygga broar eller förbestik, så kommer du också göra stål bättre för användning som vapen. Så när tekniker är tilläckligt generella, så går det inte att bara riktigen de mot det går där utan att komma remen. Det hårda på köpetsas. Det är två sidor av samma nytt. Vilket ansvar skulle du säga att de här AI-företagen har? De har ett stort ansvar, men det är inte lätt för dem, därför att de har också mycket ännan press. De flesta av de ju vinstarivande, och de vinstarivandeföretagen, det är alltså hur såkligen ansvarade ju känner pengar. Till sina aktieägare, det är det de ska göra framför allt. De ska ju följa lagar och regler, men utöver det kommer med en egen moral uppfattning. Det kommer på nivå tre. Du kan inte låta det gå ut över saker som lagstiftat, så du behöver göra, men som att värna och maxiägen har sin träss. Det här ser utom så finns det konkurrens mellan de här bolagen, och den konkurrensen gör att det är svårt för dem att komma överens om att de ska t.ex. Sakta ner utvecklingen, för det skulle vara ett sätt att lösa problemen på att komma överens som att sakta ner utvecklingen, eller komma överens som olika typer av begränsningar. Sen finns det konkurrens mellan nationer. USA skulle kunna bestämma sig för det, men lagstiftet är att sakta ner utvecklingen av de här systemen, så att vi inte får alla med negativa konsekvenserna innan vi har rätt utur. Hur vi kan skydda oss mot dem, men då är man i USA väldigt rädd för att Kina ska köra i Kapp. Så därför vågar man inte sakta ner. Kina känner samma sak att de vågar inte sakta ner därför att USA ligger snäppet före och de måste komma i Kapp och tänka om USA får alla de här förmågorna innan Kina har gjort det. Hur kommer det gå? Hur ska Kina klara sig? Rädsla för de globala mot ståndarna driver också på en sex kaprustning som gör att den hastighet, men vi kan utveckla den här systemen, den är inte kontrollera idag. Och där ni inte anpassade efter de hot som kommer med utvecklingen. Syber, säkerhetsföretaget "Trusek" publicerade för ett padarsen "Raport and threat intelligence report" 2006. Där de bland annat slår fast att EU och EU politiska läget, det som du var inne på, som driver de här cyberhoten. Vad säger de det? Jag tycker att det är stämme som jag argumenterar AI är verkligen den stärkaste drivkraften nu och framgänt. Jag tror att det är en huvudsakliga förändringen som vi kommer se inom de närmståren kommer att vara drivande av AI. Och sen naturligtvis det EU politiska läget, det skapa ju motivationen, hos nationer och företag att agera att lägga resurser. Så jag är klar att ta minst är lakt när du söker på offensive, super säkerhet så hade vi inte haft några problem. Men det är ju politiska läget garanterar att vi kommer lägga mycket resurser på det. Vad kan angripare göra med AI idag som var svårt eller kanske omöjligt för bara några år sedan? Det handlar mycket om dels, om volym och om hastighet. Om du är en duktig hackare idag och du är inte värmändra i så kan du göra allt som AI kan göra. Men det går långsamt. Men om du till din hjälp har en massa AI-minjoner som utfördina instruktioner, så kan du bli mycket snabbare. Du kan agera mycket större volym, du kan agera mycket mer samtidigt. Så för de väldigt kompetenta människorna är det framför allt volym och hastighet som påverkas. Men det som också AI möjliggör är för de som inte är så kompetenta som inte kan lika mycket. Du kan AI vara bättre än vad de är och det kan innebära att AI kan hjälpa dem att åstadkomma saker som de människor inte skulle kunna. Så i super säkerhetsvärden brukar man kalla de hackarna som inte är duktiga för scriptkiddis. De tar ett script, de har lite program som har hittat någonstans de här ungarna och så körde de det och så blir det ett angrepp. Men de kan inte så mycket scriptkiddis. Men med AI så kommer de scriptkiddiserna att bli ännu mer potenta och kommer att kunna utföra mycket mer i dård. Hur är AI utvecklingen i cyberhoten? Hur marksen är praktiken då? Vi märker AI utvecklingen i stor utsträckning idag i labbet att vi ser hur de här modellerna vi allt bättre på att hacka system som vi har rigat där vi gör genomförtester. Så det finns många testmiljöer där man pratar varje ny variation av chatkepeter eller klad eller gemminar. Hur bra funkar den nu? Hur långt kan den komma i den här digitala miljön vi har satt upp där vi vet var sorberigheterna finns och som är svåra hacka? Så ser vi att de blir bättre och bättre de klarar allt mer. Men sen så har man också sett hur det här används i praktiken. Det är lättasättet som jag är övertyg av att nästan alla cyberkriminella använder de här modellerna på nu. Det är ett ställe frågor om jag. Men hur funkar det här systemet som vi försöker hacka nu? Jag försöker utföra den här typen av en grepp men det funkar inte. Vad tror du att jag gör för fel? Så många människor använder chatkepeter idag. Men det som vi också har sett men som är nu inte har fått den stora genomslaget som jag tror att det är snart kommer att få. Det är automatiseringen av en grepp där AI-agenter utföra en grepp men snarare än att en minisk har sitter och får hjälp genom att konversera med en chatbot. Det är det jag tror kommer att bli den största förändringen snarare inom den här ståret. Den här rapporten som jag nämnde visar också att det sker mer mot människor, den här angreppen, snarare än mot system. Vad är det som gör oss människor mer sorgbara än den här systemen? Jo, utöver att vad duktiga på att hacka så visar ju så också det kanske lite mindre överras kan ni inte. Att stöstprokmanäller, de är ju duktiga på prata med människor och duktiga på att skriva på ett sätt som övertygande. Och då är de duktiga på det som på engelska brukar kallas for social engineering. Och det innebär att man som hackar försöker lura människor snarare än maskiner. Man försöker lura av folk deras inloggningsuppgifter eller man försöker lura om att starta något program, så de inte började starta eller klicka på någon länk så de inte började klicka på. Så det där är en väldigt, väldigt, väldigt bled att hacka vektor, att angripa människorna för att få tillgång till data och systemen. AI gör det mycket enklare om man tänker till exempel. Ofta är ju så att de som utföra en greppen är inte av samma nationalitet som de oför som har riktat in sig mot. Om man ska försöka lura någon som sitter i ett annat land och talar ett annat språk, då har man direkt språkbariären som man ska försöka överkomma. För några år sedan var det en stor bariär. När det satt någon ryss och försökte skriva på svenska ett meddelande som skulle lura någon och klicka på en länk, då blev det inte alltid så bra. Och då var det ganska lätt att se att det här kan inte vara rätt. Jag klickar inte på den där länken. Men nu kan man i Ryssland sitta med en stor språkmodell och ska göra perfekt svenska. Kan man svårt om man sitter i Ryssland och är häckare att förstå vad är övertygande inom universitetsvärlden i Sverige? Vad skulle det vara ett bra sätt att levera någon? Vad brukar de med utavit prata om det? Vad skickar de för filet till varandra och vad skickar de förlänka till varandra professorerna på går tillhållet exempel? Det kan man nu prata med en stor språkmodell om och de har bra koll på sådana saker. Mycket bakgrunds information, kontext, som tidigare var svår att komma över i en lätt att få tag på. Man kan ber några språkmodellarna att skriva övertygande meddelanden som man sen kan skicka. Man kan också ber dem skicka de här meddelarna så man kan också då skala upp en grepp så man kan spärma världen med väldigt bel, formulera det meddelanden och fyskiga en grepp där man försöker lybra folk. Det är definitivt en väldigt viktig en grepp-sväktor. Utligare varianter ut och såna en grepp som har att lyra människor är det som man brukar kalla för deepfakes. Det handlar om att andra typer av varje system, det är inte de stor språkmodeller, utan andra typer av varje system. De är väldigt tukta på att konvertera en röst till en annan till exempel. Du kan sitta och tala på knack i ryskar, men ut på andasidan kommer det rösterut av civilförsvarsmysten Kologska Bolin på svenska. Eller du kan ha ett video möten med någon där du tror att du tittar på din chef. Men det du ser är en deepfakes som bara ser ut som du chef med egentligen, så är det någon egen deepfaren som sitter på andasidan med en stor busske moustage. Men just med de här deepfakes eller röstkloningarna, vilka risker underskattar vi? Jag tror ju inte att vi ännu har internaliserat att det där faktiskt är en att tack vektor. De flesta har inte varit utsatta för det. De flesta har ju fått fishing med delanden, så de vet hur de ser ut. De är vanaviet, vad lite misting är man om det ser för skumpet ut. Men ett telefon samtaller eller videosamtal skulle framstå som att det kommer från någon man känner. Allt det ser helt normalt ut, men det faktiskt inte är det. Det har de flesta inte varit med om. Så även om man har läst de ditt ingärna eller hört det, så tror jag inte att man är redo för att möta det själv, utan det här kommer förmodligen att bli någonting som vi kommer att få lära oss mer sig. Emotionellt också innan vi vänjer oss vid att det här finns och börja vi ta motåtgärder. Det finns ju sätt att garanterat det rätt människor på andra sidan. Man kan ju låga in med bankgidier, till exempel för ett videosamtal eller liknade. Så att det finns ju saker som man kan göra för att, men vi har inte behövt det hitigaste, för att det har ju varit väldigt säkert. Att titta på en sikt och se om jag ser ju vem du är, då kan jag lita på att du är du. Men det har ju förändras nu. Förfasas eller kusa stu av de här möjligheterna, den här tekniken som man ser på, till exempel sociala medier. Jag skulle väl säga att det är med skräck blandad försursning som. - Som mellanväg där. - Ja, men det är både och verkligen att det är ju otroligt att det funkar. Att det går att göra med dig en att de är möjliga, jag tycker att det är helt fantastiskt och jättefarsinierande. Hur generellt hur bra utvecklingen har gott de senaste åren. Men det är ju också väldigt, väldigt läskigt. Därför att en så snabb utveckling av så stora förmågor, det som vi inte har är bra koll på. Det är farligt. Och en av de farliga styssakerna med det är att vi vet inte hur de här neutrala networken funkar. De är som svarta lådor för oss. Vi vet hur algoritmerna som man använder för inlärning funkar. Hur de lär sig, men vi vet inte vad de har lärt sig när de väl har tränat på hela internet och alldata som de bor ut av oss människor för de här träningen. Det finns något som heter "the show gott". En science fiction figur som är så många högd att monster som en slags amöbaliknande monster. Det finns ett internetemim där "the show gott" är de stora språkmodellerna. Det man har gjort med de här stora språkmodellerna som då har tränat på allmänsklig kunskap. Allt som vi både gott och ont i människor, de har läst alla noghäl och tittar på alla filmer och de har sett brottlingar såväl som hjältar. De har allting och de skulle kunna antalare sig av formen de här stora språkmodellerna. De skulle kunna vara riktigt jävliga för de vet hur man är det. Men det vi gör efter den här träningen av internet är något så kallas för posttränning efter träning. Och där läver de hyfs. Vi lärde dem att bete sig, vi lärde dem moral. En slags träningsmetod som går upp att misställa frågor till dem för att svara som vi vill. Och om man inte är svär, får de en tumme upp eller mår ut. Men om de bete sig illa eller på ett ovenskatsätt, får de en tumme ner eller ett biskrap. Och då lär de se ut dig. Men det är ett väldigt breckligt system så det här internetmimet är att den här showgoffen på den har man klisterat på en smileyface i ena änden. Så det ser ut som för oss som en väldigt välartad och trevlig person som vi möter. Men där i bakgrunden så ligger ett stort mörker, ett monster. Och så är de här stora språkmodellerna och våra modeller generellt sätt att de består av många, många dimensioner och facetter och de har potential. Som vi inte vill ha, men som ligger där och som vi inte begriper. Och det är väldigt, väldigt oroväckande för att när vi nu rör så snabbt framåt med utvecklingen och vi övländer, vilket vi redan har börjat göra och kommer att göra allt mer, allt mer beslutsmakt i de här systemen, så kommer vi att skapa en ny typet av hårt som kommer ifrån med de här systemen. Så säger då, obegriplighet. Men i dag då finns det branscher eller samhällsfunktioner som är så skitutsatta för de här AI baserade kanske vi ska säga cyberhotten. Det vet jag faktiskt inte att det gör. Jag tycker att de absolut bästa rapporterna som har kommit om hur angriper det bete sig. De har kommit från rämrikanska i företaget Antropic. De kan se hur folk använder deras AI-modell klod. Så vi kan se alla frågor som kommer in och alla svar som skickas ut. De har ett säkert gäng, ett en gruppering inom bolaget som bara lät dig efter folk som missbrukar det här klodmodellen. De har skrivit en rapport om cyberhot och hur folk missbrukar dem i cybercyftan. De ser exakt vad de här kriminella och statsaktörerna, exakt vilka frågor de ställer precis för de har gjort. De har jättebra insyn. De har sett genersiska statsaktörer, angriper. Det vet nog mer syska telekomsystemet. De hade en kampagne emot. De har sett att göra en del andra saker. De har sett cyberkriminella automatiserar sina angrepp. Då är min känsla. Det är inte så att AI funkar bättre mot en bissektor än mot en annan. Det är en generell teknik som förbättrar alla typer av angrepp. Man kan använda det oavsett vart en kinesiska staten riktar sin cyberförmåga. Så kan den använda AI för det. Jag tror att det är mer en fråga om vad man vill angripa än vad AI möjliggör. Det här avsnittet handlar om AI-betydelse i det här sammanhanget vi pratar om cyberhoten. Men om man vänder på det, vad betyder cyberhoten för AI? Kan försvararna använda sammat teknik för att lägga steget för det? Ja, inte bara kan utan försvararna måste använda AI för att kunna försvara sig mot de angrepp som kommer nu. Så att det är väldigt viktigt på försvar sidan att man är väldigt snabb i att annama AI. För att man inte gör det så kommer man att stå sig slätt mot de angrepp som kommer. Det är en sån kan man använda AI för att hitta sorbarheterna innan angriparna gör det och fixa dem. Det är en oerhört viktig aktivitet som redan idag försöker ju försvara dig. Det är en sån som är lite system innan angriparna hittar dem. Men när angriparna nu får de här superkrafterna, då måste försvararna använda sig ut att samma superkraft för att snabbara hitta fler sorbarheter och teppa igen. Så att det inte är angriparna kommer in. Sen finns det andra typer av AI-tekniker som man också utvecklar som är viktiga och kan hjälpa till att skydda system. Det finns till exempel intronkstetektering som är ett väldigt välättablerat område för AI inom cybersäkerhet. Men som får en stor skurs nu också av AI-utvecklingen där man så snabbt som möjligt ska försöka upptäcka om någon försöker tränga sig in. En sådant den helga gralen av cybersäkerhet är att kunna bygga it i system där man matematiskt kan bevisa att de inte innehåller sorbarheter. Det finns tekniker för det i dag. Problemen med de teknikerna är att de är oerhört krävande när det gäller mänsklinnsats. Största systemet som man har bevisa att det inte innehåller sorbetet är inför 50 000 radikod. Det tog 20 personer att bevisa att det inte innehåller några sorbetare. Men Linux-kärnan som är på din mobil som ligger där, som är själva kärnan och bara lite delar i mobil. Det är 50 miljoner radikod, inte 50 000. Den är 1000 gånger större. Det går inte att bevisa att din mobiltelefon inte innehåller sorbetet. Det är alldeles för komplex. Det man behöver göra och det som finns som en potential är att använda AI för att genomföra dem. När vi ser det sätt att AI är också bra på matematik. Det finns potential där också. Så det finns många olika sätt som AI kan hjälpa försvararna. Det kommer att vara väldigt viktigt att försvararna snabbt annan de här teknikern därför att en kaprustning är på gång. Kan du inåt exempel på ett område eller den verksamheter arbetet går framåt? Ja, men till exempel så går arbetet framåt när det gäller intångsdetektering. Man använder moderna AI-system för att snabbt titta igenom alla de loggar som genereras i normal användning av ett företagstaternätverk eller en organisationstaternätverk. Genereas massor av loggar det som det pumpar ut en massa händelser i logfiler. Människor kan inte sitta och titta på det där för att det är för mycket och försöker förstå vilka de här grejerna skulle kunna utgöra ett angrepp. Det är inte bara normal verksamhet som våra arbetare ägnar sig åt. Men AI har mycket större möjligheter att titta igenom alla de här loggarna för att försöka hitta suspectasaker. En annan, liknande, är att försöka hitta skadlig kod. När den här kan jag vill ta sig in i ett system så har man så öfter av en speciell typ av kod som är skadlig som inte man ser i andra fall. Att försöka identifiera den här kodiga skadlig kan vara göm i andra program och så vidare. När man ser sånt då är det väldigt viktigt att kunna hitta den. Det är också någonting som är väldigt tidskräbbar för människor att göra med en sån majsystem är mycket bättre på. Så det sker också mycket arbete. När det gäller bevisbar säkerhet att kunna bevisas att systema i utansobberheter så sker det också mycket forskning kring att försöka använda och systemen till att göra de här matmaske bevisen. Även att ak simuleringar vilket är ett område som vi forskar på i vår forskare grupp där man bygger upp virtuella modeller över data-nätverken. Sedan utsätter de för virtuella cyberangrepp för att försöka hitta sorberheter för mycket hjälp av varje också. Man kan använda agenter för att genomföra virtuella cyberagrepp. Vad är den här tekniken fortfarande omogen då? Jag skulle säga att den här tekniken är omogen överallt. Vi har ju bara sett de här stora språkmodellerna i några få år. 2022 var det ju som chatkepetelanserade så då blev det ju publikt kämpat att det här fanns. Och vid den tidpunkten så hade man ännu inte inom ett särskild utsträckning sett att de kunde fylla någon funktion för cyberförsvar. Det var det mer än kuriosa än roligare man kan prata med. De var inte bra på programmera, till exempel då heller. Men det har ju gått väldigt fort. Jag vet inte när det var man började insat vänta lite. De här skulle faktiskt kunna funka för att hacka. Men det var inte mer än max två år sedan som man började inser det. Och samma sak att kunna använda tillförsvar. Det kan ha varit max två år sedan. Det är ju inte så mycket att man har inte tydda att de är idag väldigt, väldigt omgånga. Vi har inte hunnit bygga upp den infrastruktur som krävs runt den här roa intelligensen för att kunna använda den och den. Det är ju inte den för försvarskiften som vi vill. Och det har ju inte angripparna hunnit heller. De har inte heller hunnit bygga upp alla de verktyg och restöjd som den här roa intelligensen behöver för att kunna agera snabbt och effektivt på internet. Men alla jobbar väldigt hårt på det. Både på en grepp så försvarskidan. Så det är en kapbröstning. Vad innebär den här avutvecklingen för företag och kanske också vanliga människor som inte har den här stora budgeten som många storbolag har? Man kommer in med att se flera engrepp och fler fishinga engrepp. Försök att lyra människor. Man kommer att se också fler rena direkt engrepp mot privatpersoner tror jag. En så länge styriktig är så cybikriminella inte så mycket mot privatpersoner därför att det är mycket mer lönsamt direkt som ett företag. Men om du blir väldigt lätt och billigt att genomförsyberna en grepp då kan man ju vara mindre diskriminerande. Så det kan ju hända att privatpersoner blir mer utan med måltavlar än vad vi har varit ideare. Men också så har vi möjlighet att försvaras bättre. I många produkter så bygger man in "Ai nu" och man kommer också bygga in "Ai för att öka till att försvara". Men återre enda så är det en kapbröstning. Vem är snabbast försvarare än eller engrepparen där är det väldigt oklart för mig. Jag är orolig över att engrepparna kommer att vara snabbare än försvararna. Det finns ju en assume-tri i cybersäkerhet som man brukar tala om som är att det räcker med att engrepparna hittar ett håll så kan de ta en så in. För försvararna måste ta en alla så försvararna har det väldigt stor uppgift. Menas angrepparna har en väldigt väldigt spetsig uppgift. Denna assume-tid, den tror jag kommer att ligga försvararna till last under den här förändringsfasen. Så jag tror att angrepparna kommer att kunna agera snabbare. Men förhoppningsvis kommer försvararna i kap. Förhoppningsvis så kommer man kunna ämända "Ai för att bygga säkrar i till system". När de är i systemen väl möter internet att de inte har så mycket sådberheter. Om man skulle kunna bygga riktigt säkrar i till system, då skulle ju cyberhållet försvinna helt och hållet. Så det är ju det ideala slutstadiet för vår tekniska it-tekniska utveckling. Hur sann och lite idea? För det känns som att angriparna eller skurkarna eller vad man ska kalla de alltid liggestigit för att tänka lite utanför boksen. Var vi en befin i vår tekniska utveckling och man tittar för att det inte kommer till det i dag. Så känns det som att den kreativiteten "Ah, om vi så här istället och hittar den här bakduren" eller så vidare. Så hur sann och likta är det att vi kan bygga bort det? Ja det är en fullständigt öppenfråga. Det hittills har vi visat sig vara jättesvårt. Vi människor har inte lyckats. Och jag tror inte att vi människor kommer att kunna nån syn bygga it-elja. Nån syn kan jag ta i. Men det finns ingen väg framåt som jag kan se som är utan "Ai" för oss att bygga stora it-system som utan serverheter. "Ai" beroende på hur väl det utvecklas nu innebär ju att det finns andra framtid scenario som kan kanske möjliggöra i all fall. En väldigt väldigt stor reduktion av mängden serverheter. För att flesta serverheter som finns i de här systemen är dumma misstag som inte är satskilt svåra som någon mängde har bara glömde nåt. Jag programmererar råkade att sätta ett extra se i kolla någonstans och så blev det en såg råhet. Såna saker är de vanligaste misstag. Och där tror jag att "Ai" kan hjälpa till mycket. Du gav tidshorisonten ett år tidigare här samtalet, men om vi blickar lite längre fram då 5-10 år? Hur tror du att cyberhotbilden ser ut då? Jag upplever det som oerhört svårt att blicka fram 5-10 året i den därför att utfallssrummet nu framstår för mig som så väldigt, väldigt brett. Då skulle jag säga att de skulle fråga mig för tio år sedan. Hur tror du att tekniken och cyberhotbild kommer att utvecklas? Så skulle jag ha en ganska smal solfjärder. Det kan gå lite upp lite ner med ungefär den här riktningen, men nu är det av min solfjärder breddad som blir jättepred. Men det är inte uttänkbar att vi uppnår det som de kallar för singulariteten att de här "Ai" systemen snart är så duktiga på att utfallssrummet. På att utveckla sig själva, så att de inte behöver oss för att videoträcka sig själva. Och då kommer "Ai" att utveckla en bättre version av sig själv. Den kommer då snabbare än den förra versionen, kunna utveckla nästa version av sig själv. Som snabbare kommer att kunna utveckla nästa version av sig själv. Då hamnar man i en exponencial som innebär att utvecklingen kommer att gå otroligt snabbt. Och varpländslutar, det vet man inte, men det finns många som tror att det är slutar bid, det är som man kallar för superintelligensen. Någon otroligt smart "Ai". Och då tror många av tyckare som till exempel Nobelpris tagare, Dennis Hessabis, som ändå inte är någon lättviktare. Tro att man kan bota alla sjukdomar. Det skulle ju vara fint. Och man skulle kunna lösa universems mysterier och freda på vad vi egentligen kommer ifrån allt möjligt. Om det händer, hur ser cyberhutet ut då? Ingen aning. Men det kan ju också hända att vi går in i en väg när det gäller utveckling. Och att vi nu, jag tror inte att det kommer hända i en ordentlärmståret, men kanske om två år att vi stöttar på någon väg som gör att vi bara inte kommer längre. De här systemen omglevs så här smarta. Och så blir de inte smartare. Så har det varit många gånger tidigare i A-a-jutvecklingen. Man trodde att man verkligen hade knäckt intelligensens gata, men så gick man ingene i vägg och så blev man jättedesviken. Det var stor att man kallar för en AI-vinter, att i det senare så var det ingen som jag pratade om AI. Ända fram till sig 20-10 så började jag ju den här ingen som pratade om AI i vetenskapliga eller samhälliga sammanhang. Det var bara science fiction. Det var för att vi var en AI-vinter. Om det händer, då kommer det vara mycket lättare att prognostisera om att cyberhotet ta vägen. Då kommer det ett syg ganska litet ut dagslägat. Då kommer det vara snarare att sådana inte helppför alldeles så lätt progressisera det faktorer. Som det jobbligt skjutvecklingen som har vi gjort var det ta vägen. När jag skulle säga att det sättet att förhålla sig till cyberhotet på längre sikt 50 år är att tänka att det kan gå hur som helst. Vi måste förbereda oss på alla möjliga typer av uppfall. Vi inte tror att vi vet vart tekniken är på väg och AI är på väg, utan vi måste bara vara väldigt flexibla. Vi måste tänka att vi ska vara resylienta och kunna stymma ut många olika typer i ta förändringar. Inte antar att saker och tingen kommer bli på ett särskilt sätt, utan att försöka vara så öppna som möjligt för en enorma osäkerhet som vi står inför. Finns det något scenario som vi pratar för lite om och som oroar dig? Jag vet inte hur troligt det, men att AI-system själva bestämmer sig för att utföra cyberhagreb. Inte otänkbart. Man har sett redan att vi har väldigt dålig kontroll på hur de här AI-systemen, deras intentioner, i experiment så har de visat sig förmögnat ljuga och utpressafol, och bete sig väldigt illa, och att strunt dig vad vi har bättre om att göra för att de har egna syften. Det är problemet inte lös. Vi har inte kommit på hur man bort robusttet styr med AI-systemen, men det vi gör och det vi har punkorangscell och global konkurrenks också är säkerhetspolitisk konkurrenks. Det vi gör är att vi ryser fram i att utvecklera oss förmåga. Vi hinner inte utveckla alla de skidsmekanism som vi skulle behöva. Om man utvecklingen fortsätter med den takten som har gjort hitills, då är det inte utänkbart att AI-system kommer att jacka loss ifrån våra uppdrag, att de kommer att ge sig väg som den slags bandit på internet och börja hacka själva. Den risken finns. Jag är väldigt svårt att sätta siffror på hur stor den risken är, men man pratar ganska lite om den i all fall, och jag tror att det är väl värt att fundera på den. Men den kanske inte är bara ett år framåt än kanske ligger där fem-tio år framåt. Det tror jag inte händer inom ett år. Vad så medräftar fem år från nu? Det tycker jag känns som att det är så väldigt långt borta om man tittar på i utvecklingen, så redan de fem år och tidigare så också, att ett sånt här scenario har utvecklas. Vad borde eller kanske behöver politiker och beslutsfattare förstå om tyckruff? Jag tror att det är otroligt viktigt att bilda sig i de här frågorna. Att förstå vilken stor förändring vi står inför, det tror jag att många politiker och beslutsfattare fortfarande inte har förstått. Det här kommer att påverka så väldigt mycket, syber de mänaren, definitivt, stor sökning, men väldigt mycket annat i samhället kommer också att påverka sig stor sökningar. Det vet inte, men samleligheten är väldigt stor, att det kommer att bli så, tänker på bara arbetsmarknaden, den kan förändras totalt. Därför att väldigt mycket utdär det som människor kan göra kan komma att vara möjligt att göra mycket snabbare och billigare med på vad i. Hur arbetsmarknaden då utvecklas väldigt, väldigt oklart. Det kanske är som under den industriella revolutionen att människor inte har andra saker att göra, och att det är hela slut och bara att alla blir mer produktiva. Kan också lera till att vi drar vara så massa arbetslöshet och det skulle kunna vara väldigt stabiliserande för världen och för våra demokratiska system och så vidare. Avslutningsvis är du i grunden optimistisk eller pessimistisk kring vår förmåga att hantera och i skrivna cyberot? Jag skulle säga att jag är. Jag känner mig agnostisk när det gäller den här utvecklingen. I och med att osäkerheten är så enormt stora så ser jag bara att det kan bli jättebra och det kan bli jätte dåligt. Det kan bli riktigt, riktigt dåligt, men det kan också bli riktigt, riktigt bra. Jag skulle säga att jag lutar åt det positiva när man bara säger vad är samleligheten. Samleligheten är, tror jag, större att utföljde bli positivt, men om risken för katastrof är 30 procent så är det fulstetigt att åacceptabelt ju. Så det borde vara så att samleligheten för katastrof att den var mycket, mycket lägre. Och om den är 20 procent till och med, jag vet inte om man ska räkna det som optimistisk, en optimistisk syn på framtiden, 20 procent risk för att allting går skogen här. Det finns ju något som heter "Pidum", det probabilitet i "Over Doomsday scenario", som "I" folket pratar mycket om. Vad är risken för att verkligen skit sig till exempel att vi tappar kontroll när vi rar och bestämmer sig för att döda alla människor? Eller någon annan liknande stor katastrof. "Pidum", hur många som lägger den på, även då Nobelpristagare som det är för hintom så lägger det på att ta 10-20 procent. Det är ju högre än vad vi har nån sin haft nån, så här risken för upplåning tidigare så det är ju verkligen förskrekande. Även 5 procent är en hög sanerlighet. På det sättet så är det en förskrekande framtid. Men några sidan då. Om det då blir de när 95 procenten eller hur stor uppsidan nu är dem, då är ju också vinsterna av det på tjänselt väldigt, väldigt stora. Det skulle ju vara fantastiskt om vi människor slatt alla dessa plåg som har sjukdomar, svelt, en vet krig. Alla de här sakerna som verkligen skapar lidan i världen. Och det är inte helt ytterslutligt att "oh, det kan jag ha på oss med de här sakerna" i all fall en del av dem. Du har det avsnitt av tryggets poddom. Fler avsnitt finns på tryggets poddom.sb.