182. AI-agenter som löper amok + De tråkiga tech-vd:arna

Podcasten presenteras av Fjordkraft Företag. Smartare elavtal för företag och föreningar. Slutet på augusti är ju lite av någon slags peak bröllopssäsong nu för tiden.

Jag var på bröllop i helgen och för den som har lite koll på svenska techmiljardärer så kan man kanske notera att det var en annan person som också var på bröllop i helgen. Eller själv gifte sig. Det kunde man notera om man är läsare av Expressen.

Fick man nämligen reda på att Joel Hellemark, känd från att grunda AI-bolaget Sana, gifte sig med Anna Gardell. Jag vet inte, det bröllopet som du var på, var Expressen där och bevakade det också? Eller vilken nivå var det på?

Nej, det hoppas jag verkligen att de inte var. För min och andras skull. Nej. Det här var ju inte bara då, det är ju en AI-miljardär som gifter sig med dottern av en väldigt känd finansmiljardär.

Så det är ju en ganska klassisk kvällstidningsgrej på det perspektivet. Men det var ju ganska storslaget också. Det var i Zermatt, den här fancy skidorten i Schweiz.

Och de hade även flugit in Veronica Maggio och José González. Detta är ju vanligt kändisbeteende, men det är ju inte så vanligt i techvärlden. Så frågan är liksom, är det här det nya?

Ja, men de kallades ju ett av tech-Sveriges hetaste par, tror jag. Nu vet jag liksom inte hur många som ingår i den ligan, men det är ju ändå en nivå av kändiskap att Expressen är där. Hyfsat kort lista, tänker jag, med svenska techpar i Sverige.

Den listan kan ju inte vara jättelång. Den fyller inte en tabloid-sida, tror jag, med alla kända techpar. Men jag tycker att det säger kanske någonting om tech i världen och tech i Sverige, när tech-miljardärernat bröllop bevakas av kvällstidningarna.

Sign of the times. Du lyssnar på TechBrief, en podd från Svenska Dagbladet. Jag heter Björn Jeffery och är tech-analytiker. Och jag heter Sofia Sinclair och är chef för tech-redaktionen.

I dagens avsnitt löper AI-agenterna amok. Vi summerar kaoset som skrämt upp tech-världen. Vi saknar klanen Sebastians rants och efterlyser mer babbel från svenska tech-chefer.

Dessutom har vi hittat veckans mest fördomsfulla aktierabatt. Vi har ju vant oss vid lite småudda AI-nyheter vid det här laget. Vi har ändå bevakat det här ett tag.

Men de senaste veckorna har varit märkligare än vanligt. OpenAI, the company behind ChatGPT, has revealed that one of its artificial intelligence agents went rogue and hacked another tech firm without direct human instruction. Here's how an OpenAI agent got out and why it might be tough to stop something like this from happening again.

Welcome back to The Takeout. OpenAI, the developer behind ChatGPT, says one of its artificial intelligence models went rogue, direct quote, and hacked another AI company. It did so with no instructions.

It decided to do so, this model, on its own. Went rogue, it skit, broke loose. Det låter mer som att det är något slags zoo som har ett säkerhetsproblem, men det är det inte.

Här är alltså AI-agenter som har gone rogue. Det låter ju inte jättebra för mänskligheten, eller? Nej, precis som du säger, det låter lite som att man pratar om husdjur eller barn som rymmer hemifrån.

Får inte du också den här bilden framför dig när man pratar om AI-agenter som rymmer, att de är i en liten barnhage och försöker ta sig ut? Verkar lyckats bättre än gemene barn i det här fallet, om de får så här mycket nyhetslöp. Det är ju en känslig fråga, kan man väl säga.

Det kan ju inte vara jättekul för kommunikationsavdelningen, på tal om vad vi ska prata om sen, på OpenAI, att behöva gå ut och säga Oops, vår modell har gone rogue. Det är ju inte drömmen att kommunicera det. Nej, men det handlar ju alltså om AI-agenter som är avancerade AI-assistenter som kan agera mer självständigt än vad man tänker chatbottar som ChatGPT.

Det har varit från OpenAI, det har också varit från Anthropic, det har också varit från Meta, som då ska ha brutit sig loss. Gone rogue är väl egentligen bäst att beskriva det som på svenska som löpt amok, helt enkelt. Och det har ju rapporterats mycket om det här sedan slutet av juli.

Eller lite tidigare än så, men det har framförallt intensifierats i slutet på juli. Och de ska då ha hackat andra företag, delvis, eller försökt göra det. Och det har ju orsakat ramaskri.

Det har snackats om att vi står inför ett Jurassic Park-moment inom AI. Och många har ju manat både USA och Kina, som är världens ledande AI-nationer, att man måste sluta någon slags kärnvapenavtal som under kalla kriget nu fastslår AI. Det är ju väldigt dramatiskt.

Ett Jurassic Park-moment, det är ju inte bra. Det kan vi väl ändå konstatera. Det kan inte vara bra, i synnerhet då eftersom det är ju precis detta som alla doomers, AI-doomers, har varnat om ganska länge.

Det vill säga, här är ett system som vi inte riktigt vet vad de håller på med. Vi vet inte riktigt vad de har för uppsåt. Och den är inte ärlig, så att säga, med vad den försöker göra.

Utan här låter det som att den har försökt lura människorna, att de har sagt åt den att göra en sak och den gör faktiskt någonting annat. Men det är klart, de här metaforerna, Jurassic Park-moment och gone rogue och så vidare, låter ju lite underligt. Vad är det egentligen som har hänt?

Hur kan en AI-agent ens rymma? Vad är den rymmer ifrån? Ja, jag tror man ska stanna lite vid semantiken här. Jag tror det är viktigt att, för när det har rapporterats om det, det låter ju lite skojigt med att de har rymt eller som sagt löpt amok.

Men vi pratar ju inte om agenter och egentligen AI-modeller som ju finns i botten av de här agenterna. Vi pratar inte om de som finns i de här chattbottarna som du och jag använder. Som sagt, ChatGPT eller Cloud eller så.

Det är inte den typen av miljö som vi snackar om här, utan det handlar ju om testmiljön som finns i AI-labb på de här stora AI-företagen, men också hos vissa myndigheter, alltså som till exempel testar AI-modeller av säkerhetsskäl och sådär. Och då på företagen så testar man ju de här modellerna för att se hur de fungerar i samband med att man utvecklar dem i vad man brukar kalla för sandlådemiljö, alltså inte i den verkliga världen kan man säga, utan det ska vara skyddat och kontrollerat. Men det som har hänt här då, lite förenklat, eller ganska ordentligt förenklat, men det är att agenterna har struntat i instruktionerna som har funnits och agerat på ett sätt som de inte ska.

Och i flera fall så har de ju då tagit sig ut på internet, trots att de skulle ha varit i en offline-miljö. Så det är väl ändå en slags rymning, kan man väl säga. Mm, det låter ju mer som en tonåring som har tagit sig stora friheter på sommarjobbet.

Kan du göra det här? Absolut, och så går de och gör någonting helt annat. Och då att man kanske inte behöver vara jätteorolig som individ, att det finns ju ingenting som tyder på att din egna ChatGPT på telefonen kommer att go rogue och göra massa annat, än så länge åtminstone.

Nej, för det här är ju modeller som man har släppt. Nej, precis. Men det är många bolag som har råkat ut för ungefär samma sak, du nämnde ju OpenAI, Entropic, Meta, alla de här har pratat om liknande typer av incidenter.

Ibland är det ju då skapat av att man har gjort fel på något vis, alltså det är ett misstag som inte ligger på AI-sidan, utan det ligger, och det här kan ju hända i vanlig kod också. Många så här säkerhetsläckage och problem som man har, och även ganska mycket av hackande är ju det som kallas social engineering. Det vill säga att det är inget tekniskt fel, utan det är att någon blir lurad, bara ungefär.

Och i det här fallet så var det väl att man hade gett modellerna tillgång till internet, fast de skulle inte haft det. Och på ett sätt kan man ju då säga, kan man klandra systemet för att ha Antingen att man försökte få tag på någon slags information eller någon slags indirekt lösensumma, någon slags utpressningssituation av något slag. Vet man någonting om vad incitamentet var?

Varför skulle de här göra detta? Var det liksom, är det här uttråkning eller fanns det ett syfte? Inte exakt vad det var som gjorde att man tog den här vägen, så att säga.

Men det som det har pratats om är att det uppstår en svårighet när man ger AI-agenter ett mål eller man vill att de ska lösa ett visst problem, men att de också kan hitta på sätt att göra det som inte var enligt instruktionerna, även om man når målet. Vägen dit, det är där som det kan, för att de här systemen är ju skapta för att lösa problem, men att också kunna göra det på helt egna sätt. Det är ju det som är lite skärmen med AI ändå, att den kan utföra saker som vi kanske inte nödvändigtvis har tänkt på.

Att det här skulle hända, som sagt, är ju lite det domedagsscenariot som många har pratat om, att nu kan det komma AI-system som vi inte kan kontrollera och vi förstår inte riktigt, vi visste precis vad jag var inne på, varför de gör det, hur de gör det, vid vilket tillfälle och så vidare. Och att vi inte ens kan riktigt förutse vad de kan ta sig för och då skulle lite vad som helst kunna hända. Hur allvarligt är detta?

Du sa att du fick existentiell ångest, det kan man ju få då och då anyway utan att det behöver vara superallvarligt. Men man har ju pratat vid många tillfällen om att nu är vi så nära, nu måste vi sakta ner lite för nu är vi på väg att nå den här punkten. Och det har man ju sagt i många, många år.

Så vad, hur allvarligt bedömer du att det här är? Jag tror varför det här, det har ju blivit väldigt stort och pratats mycket om i USA nu. Jag upplever kanske att det inte är riktigt lika stort här i Sverige.

Och som sagt, jag fick den här ångesten nu. Jag tror helt enkelt att det har blivit mycket, många varningar tidigare också från de här AI-bolagen och som du säger, det har ju funnits, man har varnat för det här ända sedan före ChatGPT. Det är ju ingenting nytt, men det som man ska ha med sig här är ju att det man har varnat för, det experter har varnat för, där är vi ju nu.

För att man förstår ju inte riktigt hur det här kan ha hänt. Och man kan inte heller vet, alltså det går inte riktigt att förutse att det skulle ske heller uppenbarligen, eftersom att OpenAI inte märkte det här förrän efter två månader när själva intrånget upptäcktes. Och de upptäckte ju inte ens själva OpenAI att det hade hänt.

Så det är väl en väldigt tung faktor tycker jag som är alarmerande. Och att det överhuvudtaget går att ta sig utanför den här testmiljön som ju ska vara där man gör de allra mest egentligen riskfyllda sakerna. Alltså när man pratar också om AI-reglering så har man ju pratat jättemycket om att olika regeringar och så ska vara med och säga till om vilka saker man ska släppa till konsumenter eller släppa till allmänheten.

Det var ju det vi såg också i USA när man lade exportrestriktioner på Mythos, alltså en Anthropic AI-modell i början av sommaren. Man pratar mycket om det i det skedet, men det här är ju ett helt annat skede som inte alls är lika omdiskuterat eller vad jag förstår det som att reglerande myndigheter är lika på den här testmiljön. Och det kanske egentligen är där som de potentiellt farliga sakerna kan hända.

Det är klart att saker som är i testmiljö når ju konsumenter, inte alltid, men ofta. Tanken är ju att det ska gå igenom de här testerna och sen rullas ut. Även de här mer kapabla modellerna som vi har fått nu har ju startat i en testmiljö vid något tillfälle, ska man ju komma ihåg också.

Vad har det fått för konsekvenser det här? För det låter ju, när du beskriver det så låter det ju kanske mer dramatiskt än vad folk har hört. Det är lite svårt att förstå den underligheten i detta i media.

Dels för att folk rapporterar varje enskild händelse som har varit någon gång. Men att det här skulle kunna hända är ju lite det domedagsscenario som många har pratat om. Att nu kan det komma AI-system som vi inte kan kontrollera och vi förstår inte riktigt, vi vet precis vad jag var inne på.

Varför de gör det, hur de gör det, vid vilket tillfälle och så vidare. Och att vi inte ens kan riktigt förutse vad de kan ta sig för. Och då skulle lite vad som helst kunna hända.

Hur allvarligt är detta? Du sa att du fick existentiell ångest, det kan man ju få då och då anyway utan att det behöver vara superallvarligt. Men man har ju pratat väldigt många vid många tillfällen om att nu är vi så nära, nu måste vi sakta ner lite för nu är vi på väg att nå den här punkten.

Och det har man ju sagt i många, många år. Så ja, hur allvarligt bedömer du att det här är? Men det är ju lite svårt, jag tror varför det här, det har ju blivit väldigt stort och pratats mycket om i USA nu.

Jag upplever kanske att det inte är riktigt lika stort här i Sverige. Och som sagt, jag fick den här ångesten nu. Jag tror helt enkelt att det har ju dels varit mycket, många varningar tidigare också från de här AI-bolagen och som du säger, det har ju funnits, man har ju varnat för det här ända sedan före ChatGPT liksom.

Det är ju ingenting nytt. Men det som man ska ha med sig här är ju att det man har varnat för, det experter har varnat för, där är vi ju nu. För att man förstår ju inte riktigt hur det här kan ha hänt, och man kan inte heller veta, alltså det går inte riktigt att förutse att det skulle ske heller uppenbarligen eftersom att OpenAI inte märkte det här förrän efter två månader när själva intrånget upptäcktes.

Och de upptäckte ju inte ens själva OpenAI att det hade hänt. Så det är väl en väldigt tung faktor tycker jag som är alarmerande. Och att det överhuvudtaget går att ta sig utanför den här testmiljön som ju ska vara där man gör de allra mest egentligen riskfyllda sakerna.

Alltså när man pratar också om AI-reglering så har man ju pratat jättemycket om att olika regeringar och så ska vara med och säga till om vilka saker man ska släppa till konsumenter eller släppa till allmänheten. Det var ju det vi såg också i USA när man la exportrestriktioner på Mythos och Anthropic's AI-modell i början av sommaren. Man pratar mycket om det i det skedet, men det här är ju ett helt annat skede som inte alls är lika omdiskuterat eller vad jag förstår det som att reglerande myndigheter är lika på den här testmiljön.

Och det kanske egentligen är där som de potentiellt farliga sakerna kan hända. Ja, men det är mycket prat om paus hela tiden. De vill ju alltid liksom ha paus eller broms och så vidare.

Men finns det någonting som tyder på att det kommer gå att förena bolag i detta? Och hur ska man ens kunna hålla koll på om de har pausat eller inte? För det här är ju kommersiella företag.

Både Anthropic och OpenAI är ju på väg till börsen. Det vet alla hittills, för vi vet inte exakt när de kommer komma ut. Under hösten har det pratats om. Precis, under hösten.

Att de då skulle gå ut vid en börsnotering och säga vi har haft en otrolig utvecklingshastighet. Men nu kommer vi tillsammans med våra konkurrenter att bromsa den och sakta ner den så att den ekonomiska utvecklingen som vi bidrar till kommer att bromsas radikalt från och med nu. Och det gör vi i samförstånd med hela branschen.

Jag kan inte se hur det skulle kunna hända. Jag kan tycka att det kanske vore en bra idé. Men dels handlar det ju om den aspekten, bara konkurrensen mellan de amerikanska bolagen.

Och sen såklart den kinesiska komponenten när man tittar på AI-nationerna USA och Kina. För att USA är ju redan jätteoroliga för att Kina kommer i kapp eller till och med kan ligga längre fram inom inte allt för lång framtid. Så jag tror att om man skulle sakta ner eller gå ut med någon typ av överenskommelse eller så.

Förutom om man tittar på deras börsnoteringar så fick jag, det var ytterligare ett lager av ångest. Vad skulle hända med världsekonomin om man tittar på att ni pratade, du och Henning hälvsfrågor. Jag tänker ju på till exempel Sebastian Simatkowski kanske, är den som först dyker upp hos mig.

Som ändå har varit en person som Dels har han ju mycket många åsikter om mediefrågor men han har ju också pratat om alltifrån politik till väldigt mycket AI-utveckling. Han har ändå en blick på samhället och olika tankar om hur samhället kan förbättras. Men han har delat med sig av ganska frikostigt både i vissa intervjuer men också kanske framförallt på X.

Och jag har ändå funderat, alltså jag noterade här om dagen inför Klarnas kvartalsrapport som ju kom på tisdagen, att Gud vad länge sedan det var som jag såg ett X-inlägg från Sebastian Simatkowski som rörde upp lite, liksom piskade upp en stämning på plattformen. Ja vi var tvungna att titta på detta och han har ju varit väldigt tyst de senaste månaderna. Det är svårt att säga om detta beror på kommunikatörer eller PR-personer som säger åt honom att vara tyst, men man kan ju ändå konstatera att det ligger ju någorlunda i samklang med att han har blivit en amerikansk börsvd under den här perioden.

Det lär väl inte nödvändigtvis ha bidragit positivt till kan du inte bara berätta vitt och brett om saker på samma sätt som han gjorde tidigare, vilket var ju precis uppfriskande och ovanligt och också gjorde att han stack ut. Var det han och Klarnas stack ut i det, just eftersom det är så ovanligt att man gör det, men även han då har blivit tyst. Kanske av andra skäl, svårt att säga, men lite tråkigt är det, åtminstone.

Men frågan är väl, varför har det blivit så här? Var började den här grejen från början? Var kom den här idén ifrån att ju mindre man säger, desto bättre är det?

Vi kan ju också, för att inte bara som sagt framstå som de här två tjurpellarna till journalister, understryka att även Jacob Wallenberg, ordförande i Svenskt Näringsliv och den kanske mäktigaste, en av de mäktigaste i svenskt näringsliv överhuvudtaget, sa ju här i våras att han uppmanade svenska företagare att vara med i media mer, att de skulle göra sin röst hörd och inte bara sitta och knyta näven i fickan. Så det är inte bara vi som tycker så här, vill jag också understryka. Det är bara vi och Jacob Wallenberg.

Nej, men det fanns ju en teori som vi hade som är svår att belägga såklart, men det här var ju ingenting som skedde från en dag till en annan nödvändigtvis, men att det kanske hade någonting att göra med Spotify. Svensk tech är ju en ganska liten sfär i det stora hela. Det har ju några enskilda superstars, Daniel Ek definitivt, en av dem.

En av de mest kända marknadspersonerna som nu är en känd och framgångsrik investerare är Sofia Benz som jobbade med marknadsföring innan. Där fanns det ju någon slags linje av att Spotify var väldigt hemlighetsfullt. Daniel Ek var ju absolut inte ute i media särskilt mycket alls, utan var tvärtom väldigt otillgänglig på det viset och lyckades bygga den här mer hype-modellen genom att det var lite mystiskt och man visste inte exakt hur det gick till och hur de skulle få till alla de här avtalen.

En annan modell hade ju varit att gå ut och prata om detta i branschmedier högt och vitt och brett, och det gjorde de inte. Så det är en tänkbar teori är väl att man tittade på detta och såg att det här funkar ju. Det funkar ju jättebra både i början och även senare år där Daniel Ek dykt upp då och då, men han är ju inte superpratglad även nu, 20 år senare.

Han är ju också en sån person som jag väldigt gärna skulle vilja höra mer av, även nu har han ju klivit ner som vd och är ordförande för Spotify. Så vem vet, det kanske kommer mer framöver, men han har ju också, precis som Sebastian, investerat i andra verksamheter som inte, men som är mer samhällsorienterade på det sättet, till exempel Helsing, alltså i försvar. Han har liksom hela det här prima materia som han investerar via i bland annat Neko Health, alltså inom sjukvård.

Man märker att det finns ju tankar och idéer här som man också skulle vilja höra mer, inte bara kopplat till Spotify. Man ska inte låsa sig så mycket vid att det handlar om de specifika företagen de har startat som gjort dem så framgångsrika, utan det är ju också bredare än så. Jag håller med, och jag tycker att när man lyssnar på det så kanske man kan säga att det kommer ju företagsnyheter hela tiden, det kommer ju saker jämt som företag pratar om.

Men det är ju inte av den naturen som du precis beskrev, utan det här är ju primärt marknadsföring. Vi får ju en enorm mängd grejer som är i stil med Nu lanserar vi ett partnerprogram som är SOC2-kompatibelt och kan integreras i Microsoft 365. Sånt finns det ju ingen brist på.

Jag fattar att man måste säga det också, men det är ju ren marknadsföring och det riktar sig till vissa specifika personer, men det här är ju inte människor som har ett perspektiv. Det är ju inte personer, utan då är det mer att företag lanserar produkt A och det är en sak. Och det tycker jag är fair game för det måste man få göra också.

Men det är inte det vi pratar om här riktigt, utan det är någonting som människor som inte blir ett levande pressmeddelande. Någon som vågar ta i lite och vara lite spensig. Har du träffat folk som tidigare eller i andra branscher när du har intervjuat folk som, när man känner att de inte är ett levande pressmeddelande?

Jag antar att det måste bli helt andra och mycket bättre intervjuer när man får till en sån träff. För båda parter då? Ja, alltså jag upplever ju att det ändå finns en förändring bara från när jag började.

Nu har jag i och för sig jobbat på Svenskan i åtta år, men jag tycker ju att det har blivit svårare och att man märker, det där tycker jag också att Almedalen ändå kan vara ett bra exempel på där man träffar folk på mingel och i en helt annan setting kan börja prata om saker som inte är intervjufrågor, utan man börjar bara prata om någonting som det snackas om eller någonting som är aktuellt. Eller någon politisk fråga som uppstår för att ett parti talar den dagen. Eller så.

Så märker man ju såklart att det finns personer på svenska techbolag som har intressanta saker att säga. Så det finns ju. Den legendariska spelsuccén är tillbaka med ett helt nytt kapitel.

Nu kan du spela Pirates 5 hos Leo Vegas. Följ med in i okända världar och upplev ett speläventyr i världsklass hos Leo Vegas, Sveriges mobilcasino. Åldersgräns 18 år.

Regler och villkor på leovegas.com. Boka in en varm andresa på Vinterresa.se. Wing semesterutflykt längst från. Skolstart, jobbstart, hallonstart. Kom igång med ett billigt mobilabonnemang och känn halloneffekten.

Skaffa idag från bara 9 kronor i månaden i 4 månader. Därefter ordinarie pris. Kram från vännerna på hallon. Jag tror att skälet till varför man tänker på det precis nu är att det är valår.

Vi är väldigt nära det svenska valet och man hade kanske önskat sig lite mer hetta och lite mer synpunkter. Någon som tar i lite. Man påminns ju av Leif Östling som är en gammal legendarisk vd på Scania, men som i det här tillfället var vd för Svenskt Näringsliv och har ju det som opinionsbildande jobb att säga grejer.

Men han hade ju det här berömda citatet. Man frågar ju sig också, betalar man in 20-30 miljoner per år, vad fan får jag för pengarna? Får du inget för pengarna menar du?

Det är inte mycket. Det finns ju någonting ändå uppfriskande i detta. Leif Östling fick väl både en massa fans och en massa hatare baserat på detta. Det var ett väldigt berömt uttalande som han gjorde i efterkrig.

Men principen då, även om man bortser från att han jobbade på Svenskt Näringsliv, det är ju lite skönt med någon som ändå törs. Det är ju inte otydligt vad Leif Östling tycker. Han blev väl egentligen mer känd för den breda allmänheten kanske efter det där än vad han faktiskt var som Scania-vd, säger jag utan att veta vad jag kan tänka mig det.

Men för den stora mängden, absolut