"Ingen politiker pratar om det här!"

Man kan ju tänka när man försöker lära ett barn att inte gå och plocka godis i godisskåpet förutom på lördagar. Och när man är hemma nu så kommer barnet förstås inte gå och plocka godis, för vi vet att man kan hacka sig in på ställen där det hade varit som i den här situationen. Men när man går hemifrån så är det otroligt stor risk att barnet tänker att vi plockar godis.

Och i det här fallet så kan jag plocka godis istället för att hacka sig in på världens banker och tala pengar genom att... Precis, och nästa fråga kanske är, vad kan Sverige göra i det här? Avsnitt två.

Ja, kul att det är första ute och vi nu spelar in det här, vi spelar in det här samma dag som vi har lagt ut det första. Så vi har hunnit få lite reaktioner, men hoppas att det blir ännu fler. Och vi ska den här gången prata om hur vi tycker att man bör agera, både som privatperson och vad vi tycker att man kan göra som politiker.

Exakt, vad ska vi göra med allt det här? Situationen i världen idag. Men vi kanske kan börja med vad som har hänt sedan sist i AI-världen. Vad har hänt i din AI-värld?

Alltså det har hänt otroligt mycket faktiskt. Jag släppte ett klipp på sociala medier där jag bara beskrev hur snabbt utvecklingen gick och illustrerade det med min son Kalle och hur mycket han skulle växa om han växer lika snabbt som AI-utvecklingen går. Och det var helt absurt när jag insåg att det skulle vara att han skulle vara lika lång som jag om några månader.

Sen skulle han vara lika lång som Eiffeltornet om ett år och sen till nästa val så skulle han vara lika hög som Mount Everest. Så det är helt absurt. Om man jämför en bebis med Mount Everest, det är den projicerade förbättringen av AI-förmåga om utvecklingen fortsätter ungefär som den har gjort de senaste åren.

Alltså jag hade helt fel i hur folk skulle reagera för att den absoluta majoriteten skriver bara, oj herregud vad läskigt det här är. Vad sjukt att vi inte gör mer åt detta. Det känns som att det har fått enorm spridning.

Alltså ett sånt mottagande. Jag skulle också igenom några av kommentarerna där. Det känns som att folk är med på tåget liksom. Och förstår grejen och att den här oron existerar.

Jag minns att du delade en bild på något meddelande du hade fått från en tittare som var väldigt orolig över utvecklingen och verkligen frågade hur kan jag bidra? Det var en ung person. Ja precis, jag kan läsa den faktiskt.

Jag tror vi tänker på samma. Jag har tagit upp den här. Just för att jag tyckte att det var en så extremt rimlig reaktion. Också en reaktion som får en att känna att, ja men herregud det kanske går att lösa detta.

Alltså vi kanske kan göra någonting åt det. Jag läser här då. Jag har bara skrivit med fanam så det känns väl lagom anonymt. Hej, jag heter Leo och jag skriver till dig för att jag är enormt rädd för utvecklingen av AI och superintelligens.

För jag vet inte vart jag ska ta vägen för ingen bryr sig om det här verkar det som. Och för få verkar ta detta på allvar. Jag såg din video med Pärle Ros, det var då videon innan från framgångspodden en månad bak kanske.

Jättebra video by the way och du verkar kunna mycket om AI-utveckling och jag bönar och ber att du kan försöka göra något för jag har inget nätverk att kunna påverka eller något annat. Men du kanske har det. Du kan prata med våra partiledare om det här och visa allvar för detta som sker.

För ingen jävla politiker pratar om det här som håller på att hända och hoppas att du kan göra så att regeringen kan göra något. För jag vill inte dö, jag är liksom bara 18 år och har en hel framtid för mig och jag vägrar låta några rika miljardärer bestämma mitt öde och när jag ska dö. Så om du väljer att svara på det här meddelandet så hoppas jag att du tar mig på allvar och verkligen ser till så att flera människor blir medvetna om att vi kan gå mot utrotning snart.

Leo. Det är ganska tungt. Väldigt tungt. Och man kan tänka, nu är vi lite äldre och jag är ytterligare lite äldre än vad du är nu. Men om man var 18 år så hör man om det här och bara, vad så sjukt?

Man har liksom sett fram mot sin framtid och föreställt sig hur livet kommer vara. Och så plötsligt dyker det här väldigt oväntade hotet upp. Och när man också väldigt rimligt känner sig maktlös och känner att det är de här miljardärerna som håller på att köra sitt race om vem som ska hinna först i det här och gå snabbast fram.

Och att man då själv är helt utlämnad till deras nyckfullhet. Ja, verkligen. Vi måste ta Leo på allvar. Men jag känner också att det finns nog många som känner liknande och det är många som har hört av sig till mig också.

I allmänhet när jag pratar med dem och också när de fick provlyssna lite på det här poddavsnittet som vi spelade in då sist. Som delar det här, det är återkommande att man känner sig lite maktlös som individ. Så jag hoppas att vi kan tackla det nu.

Och det jag känner starkast är bara om det är väldigt många individer som känner sig maktlösa tillsammans. Så är man faktiskt inte maktlös. Tillsammans så kan vi faktiskt göra gemensam sak och göra skillnad.

Så vi kommer till det i större detalj tror jag. Och det är det man kan hoppas på att det kanske har funnits mer än vad vi trodde. För jag nämnde för dig igår att min granne när jag kom hem hade kommit fram och tackat för det här klippet med om AI-utvecklingen.

Och sagt att jag trodde att det bara var jag som var orolig. Så det är så skönt att någon lade upp det här. Och det är många som har varit, det är skönt att någon pratar om det.

Så att man får känslan av just att många kan gå runt och tänkt det här. Men att det har varit, ja men man har känt att det allmänna samtalet har varit som att det inte är något att oroa sig över. Då har man känt att man inte kan prata om det.

Men nu verkar det ha brutit igenom lite grann. Och annars så, jag gjorde en intervju som kommer komma i dagens etc på fredag. Det var en journalist som var hemma hos oss.

Hon var verkligen, det kändes som att hon var på ett personligt mission. Att hon hade lyssnat på framgångspodden och verkligen blivit riktigt orolig. Och då själv bara, oj är det liksom Fredagsjournalista?

Jag vill verkligen, det här borde man skriva någonting om. Och det kändes som att hon själv bara ville pusha oss och ställa en massa frågor. Så de var hemma hos oss i flera timmar och pratade och Jessica och Kalle var med.

Och det var trevligt också. En hovdograf som också blev så, oj, började lyssna och tyckte det var väldigt intressant. Och sen så tog hon liksom inga anteckningar utan hon spelade bara in allting.

Och då tänkte jag, oj, undrar hur det kommer bli. För det känns så svårt att bara ha en enda lång inspelning. Fast det är klart, nu när man kan transkribera så är det ju mycket lättare än innan.

Och så läste jag den i fredags och så tyckte jag att det var, alltså jag blev chockad över hur bra den var. Att hon verkligen hade lyckats fånga känslan och verkligen förmedla exakt det som jag ville ha fram när vi pratade om det. Man är så van vid att det liksom inte riktigt fångas.

Att man måste gå in och korrigera och att det ändå inte blir alls som man hade tänkt. Som var riktigt bra, men också tyvärr ganska mörk för att det blir mycket att vi pratade om risken för att det går riktigt illa och lite om depression och så. Så jag är lite orolig kanske att den blir, ja men kanske lite väl nedslående.

Men samtidigt att man kan fatta det allvaret i situationen när man läser den. Och så har jag ändå funderat på det här väldigt konkret sedan i december-januari i år i alla fall. På vad ska vi ha för policy?

Och försökt fundera på det här. Och jag har själv varit väldigt osäker på, ska jag vara för att bygga datacenter? Ska jag vara emot det? Är det bra eller dåligt?

Måste vi ha en paus? Är det bra? Hur mycket kommer det här påverka samhället? Och det finns en siffra som jag tycker om att ha i huvudet och ha lite koll på. Och det är mängden berä Precis.

Nästa fråga kanske är, vad kan Sverige göra i det här? Med en del, varken USA eller Kina bevisligen. Och det finns några saker. Vi pratade lite om beräkningskraft.

Jag är lite osäker på var man ska ställa sig. Jag tror att det inte nödvändigtvis är dåligt att bygga ut lite beräkningskraft i Europa och i Sverige, bara för att ha någonting att komma med. I en positiv framtida värld så kommer vi använda mycket beräkningskraft för positiva grejer.

Men det finns några saker som jag tror är ganska okontroversiella. Och det är just det här att det, hur får vi in mer kompetens och förståelse på de här frågorna? Det behövs mer forskning.

Så jag tror att någon form av AI-säkerhetsinstitut tror jag känns som ett väldigt naturligt nästa steg för Sverige. Och där finns det lite internationella exempel, med till exempel Storbritannien, som har ett AI Safety Institute, som har varit väldigt framgångsrikt och släppt rapporter och testat modeller på förhand, och haft ganska stor påverkan i att rådgiva den brittiska regeringen, men också internationellt, väldigt positiv ställning. Så det känns det absurt att vi inte redan har ett AI-säkerhetsinstitut.

Precis. Det kom ett lite förslag. Centern lade fram i en debattartikel ett förslag om att bygga ett AI-säkerhetsinstitut. Jag har hört folk prata om det och som att det ändå finns ganska mycket medvind för en sån idé.

Precis, jag tror att det finns ett ganska brett stöd för den här idén. Och inte minst för att det kan vara språngbräda och kontaktyta mot Europa, USA, Storbritannien och resten av världen. Och exakt vad Sveriges roll skulle bli, jag tänker att den absolut första är ju bara, som du sa, rådgiva regeringen.

Men man hade kunnat tänka sig att det går ännu längre till att forska på alignment och kanske verifiable compute pratar man om ibland. Alltså att man kan bekräfta att beräkningskapacitet används till att köra modeller istället för att träna nya modeller. Så att vi inte pushar, vi bygger inte smartare intelligens eller superintelligens, utan att vi bara utnyttjar den för existerande infrastruktur.

Och det vore väldigt positivt. Och där skickar man ju bokstavligen kontrollanter till kärnanläggningar för att kontrollera att de används till civila syften och inte militära syften. Men det är absolut simplaste, om det verkligen blir akut kris och båda känner att nu är vi riktigt nära superintelligens som är farlig, det är att göra någonting med det man kanske gjorde under kalla kriget där man faktiskt tog såna här bombflygplan med kärnvapenbestyckning.

Och så lade man ut dem på startfälten och så kapade man av vingarna. Och så visste man att USA och Sovjet visste att den andra landets spionsatelliter skulle ta bild på de här. Och då lovade man att själv rulla ut en av sina bombflygplan och kapa av vingarna.

Så för varje bombflygplan som den ena sidan förstörde så gjorde man det själv också och så kunde man bekräfta det med de här bilderna. Och man kan tänka sig i samma sak, att man i princip skickar trasiga delar av beräkningschip mellan länderna och säger för varje GPU som du skickar till oss som är trasig så förstör vi en och skickar till er som ni kan titta på och bekräfta. Så det finns några på som på något sätt har kommersiella intressen som inte vill att vi ska stoppa det.

Och på något sätt så måste vi kunna, som en stor massa, komma runt det här, och också globalt. Vi är åtta miljarder som inte vill ha en sån här AI-dystopisk framtid. På ett sätt känns det som att det finns mycket hopp och att man kan inte göra något som individ, men samtidigt så är individen kommer göra något i slutet, är just faktum att vi är så många och att alla känner som Leo eller liknande känslor, som förhoppningsvis kommer göra att vi globalt kommer bli tvungna att ta det här på allvar.

Så jag håller med, mycket mer sånt, mer aktivitet. Och jag har börjat lägga upp en sida på min hemsida jonasfren.se slash agera, där jag försöker samla lite såna här länkar.

Vi kommer välja på så att jag lägger in saker där. Och även att man kan ska upp sig på ett AI-nyhetsbrev, som jag tänker att vi också skriver tillsammans. Och där sätter det bort det blir, alltså om det dyker upp någon sån här organisation eller någonting som känns lovande, då kommer vi förstås ta upp det där.

Ja, och jag tycker nästan att en ganska naturlig direktråga som man kan få är, vi pratade lite om det sist, ska jag bojkotta AI personligen? Är det en bra sak att göra? Och det är lite som datacenterfrågan kanske.

Jag tror väl, som vi sa då, att vi båda är väldigt aktiva användare av AI. Och jag tror fortfarande att vi är i en sån fas att mer förståelse för vad tekniken kan göra är otroligt värdefullt. Och att det inte bara är vi som pratar om den här hackingen och hur det påverkar våra liv, utan att man faktiskt känner det lokalt.

Och jag tror att den nivån som tekniken är på idag kommer finnas kvar i världen. Vi kommer liksom inte gå tillbaka, tror jag, från det som redan har släppts. Men jag tänker att det är en väldigt naturlig sak som kan dyka upp.

Men en liten sak jag kan göra är att bojkotta. Och jag tror att det finns andra saker man borde göra. Verkligen. En bojkott kommer ju inte hindra utvecklingen. Och det är ju på något sätt också, det är inte AIn idag som är problemet, utan det är AIn snart.

Det är AIn, alltså det är liksom den absolut mest extrema formen av AI. Jag menar den AIn som vi har nu, som man använder till vardags, den, alltså de här absoluta frontiermodellerna som är på väg, som kommer snart längre fram, det är ju ingenting som en vanlig person egentligen skulle behöva. Det känns som att man har precis det man behöver just nu.

Alltså jag är extremt nöjd om vi bara stannar nu och man hade de här otroliga verktygen och kunde göra alla möjliga grejer och använda dem för att, ja men till exempel då ska jag åka på såna här rörelser och skaffa information, sprida information. Men liksom de här frontiermodellerna, hela idén med dem är ju att de ska kunna totalt ta över mänskligt arbete och mänskligt tänkande och kunna gå liksom mycket längre än människan i slutändan. Och det är där de riktigt farorna ligger.

Och det är väl också svårt för folk att egentligen förstå för att jag också hör många som, ja men du använder AI så mycket, hur kan du, vilken, alltså vad skenhelig du är som försöker prata om att AI är farligt och sen använder du AI jättemycket, men det är inte AI som är farligt. Alltså det är inte AI i sig som är farligt under framtida ännu mer kraftfulla AI som är väldigt farligt. Precis, jag har väl formulerat.

Men jag har åtminstone några konkreta saker man kan göra. Och det mest grundläggande är väl att själva medvetenheten om att problemet finns vill man att den ska spridas så mycket som möjligt. För det är själva förutsättningen för att vi ska göra någonting åt det.

Och det som förhoppningsvis blir lösningen är ju någon slags globalt avtal. Men det kommer inte bara dyka upp av sig själv. Jag vet väldigt många parter är med på tåget och att väldigt många individer är med på att det här är något som behövs.

Så att man kan bygga upp en slags konsensus om att okej, men det här är verkligen tydligt. Och när väl, när nästa sån här hargingfaceincident sker, förmodligen då betydligt värre och betydligt tydligare kan man hoppas för alla att man redan finns ett momentum som gör att man snabbt kan gå från insikt till handling. Och det är något som vi kan bygga upp redan nu, som man verkligen också som privatperson kan göra genom att prata med alla man känner om det här.

Exakt. Jag tänker bara på vad vi kommer se. Ja, de kommande par månaderna i termer av cybersattacker känns ju väldigt nära till hands eftersom vi har det här exemplet med Hugging Face.

Men jag har också hört det här exemplet med någon som skulle boka ett gympass i Australien tror jag och som bad sin AI-agent att göra det och sa nu har jag bokat här på fredag morgon. Jaha, men jag trodde att alla pass på fredag morgon var fullbokade. Ja, jag tog bort någon annans pass och bokade åt dig.

Jaha, du har typ hackat mitt lokala gym för att jag ska få det träningspasset jag vill ha. Och på samma sätt svenska ambassader, det här kanske är världsnyheter, men på svenska ambassader så kan man boka passtider som inte har släppts via deras interna system med hjälp av sådana här modeller. Och alla sådana här småsystem som inte är säkrade och redo kommer att hackas på ett eller annat sätt.

Och det kommer att bli en så otroligt turbulent tid som jag tror ändå kommer att leda till agerande från hela samhället. Och man kommer att inse att vi faktiskt behöver göra någonting väldigt konkret nu, så det här kan vi dra. Och den här gymgrejen som är exakt det som Bostem och Yudkowsky och andra pratade om så länge som visar sig då stämma.

Alltså deras teoretiska spekulationer visar sig faktiskt hända i verkligheten. Tyvärr, man har hoppats att det av någon anledning inte ska riktigt bli så rörigt, något som man inte har tänkt på. Men det visar sig vara ganska väl underbyggt det här med tankarna.

Så att det är ju verkligen dags att ta allt det här som man har pratat om på väldigt stort allvar. Och jag hoppas, precis som du, att ju mer sådana saker som händer, desto mer kommer folk ta det på allvar. Och desto svårare kommer det vara att inte göra det.

Och det är nästan det man förhoppat, man hoppas nästan på någon slags halvkaos som inte ändå orsakar allt för mycket skada, men som ställer till det på något sätt för samhället. Så att det blir nästan uppenbart att företagen kan inte fortsätta, för att om det fortsätter så kommer det bara ske fler sådana här saker. Och de kommer bli stämda och de kommer få skulden för väldigt mycket av det som händer.

Vilket gör att samhället bara kommer att bromsa. Ja, och jag hoppas att vi kommer se med kommande regering, vilken den blir, att de tar de här frågorna på stort allvar och agerar väldigt snabbt. Jag hoppas att vi kan se ett i alla fall fröt till ett säkerhetsinstitut innan årsskiftet.

Då blir jag glad. Ja, väldigt intressant också med, jag är lite småkompis med en av grundarna till Hugging Face, deras Chief Science Officer, och följde honom på olika medier och han har blivit väldigt högljudd publikt kring säkerhetsfrågor. Och säger bara att det är sjukt oansvarigt att träna de här modellerna utan att ha löst alignment först.

Och vi blev utsatta för det. Men det känns väldigt bra att de här väldigt tekniska personerna uttalar sig publikt om att det här är lite bullshit. Vad vi håller på att göra det är helt sjukt.

Och också från labben som aktivt börjar prata om det här. Så att medvetenheten ökar ju helt klart. Men jag tror verkligen att den här dynamiken mellan USA och Kina är väldigt olycklig.

Och det är nog fortfarande många som känner att risken att Kina får styra oss, får sin världsordning och sin ideologi igenom, den är fortfarande större än super-AI eller superintelligens. Men jag hoppas att det sakta skiftar. Verkligen.

Det är lite Game of Thronesigt att man har alla de här käblerierna inom människor och världen och sen kommer White Walkers. Det visar sig att det inte var så farligt i Game of Thrones. Jo, men lite så, exakt.

Man får zooma ut ibland och bara så här, okej, finns det något ännu mer fundamentalt? Och det är väl hoppet någonstans, att vi kanske kan zooma ut och nästan tvingas till samarbete. Och kanske att vi också lägger lite av det här mänskliga kävlet åt sidan.

Alltså alla krig, liksom handelskrig, det är mycket spänningar mellan USA och Kina. Och om man bara enas kring att vi bryr oss om mänskligheten och att inte falla offer för försökningintelligens, och det behöver vi samarbeta kring. Det kan ju vara en enande kraft också.

Ja, vilken fantastisk situation det skulle vara om man faktiskt gick ihop och löste det här. Det skulle inte bara vara en lösning, det skulle också ge en hopp om framtiden. Wow, människan kan faktiskt lösa det.

För lite har man känt med, och ser det här kalla kriget och allting, att vi har bara tur som klarar oss igenom det här. När det sätts under spets är vi helt inkompetenta som art. Vi har ingen förmåga att faktiskt gå ihop och lösa sådana här stora problem.

Men här, alltså pandemin var ändå ett exempel där vi gjorde någonting ganska bra. Och här skulle det kunna bli så. Jag får verkligen hoppas. Vad man skulle fira en sån dag.

Det här fick mig att tänka på min mamma som skickade mig en lista med tillfällen där mänskligheten har gått ihop och lyckats möta stora utmaningar. Det är 54 punkter som hon har sammanställt. Till en kompis som föddes 1972, det är året du föddes, så hölls FNs allra första miljökonferens i Stockholm som har lagt i grund för allt internationellt miljöarbete som har följt.

Vi pratar mycket om klimatkrisen, men det är också mycket som vi gör kring sura sjöar och utsläpp som faktiskt har hänt. Vi har gjort ett stort arbete. Exakt, och zonhålen och det här laget.

Precis, och det var Montreal-protokollet 1987 fastade ut 99% av alla ozonnybrytande ämnen. Det är helt otroligt. Blyet som försvann ur bensinen, också ekonomiskt lönsamt att ha bly i bensin för då gick motorn mer effektivt.

Men det var otroligt dåligt, alltså massa människor och framförallt små barn som föddes med massa problem. Antalet människor som dör i naturkatastrofer har minskat med runt 90% sedan mitten av 1900-talet. Tack vare varningssystem och bättre byggnader.

Så det finns ju väldigt mycket inkrementella saker som vi gör som mänsklighet som verkligen rör sig i en god riktning också. Även om det kan kännas som att vi stundtals är otroligt inkompetenta som art. Men det finns ju verkligen tillfällen när vi har lyckats.

Och det på något sätt ökar. Hela tiden så ökar motståndet. Medvetenheten ökar. Folk förstår hur folk är i labb. Folk som håller på och drivet här framåt väldigt mycket börjar känna att det är nog verkligen så att vi skulle behöva bromsa snart.

Svårt att säga kanske hur Trump personligen känner, men folk runt omkring om man tänker att även Xi Jinping skulle kunna börja känna att okej, man fattar mer och mer att det är farligt. Och att frågan är bara om vi kommer komma till den här kritiska massan av medvetenhet innan eller efter det är för sent. Det är väldigt mycket det det handlar om.

Och därför är det otroligt viktigt att man som privatperson i Sverige också försöker hjälpa till att sprida det här och bara sätta sig in och själv bli medveten om vår tids absolut största fråga. Så det är väl någonting som man kan förhoppningsvis fortsätta lyssna på podden där vi givetvis kommer fortsätta diskutera det här. Ja, och jag ska till San Francisco på onsdag morgon.

Som en sista minuten-planering, men det är verkligen så här, det kommer mycket från, till viss del bara för att jag känner att det händer så otroligt mycket i fältet nu. Med hela Huggingface-grejen. Och jag vill vara där det händer och känna av lite hur stämningen är.

Jag kommer spendera en dag på Anthropic, kommer besöka OpenAI också. Och Future of Life Institute meter, alla de här. Och jag är otroligt nyfiken på att se vad stämningen är.

Om det matchar min Twitter-bubbla. Ja, tack själv och stort lycka till i USA. Och som sagt, det vore så fantastiskt att det skulle bli bara fantastiskt att höra dig själv berätta.

Men också om du skulle kunna sprida in någon liten grej så hade det varit så coolt att vara med. Ja, jag ska försöka göra det. Bra, då var det så fint. Samma.