Kan en hypotetisk AGI/ASI bli välvilligt inställd till människor?

Super alignment.

Jag är helt övertygad att när AGI/ASI blir tillräkligt agentik så kommer det vara ett symbiosförhållande.

Du kan också kolla upp Instrumental convergence

Instrumental convergence is the hypothetical tendency for most sufficiently intelligent, goal-directed beings (human and nonhuman) to pursue similar sub-goals, even if their ultimate goals are quite different.[1]

Spännade tider, det här trodde man inte bara för 2-3 år sen.

Absolut, och det är väl hela grejen med ASI? Det pratas nu om att man är rätt nära AGI, vilket många definierar som en AI som är lika smart eller smartare än människor inom ett väldigt brett område, till skillnad från existerande AI som kan vara "superintelligent" på väldigt nischade saker. Ett exempel där är AI som kan spela schack på en nivå som en människa aldrig kommer att kunna uppnå.

Värt att notera är att det inte finns några bevis för att det går att skapa AGI eftersom ingen har gjort det tidigare. Men många experter inom AI nu verkar anse att det är rätt nära, baserat på framsteg de gör internt i sin R&D. Exempel från Sam Altman, VD på OpenAI:

https://blog.samaltman.com/reflections

Steget efter AGI, d.v.s. ASI, är om möjligt ännu mer science fiction. Och det kommer att vara science fiction fram till den tidpunkt då det inträffar. Så det går inte att diskutera detta utifrån perspektivet att man måste kunna bevisa att det är ett potentiellt problem (eller en möjlighet) - då kan man lika gärna låta bli.

Jag tycker dock att det är en väldigt intressant hypotetisk möjlighet, och det faktum att så mycket pengar plöjs ner i detta, och att väldigt ledande figurer på allvar pratar om superintelligens, ökad livslängd, botemedel mot i princip alla sjukdomar, och annat som för oss idag låter som ren fantasi, är för mig ett tecken på att vi lever i en väldigt spännande tid.

AI har redan kommit på flera "novel ideas" som sedan har visat sig vara rätt/sanna och används inom forskning framför allt. Bästa exemplet är antagligen AlphaFold vars uppfinnare vann nobelpriset 2024.

Sen är det väl en rätt filosofisk fråga om det är möjligt att ta fram en lösning baserat på information som inte existerar. Det som skiljer oss åt från AI (för tillfället) är att vi kan göra fysiska experiment för att fylla på kunskapsbanken med ny data, och sedan dra nya slutsatser därifrån. AI är redan inom många områden skarpare än människor på att analysera data, hitta mönster, trender, och dra slutsatser eller ge rekommendationer på vidare experiment baserat på den information som finns.

Mycket av problemlösningar handlar väl egentligen ytterst om att titta på existerande data och dra slutsatser baserat på det. Finns det inte tillräckligt med information får man fylla på. Men för mänskligheten tror jag att en stor flaskhals är att vi inte är kapabla att analysera stora mängder data på ett effektivt sätt (och våra egna värderingar och erfarenheter gör oss mindre objektiva), och där kommer AI att vara en stor hjälp.

Starta gräsklipparen kan AI redan idag göra om du har en smart klippare som är ansluten till internet. Om inte så får du vänta tills humanoida robotar kommer ut på marknaden - och det ser inte heller ut att vara speciellt långt borta. Det finns redan företag som nu testar att använda humanoida robotar i stället för mänskliga anställda. Ett exempel är biltillverkaren BMW: https://www.youtube.com/watch?v=xLVm-QKEZSI

Det gäller att hänga med i utvecklingen, för det går snabbt, snabbt, snabbt nu.

Det håller jag inte med om. En AGI är ur flera aspekter en för oss överordnad intelligens, en superintelligens dvs en ASI. Om vi menar intelligens ur en bredare synvinkel, så som vi människor i regel betraktar mycket bildade människor som mer intelligenta än obildade. Vi betraktar också snabbtänkta som mer intelligenta än trögfattade.

Dagens språkmodeller är överlägset mer bildade än alla människor sammantaget och med en resonerande förmåga som i o3 blir den också objektivt mer intelligent än de flesta av oss i en uppsjö av olika tester.

Med dessa förmågor, framför allt kunskapsdelen och specifikt kunskapen om programmering och djupinlärning, kommer också en förmåga till självutveckling och en möjlighet att uppfinna nya algoritmer och syntetisk träningsdata som kan leda till ASI väldigt snabbt. Jag tror att det kan hända inom ett år och allra senast om fem år. Se vad kineserna kunde göra med Deepseek. Ganska simpel optimering av källkoden gjorde deras AI lika bra som Open AIs, utan att lägga på mer compute. Tänk då vilka optimeringar som nästa generations AI kan hitta i algoritmerna.

The sky is not the limit.

Intressant frågeställning. Men när jag oroade mig för "logiska monster" så utgick jag ifrån nästan bara rationellt logiska maskiner. Men trots o1-prewiew och o1- modellen fadäser så oroar jag mig faktiskt mindre för det nu. Det moderna sättet att utveckla modeller är numera att destilerad ifrån en större modell. Kineserna har visat att när de destilerade R1 ifrån DeepSeek-V3 så fick man en modell som, både, kan tänka rationellt och hollistiskt. Jag är dock inte helt obekymrad :Men om OpenAI börjar destilerad rationellt tänkande modeller ifrån efterträdaren till ChatGPT-4o, så lär resultatet bli en balanserad modell.

Alarmistens bekymmer, i övrigt, utgår ifrån självmedveten, autonom AI som ksn ställs upp, egna mål. Vi är ännu långt ifrån detta. Detta skulle bl.a kräva:

En betydligt bättre minnedfunktion
Kraftigt ökad autonomi.
Ej helt responsiva modeller
Världsmodell
Praktisk bred och djup erfarenhet ifrån den verkliga världen.

Allt detta kan vara på gång eller ligger i startgroparna. Men huruvida en självmedveten modell med alla dessa egenskaper skulle bli fientligt inställd gentemot oss är långt ifrån säkert. En balanserad modell sådan modell kommer, mycket troligt, enligt min bedömning vara välvilligt inställd till oss, om vi inte beter oss helt idiotiskt emot den.

Jag antar att det handlar om hur man väljer att definiera AGI och ASI, det finns ju ingen allmänt accepterad definition så vitt jag vet.

Jag har en hyfsat konservativ definition, inspirerad av Dario Amodei som definierar "powerful AI" (hans motsvarighet till AGI) såhär:


Jag ser ASI som en AI som rekursivt kan förbättra sig själv utan mänsklig hjälp, och som (antagligen väldigt snabbt) når en intelligens som är allt från tusentals till miljontals gånger "smartare" än människan. En ASI är mina ögon så extremt intelligent och kapabel att vi kommer att kunna lösa problem som vi över huvud taget inte vet existerar idag. Här kommer också alla fantasieggande framtidsvisioner om evigt liv, molekylär nanoteknologi, FDVR och annat in i bilden.

Men det är väl en ASI? Jag känner inte till någon människa som är smartare än nobelpristagarna i ämnena "biology, programming, math, engineering, writing, etc", alltså har vi att göra med en entitet som överskrider mänsklig förmåga med råge - en superintelligens.
Det finns väl i princip redan i dag möjligheten att sätta upp AI-agenter som jobbar automatiserat med att träna nya AIs. T.ex. anklagar Open AI nu Deepseek för att ottillåtet ha använt deras API för att träna sin nya AI:

DeepSeek vs OpenAI: Why ChatGPT maker says DeepSeek stole its tech to build rival AI

/../ OpenAI’s suspicions were initially aroused when Microsoft’s cybersecurity team identified unusual activity involving OpenAI’s API in late 2024. This activity included large-scale data scraping, where individuals linked to DeepSeek allegedly extracted vast amounts of information from OpenAI’s systems.

https://www.digit.in/features/genera...-rival-ai.html

Vilka fantastiska nya tekniska upptäckter krävs det egentligen för att det ska kunna bli möjligt att automatisera det här? Dra igång ett antal AI-agenter som jobbar med att förbättra nästa generations AIs. Förmodligen pågår det redan på stor skala.
Ja, de teoretiska möjligheterna är väldigt spännande. Men det har vi ju ingen glädje av om vi som art inte överlever ASI. Högsta prio borde vara att vi säkerställer vår övlerlevnad.

Ja det beror som sagt på hur man väljer att definiera det, finns inget rätt eller fel. Mest tydligt om man t.ex. kollar på wikipedia under AGI:

"Artificial general intelligence (AGI) is a type of artificial intelligence (AI) that matches or surpasses human cognitive capabilities across a wide range of cognitive tasks"

Vissa anser då att AGI innebär att AI:n är "allmänt smart" inom flera olika områden, utan att nödvändigtvis behöva vara smartast. Där är vi såklart redan nu, då många modeller placerar sig på forskarnivå inom STEM-ämnen. Men dagens AI kan inte lösa rätt enkla pussel som en människa kan, klarar inte av att på egen hand utföra uppgifter som kräver flera efterföljande steg utan kompletterande input från en människa, och en hel del andra saker som en "normal" människa klarar av även utan hög intelligens. Så i mina ögon är AI fortfarande rätt smal / narrow, även om den börjar bli mycket kunnig inom dessa områden.

Lite samma sak med "a wide range of cognitive tasks" - menar man då en handfull, ett hundratal, eller i princip alla kognitiva uppgifter som en människa klarar av?

Eftersom AI är AI redan tycker jag att det kan vara bra för sakens skull att ha en mer konservativ definition av AGI för att verkligen kunna se att man har nått en ny "brytpunkt" i AI-utveckling. Att nästa o-modell från OpenAI placerar sig några snäpp högre i diverse STEM/kodningstester innebär egentligen inte att man har gjort några banbrytande upptäckter eller förbättringar, det handlar mer om att öka mängden data som går in i modellen som tränas (och eventuellt vissa optimeringar med t.ex. minneshantering för att kunna hantera denna mängd data effektivt).

Därför gillar jag att ha rätt distinkta krav för att kalla det AGI som också per definition då visar att utvecklarna har tagit konkreta steg som innebär att AI kommer att bli ett verktyg som påverkar hela samhället, inte bara forskare på universitet (krasst uttryckt).

Egentligen är det en irrelevant fråga om vi har nått AGI eller inte, det enda som spelar någon roll är hur modellerna fungerar och vad de kan användas till. Och, ännu viktigare, när uppnår vi en fungerande RL så att AI kan förbättra sig själv helt utan mänsklig intervention så att vi kan "låta datorn stå på" och bara vänta på att AI blir övermänsklig på alla sätt och vis.

Rekursiv inlärning finns i olika former idag, men jag vill påstå att vi inte har nått den punkt att AI kan vidareutveckla sig själv utan yttre hjälp. Annars hade vi som sagt hört extremt mycket mer om det. Det man normalt använder nu är "RLHF", eller "recursive learning from human feedback", där AI-modeller förvisso "tränar" men det är en människa som ger tummen upp eller tummen ner om de gjorde rätt, lite förenklat.

För att AI ska kunna förbättra sig själv autonomt på det sätt som krävs för att nå ASI krävs det en hel del saker. Dels måste modellen kunna skapa stora mängder användbar syntetisk data (det finns bara en begränsad mängd information i världen att träna på, så AI måste kunna skapa egen, ny information som den faktiskt blir smartare av att studera). Detta tror jag att man har klarat av nu, sägs det.

Jag anser även att modellen måste kunna se och förstå den fysiska världen (2D, 3D) samt kunna interagera med den. Sen är det långtidsminne/korttidsminne som så vitt jag vet inte är helt löst ännu. Ja, utan att gå in på massa detaljer (och jag är själv inte forskare inom AI så det är säkert mycket jag inte vet/är uppdaterad inom) tycker jag att det är många steg kvar innan ASI över huvud taget är möjligt. Därför tycker jag att AGI kan definieras på det sätt så att när vi når dit är ASI i princip oundvikligt, eftersom vi då har löst alla förutsättningar för att nå dit (förutom eventuellt RSL, om vi förtydligar skillnaden genom att kalla det recursive self-learning, d.v.s. utan hjälp, vilket även enligt denna strikta definition inte är ett krav för att kallas AGI).

Och då är vi passande nog tillbaka på topic för trådstarten (som vi gled iväg från en bit)

Jag anser att det i princip är omöjligt att sätta upp ett regelverk som AI förhåller sig till, om man också utvecklar en så pass kapabel modell så att den når definitionen av ASI. En klassiker är gem-problemet (paperclip problem): https://cepr.org/voxeu/columns/ai-and-paperclip-problem

Jag hoppas verkligen att vi lyckas få en aligned AI som tar hänsyn till sin omgivning och ser skyddandet av människor och vår livsstil som en obrytbar grundregel. Men jag kan också tänka mig att det inte krävs mycket för att det ska gå snett. Jag är alltför oinsatt för att förstå mig på hur man kan lösa detta, men det finns gott om forskare som jobbat heltid med denna fråga i flera år som fortfarande uttrycker stor oro över att problemet inte är löst.

Här är en intressant intervju med OpenAIs före detta chef för alignment som sa upp sig från sitt jobb för ungefär ett år sedan eftersom han ansåg att OpenAI inte tar frågan om aligment på tillräckligt stort allvar: https://spectrum.ieee.org/the-alignment-problem-openai

Det finns ingen trovärdig hypotes om hur vi kan säkerställa AI-Alignment (globalt och för all framtid).
Det är alltså extremt farligt att tillåta fortsatt, ohämmad AGI-utveckling.

Innan AGI kommer sjävlförbättrande AI. Det kallas även superintelligens-frö, för den kan förbättra sig själv allt snabbare tills den är kognitivt smartare än nästan alla människor.

Innan vi ev. tappar kontrollen över en superintelligens med fri vilja har vi ett allvarligare problem. Nämligen att något land eller företag eller småskurk utnyttjar AI i oetiskt och olagligt syfte. Åsidosätter de inbyggda begränsningar som finns i t.ex. ChatGPT. För att ta kontroll över människor i andra länder, och över hela internet. Då behöver Sverige en snabb nödbroms på Internet.

Frågan du bör ställa dig är; ser du de, låt oss kalla dem människor, som behandlar djur illa som elit människor?

Jag skulle tänka mig att en entity som är överlägsen i allt och essentiellt en gud, inte ens reflekterar över små kryp som människor.

Därför blir det upp till människa vad som händer. Människan är smart nog att justera och ändra hur vi lever för att inte utgöra ett hot och förbli osynliga. De som väljer att utmana blir utrotade, inte mer med det.

Även för oss människor är det ofta ovist att tränga in vad som på pappret är underlägsna varelser i ett hörn och det samma är förmodligen sant för en AI.

OK, så du menar att vårt bästa alternativ är ungefär att gå off grid som en prepper. Köpa 10.000 konserver, 1000 dunkar bensin och flytta in i en stuga i skogen utan Internet? Ja, jag tror att många människor mycket väl kan överleva ASI på det sättet, säkert i flera decennier till (innan miljöförstöringen blir allt för påfrestande). Men är den framtiden önskvärd för oss?

I dagsläget är jag mer orolig för artificiell dumhet. Att vi överlåter kontroll åt AI:s som egentligen har mycket begränsad förståelse av världen och kan göra stor skada därför att de inte förstår eller bryr sig om konsekvenserna.

Chatbots som fyller Internet med mer och mer hallucinatoriska lögner vilket i sin tur indoktrinerar en massa människor att tro på det. AI inom aktiehandel som gör mer och mer irrationella affärer för att de tycker sig se mönster i hur kurserna rör sig, eller kanske rentav avsiktligt kraschar marknaden för en snabb vinst utan att inse hur det påverkar ekonomin i stort och gör alla till förlorare osv. Värst av allt, AI:n inom militären som blixtsnabbt kan eskalera en konflikt där människor skulle tvekat.