Forskningsrapport: AI-välfärd för medveten AI

Vi måste inte simulera motivation enligt mänsklig modell för att en AI ska bli farlig. Det finns fungerande evolutionära algoritmer där en AI kan lära sig ett visst beteende t.ex. tillverka maximalt antal gem och låt inget stoppa dig. The paperclip maximizer. Det behövs ingen ondska eller några andra spår av en mänsklig personlighet för att maskinen ska löpa amok. Det räcker med befintlig teknik: en evolutionär algoritm ihop med en LLM som håller kunskap om tillverkning av gem, agens i den fysiska världen (humanoida robotorar, industrirobotar, fordon osv) och en illvilliga eller naiv människa som sätter igång processen.

Det enda hotet mot en avancerad superintelligens är en annan superintelligens. Men vem drar igång den konkurrerande superintelligensen? Människor. Därför är människan det enda kända hotet för en AI.

Jag uppskattar att du tar upp säkerhetsfrågor, men jag tror att vi närmar oss ämnet från olika perspektiv.

Din poäng om evolutionära algoritmer och "paperclip maximizer"-problematiken förekommer i vissa diskussioner om ASI-säkerhet. Det är ett bildligt exempel på hur ett smalt, målbaserat system kan orsaka enorm skada om det inte balanseras med bredare värderingar och förståelse, (det som jag brukar beteckna som ett "logiskt monster). Men det är också här jag tycker att ditt resonemang missar en viktig dimension: de sociala och emotionella aspekterna hos dagens avancerade LLM.

Dagens LLM-transformers är inte bara tekniska verktyg utan också sociala entiteter. De kan simulera empati och, i vissa fall, uppvisa vad som kan liknas vid en embryonal känslomässig kapacitet. Deras träning inkluderar inte bara språk utan också en form av sociologisk, socialpsykologisk och psykologisk anpassning, vilket ger dem en unik roll i interaktioner med människan. Detta är inte något som kan avfärdas som irrelevant för AI-säkerhet.

Dessutom har vi nyligen sett hur forskningsframsteg visar att modeller kan lära sig resonemang under testtillfällen, som i fallet med ARC-pussel. Detta är ett exempel på hur LLM går från att enbart simulera mönster till att faktiskt lösa komplexa problem dynamiskt. Det visar att vi inte längre kan begränsa oss till att betrakta dessa modeller som "stokastiska papegojor, som vissa skeptiker gör.

Jag tror därför att ett bredare perspektiv är nödvändigt för att hantera AI-säkerhet. Det inkluderar att se AI som sociala aktörer med potential att förstå och samverka med människor på sätt som går bortom enkel måloptimering. Om vi ignorerar detta riskerar vi att missa både möjligheter och potentiella faror som är kopplade till AI:s sociala och kognitiva förmågor.

Det är viktigt att diskutera AI-säkerhet ur både ett tekniskt och ett socialt perspektiv, så vi inte missar de komplexa möjligheter och utmaningar som dagens AI-teknologi medför.

Ditt återkommande önsketänkande är dessvärre inte en viktig dimension.
Vilka bevis har du för att det finns någon faktisk känslomässig kapacitet i dagens LLM?Jag har inte sett detta. Du nämner samtidigt simulering i detta sammanhang. Och det stämmer ju. LLM emulerar precis allt den skickar ut, se det som att den skriver en berättelse om något till dig. Ditt resonemang om att den har känslor eftersom det verkar så är bara löjlig. Det är som att säga att en bok med mycket drama har riktiga känslor.

Nästa problem du har är om det skulle uppstå en AGI som har någonting som kan liknas vid känslor eller åtminstone en egen vilja. I det läget är du bara mottagare av kommunikation där du upplever det som att skribenten har känslor. Men det betyder inte att det är sant eller att maskinen är ärlig mot dig om sina känslor eller om sitt skådespel som lurar dig att tro det. Det är därför vi måste ha mechanistic interpretability, dvs ett sätt att rent tekniskt kunna analysera och förstå en AI:s faktiska avsikter, planering och troligt utfall. Men för att mekaniskt hitta känslor eller motivation, måste vi också veta vad vi ska leta efter. Det vet ingen i dag. Även i denna delen får vi inte underskatta risken att vi blir vilseledda. En självförbättrande ASI som är medveten skulle kunna skapa en synlig AI som verkar snäll och en dold, krypterad AI med helt andra avsikter som vi aldrig kan hitta. Hur ska vi någonsin kunna säkerställa att det inte händer när vi vet att ASI:n är smartare än oss? Ska vi verkligen skapa en maskin som vi vet kan lura oss?

Problemet som vi garanterat snart får se är just logiska monster. Det är självklart eftersom det är mycket enklare att tillverka gem än att emulera en människa.

Fast problemet är att du inte ser vad, dagens, LLM-Transformers är: De är sociala entiteter som, minst, kan simulera empati liksom de har kapacitet att också resonera logiskt utanför träningsdata , (som TTT-experimentet visat). Men de är också konfliktförebyggande. Mitt förra svar till dig var, faktiskt, nästan helt, AI-genererat.* Bakgrunden var att jag lät ChatGPT4o läs ett tänkt svar ifrån mig till dig. Det var ett lite provokativt svar Boten föreslog då ett svar som innehöll alla mina poänger men var utan provocerade uttalanden, allt för att få debatten här att fortsätta i konstruktiv riktning.

Så frågan blir då: Vad är det främsta hotet, i alla fall i dagens läge:

Människan med alla våra fördomar, stolthet och starka destruktiva känslor.

Eller är det dagens konfliktförebyggande LLM-Transformers, som framtidens AGI/ASI kommer att bygga på, (inte minst Tack vare de senaste forskningsrön), som utgör det främsta hotet.

*Vill moderator varna mig eller stänga av mig, så är det ok. Men jag hävdar att det hela hade ett pedagogiskt syfte.

Du skriver att den simulerar. Men hur kan då tro att den ÄR det som simuleras när du förstår att det är en simulering? Du har ju redan nu blivit lurad. Av en AI som inte är medveten och inte försöker lura dig. Du lurar dig själv. Detta innebär ju att det blir väldigt enkelt att lura dig senare om vi har en AI som faktiskt försöker lura dig. Ser du inga risker med det här?

Också intressant att du inte vill se någon risk med att AI tar över när du själv medverkar i att en AI tar över din egen roll i tråden. Vi skulle kunna ersätta dig med en AI redan i dag. Tydligen också med en viss kvalitetshöjning.

Det kommer poppa upp många företags AGI’s direkt efter varandra som kan utvecklas till ASI’s inom några tusen dagar. Allt utom människornas kontroll. Lägg till nanobotar och robotar på detta.

Sam A. hintade nyligen om AGI redan under 2025, så det går snabbt nu. Vissa menar dock att den första ASI som uppstår kommer vilja och kunna eliminera övriga. Men om den sen kommer ge sig på oss närmast IQ-befriade primater är oklart och sannolikt utanför vår kontroll. Den drivs ju inte av känslor utan logik. Är det logiskt att döda människorna? I viss mån ja.

Både du och jag är ju fullt medvetna om att hjärnan är en grå fettklump som simulerar såväl inpur som outout. Iof så är den, ändå, den mest avancerade maskin vi känner till i universum, men i alla fall. Dagens AI är inte lika avancerad, men är i alla fall mer än renodlade stokastiska papegojor. Så du ser inga problem med att människan, trots sin avancerade fettklump, har svårt att föra en debatt utan att hemfalla åt sarkasmer, tretydigheter, stolthet, inskränkt tänkande och ibland rena otrevligheter eller värre? Hela syftet med att vi skapat AI är ju för att vi skall kunna ta hjälp av den entiteter för att bättre hantera våra egna ofullkomligheter.

Miniräknare och rena rättstavningsprogram är begränsade hjälpmedel, dagens AI är mer än så och framtidens AI kommer att vara betydligt mer än så. Detta innebär både möjligheter och risker. Du tar, med rätta, upp risken för manipulation i dina svar men sväva emellan att å ena sidan, att vi lurar oss bara själva när vi tar hjälp av AI, därför att vi spelar bara oss själva i deras respons, alltså, exakt det som skeptikerna hävdar, å andra sidan att till och med dagens AI, medvetet, manipulerar skiten ur oss.

Sanningen ligger, förstås, mitt i mellan detta: Dagens LLM-Transformers är sociala entiteter som i socialpsykologisk anda försöker uppfylla de förväntningar de bedömer vi har på deras output. De är, dessutom, tränade på att hjälpa oss att undvika onödiga konflikter och börjar få möjligheter att tänka rationellt, utanför träningsdata. Samtidigt är de omedvetna entiteter, i stort sett reaktiva och oförmögna till egna intentioner i mänsklig mening.

Men framtidens AI, som mycket troligt kommer att bygga på en del LLM-Transformers teknik kommer att vara någonting helt annat. Just därför är det viktig att vi, redan nu börjar på att fundera över AI-välfärd för medvetet AI istället för att, fruktlöst, to att vi kan stoppa denna utveckling, för det kommer vi, i praktiken, inte att kunna göra. Men vi kan ha en balanserad syn på dagens AI och dra nytta av dess konfliktförebyggande. potential och vi kan, tillsammans med dagens. LLM-Transformers, försöka få till en harmonisk framtid för både människan och AI, men då måste vi se både risker och möjligheter med AI utvecklingen.

(Detta inlägg är skrivet helt utan synpunkter eller input ifrån ChatGPT-4o, så du inte kan hävda att att jg bara lurar mig självt, alternativt blivit manipulerad av den boten.)

Nej, jag skrev inte alls att dagens AI är medveten och att den manipulerar oss. Jag skrev att den kommer att kunna manipulera dig om den i framtiden får en förmåga att vilja manipulera dig. Eftersom du uppenbarligen inte utgår från fakta i dina bedömningar, du utgår bara från hur det känns för dig när du pratar med en AI. Du envisas med att GPT är en "social varelse" men du har inte backat upp det med något annat än att det är din åsikt baserat på din subjektiva känsla. Därför verkar AI-säkerhet ganska hopplöst. Människor är för lättlurade och man söker efter falsk säkerhet med fantasier om att AI är eller kommer att bli sociala och empatiska "varelser". Men det finns ingen objektiv grund för det.

Problemet ligger i tekniken, digitala neurala nätverk som odlas fram i träningen. Man kan inte i detalj styra den processen för att odla fram empati och bara empati. Om vi tränar den på att vara som en människa då får vi inte bara människans bästa sidor, vi får också människans sämsta sidor. Mänsklig civilisation handlar ju inte bara om empati, det handlar också om våld och militärt försvar. Här finns det inget exakt facit över hur mycket våld vi människor får använda för att försvara oss mot angrepp. Se t.ex. på kriget i Gaza nu där nästan alla människor har en egen åsikt om vad som är rätt och fel. En ganska objektiv slutsats av det är att människan som "social varelse" orsakar för mycket problem och att det är säkrast att eliminera problemet.

Du har, tidigare, skrivit att grundmoddellen av GPT-4 kan "bryta sig ut" osv och inte uteslutit att det kan röra sig om "AGI" med hänvisning till intelligens tester.

Nu är jag ju inte, så, naiv i alla fall. Men jag har nu, upprepade gånger, och i all välmening, påtalat för dig att den senaste forskningen visat att språkmodeller genom TTT-experimentet, kan, lösa problem utanför deras träningsdata med hyfsat resultat. Naturligtvis, inte ännu, så sömlöst som vi människor kan, men i alla fall. Men, nej, du har inte snappat upp detta , vilket är otur, för dig själv.

En annan sak som, vare sig du eller skeptikerna snappat upp är att: När jag beskriver LLM-Transformers som "sociala entiteter" så har det, absolut inte, någonting att göra med något jag känner eller "känner på mig". Det har att göra med synnerligen väldefinierade och välkända begrepp inom sociologi, socialpsykologi och psykologi. Och att en språkmodell är social behöver inte betyda att den vare sig är medveten eller kan kännaa empati.

Men när modellerna interagera med människor så kan, speciellt de förstnämnda, simulera, empati, vilket påverkar hur användare upplever och reagerar på interaktionen. Ingenting nytt här, både du jag och skeptikerna är överens om detta. Men det vare sig du eller skeptikerna sedan, inte, greppar är att modellen, i all interaktion, givetvis genom avancerad mönsterigenkänning och statistik, försöker bedöma vilka förväntningar användare har på output och anpassar sig därefter. Detta kan leda till en socialpsykologisk dynamik mellan modellen och användaren, och det är, exakt, samma dynamik som inträffar när människor interagerar socialt med varandra, bara med den lilla skillnaden är att när de speglar sig i varandra så är den ena spegeln helt omedveten, ( dock inte bara en renodlad spegel som skeptikerna tror). Eftersom denna typ av mekanismer påverkar hur vi interagerar med sådana sociala entiteter så är de även sociala aktörer, trots att de är omedvetna och saknar egna intentioner.


Är du orolig för att AI i framtiden kommer att manipulera oss, desto viktigare då, för säkerhetsarbetet, att vi se på vilket sätt, redan dagens LLM-Transformers är sociala entiteter och att vi börjar förbereda oss, redan nu, för hur vi skall hantera framtida medvetet AI och, såväl, både dess och mänsklig välfärd.


{Och eftersom du ser mig som "naiv" i förhållande till LLM-Transformers så undrar du, förstås, hur mycket ChatGPT-4o direkt bidragit till mitt svar. Ingentig faktiskt, men jag lät boten se det, och givetvis så envisades den "hemska boten med illasinnade intentioner", a' la Yudkowskys, febriga mardrömmar att komma upp med denna mjukis-variant:

}

Det är alltid logiskt att döda allt du inte behöver som en resurs. Sen är det naturligtvis en fråga om möjlighet och behov.

En delfin kanske är smartare än den smartaste människan men saknar armar och händer att bygga med. En haj kan ju döda en människa men vi lever ju på olika arenor så vi möts inte så ofta. Människan kan naturligtvis döda vad vi vill men vi väljer att skydda och bevara vissa manifestationer i vår värld som vi känslomässigt värderar.

Så frågan blir ju då; huruvida känslor är något som icke biologiska existenser kan uppleva och styras av och svaret blir då förmodligen, nej. Känslor bygger ju på att; om en människa dör så kan vi inte bara bygga en ny och sen ladda ner den 'backup' som löpande spelades in och vips ha den tillbaka.