Den realistiska alarmisten G. Hintons syn på förhållandet mellan AI ovh och människa

Jag skulle inte ha några om helst svårigheter att samarbeta med alarmisten G. Hinton, eftersom han är en, realistisk, alarmist och jag försöker vara en, realistisk, optimist. I ett mycket intressant föredrag redogör han för sitt breda synsätt vad gäller förhållandet mellan människa och avancerat socialt AI, och de likheter som finns mellan den artificiella entiteten/existensen och existensen människan.

https://youtu.be/Es6yuMlyfPw?si=qtrrorSrnmcD86R5

Ett översatt utdrag ifrån hans föredrag:

(ca 00:27:15–00:29:50)
"De flesta människor har en felaktig syn på vad sinnet är... Vi tror på en inre teater, men det är inte hur det fungerar. När vi pratar om subjektiva upplevelser handlar det om att beskriva vad vårt perceptionssystem säger att världen borde vara, för att det vi upplever ska stämma."

Samt några utdrag till:

(ca 00:30:14–00:31:52)
".. imagine you have a multimodal chatbot with a robot arm and it's been trained and it has a
camera and you put a prism in front of its lens and you put an object in front of it and say point at the object and it points over there instead of pointing straight in front of it it points to one side and you say no the object's not there it's actually straight in front of you but I put a prism in front of your lens and if the chatbot were to say um oh I see uh the object straight in front of me but I had the subjective experience that it was over there the chatbot will be using the term subjective experience in exactly the way we use them there's nothing missing for subjective experience in this chatbot... "

(ca 00:16.34–00:17:10)
" just the way human memory is and it's cuz when you remember something you don't get it out of some file storage somewhere you just make up something that sounds plausible given the context and of course if it's something you know a lot about the thing you made up that sounds plausible is probably true um if it's something you don't know much about or something that happened long ago you make up something that seems plausible to you given the connection strengths you have in your brain and a lot of it will be plausible but
false there is no line in human memory between making stuff up and remembering stuff remembering stuff is just making stuff up that works okay"

Men sedan får man inte glömma bort att G. Hinton, är, en alarmist, låt vara en realistisk sådan:

(ca 00:3610--00:36.30)
".. as soon as we let the systems act in the world um maybe it won't turn out like that there was something reported a couple of days ago where they got a bunch of chatbots to do International diplomacy and it ended up with one of the chatbots saying well I got nuclear weapons so why don't I use them..."

Jag rekommenderar att ni tittar igenom hela klippet.

Att diskutera:

Vad i G. Hintons breda synsätt över människan respektive avancerad social AI finner du mest intressant?

Överskattar han AI och underskattar människan?

Eller pekar han på något intressant vad gäller "hallucinationer", även när det kommer till människan?

Skulle såväl alarmister som skeptiker här på Flashback kunna tjäna på anlägga ett bredare synsätt gällande dagens LLM-Transformers?

Först vad mitt perceptionssystem säger om LLM-Transformers (vilket ju är en intressant men liten delmängd av det vi idag kallar AI):
LLM är en tillämåning av Transformers på ordföljder där man låter Transformers analysera ordföljder så att den kan skapa nya ordföljder. Det är väldigt effektivt därför att ...
om Transformers får en stor uppsättning data där samma objekt (t.ex. ett ord) återkommer igen och igen, men i olika kontext, så kan den skapa en statistisk sannolikhet för att en viss sekvens av ord följs av ett ytterligare ord. T.ex.:
Ber du en svensk gissa nästa ord efter "Mors lilla Olle i skogen" säger han troligen "gick".
Frågar du en utlänning så får du antagligen ett ganska slumpmässigt svar, därför att personen inte har någon tidigare upplevelse av just den ordföljden.
Frågar du en jude vad "Från floden till havet!" betyder så får du antaligen svaret "Gamla testamentets Josua 1:4". Frågar du en ung invandrare i palestinaschal får du antagligen ett annat svar.

Därför:
AI (och specifikt Transformers) är UTVECKLADE FÖR ATT EFTERLIKNA VÅRT SÄTT ATT TÄNKA!
Det har säkert suttit massor av matematiksnillen och utvecklat andra modeller, men eftersom vår perception kände igen och gillade Transformers (och de andra matematiska modellerna som AI bygger på) så tog vi dessa till vårt hjärta. Hela grejen med AI är att vi har en igenkänningseffekt. AI är inte speciellt bra på att hitta på något nytt, det är bara ett sätt att organisera kunskap som vi redan har. För forskning bortom den mänsliga förmågan (det som många kallar AGI) krävs andra algoritmer. Kanske har vi dem en dag, men varken dagens AI i allmänhet eller Transformers är kandidater.

Så:
Eftersom algoritmerna är utveklade för att efterlikna vårt sätt att tänka och tränade på data genererat av MSM så kommer de att hamna ganska nära mittfåran när man släpper ut dem bland människor. Det skall man komma ihåg: AI försöker vara så "normal" som möjligt, för det är sådant material de tränats på. Till exempel kommer AI att svara mycket politiskt korrekt på frågor inom "woke" segmentet, för det är bara det man har tränat det på. Hade man istället tränat algoritmerna på "Mein Kampf" eller "Das Kapital" skulle svaren blivit annorlunda.

Det är alltså inte fråga om "intelligens" utan en reflektion av det data vi använt för att träna AI på. Psykologer har antagligen mycket att lära om det mänskliga medvetandet genom att studera ChatGPT (som ju är en LLM baserad på Transformers).
Och ChatGPT (och andra LLM) kommer bara återberätta den 'perception' som de ursprungliga textförfattarna. Låt mig ge ett exempel:

Jag frågar ChatGPT (4o) följande fråga:
"How can we make the world more equal? Give me a answer consisting of maximum 100 words."

Jag antar att ingen är förvånad över följande svar:

LLM och Transformers har alltså inte tänkt ut något nytt, utan återger vad de lärt sig. Om perceptionen i ursprungsmaterialet är fel och missvisande så rättar inte AI till felet.

Ja du har i stora drag rätt, undantaget att det inte är några speciella algoritmer utan helt enkelt bara frekvensanalys, det just transformers ger som inte tex "markov modeller" gör är att frekvensräknandet blir viktat beroende på omgivande ord, dvs distributionen av nästkommande "ord" varierar beroende på närliggande ord vilket ger ett ord med högre kontextuell sannolikhet, vilket också är varför modellerna är "bra" på att rapa upp vedertagen fakta och totalt värdelösa att se samband eller dra egna slutsatser.

Sen blir många lurade av att modellerna svarar som om en person skrivit svaren, men det är för de inte fattar att modellerna har matats med ofantligt många "frågespalts" liknande exempel så även format och karaktär är medvetet inlärt, en basspråkmodell som inte är finetunad med sådan data är lika givande att diskutera med som autocomplete i word, dvs det går inte föra en konversation med dessa alls eftersom de enbart kompletterar meningar. Finetuningen gör att de "lär sig" komplettera "fråga xyz" liknande spaleter i tidningar, vilket ger en konversationskaraktär på svaren.

Men det här har sagts åtskilliga gånger på det här forumet och det hjälper inte för vissa vill tro att vi har något som vi inte har, andra vill ge sken av det av ekonomiska anledningar och en viss kategori är bara helt dumma i huvudet.

Intressant och faktiskt lite oväntat:

För som jag tolkar det så anser ni båda att LLM-Transformers härmar mänskliga mekanismerna för kombinationen av perception/minnesfunktion/"hallucinationer", låt vara med annorlunda och enklare teknik och mekanismer. Fast ni båda bortser ifrån. olika aspekter hos LLM-Transformers:

För tänkande hos såväl människor som hos LLM-Transformers är konstruktioner.

Modellerna kan kreativt skapa nya kombinationer av befintlig kunskap, just för att de hallucinerar.

Hintons modell av perception/minne/hallucinationer utmanar vår fördomar över modellernas möjligheter att lära sig simulera mänsklig logik och kreativitet på sätt som utmanar vår förståelse av intelligens. Kom ihåg att rationellt tänkande kan vara en sen, kulturell, innovation, inte, ett evolutionär arv. Därför är det inte så konstigt att LLM-Transformers har svårt för en sådan uppgift, som de, kanske, likt oss, inte ursprungligen varit skapade för. Men det utesluter inte att de kan justeras och tränas för det. Vi människor har ju, kulturellt, lyckats med att träna upp vår egen förmåga för just den uppgiften!

Vad händer när dessa modeller kan hallucinera fram simulationer som inte går att skilja ifrån de mänskliga?

Och vad händer om dessa modeller presterar mer trovärdigt än människor?

Vad blir då människans syn på dessa modeller och vad blir modellernas syn på människan?

Men jag vet inte hur man ska kunna säga det mer tydligt än vad som gjorts åtskilliga gånger.

Algoritmen är den...

"Utifrån tidigare ord välj ett ord som är sannolikt att följa dessa ord"

Ponera att du har tränat modellen på ett antal meningar som säger "Jag är en modell skapad av OpenAI", "Jag är en artificiell intelligens modell", "Jag är en chatbot", "Jag är en konstgjord intelligens".

Modellen får in "Jag" och väljer då nästa ord som den sett i sammanhanget, utifrån meningarna ovan är nästa ord 100% "är", så den genererar "Jag är" detta skickas in igen, återigen "en" är 100% i det här fallet så svaret kommer bli "Jag är en" nu finns det olika sannolikheter, så ordet efter kan bli modell, artificiell, chatbot eller konstgjord intelligens, i detta fall är det lika hög sannolikhet att vilket som kommer genereras, men låt säga den väljer "artificiell", nu har vi "Jag är en artificiell" återigen nästa ord är 100% intelligens, då har vi "Jag är en artificiell intelligens" nu kan det antingen bli ett stopp token eller ordet "modell", det första alternativet finns inte i träningsdatan verbatimt, det andra exemplet gör det- låt oss anta den väljer "modell"... nu har vi "Jag är en artificiell intelligens modell" återigen kan det bli stopp token eller så kan den välja "skapad", vilket i sin tur kommer komplettera med "skapad av OpenAI" så genererat svar är "Jag är en artificiell intelligens modell skapad av OpenAI" som inte fanns exakt representerat i träningsdatan, men är en konstruktion av sannolikheten av ordföljder som setts, är det kreativitet? Kanske, är det någon tanke bakom det? Nej ingen överhuvudtaget.

Och för sista gången en hallicinuation är inget annat än att modellen valde ett lågsannolikt token som inte i förlängningen faktuellt stämmer med verkligheten, algoritmen är den samma för varje token som genereras och därför "hallicinuerar" modellerna hela tiden- vilket också är anledningen till att det inte går lösa det problem på annat sätt än att försöka göra distributionen än mindre spridd genom att träna på mer exempel som är fakta riktiga, dvs sannolikheten att ett felaktigt token plockas av slump blir mindre- men det försvinner inte och det löser definitivt inte områden där modellen har låg träningsdensitet på dvs de områden som du generellt vill ha hjälp från en AI på... det som är faktuellt etablerat kan du lätt söka fram i ett uppslagsverk, det behöver du inte bränna tusentals kilowatt energi för att få fram, dvs tekniken är värdelös som den är idag för det som AI ämnar att lösa.

(Och ja det är förenklat exempel ovan, det är ingen skillnad rent "funktionellt" men uppmärksamhetsberäkningen gör valet mycket mer komplext som är svårare att förklara på ett förståeligt sätt. Detta är grundprincipen och allt du ser är sådant som modellen sett tidigare, även om den "klipper och klistrar" ihop svar från olika källor. Dvs även sådant som den själv skriver om sig själv- är intränat material som en människa skrivit tidigare.)

Av ren slump så har även tidigare OpenAI ingenjören Andrej Karpathy tröttnat på skitsnacket om språkmodeller.

Och försöker förklara liknande som jag försökt med ett antal gånger, men kanske bara kanske är det så att någon får förståelsen av att det ligger lite vikt bakom detta.

https://x.com/karpathy/status/1862565643436138619

Ok, men du vet inte vad grunden för mänsklig tankeverksamhet är. Alltså inte vad du tror, uppfattat eller hört, alktså det du, vet, på ett vetenskapligt vedertaget sätt. Det vi däremot vet är hur LLM-Transformers grundläggande funktion ser ut. Det du valde att utelämna är att uppmärksamhetshuvuderna operativt, förstår sammanhanget i en radda tokens ifrån input en och även ifrån den permanenta system prompt en, låt vara att denna förståelse sker genom automatiska matematiska uträkningar.

Det du heller inte tog upp är den avancerade mönsterigenkänningen som succecivt byggs upp i modellernas mycket omfattande relation/mening-rymd. Det sker Iof enligt enkla matematiska principer, att hitta det lokala lägsta i en funktion, men slutresultatet blir ändå en rymd i kanske miljoner olika dimensioner. Detta, i kombination med hallucinationer ger en de facto kreativitet hos modellerna.

Sedan har vi då likheten mellan människa och LLM-Transformers vad gäller komplexet perception/minnesfunktion/hallucinatione. Här verkar du, förvånansvärt nog, tidigare, inte haft något att invända emot den andra debattörens åsikter och därmed inte heller emot Hintons perspektiv rörande detta komplex.

Men de viktiga bitar du verkar ha så svårt att ta till dig är inte det som sker, inne i, modellen utan det som sker mellan användare och modellen och det som, utifrån, påverkar dem båda. Som jag sagt till dig "miljontals" gånger: LLM-Transformers är avancerad, social, AI. Detta därför att modellerna interagerar språkligt med användare och ord har en mängd olika betydelse beroende på vilken kontext de används i. LLM-Transformers försöker, dessutom att bedöma vilket output som användaren förväntar sig av den.

Hur användare väljer att interagera med modellerna bestäms av en mängd sociologiska, socialpsykologiska och psykologiska faktorer, inklusive antropomorfisering. Vilka interaktioner som sedan används som ny träningsdata bestäms till allra största delen av modellernas skapare, som i sin tur påverkas av samma faktorer som användarna. (Vissa LLM-Transformers har dessutom en begränsad minnesfunktion. Sedan vet jag inte om, dessutom, ett begränsat antal parametrar kan hållas öppna). Lägg till allt detta till det du ändå verkar acceptera: Likheten mellan människa och avancerat socialt AI när det kommer till Perception/minne/hallucinationer.

Så låt oss vända upp och ner på ett känt ordspråk och fråga oss:

Hur skall man lära en människa som bara ser träden den har framför ögonen att också se hela skogen, som påverkar och har utbyten med de träd som den människan bara har sin blick på?

Jag vet så mycket och kan räkna ut så mycket att hjärnan inte arbetar med statistiskt urval, för då hade nämligen vi betett oss precis lika som språkmodellerna och krävt lika mycket träning som dessa gör, men det gör vi inte.

NLP (Natural Language Processing) är baserat på analys av frekvenser, precis samma sätt som vi kan knäcka enkla subsititions chiffer genom förhållandevis enkel matematik så fungerar språkmodeller med samma grundpremiss, det är helt ointressant vad du eller jag tror hur hjärnan fungerar för vi vet så mycket att det inte fungerar som språkmodeller gör.

Därför är allt sådant här "tänk om" meningslöst, precis som vi vet att tex schackspelande AI inte fungerar i närheten av vad en språkmodell gör, eller AI som förutsäger proteinveckning inte fungerar som språkmodeller, inte ens AI som är renodlade neurala nätverk alltså det närmaste man skulle komma till en biologisk motsvarighet (om nu ANNs hade betett sig som BNNs) alltså CNNs som utför objektigenkänning från tex bilder till text, bilder till objekt klassificering osv fungerar som vi vet att hjärnan gör- de fungerar däremot ganska likt om man kisar hårt hur näthinnan i ögat fungerar, något motsvarande "hjärnan" har vi inte idag för vi vet inte hur man ska bygga det, jag vet inte varför man ska behöva repetera detta om och om igen. Och framförallt varför förstår inte vissa här att allt detta trams om att "AGI inom 5 år" osv är helt grundlösa antaganden, ungefär motsvarande att en 7 åring börjar spela piano och föräldrarna efter något år säger "det här är en framtida världsartist". Och även om språkmodeller hade fungerat så exemplariskt bra som vissa påstår så är de på tok för långsamma och drar åt helvete för mycket energi för att vara ekonomiskt försvarbara i många sammanhang.

Och jag utelämnade inte "uppmärksamhetshuvudena" jag skrev klart och tydligt att det är lite mer avancerat än vad jag beskrev just pga detta, men din uppfattning om "attention" är väldigt felaktig och skruvad, attentions är i grunden inte konstig eller märkligare än att man matematiskt räknar ut ett samband mellan orden i meningen, en språkmodell förstår inte alls de faktiska orden utan vad de algoritmiskt "förstår" är relationen mellan ord, det är därför de kan substituera ord med enkelhet för algoritmen är egentligen en högdimensionell kurva och formen på kurvan byggs utifrån relationen av "orden". Det är lite svårt att förklara på ett begripligt sätt men lättast kan man bara säga att effektivt innebär det att vilken "sannolikhetstabell" som används varierar beroende på föregående ord i meningen.

Fast i samma X-tråd skriver en debattör:

"While you're technically right about training data, this view seems reductionist. The emergent patterns and insights I'm seeing in AI conversations go beyond simple averaging of labeler responses. It's like reducing human consciousness to 'just neurons firing'. Sometimes the whole becomes more than the sum of its parts."
·

Vad vid Andrej Karpathy svarar:

" Agree that there can be a kind of compressed, emergent awareness that no individual person can practically achieve. We see hints of it but not clearly enough yet probably. See my short story on the topic http://karpathy.github.io/2021/03/27/for"

Och jag instämmer: Vi lär inte se självmedveten AI det närmaste året i alla fall. 🙂

Och jag hävdar fortfarande att klippa och klistra ihop olika rader som människor skrivit kan ge en illusion av något som inte existerar.

Har också sagt det åtskilliga gånger att en ocensurerad, även liten modell kan sätta rejäla griller i huvudet om man försöker samtala med den som det vore en människa, ändå förstår den inte minsta lilla instruktion pålitligt, den förstår inte konsekvenser osv.

Samtidigt är den helt reaktiv, den gör inget annat än svarar på din respons och ju mer komplicerat du försöker evaluera modellen ju bättre blir konversationen tillbaka- för du som debattör styr samtalet på ett sätt som du kanske inte själv reflekterar över, men alla tokens i hela konversationen- dvs både dina och vad modellen svarat används för genereringen. Tror du att det är en tänkande "varelse" du pratar med och beter dig så, kommer du också få svar som plausibelt skulle kunna vara från en sådan, men det betyder inte att modellen tänker eller förstår själv, den reflekterar bara samma kurvbana som du lett in den på och i förlängningen dig själv.

Och som exempel:

https://chatgpt.com/share/674c93cc-4...1-ccc5aeb6141a

Jag har heller aldrig påstått att vi "beter oss precis lika som språkmodellerna". Men det finns en hel del liknande processer och fenomen där vi och LLM-Transformers liknar varandra: Det må vara, att även vi människor har någon form av avancerad mönsterigenkänning och generaliseringsförmåga, att vi kommunicerar med språk, att vi lyder under socialpsykologiska mekanismer, att så väl vi som LLM-Transformers är ett slags sociala de facto aktörer och att Hintons perception/minne/hallucinations komplex verkar gälla både människor och avancerat socialt AI.


Nu var det ju, du, som valde att lägga en så stor vikt vid ett kort X-inlägg. Fast du syftar kanske på LLM Transformers här?

Dock otur för dig att han, i slutänden, i debattråd en länkade till en, ytterst, spekulativ kort novell om hur ett AI upplever sin första stund som självmedveten existens, och som Karpathy, själv, skrivit! 🙂

Men, i stort så anser jag att vår diskussion fastnat i en cirkel:

Du anser att jag inte ser trädet och bara skogen. Jag anser att du bara ser trädet och inget av skogen, som det är beroende av och interagerar med.

Slutligen: Frågan om ett AI, i framtiden, allmänt kommer att betraktas, som en självmedveten existens, kommer till mindre del avgöras av dess tekniska specifikationer och till större delen av allt som omger och interagerar med den, dvs av "skogen". Du.må tycka det är vansinne. Men så kan det, de facto, bli i framtiden.