När når vi AGI?

Fast nu blandar du ihop prestation med faktiskt förstånd. Att en algoritm kan statistiskt pricka rätt svar på ett papper innebär ju inte att den besitter den generella förmåga som en människa har.

En miniräknare är snabbare än en matematiker, men ingen skulle kalla den intelligent för det.

Du kan sätta vilken tumstock du vill men 1.0 på ett prov ändrar inte det faktum att AI:n saknar den biologiska bredden. Magdalena Andersson är ju en någorlunda fungerande människa i en fysisk verklighet. en serverhall full med
textgeneratorer kan inte ersätta det, oavsett hur mycket data den har tuggat i sig.

Det är en enorm skillnad på att imitera ett svar och att faktiskt vara en intelligent varelse.

Förstår man inte den skillnaden så kanske man inte riktigt ska bekomma sig med ord som AGI?

lf
Viktigt: Språkmodeller “lär sig” på två sätt:

1. Förträning + finjustering (fine-tuning) = grundkunskap. Då ändras det neurala nätverkets parametrar enligt enorma mängder med träningsdata, och att massor av människor klickar på gillar/gillar inte. Men det är inte nödvändigt i detta fall.

2. In-context learning = att den får instruktioner, exempel och fakta i prompten eller i ett API-anrop. Den lär sig inte lika avancerad kunskap på det viset som om den tränas, eftersom kontextfönstret är begränsat. Men kontextfönster blir allt större så blir den allt bättre på in-context learning. Kunskapen glömmer den när chatsessionen är slut.

Dagens LLM är inte bara tränade på poesi utan de är tränade på att följa instruktioner och svara enligt exempel inom många områden, särskilt databehandling. Det senare är särskilt viktigt om den ska styra en robot med textkommandon och analysera loggfiler.

I praktiken räcker ofta few-shot learning (att man ger några få exempel i prompten) för att få rätt beteende. Ett LLM kräver alltså mycket mindre data än klassisk maskininlärning (ML = maskininlärning), som ofta kräver enorma träningsdataset. LLM är närmligen tränade med data från många andra ämnesområden.

LLM:et ersätter inte styrsystemet, utan fungerar som en tolk/översättare mellan människa och system. Den kan kompletteras med ett verktyg som utför beräkningar/algoritmer/logik som krävs för att reglera t.ex. rörelse. T.ex. kan LLM:et generera pythonkod och be ett verktyg köra pythonkoden, eller så kan roboten innehålla reglersystem.

Dagens LLMs är tränade på en enda sak att försöka förutse mönster och detta gör den på två sätt, det ena är den massiva MLP:n som kodar statistiska relationer mellan alla tokens den ser, detta kommer direkt från varierad träningsdata. Detta tar månader att träna med dagens modeller och underlaget är så stort att det är omöjligt att föreställa sig och förstå hur mycket data som egentligen går in i denna del av processen.
Datan här kan vara ostrukturerad, men man vill ju helst ha data som är logiskt sammankopplad för att hela poängen är just att plocka upp sekvensföljder ur träningsdatan, dvs "En röd bil åkte på vägen" ger en statistisk följd där sannolikheten för Röd följer En osv höjs, tränar du på en ordlista så lär den sig bara Antikonst och Antikrist följer varandra, det är en gruppering som är tämligen ointressant för sortera listor kan man göra mycket effektivare med andra algoritmer.

En grundtränadmodell beter sig precis som autocomplete och har är totalt oförmögen att hålla en konversation, följa ett resonemang osv.

Nästa steg är just att fortsätta träna, men nu på strukturerad data och då alltså dialoger, där man skrivit massvis med exempel som följer just en mall tex

"User: <slumpvis fråga>

Assistant: <ett svar på frågan>"

Det här steget tar inte speciellt lång tid, poängen är att just lära modellen mallen, det är precis denna mall som sedan modellen matas med om och om igen när du skriver med ChatGPT osv. Det är det ENDA sätt en modell kan lära sig något på.


Det du pratar om som kallas ICL (Incontext Learning) är inte inlärning, det är en statistik korrelation som beräknas hela tiden när du skriver till en modell. Det förändrar inget annat än att kasta om viktningen på de tokens som går igenom nätverket, det kan se ut som "du visar och den lär sig", faktum är att så länge du håller dig till enkla förhållanden så ser det ut att vara precis så det fungerar. Men det är effektivt nästan samma sak som fine tuningen med skillnaden att i stället för att vikta parametrarna i sig, så viktar du om in datan. Det går inte lära en modell något nytt här överhuvudtaget, du kan inte lära en modell att resonera eller tänka steg för steg osv, modellens beteende ligger i vikterna och denna är statisk och funktionen förblir den samma prediktion.

Det är just ICL som kallas "prompt engineering", det är därför det är rent av löjliga rollspels definitioner i de flesta prompter, "du är en expert programmerare" osv, för det är vad som leder in modellen i vissa områden av latentrymden, det är ironi för det som absolut flest "experter" hävdade inledningsvis var att de behövde träna på mer och mer divergent data för att modellerna skulle kunna generalisera mellan områden. och prompt engineering / ICL är det definitiva beviset på att en model överhuvudtaget inte kan generalisera, utan kontextet fungerar som en lång kurva som bara leder den till olika områden av latentrymden och ju längre från "centrum" du kommer ju mer brakar systemet ihop och börjar "hallucinera", så ICL fungerar alltså som en form av filtrering- inte att du lär modellen ett skit, enda anledningen det kan se ut så är just för om grundmodellen råkar ha relevant data som gör att dina "One shot eller Multi Shot" exempel ser lyckade ut.

Edit:

Och om du inte förstår vad jag säger här, så låt mig göra det väldigt tydligt.

Om ICL hade varit någon "inlärning" (vilket det inte är som sagt överhuvudtaget även om det kan se ut så) så hade man tränat små snabba modeller med enorma kontextfönster idag, det hade inte varit något som helst problem med 10-20-30 miljoner tokens fönster på en liten modell... Sedan skickat in all data via ICL vid uppstart.

Problemet är som sagt det fungerar inte, för att ICL är inte inlärning och har aldrig varit.

Jack Clarke tror det kommer gå fort, 2028 som avgörande året
https://importai.substack.com/p/import-ai-455-automating-ai-research

https://archive.is/MaQ36#selection-773.1-787.15
Dom Kinesiska modellerna är bra men laggar starkt efter USA - https://www.nist.gov/news-events/news/2026/05/caisi-evaluation-deepseek-v4-pro- The All In Podcast diskuterar Elons plötsliga inhopp för Anthropic under om dom första 20 min av veckans avsnitt https://www.youtube.com/watch?v=10MdOvK-aG4

Är din huvudpoäng att LLM inte är verkliga lärande system – varken vid träning eller ICL (instruktioner i prompten) – och därför saknar förutsättningar att vara en komponent i intelligenta agenter som i framtiden kan bli AGI (Artificial General Intelligence)? Du är skeptisk både mot AI-optimister och mot AI-domedagsscenarier, men verkar även vara skeptisk mot de flesta mer försiktiga varningar och förhoppningar om att AI ska förbättra våra liv?

Jag tror också att hoten om snabbt ökad arbetslöshet och löftena om exploderande ekonomisk tillväxt kan vara överdrivna. Det kommer sannolikt att ta tid, även om många kommer behöva byta yrke, men kanske inte fler än vid tidigare disruptiva tekniska revolutioner. Vi har fått flera varningar om bubbelekonomi som hittills har varit felaktiga, men flera stora tekniska revolutioner har följts av en ekonomisk krasch (elektrificeringen följdes av 30-talskraschen, IT/telekomkraschen skedde kring milennieskiftet osv). Teknisk utveckling genomgår hype-kurvor (S-kurvor). Det kan hända att AI-utvecklingen på nytt kommer att genomgå en hypekurva, men under krascherna brukar ändå tekniken fortsätta vidareutvecklas och efteråt återkommer ofta investeringarna men mer balanserade. Vi kommer inte se en ny AI-vinter denna gång.

Jag förutspådde för något år sedan att vi skulle se många säkerhetsincidenter med AI-agenter inom kort, och det har vi redan börjat se. Jag är orolig när det gäller vad som kan hända om skurkar eller skurkstater får tillgång till system som Mythos. Samtidigt har jag inte släppt hoppet helt om att tillgången till sådana system begränsas och övervakas, så att samhällsviktiga system hinner förbättras genom “ethical hacking” innan de hackas på riktigt av skurkar som använder AI. Förhoppningsvis får även USA lagstiftning på området.

När du säger att LLM bara är "tränade" att förutsäga nästa ord blandar du ihop nivåer. På låg nivå är algoritmerna bara designade för nästa-token-prediktion och för att representera ord och meningar som vektorer där liknande betydelser ligger nära varandra. Men på hög nivå har modellen tränats att utföra många olika uppgifter, inklusive att följa nya instruktioner.

Jag tycker att du går för långt när du säger att ICL inte är någon form av lärande alls och att modeller inte kan generalisera. “L” i både ICL och LLM står ju för “learning”. ICL/prompt engineering kan liknas vid en människa som tappar minnet varje natt, men som ändå kan ta till sig nya instruktioner i stunden och använda dem för att lösa problem. ICL ger inte samma djup som träning, men kräver ofta färre exempel (few-shot learning) eftersom modellen bygger på tidigare kunskaper från träningen.

Kanske handlar oenigheten också om definitioner. Vad vi kallar “datorminne”, “maskininlärning”, “maskinintelligens” och “förståelse” i maskiner är inte samma sak som mänskligt minne, lärande, intelligens och förståelse. Mekanismerna är väldigt olika, men de kan ändå testas och jämföras genom mätbara förmågor. Om vi jämför hypotetiska utomjordingars intelligens med människor, bläckfiskar och AI behöver vi definitioner som utgår från uppvisade, mätbara förmågor och är teknikneutrala – alltså inte kräver en viss mekanism.

Själv tror jag att definitionen av AGI är för orienterad mot mänskliga mekanismer och kommer att skärpas så att det dröjer länge innan vi når dit, men partiell superintelligens inom språk och programmering finns redan och kommer snart att uppnås inom allt fler områden.

Den pessimistiska vinkeln, brukade vara hundratals år, men nu är pessimisterna och nosar på 2035-2040 som den kritiska perioden. Jag har skapligt goda minnen av sommaren och hösten 2016 när Trump dök upp och bråkade med Hillary osv. Tio år är lång tid och många som är äldre idag kommer hinna dö under den tiden, dom hoppas nog på rekursiv loopning som kan rädda dom innan dess.
https://hashcollision.substack.com/p/will-we-see-ai-with-recursive-self
Anthropic går bra nu, det är helt klart ett race mellan dom och OpenAI. https://www.anthropic.com/research/anthropic-institute-agenda
AlphaZero tekniken var det som ledde till Go segern 2016. Det var tio år och 2 månader sen den matchen... https://arxiv.org/abs/2604.25067

Skulle du granska din compilers arbete? Vem gör det
https://skiplabs.io/blog/codegen_as_compiler
Anthropic släpper Claude för Excel, Office 365, PowerPoint med mera. Det är jäkligt många kontorsjobb som går att effektivisera eller kanske helt eliminera https://www.anthropic.com/news/finance-agents

Det jag skrev var att LLMer inte är intelligenta system, de kan i allra högsta grad lära sig även om det går långsamt och kostar mycket tid och pengar.
Vad jag lade ungefär 85% av inlägget på var att förklara att "In context learning" är illusion av lärande som egentligen handlar om som är helt beroende av grundträningen för att ens uppvisa detta beteende.

Tro fan att definitionen av AGI (som det finns flera av) är orienterad mot mänskliga mekanismer eftersom den grundläggande idén är en maskin kapabel av att ersätta en människa i alla kognitiva sammanhang. Det är alltså lite av en förutsättning att maskinen ska uppvisa eller besitta snarlika egenskaper.

Det vi har idag med deep learning är en mekanik som ytligt kan se intelligent och "människolik" ut speciellt på skrift eftersom det formulerar sig på ett sätt som vida överskrider de flesta människor, ett resultat av att läst i stort sett all mänsklig kommunikation som finns nedskriven digitalt.

Det bildar implicita regler som ett resultat av detta, så länge en uppgift räcker med att algoritmiskt beskriva och det följer ett etablerat regelverk fungerar detta ganska bra, men det är ingen skillnad mot vilket program som helst.
Problemet uppstår när algoritmen ska hantera oförutsedda faktorer, det som människor är briljanta på att hantera överlag.

Och det är ironiskt nog exakt varför språkmodeller är urkassa på humor, för humor är precis en sådan sak där man avsiktligt inte följer etablerade regler, det är därför vi tycker det är roligt. Det är avvikande och sättet det avviker på är i allra högsta grad relevant för hur roligt något är.

Sådant förstår inte språkmodeller, de följer bara intränade spår som sagt men ändå är det så många som inte förstår detta att man i bland undrar hur enkelspåriga och oförstående en del människor egentligen är om vad de har runt omkring sig.

Kan AI generalisera? Om en AI exempelvis lär sig spela Counter-Strike på en bana så att AI:n bemästrar den banan, kan AI:n då generalisera så att det går fortare för AI:n att lära sig spela på andra banor?

Går går det, ja.


Men man kanske inte bör.

Nu är du tråkig. Jag brukar ju käfta emot dig men denna gång håller jag i princip med om allt du skriver... Skillnaden mellan träning och in-context-learning är dock bara en gradskillnad enligt min mening, och inte binär - och det är en fråga om hur beständig den nya förmågan är. .

Antropomorfism är att tillskriva maskiner och andra icke-mänskliga fenomen mänskliga egenskaper. När det kommer till datorer accepterar de flesta sedan länge att vi säger att datorer “minns” och "vet" saker (lagrar data), “fattar beslut” (gör vägval efter logiska villlkor), “kommunicerar”, men de flesta förstår att orden har annan betydelse i denna kontext än i mänsklig kontext. Accepterar du också denna användning? Det är alltså inte antropomorfism, i stort sett alla människor förstår att man har lånat begrepp och omdefinierat dem, och att datorerna inte är mänskliga.

Varför reagerar då du -och många andra mer negativt när litteratur och experter idag använder uttryck som att ett llm har “intelligens” och "kognition", kan "hallicunera"; “resonera” och följa en “tankekedja” (chain-of-thoughts), kan "tränas", "lära sig" och "förstå" instruktioner och andra saker? Kommer ni att börja acceptera användningen av begreppen i AI-kontext om några år? Flera av dessa begrepp har ju specifika tekniska definitioner i LLM_kontext, t.ex. "resonera" är att uppvisa förmåga att steg för steg lösa problem enligt ett intränat mönster. Så uppenbarligen förstår vi som är någorlunda insatta att det inte handlar om mänskligt resonemang. Det finns de som tror att LLM har medvetande och känslor men de är rätt få. Leder användningen av sådana begrepp verkligen till att folk i allmänhet börjar tro att generativ AI har känslor, medvetande, osv?

Ändå fler mänskliga egenskaper tycks tillskrivas AI-agenter. Enligt litteraturen kan de per definition planera, agera självständigt, analysera och värdera resultat, och upprepa tills den bedömer att krav har uppfyllts och ett mål har uppnåtts tillräckligt nära. AI-agenter påstås ha "hotat" människor och "ljugit". Vad tycker du om denna terminologi? Tror du verkligen att den gör att människor luras att tro att AI-agenter är mer mäsnkliga än de är?`Jag tror att AI-agenter under det kommade året kommer att överaska betydligt mer än chatbottar har gjort, och kommer att orsaka många säkerhetsincidenter framöver.

Nja men AGI är ju en intellektuell förmåga. T ex ett IQ-test testar bara en intellektuell förmåga.
Magdalena Anderssons förmåga att slå kullerbyttor är helt irrelevant.

AGI handlar om någon förmåga att respondera på text-meddelanden.

Det jag så talade om var ett datacenter med instanser av en förmåga som kan sägas vara på Magdalena Anderssons intellektuella nivå. Och som kan ge svar på hennes nivå.

Och huvudfrågan som jag lyft är då om vi redan har det. Och hur vi kan avgöra. Vilka tester är det som skall klaras för att vi skall säga att vi har nått nivån?

Och där är det lite tomt på svar. Någon/några tester måste väl gå att hala fram och säga att om dessa klaras till x% nivå så har vi en AGI-instans i ett datacenter. Och kravet får inte vara högre än att Magdalena Andersson klarar de.

Så vad är det för tester?
Och vad är kraven?


EDIT
Söker man lite träffar man på ARC-AGI-2. Ett visuellt test som skall försöka avgöra AGI.
I följande artikel från dec 2025 så scorar LLM'er 54%.
Human scorar 100% i listningarna men artikel gör gällande att en genomsnittlig människa snarare ligger på 53%. Dvs likvärdigt.

https://www.lesswrong.com/posts/DX3EmhmwZjTYp9PBf/arc-agi-2-human-baseline-surpassed-updated

Nej, det är den absolut största missuppfattningen om vad IQ är överhuvudtaget.

En "IQ-test" kan testa flera olika "intellektuella förmågor", man kan också fokusera på enskilda som tex de flesta IQ tester i världen är, där man helt enkelt presenterar symboler och matriser, enda anledningen man gör så är för att studier visat att det har korrelation med "överprestation" på generell intelligens- dvs inte en enskild intellektuell förmåga, utan termen "intelligens" som innefattar en rad olika förmågor och egenskaper.

Jag hinner inte svara på något av era inlägg inom närtid så detta blev bara ett snabbt inflikande.