Citat:
Nja, du drar lite tokiga slutsatser hr.Nr jag brjar titta nrmare p den otroligt snabba utvecklingstakten hos LLM modeller s blir hpen/rdd. Fr nr jag rknar p det s visar sig hpnadsvckande siffror. En vettig brjan fr att frst detta r att jmfra vad den kommande modellen GPT-4.5 som kommer ca ett halvr efter att GPT-4 lanserades i mars. S lt oss rkna med 6 mnaders vergripande utveckling under olika utvecklingstakt:
Scenario 1.
Vi brjar med en "lugn" utveckling. GPT-4.5 har d "bara" dubblerat GPT-4:s ursprungliga kapacitet p ett halvr. Det skulle innebra att GPT-5 fr en fyrdubblad kapacitet jmfrt med GPT-4.5 om modellen lanseras ett r efter. Men detta "lugna" scenario innebr, likt frbannat att om 10 r s har vi en modell som r mer n 1 miljon gnger kraftfullare n GPT-4 ursprungligen hade.
P 1 r 4 gnger
P 2 r 16 gnger
P 3 r 256 gnger
P 4 r 65 536 gnger
Scenario 2.
Lt oss sedan g vidare till den utvecklingshastighet som OpenAI:s modeller hade innan GPT-4, (vars exakta prestanda vi inte knner till). Denna utvecklingstakt innebr en frdubbling av vergripande kapacitet var tredje mnad och skulle ge GPT-4.5 en 8 gnger hgre vergripande kapacitet jmfrt med GPT-4 i mars.
P 1 r 16 gnger
p 2 r 64 gnger
P 3 r 4096 gnger
P 4 r 16 777 216 gnger
Scenario 3.
Ett riktigt snabbt scenario. Hr utgr vi ifrn att "AI-racet" drivit fram en frdubbling av GPT-4:s vergripande kapacitet varje mnad. D fr GPT-4.5 64 gnger hgre kapacitet n vad GPT-4 hade i mars. Resultatet r skrmmande:
P 1 r 4096 gnger
P 2 r 16 777 216 gnger
Vid scenario 1 s anser jag att vi kan vnta med en trningspaus ngra r, dock senast ngra mnader efter r tre.
Vid scenario 2 s anser jag att man br vnta med en traningspaus till ngra mnader in p r tv, typ nr vi nr ver 1000 gnger hgre prestanda n vad GPT-4 hade i mars.
Vid scenario 3 br vi trningspausa alla modeller kraftfullare n GPT-4,5.
Hur ser ni p den ytterst snabba AI utvecklingen?
Det finns saker som bde accelererar och bromsar den.
Scenario 1.
Vi brjar med en "lugn" utveckling. GPT-4.5 har d "bara" dubblerat GPT-4:s ursprungliga kapacitet p ett halvr. Det skulle innebra att GPT-5 fr en fyrdubblad kapacitet jmfrt med GPT-4.5 om modellen lanseras ett r efter. Men detta "lugna" scenario innebr, likt frbannat att om 10 r s har vi en modell som r mer n 1 miljon gnger kraftfullare n GPT-4 ursprungligen hade.
P 1 r 4 gnger
P 2 r 16 gnger
P 3 r 256 gnger
P 4 r 65 536 gnger
Scenario 2.
Lt oss sedan g vidare till den utvecklingshastighet som OpenAI:s modeller hade innan GPT-4, (vars exakta prestanda vi inte knner till). Denna utvecklingstakt innebr en frdubbling av vergripande kapacitet var tredje mnad och skulle ge GPT-4.5 en 8 gnger hgre vergripande kapacitet jmfrt med GPT-4 i mars.
P 1 r 16 gnger
p 2 r 64 gnger
P 3 r 4096 gnger
P 4 r 16 777 216 gnger
Scenario 3.
Ett riktigt snabbt scenario. Hr utgr vi ifrn att "AI-racet" drivit fram en frdubbling av GPT-4:s vergripande kapacitet varje mnad. D fr GPT-4.5 64 gnger hgre kapacitet n vad GPT-4 hade i mars. Resultatet r skrmmande:
P 1 r 4096 gnger
P 2 r 16 777 216 gnger
Vid scenario 1 s anser jag att vi kan vnta med en trningspaus ngra r, dock senast ngra mnader efter r tre.
Vid scenario 2 s anser jag att man br vnta med en traningspaus till ngra mnader in p r tv, typ nr vi nr ver 1000 gnger hgre prestanda n vad GPT-4 hade i mars.
Vid scenario 3 br vi trningspausa alla modeller kraftfullare n GPT-4,5.
Hur ser ni p den ytterst snabba AI utvecklingen?
Det finns saker som bde accelererar och bromsar den.
Det hr behver nyanseras.
Kommer ngon ChatGPT 4.5 ens?
Har ett minne av att man skippade den med minnet sviktar.
ChatGPT5 talas det om iaf. Finns en del features som r schedulerade p den.
Men dr jmras det ver otillrcklig GPU-kapacitet. Man har inte rd att trna upp en GPT5 fr nrvarandet. Det r inte billigt om man sger s.
Nvidias aktiegare rknar med att det skall kpas GPUer as if there were no tomorow. Men Kunderna har inte rd. Nvidias aktiegare kanske kan ppna plnbcker och sknka pengar till Open AI. Jag menas s Nvidia fr affrer.
Istllet tnker man hlla p och krama GPT4 s lnge.
Det lr drja flera r innan vi ser en GPT5.
Och d kan den i stllet ha lite bttre kvalitet i svaren, men lr vara ganska likartad.
Men behver komma ihg att GPT blir inte bttre n sitt indata. Det den gr r att mappa ett medelvrdesbildat indata. Mer fantastiskt n s r det inte.
Och GPT4 r trnat p ungefr hela internet.
Lite extra kan man vl krafsa ihop till trningsdata fr GPT5. S lite bttre blir den vl. Lite allts.
Jag skulle sga att vi har vldigt mycket diminishing returns p mer noder i ntet. Och med kade trningstider.
Ngon gng om ngra r kanske ngon lyckas vrka fram en modifierad arkitektur som ger lite mer.
Man skulle eventuellt kunna dra lite paralleller till AlphaZero och trning fr schack. Dom kunde kasta p mer noder och mer trningstid men spelstyrkan konvergerade mot Stockfish. Dom blev vl marginellt bttre men det stannade dr. Dom hade i sig ingen brist p indata, men det hjlper inte. vikterna i ntet blir inte direkt bttre.
Men GPT har ovanp detta problemet med "brist" p indata. Det kar ju p med tiden. Men vi talar om r hr.
Det man kan gra r antagligen frbttringar i nischer. T ex s den kan lra sig rkna.
Och kanske bli lite bttre i formuleringarna. Och s kanske man sorterar bort skrpig indata. Att anvnda inlgger p Flashback skulle ge en ganska deprimerande village idiot till ChatGpt.
