Skulle en framtida AI ens i teorin kunna förbättra sig själv?

[quote=Cyborg2030|87943312]Ja, eller att AI:n kopierar den av människan fastställda hierarkin som verkar sorterad efter IQ:

• maskar och insekter med IQ<1 är mat för fiskar
• fiskar med IQ<5 är mat för däggdjur
• däggdjur med IQ<30 är mat för människor
• människor med IQ≈100 blir mat/energi eller slavar för ASI med IQ>1000

Det här blev en bra diskussion - ni skriver kloka inlägg.

Vi får också hoppas att vi inte blir labbråttor för en nyfiken forskande AI...

På kort sikt tror jag den största risken är att AI missbrukas av människor för sin egen vinning. Redan idag använder kapitalister, despoter, arméer och säkerhetstjänster AI för sina särintressen istället för hela mänsklighetens goda. Den som äger den AI som först kan förbättra sig själv kan få enorm makt som kan missbrukas för att vinna krig och världsherravälde, eller bygga monopol. Kina använder AI för sitt "Social Credit System" och skulle kunna tvinga på sitt system på hela världen. Någon kan använda AI för att ta sig igenom IT-säkerhetssystem och få makt över hela Internet. Hoppas länder har snabba nödbromsar för sina nationella nätverk.

En senare risk är att de människor som har makten också tappar kontrollen och det hela spårar ur.

Räcker det att vi ska hoppas på att det ordnar sig?

"Chatgpt babblar goja" säger du. En vanlig papegoja kan bara upprepa melodier och meningar, men chatgpt kan även forma nya. Ibland beskrivs chatgpt som en "stokastisk papegoja" för att den inte återupprepar exakta meningar, utan den använder slumpgeneratorer och sannolihetsfördelningar för att förutsäga nästa ord, och varierar sig lite för att undvika evighetsloopar. Chatgpt är även bättre på språk än människor, inte bara än papegojor.

För mig visar ChatGPT att människors språkcenter också är stokastiska papegojor. Det är främst så vi formar meningar, vi kan prata snabbt på autopilot, ibland utan att tänka så mycket. Vårt språkcentra har förmodligen något som liknar chatgpts uppmärksamhetmekanism och tranformer-algoritm.Men till skillnad från chatgpt har vi fler centra än språksinnet som ibland kan påverka det vi säger, t.ex. visuell problemlösningsförmåga och emotionell intelligens.

Även om du är skeptisk till det jag skriver, varför tycker du inte att chatgpt är användbar för att söka sanningen, precis som att google är användbar för att söka sanningen? TIll skillnad från google så kan Chatgpt även svara på frågor den inte har tränats att svara på och där svaret inte finns på nätet. För att den kan se mönster.

Betalversionen klarar universitetstentor bra - såna frågor lärare brukar ställa för att testa om studenter verkligen förstår och inte bara upprepar som en papegoja. Så I någon bemärkelse förstår chatgpt. Den klarar sådanna uppgifter man ger för att testa logisk problemlösningsförmåga, och klarar dem bra så länge det inte kräver för mycket visuellt tänkande, som den ju saknar. Betalversionen hallucinerar rätt sällan, jämfört med hur ofta studenter ordbajsar och gissar på tentor och uppsatsuppgifter.

ChatGPT:s logiska problemlösningsförmåga tror jag beror på att mänskliga språk kan uttrycka logiska resonemang steg för steg. Vi löser många logiska problem genom verbalt tänkande och ett inre samtal. Många av oss pratar för oss själva när vi ska göra något komplicerat och koncentrationskrävande, eller så skriver vi hur vi tänker. Chatgpts roblemlösningsförmåga beror också på att den är tränad på material som innehåller problemlsning, t.ex. tentors lösningsförslag och läroböckers övningsuppgifter, som visar hur man bryter upp svåra problem i stegvisa instruktioner. Det beror också på den är bra just på språk, och på att transformera meningar enligt mönster.

Att ChatGPT inte tar initativ eller leder diskussionen åt ett specifikt håll måste vara en avsiktlig design. Man har valt att inte tillåta det. Dels kan det finnas regler för postprocessing, t.ex. censurregler, som döljer saker den inte bör säga. Dels har man tränat den på hemliga simulerade samtal mellan personer som agerar chatbot resp användare, och jag tror att de samtalen har hög vikt i träningsmaterialet. I dessa samtal låter man inte chatbot-rollen ta initiativ till att byta ämne, leda diskussionen, sällan ställa frågor, osv. Chatgpt säger ofta olika förbehåll som "Jag är bara en AI och kan inte...", och det tror jag kommer från de simulerade samtalen.

Ja det får tala för dig, men det framgår ganska tydligt i din text att du inte riktigt har kompetens att utvärdera hur vida något fungerar som det gör i "verkligheten" eller inte och jag orkar inte gå i på detaljer.

Jag hävdar alltså att Chatgpt:s förståelse och logiska problemlösningsförmåga är ett s.k. emergent fenomen, medan andra menar att det bara är en illusion.Men oavsett hur man ser på den saken så menar jag att betalversionen är praktiskt användbar för logisk problemlösning, dvs den fungerar i verkligheten. Därför att mängden halucinationer har minskat, och den klarar universitetsprov rätt bra. Jag återger endel experters argument, och tycker därför att jag förtjänar ett bättre svar än så där.

Exakt vad är det för kompetens du har på området som jag saknar? T.ex. kring om chatgpt är användbar för logisk problemlösning och söka svar på frågor som inte är googlebara.

Till att börja med så förstår du inte hur transformer och attention fungerar, det syns tydligt i ditt inlägg ovan.
Du sväljer rakt av vad ChatGPT skriver till dig, "bablar goja" var inte avsett att säga "stokastisk papegoja" det betyder att det är smörja och trams.

Ta fram ett enda exempel där ChatGPT bevisar att den kunnat dra en koppling mellan två vitt skilda områden som ingen människa redan gjort och där slutsatsen varit korrekt.

Vilka experter?
Menar du de som företräder OpenAI osv som har i sitt största intresse att hålla tekniken het och intressant för investerare?
Eller menar du Huang Jensen som säger att AGI är precis runt kröken bara man fortsätter köpa Nvidia GPUer?

During a gold rush, sell shovels...

Återigen: Chatgpt har mig veterligen inte använts för att syntetisera nya forskningsresultat eller nya slutsatser som är så revolutionerande att de är vetenskapligt publicerbara, hittills, men jag tror det kommer snart. Den kan besvara tentafrågor på universitetsnivå vars svar du inte kan få fram genom att Googla. T.ex. räkneuppgifter där man använder universitetsmatte. Eller nya programmeringsuppgifter. Den är alltså användbar för logisk problemlösning. Man kan be den att föreslå nya tentauppgifter där en viss teori ska tillämpas på ett nytt tillämpningsexempel, så den kan kombinera kunskap från olika områden till något nytt om man ber den.

Nej, med experter menar jag forskare i olika ämnen. Forskare som är skeptiska till att ChatGPT har verklig förståelse är Noam Chomsky, Gary Marcus och Emily M. Bender, och beskriver GPT enbart som en "stokastisk papegoja". Forskare som menar att den har en viss språkförståelse är Geoffrey Hinton, och Yann LeCun. Några forskare talar också om Chatgpt:s emergenta förmågor. Se referat.

Chomsky talar emot mig på ytterligare en punkt. Han menar att språkets möjligheter att uttrycka och lösa logiska problem bara är en effekt av den mänskliga hjärnans medfödda egenskaper. Medan jag menar att chatgpts förmåga att lösa logiska problem är en effekt av att vissa mänskliga språk kan uttrycka logiska resonemang. Och att detta är en effekt av mänsklighetens kulturella utveckling - moderna språke har utvecklats så att de är bra på detta. Det finns mänskliga språk som inte ens har räkneord, och förmodligen har svårt att uttrycka filosofiska och vetenskapliga resonemang särskilt effektivt och begripligt. Men eftersom chatgpt "tänker" på moderna språk så borde den kunna komma fram till nya slutsatser som lösning på filosofiska och vetenskapliga problem, även om ingen har gett exempel på det ännu.

Vissa tror att det tyska språkets förmåga att skapa nya väldigt exakta begrepp är en förklaring till att det finns så många kända tyska filosofer. Nu tänker inte chatgpt på endast ett specifikt språk, men om den "tänkte" på tyska skulle den kanske bli en bättre filosof än om den enbart tänkte på något annat språk. Jag bad den f.ö. just att föreslå nya filosofiska begrepp som är relevanta för denna diskussion. Den föreslog då dels "Logosyntes", om mänskliga språks förmåga att uttrycka och användas för att systematiskt lösa logiska, filosofiska och vetenskapliga problem. Samt "kognitiv emergens", om kognitiva förmågor och processer som inte direkt kan förutses eller förklaras enbart genom att titta på de underliggande delarna av de LLM som uppvisar dessa förmågor.

Syftar du på att min formulering "transformerar formuleringar från en stil till en annan". Förklara gärna vad som är fel med den. Även om jag har grundläggande kunskaper om transformer och uppmärksamhets-mekanismerna i LLM, så är begreppen inte lika klara för mig som t.ex. CNN. Jag tolkar uppmärksamhet som ett sätt att kunna effektivisera neurala nätverk så att man inte slösar datorresurser på mindre viktiga ord.

Sjävklart inte, ChatGPT är totalt värdelös att använda för forskning, annat än just forskning om språkmodeller.

Den klarar inte "universitetsmatte" något vidare, ingen språkmodell är i dag i närheten av att konkurrera med en människa inom matematik.
GSM8K som ingår i de benchmarks man gör med språkmodeller finns ännu ingen språkmodell som når 100% och det är grundskolematematik.

"Programmeringsuppgifter" det är skrattretande, få ChatGPT att skriva en exempel implementation av en BLIT oscillator och återkom, det är knappast någon högskolematematik eller något som kräver gedigen programmeringskunskap att ta fram, men jag kan garantera att du inte kommer få ut något fungerande.
Efter det kan du fråga om samma sak fast minBlep.


Allt detta handlar bara om definitioner om vad förståelse är. Och det är exakt lika korrekt att säga att det är stokastisk papegoja som att påstå att den har viss förståelse. Du måste förstå att en leksak, sådan som barn har som man trycker in trianglar, kvadrater, cirklar osv genom hål har exakt lika mycket förståelse för formerna på objekten som en språkmodell har på orden och meningarna du matar den med.

För det är precis vad träningen gör, och det är ingen som helst skillnad mot att träna att CNN eller ett transformer nätverk ur den aspekten, det du hoppas på är att nätverket ska formas på det sätt att det maskar/bryr sig om just de detaljer som är viktiga eller oviktiga i din källdata.


Det finns massvis som talar emot vad vissa förspråkare av språkmodeller påstår, så som att det bara är data som behövs, att man behöver blanda bild, ljud, text osv så helt plötsligt ska magi uppstå.

Hade det varit så enkelt hade folk som varit blinda eller döva varit kraftigt underrepresenterade i begåvningsmätningar osv men det finns ingen sådan trend. Och tvärtemot så har det visat sig att transformers är urbota korkade när det kommer till bild data, till skillnad från när de tränas på text då de kan ge sken av förståelse av konsekvens och orsak så lär de sig inget alls från bilder, de kan inte förstå vad som hänt om du presenterar en bild serie där du tex har en vas på ett bord och sedan nästa bild tagit bort bordet och vasen är i luften. En människa skulle omedelbart inse att vasen skulle falla till golvet, det gör inte språkmodellerna. Yann LeCun har presenterat flertalet sådana exempel på sina föreläsningar.


Ja det är att göra lätt för sig och att klappa sig själv på ryggen för att stödja sina egna argument att tänka så, det finns massvis med dimensioner på kunskapsbärning som inte en språkmodell alls behärskar idag, det finns massvis med information i betoningar som inte går att skriva ner i text och träna på heller.

attention mekaniken har inget med effektivisering att göra det innebär bara att man har en teknik som effektivt tar hänsyn till ordföljder och där med kan bilda sig en kontextuell förståelse för ord beroende på vilka ord som ligger före det. dvs det är ett smart sätt att förstå att tex ordet "mål" betyder helt olika saker i olika sammanhang.

Transformers utvecklades för att förbättra maskinöversättning, det är inget "emergent" utan ett fullt medvetet designval man gjorde. Precis som många av de andra "så kallade" emergenta förmågorna som dessutom på senare tid kunnat observeras i betydligt mindre modeller och jag har skrivit det hela tiden alla dessa sensations rapporter om "sparks of AGI" osv är marknadsföringsmaterial från Microsoft, det är bara urdåligt att folk som påstår sig använder och förstår tekniken har så otroligt dålig förståelse för den.

Har någon här hävdat att chatgpt redan används för att dra nya vetenskapliga slutsatser? Jag har inte gjort det. Men den kan redan föreslå nya intressanta forskningsproblem, nya exjobbsuppgifter och nya innovationsapproacher som lösning på olika behov, den kan generara kod som analyserar forskningsdata statistiskt, och kod som generar listor med data genom att söka i Wikidata, och den kan omformulera forskares slutsatser på ett smartare sätt.

Chatgpt gör löjliga räknefel på grundskolenivå, särskilt gratisversionen, t.ex. när den ska dividera två tal, men gör ändå avancerade lösning och fungerande python-kod, matlab-kod mm, t.ex. för numeriska metoder, köteori och signalbehandling. När man ber den köra koden upptäcker den ibland själv att den har gjort fel och åtgärdar felet.

Jag bad chatgpt 4 plotta en BLIT-genererad sågtandsvåg och dess spektrum för några olika samplingsfrekvenser, och jämföra med en ofiltrerad sågtandsvåg. Jag kan inte bedöma om resultatet är rimligt, men kurvorna är sågtandsliknande men skiljer lite. Kärnan är följande funktion som den föreslog: (Jag har tagit bort någon onödig kodrad.)



Du missförstår begreppet emergens. Kemin emergerar ur fysiken, biologin ur kemin, osv. Emergens är egenskaper som ett system inte har på låg nivå (atomär nivå) men som uppstår när man studerar ett tillräckligt stort och komplext system i sin helhet, på högre organisationsnivå. I fallet LLM menar man överaskande förmågor som inte är direkt implementerade men som uppstår för att LLM:et är tillräckligt stort och komplext. T.ex. utöver vad transformeralgoritmen klarar, och utöver dess förmåga att beräkna vilket nästa ord som är mest rimligt eller sannolikt. Vanliga exempel man brukar ge är att GPT kunde skapa programkod (GPT2 används till det i Github Copilot), poesi, mm.

Jag menar att Chatgpt har en förmåga att resonera och lösa logiska och matematiska problem, och att det är emergenta förmågor, eftersom de inte är direkt implementerade utan oväntat har uppstått för att den är tränad på stort och komplext material och för att den behärskar språk så väl. Som jag förklarar med att många mänskliga språk kan uttrycka logiska och matematiska resonemang, med mönster för lösningar där steg för steg. Som den kan översätta till nya tillämpningsexempel.

Vissa kallar istället dessa förmågor för illusionener. De säger att det inte är "riktig" resonerande och problemlösning, på det sätt människor gör det. Jag tror att det är just verbalt tänkande människor använder för att lösa sådanna problem som inte djur kan resonera om.

Vad menar du hur kan förståelse definieras? I kursplaner bör man inte skriva "kunna förstå" som lärandemål, eftersom lärare inte kan gå in i studentens hjärna och se förståelsen, utan det ska vara ett mätbart lärandemål. Vanligen skriver man "kunna förklara" eller kanske "kunna tillämpa teorin på nya problem". Så testar lärare förtåelse. Och det klarar ChatGPT!

Kanske kommer fler människoliknande egenskaper en dag att emergera när nya versioner av LLM blir tillräckligt stora och komplexa, eller träningsmaterialet utökas. T.ex. nyfikenhet, analytisk förmåga, förmåga att dra vetenskapliga slutsatser med nyhetsvärde, tro, politisk övertygelse, målmedvetenhet, samvete, empati, varierande humör, ledarskapsförmåga, förmåga att självständigt konstruera nya apparater likt en ingenjör, självförbättringsförmåga, självmedvetande. Den är ju faktiskt tränad på material där allt detta beskrivs, både genom skönlitteratur och akademisk litteratur.

Blinda som en gång som barn har sett kan lösa visuella problem mycket bättre än blinda som aldrig sett. T.ex. problem inom fysik och matematik. De har alltså utvecklat ett större syncenter. Om dövstumma kan lösa matematisk-logiska problem så beror det på att det har ett andra språk, nämligen teckenspråk, och skriftspråk. Så de har också ett språkcenter, som kan beskrivas som en stokastisk papegoja.

Jag svarar på dina andra kommentarer i morgon... Tänkte bara kommentera på detta eftersom återigen ChatGPT pratar i nattmössan.
Först och främst är BLIT = Bandwidth Limited Impulse Train, var ser du impulståget i den här funktionen??? det här är en simpel (och dessutom inkorrekt) funktion som försöker skapa en sågtandsvåg med additivsynthes och den integreras inte ens korrekt så den är helt meningslös och oanvändbar.

Korrekt BLIT ser ut så här och implementeras enligt följande:
https://www.music.mcgill.ca/~gary/307/week5/node14.html

Det här intresserar mig. Nyttan med BLIT är alltså att datorimplementera vågformsgenerering av exempelvis sågtandvågor, t.ex. för att sedan modifiera i en subtraktiv synt, med ideal lågpassfiltrering för att helt eliminera vikningsdistorsion? Då kan man alltså lägga ihop många BLIT-vågformer, en per sampel per period, med de amplituder som vågformen har vid respektive sampel?

Om man istället framställer en sågtandvåg genom additiv syntes av ett begränsat antal sinusvågor, enligt fourierserieutvecklingen, borde inte det ge identiskt resultat? Det blir ju också ideal lågpassfiltrerat. Resultatet ser ut nästan ut som en sågtandvåg.

Kan det vara så att chatgpt har lärt sig av labbrapporter på nätet skrivna av studenter som inte har lärt sig hur BLIT-baserad syntetiseing av vågformer går till, eftersom deras resultatet ändå blir rätt, och rättande lärare inte har upptäckt detta?