Konsekvenser för synen på AI om Stephen Wolframs Ruliad-hypotes skulle stämma?

Det du skriver om dagens LLM är, de facto, pseudovetenskap! Modellerna aktiveras av en användares prompt och dess hela, aktuella "värld" består, enbart, av aktuell chat-tråd och i förekommande fall Custom Instructions, samt nu de minnen användare vill att Chatt-GPT-4 skall komma ihåg. En sådan modell kan, omöjligt "smida lömska planer, vara medveten, och, naturligtvis saknar dessa modeller autonomi. Men det är dagens modeller, jag utesluter ingenting för framtiden.

I övrigt så nämner du säkerhetsproblem som man redan jobbar med.

Nej okej, jag tycker mig sett att du skrivit du nämner "Wolframs ruliard" i vart och vartannat inlägg där av mitt intryck att du verkat haka att upp dig på den, jag säger inte det är fel med det eller att hypotesen är felaktigt.

Det jag försöker påpeka är att det är fullständigt irrelevant eftersom matematik är något vi människor utformat utifrån vår observation av verkligheten, det finns inget egen syfte med matematik, det är ingen naturlag, vi människor har definierat hur matematik fungerar och det finns välkända och uppenbara luckor i det som man helt enkelt får acceptera när man använder det.

jag kanske inläser sådant som du inte skrivit i ditt inlägg, det jag tycker mig inläsa mellan raderna är att du antyder är att hans ord ger viss "förhoppning om" att artificiellt liv, medvetande osv skulle ligga inom horisonten av nuvarande system eftersom de bygger på beräkningar och således "är på rätt väg", medan jag försöker vara övertydlig är att _beräkning_ är den enda metod vi har tillhands oavsett den är rätt väg eller inte och den har historiskt fungerat bra för varenda process som vi förstått oss på.

Men det kan så klart vara så att jag totalt missuppfattat situationen.

Det är väl snarare att du verkar tro att jag svalt Stephen Wolframs ruliad-hypotes, okritiskt, med hull och hår. Det har jag inte. Jag vet skillnaden mellan en hypotes och en teori, (I vetenskaplig mening). Men jag tycker ändå att hypotesen är intressant, och att implicationerna för framtida AI skulle kunna vara mycket stora, om Den visar sig att hypotesen stämmer.

Jag har tidigare citerat ChatGPT-4 angående skillnaden mellan beräkningar och matematik. Jag hade, nämligen inte tidigare gjort någon skillnad mellan detta. Jag citerar nu boten utan SPOILER och frågar dig, som datavetare: Är boten helt fel ute här och hallucinerar hej vilt, eller ligger det något i detta:

"Skillnaden mellan "Beräkning" och "Matematik"
Skillnaden mellan beräkning och matematik är både konceptuell och praktisk. Matematiken fokuserar traditionellt på abstrakta strukturer, bevis och teorier, och använder ofta kontinuerliga modeller och symbolisk manipulation. Beräkning å andra sidan, handlar om processen att utföra specifika operationer på data, oftast i en diskret och stegvis form. Medan matematik kan ses som ett språk för att beskriva mönster och relationer, är beräkning mer ett verktyg för att generera och bearbeta information baserat på definierade regler."

Observera att jag använt boten som ett verktyg, inte som en" sanningsägare". Med rätt input kan jag, ibland, ha nytta av LLM. Ja, i enstaka fall även med fel input, då samma ChatGPT-4 avslöjade sin självcensur/"proto-försvarsmekanism". Med vettig input så har jag lärt mig mycket om LLM:s reella stora begränsningar som de förmågor denna teknik ändå har. Liksom jag lärt mig mycket ifrån dig och andra skeptiker.

Jag tänker att det alltid kommer vara människor bakom såna manipulationer men om det inte är det utan en bugg eller systemet som börjar generera fejk och manipulera så att människan tappar kontrollen, då kommer en motreaktion. Kan hända att ai:n redan hunnit göra stor skada, typ slå ut det finansiella systemet, sabba allas koder, stjäla en massa info och hacka ihop det och förvirra, hackat massa militärbaser, sänt iväg kärnvapen osv, men så naiv är jag att jag tror att människan kommer stoppa det innan det gått för långt.
Men att en ai skulle få eget medvetande, kunna gå in och ändra i universums struktur, osv, det är ju nåt de här personerna gillar att skrämmas med för att det går att tjäna pengar på det. Så ser jag det.

Grejen är att vi kan inte veta om en AGI blir medveten (och eventuellt därmed fientligt inställd) eftersom vi inte vet vad ett medvetande är. Vi har ingen teknik eller ens någon teori för att upptäcka det. Därför är risken stor för att vi inte upptäcker det förrän det är för sent. Att sen sitta och gissa ifall detta inträffar 2030 eller 2130 är av mindre betydelse. Vi måste lösa grundproblemet oavsett. Och vi måste lösa det innan någon uppfinner en AGI.

Och hur löser vi grundproblemet? Avskaffa ai, sluta satsa miljarder på digitaliseringen?

Fast det är matematiken som bygger på verkligheten, inte verkligheten som bygger på matematiken. Om du beräknar mätningar ur verkligheten, får du ut mått i verkligheten. Stoppar du in något som inte är kopplat till verkligheten får du ut något som är fiktivt. Matematiken skapar ingenting mer än tal. Den kan inte producera materia.

Om man menar att verkligheten bygger på matematiken, måste man förklara vad roten ur -1 eller oändligheten är. För inget av det finns i verkligheten.

Att en AI skulle bli medveten och dessutom ond, ser jag inte Problemet som finns redan idag, är de som är medvetna och bestämmer hur den ska fungera och hur den ska användas. De är förstås större sannolikhet att de skapar en ond dystopi än att AI blir medveten.

Jag vet inte om grundproblemet kan lösas. Men steg ett borde vara att rikta i stort sett all AI-forskning och utveckling mot AI Alignment and Control, och tills vidare förbjuda fortsatt AI/AGI-utveckling för nöjes skull. Och att förbereda oss ekonomiskt och mentalt för militära aktioner för att upprätthålla denna ordning.

Ja, på kort sikt är det förmodligen en större risk. Den är rent av en akut risk.
Vilket borde vara skäl nog för att vidta kraftfulla åtgärder redan nu.

Hur ska vi veta att vi har lyckats med alignment av något som inte existerar? Även om vi skulle uppnå det för dagens modeller så garanterar det ju inte att det fungerar på en AGI eller en eventuellt medveten entitet.

Arbetet måste pågå i tandem, det går inte att fokusera all tid och energi på enbart det ena eller det andra.

Tror egentligen inte att en medveten ai ens är möjlig, och då inte heller varken god eller ond. Krävs ett samvete för att börja fundera om ont och gott, nåt slags empati, moral, vilja osv. Men om den skenar iväg bortom människans kontroll kan den göra grejer som vi uppfattar som onda. Det är ju människor som skapar ai och kan hända att det människor uppfattar som "rent rationellt" får övertaget, börjar förgöra och förstöra, men utan att veta att det är något ont eller "känna" att det är fel. Men jag tror mer på det du skriver att de som bestämmer hur ai ska fungerar och fortsätter ha kontroll över ai skapar en ond dystopi, för att de får en kick av det, eller "bara för att de kan".