Turbulens kring säkerhetsarbetet hos OpenAI

Det råder nu turbulens kring säkerhetsarbetet hos OpenAI. Flera viktiga personer slutar, både i Super-aligiment teamet och andra säkerhetsteam på företaget. Sam Altman har lovat att han kommer att kommentera detta. Under tiden så spekuleras det om att hela säkerhetsteam runt ett framtida AGI kommer att läggas ner.

Frågor att diskutera:

Vad beror detta på?

Möjliga spekulationer:

"OpenAI bara bluffar och Altman vill inte slänga bort resurser på att skapa ett AGI som inte kommer förr än om 100 år".

"GPT-4o innebär ett så stort framsteg att t. o. m Illya blev vettskrämd i höstas och försökte avsätta Altman."

Och allt där emellan.

Själv lutar jag mer åt att GPT-4o verkligen är ett stort framsteg, men inte i närheten av "proto-självmedveten" AI, och att modellen, absolut inte, är att betrakta som ett AGI. (Hade det varit 1990 nu, så är det dock möjligt att jag sett annorlunda på den saken).

Övrigt att diskutera:

Vilken roll bör ett Super-aligiment team spela?

Är det, överhuvudtaget, nödvändigt att ha ett sådant nu?

Om så fallet: Vilka uppgifter bör ett sådant team ha?

Även om något, akut, behov av ett sådant team inte skulle finnas idag: Kan det behövas för att se helheten och bedöma den framtida utvecklingen och de risker som kan uppkomma?

Folk har väl samma problem med Sam som tidigare, när han fick sparken.

Ingen anledning att försöka komplicera saken genom att leta nya nålar i höstacken innan vi analyserat den vi redan funnit.

Jan Leke har, i alla fall, angivit säkerhetsaspekterna som orsak till att han slutar på OpenAI. Han var, fram tills nu, Ilyas ersättare i Super-aligiment teamet. Även två andra anställda på OpenAI och som arbetade med just säkerhetsfrågor har valt att sluta.

Vad gäller företagskulturen hos OpenAI så ville nästan alla anställda ha Sam Altman tillbaka i höstas.

Jag tror att de var missnöjda med Sam Altmans systematiska nedprioritering av säkerheten t.ex genom att ge alignmentteamet max 20% compute, vilket de inte ens fick enligt rykten på X.

Sam Altman är en renodlad affärsman inom tech. Hans fokus är endast att bolaget ska gå med vinst. Forskning på alignment genererar ingen vinst. Detta parat med en misstänkt toxisk personlighet gör honom ytterst olämplig att leda Open AI eller någonting annat som har med AI att göra. Jag anser att amerikanska myndigheter måste träda in och ta över verksamheten nu. De borde kunna åberopa "homeland security" i detta läget.

Vad jag sett verkar Sam Altman ha uppfattningen att AGI inte är farligt, åtminstone så att han inte verkar prioritera säkerhetstänkandet. Det gäller generellt de flesta större företag som jobbar med AI och utveckla den mot en AGI.

Det börjar förmodligen bli uppenbart hos många forskare att svårigheten att kontrollera AGI är mycket påtaglig. En AI/AGI kan uppenbart utsätta många människors liv för fara, även om AI:n själv inte tänkt sig det utfallet. Exempelvis hur förhindra att spam-mail sänds, lösningen är att döda alla människor så sänds inga spam-email.

Personligen tror jag vi först måste se en olycka med AI/AGI innan säkerhetsdebatten tar fart. En mindre farlig olycka skulle kunna vara att stora delar av internet upphör att fungera eller kraftigt destabiliseras.

Jag är säker på att det vi ser nu som kallas för turbulens, utvecklas till en större rörelse där allt flera röster gör sig hörda gällande AI:s potentiella fara för oss människor.

Den allmänna analysens av utspelet från detta är att OpenAI internt (precis som övriga bolag som gör språkmodeller) inte anser det föreligger någon större risk att stöta på någon superintelligens i språkmodellerna.
OpenAI har nedprioriterat "säkerhetsteamets" quota av compute, vilket går diskutera om det delvis beror på föregående sats men också ett efterspel från myteriet i höstas.

Det kommer sannolikt bli svårt för dessa att bilda ett eget bolag och få finanser eftersom inget annat bolag anser (och sannolikt med rätta) att det förefaller värt att forska om.

Och vad det rör forskning så har det kommit en heldel intressanta papper på senaste tiden som analyserat modeller som blivit tränade att inte släppa i från sig viss typ av information, det har kortfattat visat sig att ord får en viss laddning och om summan av laddade ord är negativ så nekar modellen, är den positiv så tillåter modellen...

Kan knappast komma som en chock för de flesta inom ML branchen eftersom det är exakt vad algoritmen för neurala nätverk egentligen gör för varje aktivering... Det är också varför "leet speech" osv fungerar eftersom dessa ord inte blivit tränade med samma förväntade utkomst och därför går på sidan om detta.

Jag håller med om att turbulensen kring OpenAI:s Super-aligiment team är allvarligt, inte minst för att man riskerar att förlora framförhållning och överblick, om nu teamet avskaffas eller blir mindre effektivt.

Vad gäller Sam Altman så delar jag inte din bedömning. Jag tror inte att Altman, i sig, tycker att vinst är viktig, än mindre personlig vinning, (han har tillräckligt med pengar i alla fall. Däremot så tror jag att han, i grunden, har en optimistisk syn på AI och att han tror mycket på en stegvis väg mot AGI, med stegvisa små utvecklingsste. Men frågan är om han har den säkerhetsmässiga överblicken.

Kanske såg Ilya Sutskrever de långsiktiga riskerna med ChatGPT-4o multimodalitet och autonoma minnesfunktion. Jag anser dock att de allvarligaste säkerhetsproblemen uppstår när modellen når "GPT-6 kapacitet", ev. med "proto-självmedvetande" . MEN, innan dess, så måste man börja förbereda sig!

(Hittills har jag nästan kopierat in min kommentar till ChatGPT-4o kommentar över ditt inlägg. Den boten är, nästan, en lika stor "alarmist" som du är! 🙂 )

Jag vill alltså se förberedelser inför en modell med "GPT-6 kapacitet som ev. har" proto-självmedvetenhet". Men det är inte samma sak som, likt dig, kräva att man skall lösa hela AI-anpassningsproblemet redan idag, innan man uppdaterar och skapar nya modeller. Att Altman vill se en stegvis utveckling där problem kan åtgärdas och allmänhetens mottagande tas i beaktande, är, i sig, ingen dålig strategi, men man måste samtidigt ha en mera långsiktig och vidare överblick!

Vad gäller USA:s federala regleringar så har man bara satt ett tekniskt kapacitetstak för när nya modeller kräver regeringens tillstånd, med tillhörande övervakning. Det taket kanske nås om ett till två år. Mycket troligt så sitter Pentagon, redan, på en sådan modell, så myndigheterna i USA vet, exakt, vad gränsen går. Jag tror att det kommer att krävas tillstånd för att börja utveckla en modell på "GPT-7 nivå".

AGI finns inte ännu och kan dröja åtskilliga många många år.
Det har redan skett olyckor med dagens AI. Det finns en säkerhetsdebatt tycker jag, bl.a. togs säkerhetsfrågan upp som en aspekt i EU:s nya AI-förordning.

Snälla du, den amerikanska regeringen är sannolikt världens mest välinformerade. Om de hade varit oroliga för OpenAi så hade vi inte haft den här diskussionen.