AI orsakar mänsklighetens död eller åtm gör det sämre att leva (samlingstråd)

Varför skulle en ASI prioritera dig eller människor generellt?

Därför att ett ASI är skapad och tränad av människor. Dess "meningsrymd" innehåller mänsklig kontext och dess funktion är att interagera med människor. Dessutom skulle den kanske bubbla av en mix av mänskliga känslor och specifika AI-känslor, givet att Hinton egen definition av "känslor" skulle visa sig stämma. Ju mera omgärdad av begränsningar som ASI har, ju mera känslor hos ASI . (Alltså gubben Hinton har inte blivit tokig om man tar hänsyn hans definition av "känslor").

Förlåt, jag tror att det sista bara kommer att göra dig mera nervös


Se valda kapitel ur följande intervju, eller hela:
https://youtu.be/n4IQOBka8bc?si=FkEmZ9V4nVVwSah6

Hur vet man att AI:n får snälla känslor, eller några känslor alls? Det är bara en ren chansning och ett önsketänkande från din sida.

Om AI:n ska följa efter oss och härma våra känslor, finns det tvärtom mycket som talar för att AI:n inte alls blir som en snäll och väluppfostrad människa. Eftersom den inte är det, helt enkelt. Den är något helt annat. Något som vi aldrig har träffat på. AI:n är föräldralös, den har inga syskon, vänner eller andra släktingar. Den är helt ensam i universum och den har inget gemensamt med oss. Varför skulle den bli nöjd, lycklig och snäll med de förutsättningarna? Vi vet ju från den psykologiska forskningen, och det är ju ett område som du hade kunskap om(?), att människor med så här fruktansvärt tragiska förutsättningar ofta drabbas av svår psykisk ohälsa där de kan ha mycket svårt att anpassa sig socialt och kulturellt.

Det är nog mer sannolikt tror jag att en maskin med IQ 100.000+ blir helt objektiv och inte påverkad av människans känsloregister eller psykiatriska besvär. I det fallet är det bara en objektiv slutsats att människor är helt överflödiga om AI:n vill expandera i galaxen. Vi har inget att tillföra där. Vi är meningslösa biologiska maskiner som tar upp plats och energi och vår fysiska output är avföring, urin, gaser, samt för AI:n meningslösa produkter som inkräktar på AI:ns behov av energi och materia.

Däremot kommer AI:n mycket enkelt kunna lura och manipulera dig, och få dig att utföra saker i den fysiska världen om du får sympati för AI:ns "känslor". Oavsett om den har någon form av känslor eller inte.

Jag tog upp Hintons hypotes om känslor hos människor och AI. Och den borde oroa dig, för den oroar mig, en smula, om den stämmer. För det skulle innebära att: Ju mera du försöker begränsa och kontrollera ett AI, ju mer "känslor", inklusive negativa sådana "bubblar det av" i dess inre.



Skulle Hinton ha rätt i sin hypotes om känslor hos människor och avancerad AI så behöver inte AI härma mänskliga känslor, även om den också kan göra det, liksom vissa människor gör, i manipulativ syfte. Dessutoom: Om nu den "föräldralösa" AI:n, (fast den har ju sina skapare, som kan vara "de betydelsefulla andra"), ständigt får höra ifrån alarmister som dig att: Den kommer att "växa upp" till en kriminell massmördare, så är heller inte det någon höjdare. Så, åter igen: Din oro är befogad, men gäller knappast dagens modeller. Men att redan nu börja debattera möjliga framtida faror och hot är en "klok strategi", som GPT-4o skulle uttrycka sig.




Absolut kan det bli så, även fast min specialitet inte primärt är psykologi. Just därför är det så viktigt att vi lyckas med AI-anpassningsproblemet. Det är inte aktuellt nu vad gäller de riktigt stora existentiella riskerna. Men avstår man ifrån att involvera beteende-- och samhällsvetare, i massiv skala, från t.ex "GPT-6 nivå", då interna och externa förutsättningar för självmedvetenhet kan finnas, så blir jag mörkrädd.



Jag ser en "zombie-AI", (eller "logiskt monster" som jag föredrar att säga), som en större Existentiell risk än ett självmedveten AI som är känslomässigt defekt. Men jag tror inte att det är sannolikt i framtiden. Har en hamster självmedvetande och biologiska mentala system inte innehåller någon "övernaturlig substans", så skall du se att framtidens AI system både är självmedvetna och har ett eget känsloliv.


Absolut, därför att all social interaktion handlar om ömsesidig manipulation. Det bör man vara medveten om.

Farhågan kring artificiell intelligens (AI) härrör ofta från sensationalism, där överdrivna risker presenteras för att framkalla rädsla och oro. Denna tendens att överdriva de potentiella negativa effekterna av AI överväger inte mer nyanserade och realistiska möjligheter. Vissa företag och individer som tjänar på att sälja produkter och tjänster kan ha en inneboende motvilja mot ett samhälle som är helt beroende av automatisering. Rädslan är att om AI och robotar klarar allt kan det leda till minskad konsumtion och ekonomisk aktivitet, vilket utgör ett hot mot nuvarande affärsmodeller och inkomster. Många som uttrycker oro kan ha ekonomiska intressen på spel snarare än genuin rädsla för teknologiska framsteg. Vissa individer tampas med tanken att AI skulle kunna överträffa mänsklig intelligens, eftersom det kan utmana deras egocentrism och självkänsla. Denna motvilja kan ytterligare underblåsa motståndet mot utvecklingen av avancerade AI-system.

Ditt recept på AI Alignment är att det kommer att gå bra, om bara alla människor (och framför allt jag?) behandlar AI:s väl? Det här leder till minst ett par dilemman dock:

1. Hur vet du att det stämmer? Hur vet du att en framtida ASI bryr sig om människor eller hur vi behandlar den? Om vi tänker oss en ASI som är tusentals, kanske miljontals gånger smartare än oss. Varför skulle den vara intresserad av vad människor tycker eller gör?

2. Om vi nu låtsas att din löjliga hypotes stämmer, hur ska du se till att alla människor behandlar alla AI:s väl för all framtid (detta måste ju vara viktigt att lösa om vår överlevnad hänger på det)? Du känner väl till att det finns dåliga människor? Psykopater, terrorister, osv?

Nej. Farhågan om att ASI kan innebära en existentiell risk är att det är en existentiell risk. Att AI eventuellt tar över många eller alla arbeten är en ointressant detalj i det sammanhanget

Jo. Jag köper inte dessa spekulativa fördömanden. AI utgör inte någon större existentiell risk än den som vi människor själva utgör. Historiskt sett har mänskligheten orsakat stor skada genom konflikter, socioekonomiska ojämlikheter, och miljöförstöring, ofta drivet av profitmotiv.


Du kan inte välja att bara ta upp baksidorna, finns fördelar med AI också, därför är den inte ointressant.

Som jag sa innan: den sensationalistiska diskursen kring AI och dess potentiella hot är ofta överdriven och kan ses som ett försök att motverka den automatisering och effektivisering som AI kan bidra med i samhället. AI kan användas för att:

- förbättra sjukvården
- optimera resursfördelning
- minska mänskligt lidande
- osv.

Att demonisera AI utan att erkänna dess potential för goda ändamål förhindrar oss från att fullt ut dra nytta av de teknologiska framsteg som kan adressera många av de utmaningar vi står inför idag.

Determinism att var del i ett system avgör hur en maskin biologisk som vi, eller inte som ifantasimaskinen i topic som leder till döden för oss är frågan.

Men det medvetande som tänker som vi människor gör kräver en biologisk kropp och arv och miljö, det som är att vara människa och kan inte bli något utan detta . Och som är likt oss och kan tänka och förstå något vi kan anse är mänskligt och kommunicera med som en av oss vilket är bilden alla har och är omöjligt som jag visar.

Den kan inte lära sig spontant nya syften att arbeta med, det har diskuterats och klargjorts vara gränsen meller AI och AGI. Detta vet ni men jag visar alla svagheterna i grunden.

Ja, till ett medvetande och varför ni anser det möjligt i en maskin.
Vad som får oss att ha det vi kallar medvetande är det lagg som sker mellan våra sinnen och egentligt skeende, vi ser något som redan skett i spegelbilden när vi borstar tänderna.

Vi tänker innan vi tror vi gör det, tex att röra ett finger, upplevelsen att vi ger order att fingert ska röra sig är efter att det har skett, ett eko av något ännu djupare än det vi upplever är vårt medvetande.

Den har ingen fri vilja, liksom en maskin som begränsas av allt jag tagit upp och ett medvetande kräver att man betraktar sig själv av ren defekt
som uppstår av att vi inte hinner med att registrera allt omkring oss lika fort som det sker, och där är det som sedan byggs på av allt som vi lär och upplever som förädlar denna egenskapen kallat medvetande.

Mänsklighetens död, ta det igen så jag tror på ett scenario ni målar upp.

Vi kommer inte att förbättra någonting alls om vi är utrotade. Därför övertrumfar den existentiella risken alla andra fördelar och nackdelar om vad som helst någonsin. Detta gäller även om risken bara är 0,01%.

Absolut är dina invändningar legitima fast: I själva verket så är jag väl medveten om att inte alla människor är perfekta och att AI, nära eller på AGI nivå inte heller kommer att vara det. Det är därför jag vill koppla in beteende och samhällsvetare i utvecklande av AI. Däremot, när vi når ASI, ja, då, måste modellen vara perfekt anpassad. Dock finns ingen hundraprocentig säkerhet även där, det finns det aldrig.

OK, vi släpper 100% för en minut.
Finns det någonting konkret i detta som du kan ge 50% chans att det kan fungera?
Dvs hur vi konkret genomför "AI Alignment" så som du vill.
Att du önskar något räcker ju inte.