Vinnaren i pepparkakshustävlingen!
2023-08-26, 00:47
  #1621
Medlem
Citat:
Ursprungligen postat av A.Karpathy
Behövs inga orakel för att anamma en försiktighetsprincip, clown.

Nej, det behövs bara en religöstro och dålig kunskap om ämnet. Det har vetenskapen fått erfara i hundratals år när kyrkan applicerat "försiktighetsprinciper".
Citera
2023-08-26, 01:07
  #1622
Medlem
A.Karpathys avatar
Citat:
Ursprungligen postat av JohnnyMnemonic
Nej, det behövs bara en religöstro och dålig kunskap om ämnet. Det har vetenskapen fått erfara i hundratals år när kyrkan applicerat "försiktighetsprinciper".
Den uppfattningen står ju då i skarp kontrast till vad andra jättar inom industrin anser. Jag lämnar det där. Vi har hamnat i återvändsgränd. Allt som återstår för dig nu är att överbevisa dem, på Flashback, och samtidigt förklara det rimliga i att kasta försiktighetsprinciper överbord, när både du och din förebild dryper av fel och saknar analytisk förmåga.
__________________
Senast redigerad av A.Karpathy 2023-08-26 kl. 01:22.
Citera
2023-08-26, 01:09
  #1623
Medlem
Citat:
Ursprungligen postat av A.Karpathy
Den uppfattningen står ju då i skarp kontrast till vad riktiga jättar inom industrin anser. Jag lämnar det där. Vi har hamnat i återvändsgränd. Allt som återstår för dig nu är att överbevisa dem, på Flashback, och samtidigt förklara det rimliga i att kasta försiktighetsprinciper överbord, när både du och din förebild dryper av fel och saknar analytisk förmåga.

Jaså så de riktiga jättarna i industrin är inte Andrew Ng och Yann LeCun som exempel.

Som sagt ja vi lämnar det där. Jag behöver ingen förebild jag har hållit på med detta i över tio år men jag vet vilka av de som gapar jag inte lyssnar på alls.
Citera
2023-08-26, 01:18
  #1624
Medlem
A.Karpathys avatar
Andrew Ng är även han en person som skiftat något i position:
Do Large Language Models really "understand" the world, or just give the appearance of understanding? Evidence (e.g., Othello-GPT) shows LLMs build models of how the world works, which makes me comfortable saying they do understand.
https://twitter.com/AndrewYNg/status...93276234989569
Citera
2023-08-26, 01:20
  #1625
Medlem
A.Karpathys avatar
Citat:
Ursprungligen postat av JohnnyMnemonic
Jaså så de riktiga jättarna i industrin är inte Yann LeCun som exempel.
*vad andra jättar inom industrin anser.
Citera
2023-08-26, 01:33
  #1626
Medlem
Citat:
Ursprungligen postat av A.Karpathy
Andrew Ng är även han en person som skiftat något i position:
Do Large Language Models really "understand" the world, or just give the appearance of understanding? Evidence (e.g., Othello-GPT) shows LLMs build models of how the world works, which makes me comfortable saying they do understand.
https://twitter.com/AndrewYNg/status...93276234989569

Ja han hävdar att Othello-GPT bildar en uppfattning om vad den lär sig, det är väl inget nytt? Det är precis vad Co-pilot osv bygger på att de lär sig sambanden. Det betyder inte att nätverket är tänkande eller att det agerar av sig självt utan enbart att det formar sig efter givna regler.

Det innebär inte att han ger domedags profeter rätt eller att han vill stoppa utvecklingen av AI, tvärtom är han en av dom som propagerar för acceleration i utvecklingen, precis som Yann LeCun för den delen.
Citera
2023-08-26, 02:34
  #1627
Medlem
A.Karpathys avatar
Älskar hur målstolparna _måste_ flyttas. Men det krävs väl för att inte autisterna ska äta upp sina kritor. Eller fastna i schizotypa episoder alldeles för lång stund. Lol. Nåväl, vi är dock fler som gläds åt de insikter Andrew Ng gjort; om det anmärkningsvärda i att kunna forma sig en uppfattning av världen, över huvud taget. Då processen även kan beskrivas som en sammansatt interaktion mellan perceptuella och kognitiva faktorer.
Citera
2023-08-26, 04:42
  #1628
Medlem
Problemet är väl snarare att sinnessvaga personer har svårt att se gradienter i tillvaron, allt ska vara svart eller vitt, för eller emot.

Men det är väl också anledningen de sitter och trollar på forum.
Citera
2023-08-26, 05:13
  #1629
Medlem
Ola Schuberts avatar
Citat:
Ursprungligen postat av JohnnyMnemonic
Jag har ärligt talat inte kollat på hela videon, det räckte med hur oprofessionell inledningen är för att avgöra vad biasen på speciellt den ena herrn är att de dessutom inte känner till (eller ens slår upp) Konstantine Arkouda (Amazon Alexa tex) innan de startar med ad hominem attacker.

Att sedan börja med att ett exempel som är helt irrelevant i sammanhanget, den talande hunden är rent av löjligt, du kan göra ett dator program som skriver helt rimliga och grammatiskt korrekta meningar utan att dra in ett ANN överhuvudtaget, det har används av spammers i minst 15-20 år och tekniken är markov kedjor. Precis som ett ANN så "tränar" man markovkedjan på exempel text, och precis som GPT-4 så väljer man det mest sannolika ordet i sekvensen, precis som ett ANN så komprimerar det där med också data men det har absolut 0 intelligens och det är i stort sett identiskt med att sätta temperatur 0 på GPT.
Det finns inget som är en wow faktor med att ett program spottar ur sig text som en människa kan förstå.

Vad jag sett har han inte ändrat något och har ett nytt papper som är påväg ut nu (som inte publicerats ännu) som går under arbetstiteln "ChatGPT is no Stochastic Parrot. But it also Claims that 1 is Greater than 1"

Jag tror detta summerar hans ståndpunkt ganska bra.

"As a personal note, I have worked on and with LLMs for several years now. I’ve been impressed by their capabilities but have regarded them only as engineering tools that can help to solve specific problems (mostly NLP problems in my case). When it comes to more grandiose claims to the effect that LLMs will deliver strong AI (systems that are every bit as intelligent as humans or more), I’ve been firmly in the skeptic camp. That’s largely because such claims tend to be inextricably bound with very strong forms of computationalist theories of mind, according to which computation is necessary and sufficient for cognition. I still think that digital computers cannot possess genuine mental states or be conscious, and therefore will never attain real understanding. (For what it’s worth, I hasten to add that this position does not stem from religious dogma, dualism or crypto-dualism, a predilection for the occult, or even bio-chauvinism. There are compelling rational arguments for it that are perfectly consistent with materialism. For an introduction to some of these arguments, see the article Philosophical Foundations of Artificial Intelligence in the Cambridge Handbook of Artificial Intelligence.)"

Ok, herre nummer 2 var alltså inte Konstantine Arkouda, de tog bara upp hans rapport. Det borde jag förstått med tanke på hur oorganiserad intervjuaren var och antalet prenumeranter på kanalen.

Däremot så har nog målstolparna flyttats. En människa ifrån 1980 skulle bli oerhört imponerad av ChatGPT-4. I boken "Microdatorernas intåg" ifrån 1979 så blev man imponerade av oändligt mycket mindre. Själv blev jag imponerad bara av en kamera som sa "load film" när man tryckte på avtryckaren knappen, början av 1980-talet.

Vad gäller synen på LLM så har jag dock svårt att se det hela som blott en statisk låda som manipuleras, (som du jämförde med i ett annat inlägg). Visst statisk på så sätt att parametrarna låses fast. Men flexibel innut i. Låt vara ej autonomt som den mänskliga hjärnan och ej lika flexibel. Mera som att modellen, på ett automatiskt sätt förmår ändra hålen i lådan där omgivningen försöker pressa in klossar, dock ej enligt någon plan och ytterst troligt ej medvetet.

Så vi är inte riktigt överrens där. Och ännu mindre inför framtiden, givet att systemet grundläggande funktion kan ändras. Och det behöver inte innebära att den blir en exakt kopia av den mänskliga hjärnan. Vår hjärna har många uppgifter som ett hypotetiskt AGI kan strunta i. Dels tror jag AI-utvecklingen kommer att gå väldigt snabbt de närmaste åren och dels så tror jag att LLM:s skapare blev genuint förvånade över modellernas förmåga att generalisera. Ja t.o.m geniet Ilyan Sutskrever blev tillfälligt lurad i februari 2022 då han skrev på Twitter att modellerna kunde ha någon form av medvetsnde.

https://twitter.com/ilyasut/status/1...258368?lang=en

Och sedan ändrade han sig:

https://twitter.com/ilyasut/status/1603454190432288770

Så jag som ej datavetare må vara förlåten om jag, ibland, blivit väl mycket imponerad och duperad.
__________________
Senast redigerad av Ola Schubert 2023-08-26 kl. 05:19.
Citera
2023-08-26, 05:46
  #1630
Medlem
Citat:
Ursprungligen postat av Ola Schubert
Ok, herre nummer 2 var alltså inte Konstantine Arkouda, de tog bara upp hans rapport. Det borde jag förstått med tanke på hur oorganiserad intervjuaren var och antalet prenumeranter på kanalen.

Däremot så har nog målstolparna flyttats. En människa ifrån 1980 skulle bli oerhört imponerad av ChatGPT-4. I boken "Microdatorernas intåg" ifrån 1979 så blev man imponerade av oändligt mycket mindre. Själv blev jag imponerad bara av en kamera som sa "load film" när man tryckte på avtryckaren knappen, början av 1980-talet.

Självklart har målstolparna flyttats, det har det gjorts åtskilliga gånger i historien och det gäller inte enbart AI men i stort sett varje gång har folk trott datorn har mänskliga egenskaper, tex folk var helt förbluffade första gången en dator kunde prata, även om talsynthes funnits tidigare än datorerna.

Citat:
Ursprungligen postat av Ola Schubert
Vad gäller synen på LLM så har jag dock svårt att se det hela som blott en statisk låda som manipuleras, (som du jämförde med i ett annat inlägg). Visst statisk på så sätt att parametrarna låses fast. Men flexibel innut i. Låt vara ej autonomt som den mänskliga hjärnan och ej lika flexibel. Mera som att modellen, på ett automatiskt sätt förmår ändra hålen i lådan där omgivningen försöker pressa in klossar, dock ej enligt någon plan och ytterst troligt ej medvetet.


Lådan är inte statisk, hålen är heller inte statiska det är just anledningen till att neurala nätverk löser uppgifter så mycket enklare än konventionella algoritmer, det var en väldigt förenklad förklaring men i grova drag är det så det fungerar när nätverket tränas.

3Blue1Brown har en serie som pedagogiskt förklarar det bättre (med riktiga nätverk) https://www.youtube.com/watch?v=aircAruvnKk

Annars kan du bara googla/youtube:a på "universal approximation theorem"

Citat:
Ursprungligen postat av Ola Schubert
Så vi är inte riktigt överrens där. Och ännu mindre inför framtiden, givet att systemet grundläggande funktion kan ändras. Och det behöver inte innebära att den blir en exakt kopia av den mänskliga hjärnan. Vår hjärna har många uppgifter som ett hypotetiskt AGI kan strunta i. Dels tror jag AI-utvecklingen kommer att gå väldigt snabbt de närmaste åren och dels så tror jag att LLM:s skapare blev genuint förvånade över modellernas förmåga att generalisera. Ja t.o.m geniet Ilyan Sutskrever blev tillfälligt lurad i februari 2022 då han skrev på Twitter att modellerna kunde ha någon form av medvetsnde.

https://twitter.com/ilyasut/status/1...258368?lang=en

Och sedan ändrade han sig:

https://twitter.com/ilyasut/status/1603454190432288770

Så jag som ej datavetare må vara förlåten om jag, ibland, blivit väl mycket imponerad och duperad.

AI utvecklingen har gått snabbt framåt eftersom det kommit väldigt bra hårdvara på senare år som har mycket beräkningskraft (och jag syftar inte på LLMs då, de har gått framåt pga både det men också för att transformers bra), denna trend kommer inte pågå i oändlighet.
Och gör inte GPT-4.5, Bard osv (eller vilka som nu kommer vara först till marknaden) osv rejäla framsteg så kommer in flödet från investerare sina dramatiskt snabbt.

Konkurrenterna ligger idag efter men Meta som tex gör Llama har släppt alla sina modeller som open source hittills och enligt egen ut sägo ska de fortsätta med det, deras nästa llama modell beräknas ha paritet med dagens GPT-4 och om inte OpenAI och/eller Google drar ifrån igen så kommer det inte längre finnas någon uppenbar spelare på marknaden med ett stort framtidshopp, samtidigt så är det massvis med små startups som experimenterar med liknande teknik och som kan komma från ingenstans med revolutionerande teknik, ska man gissa utifrån historien är det Google som borde vinna det här dock eftersom de sitter på enorma mängder data men framförallt så har deras AI projekt gjort stora framgångar med tekniker (var av transformers är en av dom), samtidigt är Bard just nu markant sämre än någon av OpenAIs produkter (och då var det ändå Bard som fick Blake Lemoine att gå till media och säga att Bard var medveten).

Men ut över det så är ett annat problem som Nvidias VD Jansen Haung upplyste om detta för något år sedan när 4000 serien lanserades, att dagarna då kunder fick markant förbättrad hårdvara var förbi (som en av argumenten till varför RTX4xxx var så mycket dyrare än föregående serier).

Det är ingen tvekan om att tekniken är användbar som den är, men det innebär inte att man behöver tillskriva den egenskaper den inte har.
Citera
2023-08-26, 10:39
  #1631
Medlem
Ola Schuberts avatar
Citat:
Ursprungligen postat av JohnnyMnemonic
Självklart har målstolparna flyttats, det har det gjorts åtskilliga gånger i historien och det gäller inte enbart AI men i stort sett varje gång har folk trott datorn har mänskliga egenskaper, tex folk var helt förbluffade första gången en dator kunde prata, även om talsynthes funnits tidigare än datorerna.



Lådan är inte statisk, hålen är heller inte statiska det är just anledningen till att neurala nätverk löser uppgifter så mycket enklare än konventionella algoritmer, det var en väldigt förenklad förklaring men i grova drag är det så det fungerar när nätverket tränas.

Då tror vi är överens på den punkten.

Citat:
3Blue1Brown har en serie som pedagogiskt förklarar det bättre (med riktiga nätverk) https://www.youtube.com/watch?v=aircAruvnKk

Annars kan du bara googla/youtube:a på "universal approximation theorem"

Jag har sett några av dessa video, plus någon i hans serie "linjär algebra." Svårt för mig att greppa detta ovana område. Men annars så hade jag inte förstått ett skvatt av dina teknologiska resonemang i en annan tråd. Men ökade kunskap och förståelse har också gjort att jag, numera, ser sannolikheten för att dagens LLM skulle vara medvetna är nära noll.



Citat:
AI utvecklingen har gått snabbt framåt eftersom det kommit väldigt bra hårdvara på senare år som har mycket beräkningskraft (och jag syftar inte på LLMs då, de har gått framåt pga både det men också för att transformers bra), denna trend kommer inte pågå i oändlighet.
Och gör inte GPT-4.5, Bard osv (eller vilka som nu kommer vara först till marknaden) osv rejäla framsteg så kommer in flödet från investerare sina dramatiskt snabbt.

Konkurrenterna ligger idag efter men Meta som tex gör Llama har släppt alla sina modeller som open source hittills och enligt egen ut sägo ska de fortsätta med det, deras nästa llama modell beräknas ha paritet med dagens GPT-4 och om inte OpenAI och/eller Google drar ifrån igen så kommer det inte längre finnas någon uppenbar spelare på marknaden med ett stort framtidshopp, samtidigt så är det massvis med små startups som experimenterar med liknande teknik och som kan komma från ingenstans med revolutionerande teknik, ska man gissa utifrån historien är det Google som borde vinna det här dock eftersom de sitter på enorma mängder data men framförallt så har deras AI projekt gjort stora framgångar med tekniker (var av transformers är en av dom), samtidigt är Bard just nu markant sämre än någon av OpenAIs produkter (och då var det ändå Bard som fick Blake Lemoine att gå till media och säga att Bard var medveten).

Men ut över det så är ett annat problem som Nvidias VD Jansen Haung upplyste om detta för något år sedan när 4000 serien lanserades, att dagarna då kunder fick markant förbättrad hårdvara var förbi (som en av argumenten till varför RTX4xxx var så mycket dyrare än föregående serier).

Det är ingen tvekan om att tekniken är användbar som den är, men det innebär inte att man behöver tillskriva den egenskaper den inte har.

Men Nvidia gasar på väldigt snabbt när det kommer till specialanpassade AI chip, kåt vara att GPU spelar en betydelse full roll även där.

Ja, man skall leva i verkligheten och försöka se realistiskt på framtiden. Men det senare är svårbedömt givet att den senaste AI-utvecklingen fortsätter att accelerera som den gjort de senaste 6-7 åren, lika mycket under resten av detta decennium. Men, givetvis så måste den sedan lugna ned sig, så vida vi inte får (starkt( ASI som kan utvinna resurser utanför jorden.
Citera
2023-08-26, 13:40
  #1632
Medlem
Citat:
Ursprungligen postat av Ola Schubert
Men Nvidia gasar på väldigt snabbt när det kommer till specialanpassade AI chip, kåt vara att GPU spelar en betydelse full roll även där.

Ja, man skall leva i verkligheten och försöka se realistiskt på framtiden. Men det senare är svårbedömt givet att den senaste AI-utvecklingen fortsätter att accelerera som den gjort de senaste 6-7 åren, lika mycket under resten av detta decennium. Men, givetvis så måste den sedan lugna ned sig, så vida vi inte får (starkt( ASI som kan utvinna resurser utanför jorden.

Ja men det gör även konkurrenterna och i sedan några år tillbaka kommer i stort sett varenda chip man kan köpa med någon form av NPU/TPU, men de är främst avsedda till att accelerera bildigenkänning/röstigenkänning som bekant funnits i ganska många år nu och tillsammans med NLP har varit tillräckligt bra för att röstassistenter som Siri, Hej Google, Alexa och Cortana ska fungera för att nämna några.

Och ska man prata risker med AI osv så risken att du som individ blir övervakad har markant ökat senaste åren, det behövs ingen autonom eller medveten AI för detta.

Men det är också sant utan AI tekniker, jag vet inte hur många gånger jag varit med om att vara hos någon- diskutera något och som av en slump så börjar helt plötsligt reklam man får på internet vara skrämmande nära ämnet man pratat om och ibland exakt samma sak. Det kan mycket väl vara så att mobilen kopplar upp på personens wifi eller något och denna sökt febrilt på området eller dyl- jag vet inte men det är ett märkligt sammanträffande.

Vad det rör AI så kan vi så klart spekulera om alla möjliga utkomster, jag har väldigt svårt att se att det skulle kunna vara ett hot för mänskligheten, om något så existerar i stort sett alla hot som nämnts redan idag- startar du en webserver så kan du räkna med att loggen kommer vara full med bottar som scannar och försöker penetrera den, slår du upp en Vnc server och låter bli att sätta lösenord så kan jag nästan garantera att någon kommer ha loggat in och använder den inom någon vecka även om du inte säger det till någon. osv.

Så hot har och existerar alltid och hela diskussionen om ASI är rent av löjlig innan man ens uppnått AGI, vilket troligtvis också kommer om det faktiskt uppstår ske gradvis, det är inte speciellt troligt med tanke på hur dyr beräkningskapacitet är att man när detta uppträder kommer upp i mänsklig eller ens normal mänsklig prestanda omedelbart. Till sist är det väldigt väldigt oklart för att inte säga osannolikt baserat på vetenskapligt konsensus att det kommer vara LLM som gör något sådant banbrytande, i stort sett de enda som tror det är de som själva har LLM produkter att marknadsföra (och sedan en hel drös med vanligt folk som har noll koll).
Citera

Stöd Flashback

Flashback finansieras genom donationer från våra medlemmar och besökare. Det är med hjälp av dig vi kan fortsätta erbjuda en fri samhällsdebatt. Tack för ditt stöd!

Stöd Flashback