Citat:
Det är en magic 8 ball som du kan ställa frågor till och få någon form av svar tillbaka... varken mer eller mindre.Har någon här hävdat att chatgpt redan används för att dra nya vetenskapliga slutsatser? Jag har inte gjort det. Men den kan redan föreslå nya intressanta forskningsproblem, nya exjobbsuppgifter och nya innovationsapproacher som lösning på olika behov, den kan generara kod som analyserar forskningsdata statistiskt, och kod som generar listor med data genom att söka i Wikidata, och den kan omformulera forskares slutsatser på ett smartare sätt.
Citat:
Den gör löjliga faktafel i nästan vad som helst man frågar den om också, den som förlitar sig på ChatGPT kommer förr eller senare råka ut för något väldigt pinsamt och sedan stå till svars för det. Det är en leksak och inget annat.
Chatgpt gör löjliga räknefel på grundskolenivå, särskilt gratisversionen, t.ex. när den ska dividera två tal, men gör ändå avancerade lösning och fungerande python-kod, matlab-kod mm, t.ex. för numeriska metoder, köteori och signalbehandling. När man ber den köra koden upptäcker den ibland själv att den har gjort fel och åtgärdar felet.
Citat:
Jag missförstår ingenting, jag vet vad dessa modeller tränas på och varför och det är helt och hållet medvetet och explicit skräddarsytt för att ge illusionen av en tänkande maskin, det är inget som bara uppstår för den matas med data. Det är vad en grund tränad modell är och de är helt och hållet oförmögna att hålla någon som helst konversation.
Du missförstår begreppet emergens. Kemin emergerar ur fysiken, biologin ur kemin, osv. Emergens är egenskaper som ett system inte har på låg nivå (atomär nivå) men som uppstår när man studerar ett tillräckligt stort och komplext system i sin helhet, på högre organisationsnivå. I fallet LLM menar man överaskande förmågor som inte är direkt implementerade men som uppstår för att LLM:et är tillräckligt stort och komplext. T.ex. utöver vad transformeralgoritmen klarar, och utöver dess förmåga att beräkna vilket nästa ord som är mest rimligt eller sannolikt. Vanliga exempel man brukar ge är att GPT kunde skapa programkod (GPT2 används till det i Github Copilot), poesi, mm.
Precis som modeller som tränas för instruktioner är värdelösa att konversera eller modeller som tränas för chattande är värdelösa att följa instruktioner osv.
Det är algoritmer som är mönstermatchare och de gör precis det, de försöker matcha och bete sig som de mönster de tränats på.
Citat:
Det resonerar inte mer än vad dess träningsdata gjorde, det finns ingen språkmodell någonsin som utvecklat resonemang av sig självt utan att blivit matad med ofantliga mängder av exempel på resonemang.
Jag menar att Chatgpt har en förmåga att resonera och lösa logiska och matematiska problem, och att det är emergenta förmågor, eftersom de inte är direkt implementerade utan oväntat har uppstått för att den är tränad på stort och komplext material och för att den behärskar språk så väl. Som jag förklarar med att många mänskliga språk kan uttrycka logiska och matematiska resonemang, med mönster för lösningar där steg för steg. Som den kan översätta till nya tillämpningsexempel.
Vissa kallar istället dessa förmågor för illusionener. De säger att det inte är "riktig" resonerande och problemlösning, på det sätt människor gör det. Jag tror att det är just verbalt tänkande människor använder för att lösa sådanna problem som inte djur kan resonera om.
Vissa kallar istället dessa förmågor för illusionener. De säger att det inte är "riktig" resonerande och problemlösning, på det sätt människor gör det. Jag tror att det är just verbalt tänkande människor använder för att lösa sådanna problem som inte djur kan resonera om.
Det är ingen inneboende egenskap i modellen eller algoritmen och definitivt inget som bara "uppstår" med data som är vad tokstollarna som försöker framhäva emergenta egenskaper påstår.
Citat:
Vad menar du hur kan förståelse definieras? I kursplaner bör man inte skriva "kunna förstå" som lärandemål, eftersom lärare inte kan gå in i studentens hjärna och se förståelsen, utan det ska vara ett mätbart lärandemål. Vanligen skriver man "kunna förklara" eller kanske "kunna tillämpa teorin på nya problem". Så testar lärare förtåelse. Och det klarar ChatGPT!
Jag säger inte förståelse kan definieras, jag säger att förståelse är en tolkning där du antingen ser hur modellen fungerar eller så bortser du från det och enbart tittar på resultatet, väljer du att blunda för det faktum att det enbart är en förutsägelse algoritm så kan resultatet se ut som om det pågår resonemang och förnuftighet under ytan.
Förstår du vad det faktiskt gör så inser du att den lilla uns av förståelse som modeller ser ut att frambringa kommer som ett direkt resultat av attention viktar tokens i kontext.
På samma sätt kan du se en miniräknare som magi och välja att tolka det som att det sitter en liten gubbe där inne och räknar på sin kulram sedan presenterar resultatet till dig, men en stor majoritet skulle motsäga sig detta trots de inte har en jävla aning om hur en miniräknare faktiskt fungerar medans ironiskt nog kreti och pleti saknar helt förståelse för grundläggande sannolikhetslära som är 100% vad språkmodellerna bygger på och säger att de är tänkande och förstående och som argument försöker de påvisa vad de blivit intutade av andra att ingen förstår hur språkmodeller eller stora neurala nätverk fungerar, vilket är helt felaktigt.
Citat:
Kanske kommer fler människoliknande egenskaper en dag att emergera när nya versioner av LLM blir tillräckligt stora och komplexa, eller träningsmaterialet utökas. T.ex. nyfikenhet, analytisk förmåga, förmåga att dra vetenskapliga slutsatser med nyhetsvärde, tro, politisk övertygelse, målmedvetenhet, samvete, empati, varierande humör, ledarskapsförmåga, förmåga att självständigt konstruera nya apparater likt en ingenjör, självförbättringsförmåga, självmedvetande. Den är ju faktiskt tränad på material där allt detta beskrivs, både genom skönlitteratur och akademisk litteratur.
Blinda som en gång som barn har sett kan lösa visuella problem mycket bättre än blinda som aldrig sett. T.ex. problem inom fysik och matematik. De har alltså utvecklat ett större syncenter. Om dövstumma kan lösa matematisk-logiska problem så beror det på att det har ett andra språk, nämligen teckenspråk, och skriftspråk. Så de har också ett språkcenter, som kan beskrivas som en stokastisk papegoja.
Blinda som en gång som barn har sett kan lösa visuella problem mycket bättre än blinda som aldrig sett. T.ex. problem inom fysik och matematik. De har alltså utvecklat ett större syncenter. Om dövstumma kan lösa matematisk-logiska problem så beror det på att det har ett andra språk, nämligen teckenspråk, och skriftspråk. Så de har också ett språkcenter, som kan beskrivas som en stokastisk papegoja.
Varför skulle det göra det? Sa inte du att du jobbade med CNNs, har något av dessa börjat resonera med dig? Har det börjat visa avvikande beteende-annat än overfitting... för du tränat det med mer data? Det finns ingen magi här, det är marknadsföringstrick och ballongen börjar brista, det kommer inte gå att hävda att "vi bara behöver mer data och mer beräkningskapacitet" allt för länge in i framtiden innan nuvarande teknologi måste omvärderas, det är liksom inte hållbart att kasta pengar och energi på något som inte fungerar som det ska... Det är darwins lag.
Citat:
Det här intresserar mig. Nyttan med BLIT är alltså att datorimplementera vågformsgenerering av exempelvis sågtandvågor, t.ex. för att sedan modifiera i en subtraktiv synt, med ideal lågpassfiltrering för att helt eliminera vikningsdistorsion? Då kan man alltså lägga ihop många BLIT-vågformer, en per sampel per period, med de amplituder som vågformen har vid respektive sampel?
Om man istället framställer en sågtandvåg genom additiv syntes av ett begränsat antal sinusvågor, enligt fourierserieutvecklingen, borde inte det ge identiskt resultat? Det blir ju också ideal lågpassfiltrerat. Resultatet ser ut nästan ut som en sågtandvåg.
Kan det vara så att chatgpt har lärt sig av labbrapporter på nätet skrivna av studenter som inte har lärt sig hur BLIT-baserad syntetiseing av vågformer går till, eftersom deras resultatet ändå blir rätt, och rättande lärare inte har upptäckt detta?
Om man istället framställer en sågtandvåg genom additiv syntes av ett begränsat antal sinusvågor, enligt fourierserieutvecklingen, borde inte det ge identiskt resultat? Det blir ju också ideal lågpassfiltrerat. Resultatet ser ut nästan ut som en sågtandvåg.
Kan det vara så att chatgpt har lärt sig av labbrapporter på nätet skrivna av studenter som inte har lärt sig hur BLIT-baserad syntetiseing av vågformer går till, eftersom deras resultatet ändå blir rätt, och rättande lärare inte har upptäckt detta?
Nyttan med BLIT var att det var ett 90 tals försök (och jag tog det som exempel eftersom det är väl dokumenterat och varenda språkmodell bör ha sett tusentals exempel på detta) att undvika aliasing för analoga vågor i en digital miljö, det är varken den senaste eller bästa tekniken för detta.
Det var också varför jag sa du kunde be den om minBlep sen, för jag förstod (och har testat detta tidigare) att den inte skulle lyckas med ens BLIT och minBlep är en vidareutveckling av BLIT, dvs BLEP (Bandwidth Limited stEP) och minBlep är vidare utvecklingen av BLEP. Det finns massvis med information på nätet om hur detta fungerar om du är intresserad, allt detta är sådant som funnits i ungefär 20 år och vare sig det senaste eller nya heta.
Vill du prova något som däremot är svårare som också ChatGPT kommer misslyckas totalt med är det att skriva ett topologipreserverande digitalt filter eller ZDF (Zero Delay Feedback) filter som den i alla fall de gånger jag frågat antingen kastat ur sig ett naivt biquad filter som totalt avsaknar de egenskaper som ZDF ger och är anledningen till användandet av det eller så kommer den total vägra.
ChatGPT vet helt enkelt inte vad den håller på med, resultatet är inte rätt för det är inte hur en BLIT ser ut, fungerar eller konstrueras... Det var ingen som efterfrågade en sågtands oscillator.
__________________
Senast redigerad av JohnnyMnemonic 2024-04-15 kl. 22:45.
Senast redigerad av JohnnyMnemonic 2024-04-15 kl. 22:45.