Vinnaren i pepparkakshustävlingen!
  • 1
  • 2
2024-08-03, 03:35
  #13
Medlem
BeneathTheSurfaces avatar
Citat:
Ursprungligen postat av Kottkompott
Det är inte rimligt att flytta milstolparna på det sättet som du gör med det här argumentet.

Visst, DSP-programmering i all ära. Men om det är så avancerat, hur sannolikt är det att en junior färsk från YH blir satt på det?

Nu är visserligen webscraping inte särskilt svårt i många fall, men bara senaste året har förbättringarna i LLM:er varit massiv på den nivån.
Eftersom jag är ett latarsel som inte orkar komma ihåg ens boilerplate utantill så kollade jag i början titt som tätt upp SO. Sedan kom chatgpt och var till lite hjälp.

Med bara SO kunde ett vanligt projekt jag behöver ta ungefär 3 dagar.
Med ChatGPT tog det istället lite mindre än 2 dagar, där mycket tid gick till felsökning och pilla med utdaterade funktioner i Selenium, som GPT envisades med att trycka in.

Sedan kodade jag ingenting på ett år, sysslade med annat. Så dök upp ett projekt upp i liknande storlek som tidigare behov, och jag använde Claude 3.5 Sonnet istället.
Det tog då istället knappt 3 timmar.

Huvudorsaken där var att Claude kan hantera massiva textmängder (vilket visserligen andra aktörer kan nu också, men har för mig att de inte är riktigt lika haj på det som Claude) så jag kunde helt enkelt slänga in all HTML för en enskild sida, berätta vad jag behövde, finjustera några saker i 5 minuter, och det bara fungerade.

Så redan där ser vi en markant utveckling. Jag som i alla avseenden får anses som en junior programmerare (jobbar med annat, men har användning av det) har fått en mycket högre effektivitet i den nivå jag faktiskt arbetar med.
Och den utvecklingen kommer att fortsätta. För det vi har idag är inte bättre än allt som kommer att finnas i en väldigt snar framtid. Det finns absolut inget som stödjer att utvecklingen har avstannat här och nu.

Har även sett en del artiklar från urbildningsanordnare som prisat LLM:er för att studenter inte längre behöver tröska på med enformig boilerplate, utan kan spendera mycket mer tid på viktigare saker som just felsökning och att designa dataflöden.

Tids nog kommer inferenskostnsden att vara så låg att man kan paralellisera flertalet specialiserade instanser och istället lägga tid på att vikta bedömningarna och förslagen de kommer med.
Kanske de där renodlade filosoferna äntligen kan få något vettigt att jobba med ett tag.

Det var väl inte vad frågan gällde, utan att du kategoriskt säger att det inte finns någon som helst marknad för "vanlig 100% stolsittande programmering", jag hävdar motsatsen.

DSP programmering var ett exempel på matematik som ligger ligor högre än något som har med AI att göra, där du rör dig med komplex analys, fourier transform, differential ekvationer osv. Du hävdade att AI utveckling ligger kräver någon enorm matematik, vilket det inte gör eftersom det är en statistisk falang (dvs allt som har med deep learning att göra) och inte en matematisk.

Ja inferens kostnad kommer sjunka precis som all annan processkostnad gör det, hårdvara utvecklas hela tiden och eftersom det som behövs är framförallt multiply add eftersom det är matrismultiplikation som är den 99% av tiden spenderas på är det också något som redan är lösbart, det enda som gör det svårt är att språkmodeller är stora så de får inte plats i cache minnen och något som inte skalat bra med datorutvecklingen över åren är minneshastighet, det har varit långt från någon exponentiell utveckling där men vad det rör inferenskostnad så det finns redan idag teknik som gör den enormt billig, CPU inferens tex och tillsammans med moderna processorer med AVX-512 så är hastigheten nästan i fas med GPUer i beräkningshastighet.

Utöver det så finns det företag som Groq som gjort hårdvara specifikt för att köra inferens och är i alla fall jämfört med GPUer väldigt mycket billigare, men det är mest intressant om man själv vill köra en model.

Och visst kan LLMs vara acceleratorer och kanske än bättre codereviewers i vissa sammanhang men att ersätta utvecklare ligger troligtvis långt bortom vår realistiska tidshorisont.

Sen detta med utveckling som längre kontext fönster osv, nästan alla ligger på 128000 tokens eller uppåt med tekniker som RoPE osv men det är inte felfritt och det blir inte bättre när man försöker töja det längre, det är ett fulhack som fungerar sådär och det finns nollchans att man kommer nativt träna modeller med sådana långa kontext fönster om man inte gör en helt fantastisk banbrytande genombrott på hårdvarusidan. Det är ytterst tveksamt det kommer ske några enorma framsteg här idag, Anthropic är väl de som pressat det längst med 200000 tokens men de har redan problem med att det praktiskt inte är så stort eftersom modellerna "glömmer"/"inte ser" information inom detta marknadsförda fönster.

När det kommer till LLMs så är sannolikt den stora genomslagskraften som kommer komma RAG baserad närmsta åren, inget av detta kommer vara ett hot mot utvecklare eller behovet av utvecklare. Vilket var helt och hållet vad min kommentar till dig angrep.
Citera
2024-08-03, 03:57
  #14
Medlem
Kottkompotts avatar
Citat:
Ursprungligen postat av BeneathTheSurface
Det var väl inte vad frågan gällde, utan att du kategoriskt säger att det inte finns någon som helst marknad för "vanlig 100% stolsittande programmering", jag hävdar motsatsen.

DSP programmering var ett exempel på matematik som ligger ligor högre än något som har med AI att göra, där du rör dig med komplex analys, fourier transform, differential ekvationer osv. Du hävdade att AI utveckling ligger kräver någon enorm matematik, vilket det inte gör eftersom det är en statistisk falang (dvs allt som har med deep learning att göra) och inte en matematisk.

Ja inferens kostnad kommer sjunka precis som all annan processkostnad gör det, hårdvara utvecklas hela tiden och eftersom det som behövs är framförallt multiply add eftersom det är matrismultiplikation som är den 99% av tiden spenderas på är det också något som redan är lösbart, det enda som gör det svårt är att språkmodeller är stora så de får inte plats i cache minnen och något som inte skalat bra med datorutvecklingen över åren är minneshastighet, det har varit långt från någon exponentiell utveckling där men vad det rör inferenskostnad så det finns redan idag teknik som gör den enormt billig, CPU inferens tex och tillsammans med moderna processorer med AVX-512 så är hastigheten nästan i fas med GPUer i beräkningshastighet.

Utöver det så finns det företag som Groq som gjort hårdvara specifikt för att köra inferens och är i alla fall jämfört med GPUer väldigt mycket billigare, men det är mest intressant om man själv vill köra en model.

Och visst kan LLMs vara acceleratorer och kanske än bättre codereviewers i vissa sammanhang men att ersätta utvecklare ligger troligtvis långt bortom vår realistiska tidshorisont.

Sen detta med utveckling som längre kontext fönster osv, nästan alla ligger på 128000 tokens eller uppåt med tekniker som RoPE osv men det är inte felfritt och det blir inte bättre när man försöker töja det längre, det är ett fulhack som fungerar sådär och det finns nollchans att man kommer nativt träna modeller med sådana långa kontext fönster om man inte gör en helt fantastisk banbrytande genombrott på hårdvarusidan. Det är ytterst tveksamt det kommer ske några enorma framsteg här idag, Anthropic är väl de som pressat det längst med 200000 tokens men de har redan problem med att det praktiskt inte är så stort eftersom modellerna "glömmer"/"inte ser" information inom detta marknadsförda fönster.

När det kommer till LLMs så är sannolikt den stora genomslagskraften som kommer komma RAG baserad närmsta åren, inget av detta kommer vara ett hot mot utvecklare eller behovet av utvecklare. Vilket var helt och hållet vad min kommentar till dig angrep.
Jag är ändå övertygad om att mycket mark finns att bryta (för stora företag med tunga resurser) inom AI-området. Analoga beräkningar är ett relativt outvecklat område där forskningen länge gått på (relativt) lågvarv sedan von Neumann arkitekturen introducerades, så jag tror säkerligen att det kommer ge stadig vinst åt området när man fokuserar mer på minnesnära beräkningar, neuromorfa chip och hela faderullan.

Men återigen, jag tror inte det är någon större ide att plugga renodlad programmering just nu, om man inte har råd att gå arbetslös ett bra tag sedan.
Tycker youtube och reddit är nerlusat med folk som inte får jobb på området.
En del (särskilt här på flashback) svarar med att det minsann går bara man kan och vill och ruttidutti. För det var minsann inget problem för dem att hitta jobb.

Sedan dyker det upp att de kom in i utvecklarkarriären innan pandemin, vilket lika gärna kunde ha varit på 80-talet i vissa avseenden.
Företagen är inte längre villiga att slänga pengar på folk bara för att de vet vad ett API är, så att de därefter kan sitta med fötterna på bordet och spela tevespel titt som tätt medan pengarna rullar in.

Så arbetsmarknaden nu har förstås inte bara med AI att göra, det finns andra faktorer också.
__________________
Senast redigerad av Kottkompott 2024-08-03 kl. 04:01.
Citera
2024-08-03, 13:53
  #15
Medlem
BeneathTheSurfaces avatar
Citat:
Ursprungligen postat av Kottkompott
Jag är ändå övertygad om att mycket mark finns att bryta (för stora företag med tunga resurser) inom AI-området. Analoga beräkningar är ett relativt outvecklat område där forskningen länge gått på (relativt) lågvarv sedan von Neumann arkitekturen introducerades, så jag tror säkerligen att det kommer ge stadig vinst åt området när man fokuserar mer på minnesnära beräkningar, neuromorfa chip och hela faderullan.

Men återigen, jag tror inte det är någon större ide att plugga renodlad programmering just nu, om man inte har råd att gå arbetslös ett bra tag sedan.
Tycker youtube och reddit är nerlusat med folk som inte får jobb på området.
En del (särskilt här på flashback) svarar med att det minsann går bara man kan och vill och ruttidutti. För det var minsann inget problem för dem att hitta jobb.

Sedan dyker det upp att de kom in i utvecklarkarriären innan pandemin, vilket lika gärna kunde ha varit på 80-talet i vissa avseenden.
Företagen är inte längre villiga att slänga pengar på folk bara för att de vet vad ett API är, så att de därefter kan sitta med fötterna på bordet och spela tevespel titt som tätt medan pengarna rullar in.

Så arbetsmarknaden nu har förstås inte bara med AI att göra, det finns andra faktorer också.

Så basen till ditt påstående var baserat på dina känslor snarare än någon fakta, tack det var vad jag efterfrågade vad du baserade det på.
Citera
2024-08-03, 16:11
  #16
Medlem
Kottkompotts avatar
Citat:
Ursprungligen postat av BeneathTheSurface
Så basen till ditt påstående var baserat på dina känslor snarare än någon fakta, tack det var vad jag efterfrågade vad du baserade det på.
Jag trodde att jag själv var uppfostrad av känslolösa datorer, men vi verkar ha funnit en vinnare.
Citera
2024-08-06, 15:57
  #17
Moderator
Protons avatar
Systemutveckling --> Personlig utveckling, studier och arbetsliv
/Moderator
Citera
  • 1
  • 2

Skapa ett konto eller logga in för att kommentera

Du måste vara medlem för att kunna kommentera

Skapa ett konto

Det är enkelt att registrera ett nytt konto

Bli medlem

Logga in

Har du redan ett konto? Logga in här

Logga in