Stora språkmodeller - Teknik och Utveckling

En av de första undersökningarna av AI verktygens inverkan och påverkan på utveckling (som är en av de områden som det pratas mest om ska vara fördelen med dessa) har släpptes.

Kontentan är att det inte är någon mätbar skillnad i produktivitet bland utvecklare som använder AI verktygen och de som inte gör det, däremot är det en mätbar skillnad att de som använder AI verktyg committar 41% fler buggar.

Det går tolka på flera sätt, men gissningsvis så är takeaway i stort att 1. AI verktygen är långt i från där de påstås vara. 2. Majoriteten av de som använder AI verktyg för utveckling är inkompetenta och inte själva klarar se de fel som AI modellen genererat.

https://www.cio.com/article/3540579/...ssistants.html

Konstig undersökning.

Så du menar att om en programmerare som jobbat som progammerare utan tiden då Språkmodeller fanns och därmed klarade av sitt jobb, idag inte klarar av sitt jobb bättre trots att Chat GPT betalversion kan skriva hela hans vecko kompott av kod på 10 minuter och sedan låta en ny prompt gå igenom och hitta fel > repeat 5 ggr > klar?

Det är väl precis vad undersökningen antyder inte sker, andelen pull requester (alltså förändringar som en utvecklare gjort till ett projekt) inte ökar men andelen buggar i dessa ökat markant.

Det är svårt att mäta med sådan här metrik dock eftersom en PR inte bara är en PR, alltså dvs det är en markant skillnad att fixa stavningen på en metod, att lägga till ett test eller att skapa en ny feature, det framgår inte hur de kvantifierat storleken eller komplexiteten inom en PR.

Men studie utfallet stämmer väl överrens med vad som rapporterats från andra håll och som man själv observerat bland de som pilotat copilot osv.

Det kan mycket väl vara så detta ändrar sig vid nästa mätning, men det gäller nuvarande inkarnation av GitHubs Copilot som baseras på GPT-4o.

Det är fullständigt irrelevant, antalet buggar nändes inte ens i rapporten det är en procentuell siffra- det är 41% mer buggar i PRs skapade med hjälp av AI verktyg i den här mätningen.

Det spelar ingen roll om det är 10, 100 eller 1000 (eller skala upp) rader kod, 41% utgör samma faktor.

Vad är det för slutsats du menar att man inte kan dra?
De har mätt ungefär 800 utvecklare i två stycken perioder på tre månader, en utan CoPilot och en med CoPilot. Menar du på fullaste allvar att du tror att det kommer vara en markant skillnad i antal kodrader och svårighetsgrad på problemen att det skulle ha statistisk signifikans?

Inte fan vet jag vad ni diskuterar men inte är det ämnet för tråden.
Detta är ett forum för AI, inte någon diskussion om buggar och pull requests.
OT raderat
/Mod

Den här boken kom ut för några månader sedan och en bra bok för att få en inblick i AI, både historisk och nuvarande och både förklarar och illustrerar matematiken bakom, men även intervjun ger en ganska bakgrund till boken och kanske varför alla (speciellt de som inte har någon direkt förståelse för AI alls) borde läsa just denna.

https://www.youtube.com/watch?v=URtF_UHYBSo

AI forskaren och Google ingenjören François Chollet förklarar läget med dagens språkmodeller, forskning och framtiden mot AGI.

https://www.youtube.com/watch?v=JTU8Ha4Jyfc

En helt ny matematik benchmark med nya problem som inte återfinns på nätet.

Marknadens bästa språkmodell får enbart 2% rätt.

https://epochai.org/frontiermath/benchmark-problems

Oj, vad "dum" den modellen måste vara. Själv skulle jag få, garanterat, noll rätt. Ungefär som att du skulle kunna få noll rätt på områden helt utanför din egen expertis.

Vad är det du inte förstår (förutom att du alldeles uppenbart inte förstår AI överhuvudtaget eftersom du konstant refererar till en utbildning som inte överhuvudtaget är tillämpbar på området) det här om något indikerar att språkmodeller inte förstått minsta lilla av all matematik de konsumerat.