Citat:
Ursprungligen postat av
VoldemortZelenskyj
Det är naturligtvis så att graden av nyttjad energi korrelerar höggradigt med civilisatorisk framgång, men i just fallet med AI har vi nog att göra med en annan historisk utveckling, nämligen energieffektivisering.
Dagens hallucinerande språkmodeller är nämligen primitiva bestar i stil med de tidigaste av ånglok, och man kan nog förutsätta att framtida modeller inte bara är långt bättre utan även mer energisnåla, dels som en effekt av förbättringar i hårdvara, men framförallt i algoritmer.
Det är samma princip som att man inte längre behöver datorer stora som hus för att beräkna sådant som en telefon i dag gör på en nanosekund. När allt kommer omkring är den mänskliga hjärnan och dess energisnålhet den modell man strävar efter.
Jag håller med. Men min hypotes är, annorlunda uttryckt:
Om du har mest energi, så har du en konkurrensfördel.
Om du har bäst algoritmer, så har du också en konkurrensfördel.
Och om vi tittar historiskt, ex för 30 år sedan (psst, när neurala nätverk och evolutionära algoritmer redan var uppfunna) så var bäst algoritmer och processorer avgörande konkurrensfördelar, och energi var försumbart.
Men jag tror att det kan växla. Ni vet kanske att bitcoin-ekosystemet och facebooks datahallar konsumerar mer ström än vissa nationer. Om man extrapolerar den utvecklingen, så kommer det som slår i taket vara energi.
Då säger du (klokt) att energieffektivisering blir det viktigaste. Men utan att ha läst på, så undrar jag om man kan tänka sig extrema energieffektiviseringar inom nuvarande AI-paradigm. Argument för det?