Andrej Karpathy har gjort en video som både pedagogiskt och hyfsat ingående förklarar hur ChatGPT fungerar.
Medans denna video i stor majoritet förutsätter en hel del förkunskaper av både python och pytorch om man ska följa med i koden, men mellan raderna kommer en stor del förklaring om hur attention mekaniken fungerar (som egentligen är "magin" i GPT) och framförallt mot slutet hur modellen går från att vara autocomplete till att få ett chat beteende.
https://www.youtube.com/watch?v=kCc8FmEb1nY
