Citat:
Ja det stämmer. Men det är context windows för antalet token per meddelande när de först läser prompten, det är specifikt transformer som möjligör såna extremt stora token sizes. Men vad de sen minns för allt efter senaste svaret är nästan alltid kapat 10 meddelanden bak på nästan alla modeller, GPT-4o och Claude har nog längre histrorik, men de blir också "primade" av för långa konversationer villket försämrar deras kvalite. Vill man att den ska minnas saker över 10 meddelanden brukar man använda RAG som metod, men även genera Qlora's, typ sparfiler som sedan kan laddas in i efterhand.
https://arxiv.org/pdf/2408.13296v1 sida 19, står om RAG där.
En bot jag bygger på sumerar viktiga interaktioner för sig och sedan sparar ner de, så den kan i efterhand laddas in igen för att skapa illusiionen av den lär sig med tiden, varje gång den laddas på nytt så plockar den in minnen som är sparade i system msgs(inte system prompt), typ annonserar för sig själv vad som pågår för att automatiskt påminna sig om vad som hände senast.
har också !save !load !history för att kontrollera det.
https://arxiv.org/pdf/2408.13296v1 sida 19, står om RAG där.
En bot jag bygger på sumerar viktiga interaktioner för sig och sedan sparar ner de, så den kan i efterhand laddas in igen för att skapa illusiionen av den lär sig med tiden, varje gång den laddas på nytt så plockar den in minnen som är sparade i system msgs(inte system prompt), typ annonserar för sig själv vad som pågår för att automatiskt påminna sig om vad som hände senast.
har också !save !load !history för att kontrollera det.
Vad yrar du om? Kontext fönstret är summan av alla tokens, det spelar ingen roll om du skrivit 2 eller 200 meddelanden så länge totala mängden inte överskrider kontextfönstretslängd så kommer modellen minnas det.
Hur långt kontextfönster en viss modell stödjer beror på vad den tränats med, du kan således köra en modell som tränats med tex 8196 tokens med en 512 token historik om din dator inte har tillräckligt med minne för hela historiken, modeller fine tunas oftast med RoPE scaling för att nå flera hundra tusen tokens, det behövs dock rejäla maskiner för att köra sådant privat (tänk multipla rtx4090 eller dyl).
