Citat:
Ursprungligen postat av
Tidsmaskinisten
DeepSeek R1 fungerar, oavsett storlek, USELT på svenska för mig. Känns verkligen som Kineserna totalt skitit i att träna den på svenska språket (vilket i.o.f.s. är förståeligt med tanke på hur litet vårt språk egentligen är).
Kan ha fel. Men har för mig att jag läste att R1 endast är "fulltränad"
på Kinesiska och engelska. Jag använder bara Svenska på fb.
Annars 100% eng. i jobb.
Amd och Nvidia släpper ju båda "ai burkar" med 128 gb, närmaste veckorna.
Tyvärr lite för lite minne. Modelerna blir snabbt dementa med quants.
Citat:
Mistral 7b, x1000 average KL divergence:
q8_0: 0.6%
q6_K: 1.0%
q5_K_M: 3.0%
q4_K_M: 10.0%
q3_K_M: 37.3%
q2_K: 82.2%
Q8: 0.6% fel. Hm Hm..... Funkar inte ens för lågstadiematte.....
R1 med q är stabilare än de flesta. Och kör man bara text så är det ok...
Sitter i valet och kvalet. Mac studio el. bygga en pc.
Prob med mac = inge ecc minne. Så mac går ju inte riktigt lita på
för något som inkluderar mattematik.
Ska man "köra tekniskt". Så är ecc minne och f16 absuluta gränsen.
Man kan argumentera för att f32 är lägsta... och f64 är ett krav för
alla större beräkningar. (flödesanalyser, fenita element, mm. = "är bra om bron håller")
671b q8 = 671b = ca. 7500usd (6-8t/s) = duger ej för teknik.....
671b f16 = 1342b = ca 12500 usd (3-4 t/s)
671b f32 = 2684b = ca 45000 usd (1-2 t/s)
671b f64 = 5364b = 75 stycken nvidia h100 och en serverfarm.... = 3+ mille usd.
Blir snabbt ett problem kostnadsmässigt.
Det börjar ju komma bättre små modellet. tex.
qwq32b. Hoppas att de gör en 70b-120b,
alt att R2 som är på ingång är trevlig i mindre storlekar...........
En epyc burk. Single cpu, 12xddr5 32gb ecc 6000mhz (12 minneskanaler 48.0GB/s x12 = 576gb/s)
ca. 40k svenska riksdaler.
Dual epyc + 24x32gb ecc, (1152gb/s = snabbare än mac studio) ca 85k sek.
Dual epyc + 24x96gb ecc, (1152gb/s = snabbare än mac studio) ca 185k sek.
Svenska... Kolla in nya Gemma 3....... Kom för ett par veckor sedan....
"Gemma 3 offers out-of-the-box support for over 35 languages and pretrained support for over 140 languages."
Skillnad på "språk" och "teknik". Jag struntar i om det "behöver stå en vecka"....
Vi lever i roliga tider... Vanliga människor har tillgång till ai.......