Za težine modela treba približno broj parametara (u milijardama) puta broj bajtova po parametru: 2 za FP16, 1 za FP8 i oko 0,55 za INT4. Model od 70B tako zauzima oko 140 GB u FP16 i oko 40 GB u INT4. Na to dodajte KV keš za kontekst — od jednog do nekoliko desetina GB — i 10–20% rezerve.
Osnovna formula
VRAM ≈ težine + KV keš + rezerva
težine = parametri × bajtova po parametru
FP16/BF16 = 2 B · FP8 = 1 B · INT4 ≈ 0,55 B
KV keš = 2 × slojevi × KV glave × dimenzija glave × bajtova
× tokena konteksta × istovremenih korisnika
rezerva ≈ 10–20 % (CUDA kontekst, aktivacije, fragmentacija)INT4 nije tačno pola bajta po parametru jer kvantizovani formati čuvaju i faktore skaliranja, a pojedini slojevi (na primer embedding) ostaju u većoj preciznosti. Zato u praksi računajte oko 0,55–0,6 bajta.
Tabela: memorija za težine modela
| Parametri | FP16 / BF16 | FP8 | INT4 | Minimalno (INT4 / FP8) |
|---|---|---|---|---|
| 7–8B | 16 GB | 8 GB | ~5 GB | 8–12 GB / 16 GB |
| 13–14B | 28 GB | 14 GB | ~8 GB | 12–16 GB / 24 GB |
| 32B | 64 GB | 32 GB | ~18 GB | 24 GB / 48 GB |
| 70B | 140 GB | 70 GB | ~40 GB | 48 GB / 96 GB |
| 120B (MoE, npr. gpt-oss-120b) | ~234 GB | ~117 GB | ~65 GB* | 80 GB / 2× 80 GB |
| 235B (MoE) | 470 GB | 235 GB | ~130 GB | 2× 96 GB / 4× 80 GB |
| 405B | 810 GB | 405 GB | ~225 GB | 4× 80 GB / 8× 80 GB |
| 671B (MoE, npr. DeepSeek-V3) | 1.342 GB | 671 GB | ~370 GB | 8× 80 GB / 8× 141 GB |
* gpt-oss-120b se distribuira u formatu MXFP4 (oko 4,25 bita po parametru za slojeve eksperata), pa staje u jednu karticu od 80 GB. Kartice i okvirne cene uporedite na stranici GPU serveri za AI.
Grafik se prikazuje uz JavaScript — isti podaci su u tabeli ispod.
Tabela podataka
| Parametri | FP16 / BF16 | FP8 | INT4 |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 5 GB |
| 14B | 28 GB | 14 GB | 8 GB |
| 32B | 64 GB | 32 GB | 18 GB |
| 70B | 140 GB | 70 GB | 40 GB |
| 120B | 234 GB | 117 GB | 65 GB |
| 235B | 470 GB | 235 GB | 130 GB |
| 405B | 810 GB | 405 GB | 225 GB |
| 671B | 1.342 GB | 671 GB | 370 GB |
KV keš: zašto dug kontekst „pojede“ memoriju
Za svaki token u kontekstu model čuva ključeve i vrednosti (K i V) iz svakog sloja, da ih ne bi ponovo računao. Primer za Llama 3.1 8B — 32 sloja, 8 KV glava, dimenzija glave 128, BF16:
2 × 32 × 8 × 128 × 2 B = 131.072 B ≈ 0,13 MB po tokenu| Model | Po tokenu | 8k | 32k | 128k |
|---|---|---|---|---|
| Llama 3.1 8B | 0,13 MB | 1,1 GB | 4,3 GB | 17,2 GB |
| Qwen 32B (64 sloja) | 0,26 MB | 2,1 GB | 8,6 GB | 34,4 GB |
| Llama 3.1 70B (80 slojeva) | 0,33 MB | 2,7 GB | 10,7 GB | 42,9 GB |
Ove vrednosti važe za svakog korisnika posebno. Dvadeset istovremenih razgovora sa po 8.000 tokena na modelu od 70B zauzima oko 54 GB samo za KV keš — više nego težine istog modela u INT4. Zato se u produkciji koristi FP8 KV keš i PagedAttention (u vLLM-u), koji zauzima memoriju samo za stvarno iskorišćene tokene.
Tri primera iz prakse
Interni asistent, 30 korisnika, model od 32B
Težine u INT4 zauzimaju oko 18 GB. Ako je istovremeno aktivno desetak razgovora sa po 8.000 tokena konteksta, KV keš dodaje oko 21 GB. Sa rezervom to je oko 45 GB: kartica od 48 GB je tesna, a kartica od 96 GB komotna i ostavlja prostor za rast.
Razvoj na radnoj stanici, model od 8B, dug kontekst
U FP16 težine zauzimaju 16 GB, a 32.000 tokena konteksta još 4,3 GB. Sa rezervom — oko 23 GB, što bez problema staje u RTX 5090 (32 GB). U INT4 isti scenario staje i u karticu od 16 GB.
gpt-oss-120b za ceo tim
Težine zauzimaju oko 65 GB. Na kartici od 80 GB (H100) ostaje 10–12 GB za kontekst, što je dovoljno za desetak do dvadesetak istovremenih razgovora. Za više korisnika bolja je kartica od 96 GB (RTX PRO 6000) ili dve kartice.
MoE modeli: memorija za sve, brzina za aktivne
Kod modela sa mešavinom eksperata (Mixture of Experts) za svaki token radi samo deo parametara. gpt-oss-120b, na primer, ima oko 117 milijardi parametara, a po tokenu aktivira oko 5 milijardi. Brzina generisanja zato liči na mali model, ali memorija mora da primi sve parametre. Pravilo: za VRAM računajte ukupan broj parametara, za brzinu — aktivne.
Objedinjena memorija: Mac Studio, DGX Spark, Ryzen AI Max
Sistemi u kojima procesor i grafički čip dele memoriju nude od 128 do 512 GB po ceni jedne serverske kartice. Model od 235B tako staje u Mac Studio sa 512 GB. Ograničenje je propusnost memorije (oko 0,25–0,82 TB/s), višestruko manja nego kod H100 i H200: odgovori su sporiji, a sistem opslužuje malo istovremenih korisnika. Odlični su za razvoj, testiranje velikih modela i jednog do nekoliko korisnika — ne za tim od stotinu ljudi.
Brza provera: koliko tokena u sekundi?
Gruba gornja granica brzine za jednog korisnika je propusnost memorije podeljena veličinom aktivnih težina. RTX PRO 6000 (1,8 TB/s) sa modelom od 32B u INT4 (oko 18 GB) daje teoretski do 100 tokena u sekundi; u praksi računajte 50–70% te vrednosti. Ukupna propusnost za mnogo korisnika je znatno veća, jer se korisnici opslužuju u zajedničkim prolazima — o tome u tekstu o LLM inferenciji.