GB10 Superchip Sistemler
NVIDIA GB10 Grace Blackwell Superchip tabanlı sistemler.
| Fotoğraf | Ürün | Fiyat | Kapasite |
|---|
Model kapasitesini anlama
Model kapasitesi, bir AI modelinin içerdiği parametre sayısını ifade eder (örn. 70B = 70 milyar parametre). Daha büyük modeller genellikle daha fazla bellek ve hesaplama gücü gerektirir, ancak gelişmiş akıl yürütme ve çıktı kalitesi sunabilir.
Hassasiyet (FP16 / FP8 / FP4), belirli bir model kapasitesinin ne kadar bellek gerektirdiğini etkiler: daha düşük hassasiyetli biçimler, çıktı hassasiyetinden ödün vererek bellek gereksinimlerini kabaca her adımda yarıya indirir (FP16 → FP8 → FP4).
| Model boyutu | Tipik bellek (FP16) | Tipik bellek (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |