Neurala nätverk
Transformerkalkylator
Ange arkitekturen och se parametrar, vikternas minne i FP32, FP16 och INT8, och träningsminne.
- Parametrar
- 6,57 mdr
- Vikter FP32
- 24,5 GB
- Vikter FP16 / BF16
- 12,2 GB
- Vikter INT8 / INT4
- 6,1 / 3,1 GB
- Per lager
- 201,3 milj.
- Embeddings
- 131,1 milj.
- Träning (Adam, blandad)
- ≈ 98 GB
Uppskattning för en dekoder med standard-attention utan bias. Gated MLP (SwiGLU) har tre matriser — sätt MLP-faktorn till 1,5 × din mellandimension/d.
Vanliga frågor
- Hur räknas parametrarna?
- Varje lager har cirka 4d² för attention och 2·ff·d² för MLP. Lägg till embeddings (vokabulär × d).
- Varför tar träning mer minne?
- Med Adam lagras vikter, gradienter och två optimeringsmoment, ungefär 16 byte per parameter i blandad precision, utöver aktiveringar.
- Ingår KV-cachen?
- Nej. KV-cachen vid inferens växer med kontextlängd och batch och kommer utöver vikterna.
Senaste artiklarna
Alla artiklar →
Minnesbehov vid inferens med transformermodell: så räknar du
Så räknar du ut hur mycket minne en transformermodell behöver vid inferens — vikter, aktiveringar och KV-cache — och hur precisionen påverkar resultatet.
Precision i transformermodell: FP32 FP16 BF16 och INT8 förklarade
Vad betyder precision FP32, FP16, BF16 och INT8 för en transformermodell? Lär dig hur precisionen påverkar minne, lagring och prestanda — och hur du räknar det själv.
Minnesbehov för transformermodell: så beräknar du VRAM
Lär dig beräkna minnesbehov för transformermodell i VRAM baserat på modellvikter, dynamisk KV-cache, aktiveringar och säkerhetsmarginaler.
Parametrar i en transformermodell: så räknar du
Så räknar du antalet parametrar i en transformermodell, från embedding-lagret till varje transformerlager, och hur många bytes vikterna tar i minnet.