GB10超级芯片系统
基于NVIDIA GB10 Grace Blackwell超级芯片的系统
| 图片 | 产品 | 价格 | 容量 |
|---|
了解模型容量
模型容量指AI模型包含的参数数量(例如70B=700亿参数)。更大的模型通常需要更多内存和计算能力,但能提供更强的推理能力和输出质量。
精度(FP16/FP8/FP4)影响模型容量的内存需求:每降低一级精度(FP16→FP8→FP4),内存需求约减半,但会降低输出精度。
| 模型大小 | 标准内存 (FP16) | 标准内存 (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |