7B/8B 推論
推奨
NVIDIA · Ampere
NVIDIA A100 SXM 80GB
量子化 70B 推論、LoRA ファインチューニング、高スループット serving に適します。
技術仕様
識別情報
| ベンダー | NVIDIA |
|---|---|
| モデル | NVIDIA A100 SXM 80GB |
| SKU | A100 SXM 80GB |
| Architecture | Ampere |
| ハードウェア種別 | datacenter gpu |
メモリ
| VRAM | 80 GB |
|---|---|
| メモリ種別 | HBM2e |
| メモリ帯域幅 | 2039 GB/s |
演算
| 精度 | 密 | スパース有効 |
|---|---|---|
| FP64 | 9.7 TFLOPS | — |
| FP64 Tensor | 19.5 TFLOPS | — |
| FP32 | 19.5 TFLOPS | — |
| TF32 Tensor | 156 TFLOPS | 312 TFLOPS |
| BF16 Tensor | 312 TFLOPS | 624 TFLOPS |
| FP16 Tensor | 312 TFLOPS | 624 TFLOPS |
| INT8 Tensor | 624 TOPS | 1248 TOPS |
プラットフォーム
| フォームファクタ / インターフェース | SXM module |
|---|---|
| Interface | PCIe Gen4 x16 host interface |
| TDP | 400 W |
| NVLink | 600 GB/s NVLink |
| NVSwitch | 対応 |
| MIG | 最大 7 MIG（10 GB） |
| ノードあたり最大 GPU 数 | 8 |
ソフトウェア
| CUDA | 対応 |
|---|---|
| 検証 | OFFICIAL_VENDOR |
| 出典 | www.nvidia.com |
ワークロード適性
- LLM 推論高い
- LLM ファインチューニング高い
- フルモデル学習高い
- 画像 / 動画生成高い
- embedding / reranking非常に高い
フレームワーク
- PyTorch
- TensorFlow
- JAX
- Hugging Face
- vLLM
- TensorRT
- ONNX Runtime
- CUDA
モデル互換ガイド
13B/14B 推論
量子化、または FP16/BF16 の余裕確認を推奨
30B/32B 推論
本番余裕を保つため量子化を推奨
65B/70B 推論
量子化推論に推奨。コンテキストと同時実行数を確認してください
ファインチューニング
LoRA/QLoRA に適合。フルファインチューニングはモデルサイズとトポロジに依存します
大規模学習
高帯域トポロジの multi-GPU ノードを使用してください
関連 GPU
NVIDIA H100 SXM 80GB
80 GB HBM3 · Available
USD 1,860/月
NVIDIA H100 PCIe 80GB
80 GB HBM2e · Limited capacity
USD 1,579/月
NVIDIA L40S 48GB
48 GB GDDR6 ECC · Available
USD 506/月
AI GPU hosting FAQ
この GPU は LLM 推論に適していますか？
適性はモデル、精度、コンテキスト、同時実行数に依存します。余裕を含めて推奨機能で確認してください。
月額価格はどう計算されますか？
公開月額価格は承認済み価格バージョンです。時間換算は 730 時間ベースで月額から算出します。
複数 GPU を借りられますか？
在庫とノードトポロジが許す場合、複数 GPU 構成に対応します。