7B/8B 推論
推奨
NVIDIA · Hopper
NVIDIA H100 SXM 80GB
量子化 70B 推論、LoRA ファインチューニング、高スループット serving に適します。
技術仕様
識別情報
| ベンダー | NVIDIA |
|---|---|
| モデル | NVIDIA H100 SXM 80GB |
| SKU | H100 SXM |
| Architecture | Hopper |
| ハードウェア種別 | datacenter gpu |
メモリ
| VRAM | 80 GB |
|---|---|
| メモリ種別 | HBM3 |
| メモリ帯域幅 | 3350 GB/s |
演算
| 精度 | 密 | スパース有効 |
|---|---|---|
| FP64 | 34 TFLOPS | — |
| FP64 Tensor | 67 TFLOPS | — |
| FP32 | 67 TFLOPS | — |
| TF32 Tensor | 494.5 TFLOPS | 989 TFLOPS |
| BF16 Tensor | 989.5 TFLOPS | 1979 TFLOPS |
| FP16 Tensor | 989.5 TFLOPS | 1979 TFLOPS |
| FP8 Tensor | 1979 TFLOPS | 3958 TFLOPS |
| INT8 Tensor | 1979 TOPS | 3958 TOPS |
プラットフォーム
| フォームファクタ / インターフェース | SXM module |
|---|---|
| Interface | PCIe Gen5 x16 host interface |
| TDP | 700 W |
| NVLink | 900 GB/s NVLink |
| NVSwitch | 対応 |
| MIG | 最大 7 MIG（10 GB） |
| ノードあたり最大 GPU 数 | 8 |
ソフトウェア
| CUDA | 対応 |
|---|---|
| 検証 | OFFICIAL_VENDOR |
| 出典 | www.nvidia.com |
ワークロード適性
- LLM 推論高い
- LLM ファインチューニング高い
- フルモデル学習高い
- 画像 / 動画生成高い
- embedding / reranking非常に高い
フレームワーク
- PyTorch
- TensorFlow
- JAX
- Hugging Face
- vLLM
- TensorRT
- ONNX Runtime
- CUDA
モデル互換ガイド
13B/14B 推論
量子化、または FP16/BF16 の余裕確認を推奨
30B/32B 推論
本番余裕を保つため量子化を推奨
65B/70B 推論
量子化推論に推奨。コンテキストと同時実行数を確認してください
ファインチューニング
LoRA/QLoRA に適合。フルファインチューニングはモデルサイズとトポロジに依存します
大規模学習
高帯域トポロジの multi-GPU ノードを使用してください
関連 GPU
NVIDIA H100 PCIe 80GB
80 GB HBM2e · Limited capacity
USD 1,579/月
NVIDIA A100 SXM 80GB
80 GB HBM2e · Available
USD 915/月
NVIDIA L40S 48GB
48 GB GDDR6 ECC · Available
USD 506/月
AI GPU hosting FAQ
この GPU は LLM 推論に適していますか？
適性はモデル、精度、コンテキスト、同時実行数に依存します。余裕を含めて推奨機能で確認してください。
月額価格はどう計算されますか？
公開月額価格は承認済み価格バージョンです。時間換算は 730 時間ベースで月額から算出します。
複数 GPU を借りられますか？
在庫とノードトポロジが許す場合、複数 GPU 構成に対応します。