7B/8B 推論
推奨
NVIDIA · Ada Lovelace
NVIDIA L40S 48GB
中規模 LLM、画像生成、コンピュータビジョン、コスト重視の本番推論に適します。
技術仕様
識別情報
| ベンダー | NVIDIA |
|---|---|
| モデル | NVIDIA L40S 48GB |
| SKU | L40S |
| Architecture | Ada Lovelace |
| ハードウェア種別 | datacenter gpu |
メモリ
| VRAM | 48 GB |
|---|---|
| メモリ種別 | GDDR6 ECC |
| メモリ帯域幅 | 864 GB/s |
演算
| 精度 | 密 | スパース有効 |
|---|---|---|
| FP32 | 91.6 TFLOPS | — |
| TF32 Tensor | 183 TFLOPS | 366 TFLOPS |
| BF16 Tensor | 362.05 TFLOPS | 733 TFLOPS |
| FP16 Tensor | 362.05 TFLOPS | 733 TFLOPS |
| FP8 Tensor | 733 TFLOPS | 1466 TFLOPS |
| INT8 Tensor | 733 TOPS | 1466 TOPS |
プラットフォーム
| フォームファクタ / インターフェース | PCIe dual-slot accelerator card |
|---|---|
| Interface | PCIe Gen4 x16 |
| TDP | 350 W |
| NVLink | 非対応 |
| NVSwitch | 非対応 |
| MIG | 非対応 |
| ノードあたり最大 GPU 数 | 8 |
ソフトウェア
| CUDA | 対応 |
|---|---|
| 検証 | OFFICIAL_VENDOR |
| 出典 | www.nvidia.com |
ワークロード適性
- LLM 推論高い
- LLM ファインチューニング適合
- フルモデル学習適合
- 画像 / 動画生成高い
- embedding / reranking非常に高い
フレームワーク
- PyTorch
- TensorFlow
- JAX
- Hugging Face
- vLLM
- TensorRT
- ONNX Runtime
- CUDA
モデル互換ガイド
13B/14B 推論
量子化、または FP16/BF16 の余裕確認を推奨
30B/32B 推論
本番余裕を保つため量子化を推奨
65B/70B 推論
通常は複数 GPU または強い量子化が必要です
ファインチューニング
LoRA/QLoRA に適合。フルファインチューニングはモデルサイズとトポロジに依存します
大規模学習
大規模分散学習の主用途ではありません
関連 GPU
NVIDIA L4 24GB
24 GB GDDR6 · Available
USD 250/月
NVIDIA H100 SXM 80GB
80 GB HBM3 · Available
USD 1,860/月
NVIDIA H100 PCIe 80GB
80 GB HBM2e · Limited capacity
USD 1,579/月
AI GPU hosting FAQ
この GPU は LLM 推論に適していますか？
適性はモデル、精度、コンテキスト、同時実行数に依存します。余裕を含めて推奨機能で確認してください。
月額価格はどう計算されますか？
公開月額価格は承認済み価格バージョンです。時間換算は 730 時間ベースで月額から算出します。
複数 GPU を借りられますか？
在庫とノードトポロジが許す場合、複数 GPU 構成に対応します。