7B/8B 推論
推奨
NVIDIA · Ada Lovelace
NVIDIA L4 24GB
小規模モデル推論、embedding、reranking、開発、コスト重視の AI サービスに適します。
技術仕様
識別情報
| ベンダー | NVIDIA |
|---|---|
| モデル | NVIDIA L4 24GB |
| SKU | L4 |
| Architecture | Ada Lovelace |
| ハードウェア種別 | datacenter gpu |
メモリ
| VRAM | 24 GB |
|---|---|
| メモリ種別 | GDDR6 |
| メモリ帯域幅 | 300 GB/s |
演算
| 精度 | 密 | スパース有効 |
|---|---|---|
| FP32 | 30.3 TFLOPS | — |
| TF32 Tensor | 60 TFLOPS | 120 TFLOPS |
| BF16 Tensor | 121 TFLOPS | 242 TFLOPS |
| FP16 Tensor | 121 TFLOPS | 242 TFLOPS |
| FP8 Tensor | 242.5 TFLOPS | 485 TFLOPS |
| INT8 Tensor | 242.5 TOPS | 485 TOPS |
プラットフォーム
| フォームファクタ / インターフェース | PCIe low-profile accelerator card |
|---|---|
| Interface | PCIe Gen4 x16 |
| TDP | 72 W |
| NVLink | 非対応 |
| NVSwitch | 非対応 |
| MIG | 非対応 |
| ノードあたり最大 GPU 数 | 8 |
ソフトウェア
| CUDA | 対応 |
|---|---|
| 検証 | OFFICIAL_VENDOR |
| 出典 | www.nvidia.com |
ワークロード適性
- LLM 推論適合
- LLM ファインチューニング限定的
- フルモデル学習限定的
- 画像 / 動画生成適合
- embedding / reranking非常に高い
フレームワーク
- PyTorch
- TensorFlow
- JAX
- Hugging Face
- vLLM
- TensorRT
- ONNX Runtime
- CUDA
モデル互換ガイド
13B/14B 推論
量子化、または FP16/BF16 の余裕確認を推奨
30B/32B 推論
限定的
65B/70B 推論
通常は複数 GPU または強い量子化が必要です
ファインチューニング
小規模または適応済みワークロードに限定
大規模学習
大規模分散学習の主用途ではありません
関連 GPU
NVIDIA L40S 48GB
48 GB GDDR6 ECC · Available
USD 506/月
NVIDIA H100 SXM 80GB
80 GB HBM3 · Available
USD 1,860/月
NVIDIA H100 PCIe 80GB
80 GB HBM2e · Limited capacity
USD 1,579/月
AI GPU hosting FAQ
この GPU は LLM 推論に適していますか？
適性はモデル、精度、コンテキスト、同時実行数に依存します。余裕を含めて推奨機能で確認してください。
月額価格はどう計算されますか？
公開月額価格は承認済み価格バージョンです。時間換算は 730 時間ベースで月額から算出します。
複数 GPU を借りられますか？
在庫とノードトポロジが許す場合、複数 GPU 構成に対応します。