検証済み技術仕様
| メーカー | NVIDIA |
|---|---|
| 正確な SKU | A16 |
| 製品ファミリー | NVIDIA A16 |
| アーキテクチャ | Ampere |
| 世代 | Ampere データセンター向け |
| エンティティ種別 | ボード |
| ライフサイクル | 前世代 |
| 発売日 | メーカーはこの情報を公表していません。 |
| VRAM | 64 GB |
| メモリ技術 | GDDR6 |
| メモリ帯域幅 | 800 GB/s |
| 電力 | 250 W |
| インターフェース | PCIe Gen4 x16 |
| フォームファクタ | フルハイト · 2 スロット · 4 GPU · PCIe · ボード |
| インターコネクト | PCIe |
| MIG / 分割 | 非対応 |
| 数値精度形式の対応状況 | FP64, FP32, TF32, BF16, FP16, INT8, INT4 |
| ソフトウェアスタック | cuda, vllm, sglang, tensorrt-llm |
AI ワークロード適性
LLM 推論
小型チェックポイント、圧縮モデル、分散構成に適します。
ファインチューニングと学習
アクセラレーターを継続稼働させる用途向けです。トレーニングへの適性は、接続方式、数値精度、トポロジによって異なります。
画像、動画、埋め込み
FP16 は記載 VRAM 内で一般的な生成・ベクトル処理を支えます。
電力と冷却
公表電力 250 W に適した筐体、冷却、電源が必要です。
マルチ GPU 利用
PCIe が記録された接続です。ノード単位のトポロジ確認が必要です。
ソフトウェア環境
cuda, vllm, sglang, tensorrt-llm