Инференс 7B/8B
Рекомендуется
NVIDIA · Hopper
NVIDIA H100 PCIe 80GB
Хорошо подходит для квантованного 70B-инференса, LoRA fine-tuning и высокопроизводительного serving.
Месячная аренда
USD 1,579/месяц
~ USD 2.16/час из расчета 730 часов в месяц
Доступность: Limited capacity
Сравнить GPUТехнические характеристики
Идентификация
| Поставщик | NVIDIA |
|---|---|
| Модель | NVIDIA H100 PCIe 80GB |
| SKU | H100 PCIe |
| Architecture | Hopper |
| Класс оборудования | datacenter gpu |
Память
| VRAM | 80 GB |
|---|---|
| Тип памяти | HBM2e |
| Пропускная способность памяти | 2000 GB/s |
Вычисления
| Точность | Плотный режим | С разреженностью |
|---|---|---|
| FP64 | 26 TFLOPS | — |
| FP64 Tensor | 51 TFLOPS | — |
| FP32 | 51 TFLOPS | — |
| TF32 Tensor | 378 TFLOPS | 756 TFLOPS |
| BF16 Tensor | 756.5 TFLOPS | 1513 TFLOPS |
| FP16 Tensor | 756.5 TFLOPS | 1513 TFLOPS |
| FP8 Tensor | 1513 TFLOPS | 3026 TFLOPS |
| INT8 Tensor | 1513 TOPS | 3026 TOPS |
Платформа
| Форм-фактор / интерфейс | PCIe dual-slot accelerator card |
|---|---|
| Интерфейс | PCIe Gen5 x16 |
| TDP | 350 W |
| NVLink | 600 GB/s NVLink Bridge |
| NVSwitch | Не поддерживается |
| MIG | До 7 MIG по 10 ГБ |
| Макс. GPU на узел | 8 |
ПО
| CUDA | Поддерживается |
|---|---|
| Проверка | OFFICIAL_VENDOR |
| Источник | www.nvidia.com |
Подходит для нагрузок
- LLM-инференсОчень хорошо
- LLM fine-tuningОчень хорошо
- Полное обучениеОчень хорошо
- Генерация изображений / видеоОчень хорошо
- Embeddings / rerankingОтлично
Фреймворки
- PyTorch
- TensorFlow
- JAX
- Hugging Face
- vLLM
- TensorRT
- ONNX Runtime
- CUDA
Совместимость моделей
Инференс 13B/14B
Рекомендуется с квантованием или проверкой запаса FP16/BF16
Инференс 30B/32B
Рекомендуется с квантованием для производственного запаса
Инференс 65B/70B
Рекомендуется для квантованного инференса; проверьте контекст и параллельность
Fine-tuning
Подходит для LoRA/QLoRA; полный fine-tuning зависит от модели и топологии
Крупное обучение
Используйте multi-GPU узлы с высокоскоростной топологией
Похожие GPU
NVIDIA H100 SXM 80GB
80 GB HBM3 · Available
USD 1,860/месяц
NVIDIA A100 SXM 80GB
80 GB HBM2e · Available
USD 915/месяц
NVIDIA L40S 48GB
48 GB GDDR6 ECC · Available
USD 506/месяц
FAQ по AI GPU hosting
Подходит ли эта GPU для LLM-инференса?
Подходит зависит от модели, точности, длины контекста и параллельности. Используйте рекомендатель для расчета с запасом.
Как рассчитывается месячная цена?
Публичная месячная цена является одобренной версией цены. Почасовой эквивалент выводится из 730 часов в месяц.
Можно арендовать несколько GPU?
Multi-GPU конфигурации доступны, если позволяют инвентарь и топология узла.