মূল content-এ যান

NVIDIA Nemotron · Omni · Nemotron 3 Nano Omni

NVIDIA Nemotron 3 Nano Omni 30B-A3B Reasoning FP8: বৈশিষ্ট্য, GPU প্রয়োজন, hosting ও deployment

NVIDIA Nemotron 3 Nano Omni 30B-A3B Reasoning FP8 is a current Omni release in the NVIDIA Nemotron family, certified from its immutable official source revision.

Technical deployment reference illustration for NVIDIA Nemotron 3 Nano Omni 30B-A3B Reasoning FP8
Reference deployment flow; exact architecture facts are listed separately.
মোট প্যারামিটার৩১.০B
সক্রিয় প্যারামিটার৩.০B
প্রসঙ্গ-উইন্ডো২,৬২,১৪৪ tokens
প্রকাশনার অবস্থাবর্তমান · বর্তমান
স্থাপত্যNemotronH_Nano_Omni_Reasoning_V3
মোডালিটিটেক্সট, ছবি, অডিও, ভিডিও
লাইসেন্সNVIDIA
স্থাপনার অবস্থাসনদপ্রাপ্ত কনফিগারেশনে স্থাপনযোগ্য
বাণিজ্যিক অবস্থাশর্তসাপেক্ষে বাণিজ্যিক ব্যবহার অনুমোদিত
প্রকাশের তারিখ2026-04-24

স্থাপত্য, শক্তির দিক ও ব্যবহার

NVIDIA Nemotron 3 Nano Omni 30B-A3B Reasoning FP8 is an official self-hostable NVIDIA release in the NVIDIA Nemotron Omni track. It uses NemotronH_Nano_Omni_Reasoning_V3, carries 31B / 3B MoE, supports a verified context window of 262,144 টোকেন, and exposes only source-certified checkpoint and runtime combinations. Its release, license and deployment facts are tied to the official repository revision rather than inferred from the family name.

NVIDIA Nemotron 3 Nano Omni 30B-A3B Reasoning FP8 uses NemotronH_Nano_Omni_Reasoning_V3 with 31B / 3B MoE. The stored architecture profile records 64 layers, hidden width 8192, 64 attention heads and a 262,144 টোকেন context ceiling where the official configuration publishes those fields.

Verified NemotronH_Nano_Omni_Reasoning_V3 architecture
262,144 টোকেন certified context
Official FP8, Unknown checkpoint coverage
Private LLM inference
Agentic workflows
Long-context document processing
Vision-language analysis
Audio understanding

সনদপ্রাপ্ত checkpoint ও quantization

শুধু এই release-এর সঙ্গে যুক্ত নির্দিষ্ট, উৎস-সনদপ্রাপ্ত variant দেখানো হয়।

Nemotron-3-Nano-Omni-30B-A3B-Reasoning-FP8

nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-FP8

সরকারি · FP8 · safetensors

Runtime সনদপ্রাপ্ত: vLLM SGLang TensorRT-LLM Llama.cpp

Precision / quantizationফরম্যাটবিটপ্রকাশকের বিশ্বাসযোগ্যতাস্থাপনার অবস্থা
FP8safetensors8সরকারিRuntime সনদপ্রাপ্ত

প্রস্তাবিত হার্ডওয়্যার

Use only the listed vllm, sglang, tensorrt-llm, llama.cpp runtime configuration with the exact checkpoint precision. The recommendation engine checks weight memory, KV cache, runtime overhead, safety অতিরিক্ত সক্ষমতার অবকাশ, GPU architecture and topology before ranking rentable and reference hardware.

Weight-এর আনুমানিক memory29.74 GB
KV cache1 GB
চালনার অতিরিক্ত সম্পদব্যয়10.25 GB
নিরাপত্তা মার্জিনসহ মোট50.83 GB

সেরা মূল্য-সুবিধার প্রস্তাব

1× NVIDIA H200 SXM 141GB

141 GB মোট VRAM · nvswitch

90.17 GB অতিরিক্ত সক্ষমতা · সীমিত সক্ষমতা

USD ২,৩৪৫ / মাস

সর্বনিম্ন ব্যয়ের কার্যকর বিকল্প

3× NVIDIA L4 24GB

72 GB মোট VRAM · pcie

21.17 GB অতিরিক্ত সক্ষমতা · উপলভ্য

USD ৭৫০ / মাস

সর্বোচ্চ কর্মক্ষমতা

1× NVIDIA H200 SXM 141GB

141 GB মোট VRAM · nvswitch

90.17 GB অতিরিক্ত সক্ষমতা · সীমিত সক্ষমতা

USD ২,৩৪৫ / মাস

লাইসেন্স ও নিজস্ব অবকাঠামোয় চালানোর বিবেচনা

The full 31B resident weight set must fit across the selected GPUs. Context and concurrency add KV-cache memory; MoE active parameters do not replace resident-weight memory.

NVIDIA Nemotron 3 Nano Omni 30B-A3B Reasoning FP8 is published under NVIDIA. The release-scoped official license link and verification date are retained with the catalogue record.

শর্তসাপেক্ষে বাণিজ্যিক ব্যবহার অনুমোদিত. বাণিজ্যিক ব্যবহার শর্তসাপেক্ষ। ডেপ্লয়মেন্টের আগে লিংক করা সরকারি শর্তগুলো পর্যালোচনা করুন।

Release-এর সময়রেখা

nvidia/nemotron/nemotron-3-nano-omni-30b-a3b-reasoning-fp8

উৎসের বিবরণ

সরকারি উৎস

উৎস revision: dd885e9548478d0d433c1239ed4598ad4a9faf7f58a8c706ab89885e5e2117fa

সাধারণ জিজ্ঞাসা

How much VRAM does NVIDIA Nemotron 3 Nano Omni 30B-A3B Reasoning FP8 require?

The exact estimate depends on checkpoint precision, context and concurrency; the page recommendation uses the certified memory engine and compatible runtime configurations.

Which runtime সহায়তা NVIDIA Nemotron 3 Nano Omni 30B-A3B Reasoning FP8?

Certified upstream runtime evidence is available for vllm, sglang, tensorrt-llm, llama.cpp.

Can NVIDIA Nemotron 3 Nano Omni 30B-A3B Reasoning FP8 be used commercially?

The stored commercial classification is Commercial Use Allowed With Conditions. Consult the official NVIDIA terms for the final obligations.

সরকারি তথ্যসূত্র

সর্বশেষ যাচাই: 2026-08-26