OLMo-2-0325-32B-Instruct
allenai/OLMo-2-0325-32B-Instruct
आधिकारिक · BF16 · safetensors
सत्यापित निष्पादन परिवेश: Transformers
| प्रिसीजन / क्वांटाइज़ेशन | प्रारूप | बिट | प्रकाशक भरोसा | परिनियोजन स्थिति |
|---|---|---|---|---|
| BF16 | safetensors | 16 | आधिकारिक | सत्यापित निष्पादन परिवेश |
OLMo · सामान्य · OLMo 2
OLMo 2 32B: विनिर्देश, GPU आवश्यकताएँ, होस्टिंग और परिनियोजन
OLMo 2 32B, OLMo परिवार की सामान्य शाखा में हाल का संस्करण है और आधिकारिक revision से प्रमाणित है।
कुल पैरामीटर३२.०B
सक्रिय पैरामीटरघना मॉडल
संदर्भ सीमा१,३१,०७२ tokens
संस्करण स्थितिहाल का · हाल का
वास्तुकलाDense Transformer
मोडैलिटीपाठ
लाइसेंसApache 2.0 लाइसेंस
परिनियोजन स्थितिप्रमाणित कॉन्फ़िगरेशन के साथ तैनाती के लिए तैयार
वाणिज्यिक स्थितिव्यावसायिक उपयोग अनुमत
जारी होने की तारीख2025-03-12
आर्किटेक्चर, खूबियाँ और उपयोग
OLMo 2 32B, Allen AI का आधिकारिक स्व-होस्ट योग्य संस्करण है। यह OLMo सामान्य शाखा में Dense Transformer, 32B और 131,072 टोकन सत्यापित संदर्भ उपयोग करता है।
OLMo 2 32B Dense Transformer और 32B उपयोग करता है। प्रकाशित होने पर 64 परतें, hidden width 8192 और 64 attention heads दर्ज हैं।
सत्यापित Dense Transformer आर्किटेक्चर
131,072 टोकन प्रमाणित संदर्भ
आधिकारिक चेकपॉइंट स्रोत
निजी LLM इन्फ़रेंस
एजेंट वर्कफ़्लो
लंबे दस्तावेज़ संसाधन
प्रमाणित चेकपॉइंट और क्वांटाइज़ेशन
केवल इस संस्करण से जुड़े सटीक और स्रोत-प्रमाणित वैरिएंट दिखाए जाते हैं।
अनुशंसित हार्डवेयर
सटीक चेकपॉइंट प्रिसीजन के साथ केवल प्रमाणित रनटाइम कॉन्फ़िगरेशन उपयोग करें। रैंकिंग वेट, केवी कैश, ओवरहेड, GPU आर्किटेक्चर और टोपोलॉजी जाँचती है।
अनुमानित वेट मेमोरी61.39 GB
केवी कैश2 GB
रनटाइम ओवरहेड16.13 GB
सुरक्षा मार्जिन सहित कुल98.61 GB
अनुशंसित सर्वोत्तम मूल्य
2× NVIDIA A100 SXM 80GB
160 GB कुल VRAM · nvlink
61.39 GB मार्जिन · उपलब्ध
USD १,८३० / माहसबसे कम लागत वाला उपयुक्त विकल्प
5× NVIDIA L4 24GB
120 GB कुल VRAM · pcie
21.39 GB मार्जिन · उपलब्ध
USD १,२५० / माहसर्वोच्च प्रदर्शन
2× NVIDIA A100 SXM 80GB
160 GB कुल VRAM · nvlink
61.39 GB मार्जिन · उपलब्ध
USD १,८३० / माहलाइसेंस और स्व-होस्टिंग विचार
पूरे 32 B निवासी वेट चयनित GPUs पर समाने चाहिए। संदर्भ और concurrency केवी कैश बढ़ाते हैं।
OLMo 2 32B Apache 2.0 लाइसेंस के अंतर्गत जारी है। आधिकारिक URL और सत्यापन तारीख सुरक्षित हैं।
व्यावसायिक उपयोग अनुमत. आधिकारिक लाइसेंस व्यावसायिक उपयोग की अनुमति देता है; उसकी सभी शर्तें लागू रहती हैं।
विकल्प और समान-पीढ़ी वैरिएंट
OLMo 3.1 32B Instruct
रिलीज़ क्रम
allenai/olmo/olmo-2-32b
स्रोत का विवरण
स्रोत संशोधन: 2ffcf0f2dd7e3031db114c8c22b11fa11a22fdba8cf1717f6b77d9682700c572
सामान्य प्रश्न
OLMo 2 32B को कितनी VRAM चाहिए?
अनुमान चेकपॉइंट प्रिसीजन, संदर्भ और concurrency पर निर्भर है और प्रमाणित डेटा उपयोग करता है।
कौन से रनटाइम OLMo 2 32B को समर्थन देते हैं?
transformers के लिए आधिकारिक प्रमाण सत्यापित हैं।
क्या OLMo 2 32B का वाणिज्यिक उपयोग हो सकता है?
संग्रहीत वर्गीकरण व्यावसायिक उपयोग अनुमत है। आधिकारिक Apache 2.0 लाइसेंस शर्तें देखें।
आधिकारिक स्रोत
अंतिम सत्यापन: 2026-08-26