मुख्य सामग्री पर जाएं

IBM Granite · सामान्य · Granite 3.3

Granite 3.3 8B: विनिर्देश, GPU आवश्यकताएँ, होस्टिंग और परिनियोजन

Granite 3.3 8B, IBM Granite परिवार की सामान्य शाखा में पिछला संस्करण है और आधिकारिक revision से प्रमाणित है।

Granite 3.3 8B के लिए तकनीकी परिनियोजन चित्र
संदर्भ प्रवाह; सटीक तथ्य अलग सूचीबद्ध हैं।
कुल पैरामीटर८.०B
सक्रिय पैरामीटरघना मॉडल
संदर्भ सीमा१,३१,०७२ tokens
संस्करण स्थितिपिछला · पिछला
वास्तुकलाDense Transformer
मोडैलिटीपाठ
लाइसेंसApache 2.0 लाइसेंस
परिनियोजन स्थितिप्रमाणित कॉन्फ़िगरेशन के साथ तैनाती के लिए तैयार
वाणिज्यिक स्थितिव्यावसायिक उपयोग अनुमत
जारी होने की तारीख2025-04-09

आर्किटेक्चर, खूबियाँ और उपयोग

Granite 3.3 8B, IBM का आधिकारिक स्व-होस्ट योग्य संस्करण है। यह IBM Granite सामान्य शाखा में Dense Transformer, 8B और 131,072 टोकन सत्यापित संदर्भ उपयोग करता है।

Granite 3.3 8B Dense Transformer और 8B उपयोग करता है। प्रकाशित होने पर 64 परतें, hidden width 8192 और 64 attention heads दर्ज हैं।

सत्यापित Dense Transformer आर्किटेक्चर
131,072 टोकन प्रमाणित संदर्भ
आधिकारिक चेकपॉइंट स्रोत
निजी LLM इन्फ़रेंस
एजेंट वर्कफ़्लो
लंबे दस्तावेज़ संसाधन

प्रमाणित चेकपॉइंट और क्वांटाइज़ेशन

केवल इस संस्करण से जुड़े सटीक और स्रोत-प्रमाणित वैरिएंट दिखाए जाते हैं।

granite-3.3-8b-instruct

ibm-granite/granite-3.3-8b-instruct

आधिकारिक · BF16 · safetensors

सत्यापित निष्पादन परिवेश: Transformers

प्रिसीजन / क्वांटाइज़ेशनप्रारूपबिटप्रकाशक भरोसापरिनियोजन स्थिति
BF16safetensors16आधिकारिकसत्यापित निष्पादन परिवेश

अनुशंसित हार्डवेयर

सटीक चेकपॉइंट प्रिसीजन के साथ केवल प्रमाणित रनटाइम कॉन्फ़िगरेशन उपयोग करें। रैंकिंग वेट, केवी कैश, ओवरहेड, GPU आर्किटेक्चर और टोपोलॉजी जाँचती है।

अनुमानित वेट मेमोरी15.35 GB
केवी कैश2 GB
रनटाइम ओवरहेड7.84 GB
सुरक्षा मार्जिन सहित कुल31.24 GB

अनुशंसित सर्वोत्तम मूल्य

1× NVIDIA H200 SXM 141GB

141 GB कुल VRAM · nvswitch

109.76 GB मार्जिन · सीमित क्षमता

USD २,३४५ / माह

सबसे कम लागत वाला उपयुक्त विकल्प

2× NVIDIA L4 24GB

48 GB कुल VRAM · pcie

16.76 GB मार्जिन · उपलब्ध

USD ५०० / माह

सर्वोच्च प्रदर्शन

1× NVIDIA H200 SXM 141GB

141 GB कुल VRAM · nvswitch

109.76 GB मार्जिन · सीमित क्षमता

USD २,३४५ / माह

लाइसेंस और स्व-होस्टिंग विचार

पूरे 8 B निवासी वेट चयनित GPUs पर समाने चाहिए। संदर्भ और concurrency केवी कैश बढ़ाते हैं।

Granite 3.3 8B Apache 2.0 लाइसेंस के अंतर्गत जारी है। आधिकारिक URL और सत्यापन तारीख सुरक्षित हैं।

व्यावसायिक उपयोग अनुमत. आधिकारिक लाइसेंस व्यावसायिक उपयोग की अनुमति देता है; उसकी सभी शर्तें लागू रहती हैं।

विकल्प और समान-पीढ़ी वैरिएंट

Granite 4.2 30B, Granite 4.2 8B, Granite 4.2 3B

रिलीज़ क्रम

ibm/granite/granite-3-3-8b

स्रोत का विवरण

आधिकारिक स्रोत

स्रोत संशोधन: 180c386c903c1543d8c3c4f94e27491c4b6cb66fbece18abcbd198d01e320468

सामान्य प्रश्न

Granite 3.3 8B को कितनी VRAM चाहिए?

अनुमान चेकपॉइंट प्रिसीजन, संदर्भ और concurrency पर निर्भर है और प्रमाणित डेटा उपयोग करता है।

कौन से रनटाइम Granite 3.3 8B को समर्थन देते हैं?

transformers के लिए आधिकारिक प्रमाण सत्यापित हैं।

क्या Granite 3.3 8B का वाणिज्यिक उपयोग हो सकता है?

संग्रहीत वर्गीकरण व्यावसायिक उपयोग अनुमत है। आधिकारिक Apache 2.0 लाइसेंस शर्तें देखें।

आधिकारिक स्रोत

अंतिम सत्यापन: 2026-08-26