internlm3-8b-instruct
internlm/internlm3-8b-instruct
आधिकारिक · BF16 · safetensors
सत्यापित निष्पादन परिवेश: vLLM Transformers
| प्रिसीजन / क्वांटाइज़ेशन | प्रारूप | बिट | प्रकाशक भरोसा | परिनियोजन स्थिति |
|---|---|---|---|---|
| BF16 | safetensors | 16 | आधिकारिक | सत्यापित निष्पादन परिवेश |
InternLM · सामान्य · InternLM3
InternLM3 8B: विनिर्देश, GPU आवश्यकताएँ, होस्टिंग और परिनियोजन
InternLM3 8B, InternLM परिवार की सामान्य शाखा में पुराना संस्करण है और आधिकारिक revision से प्रमाणित है।
कुल पैरामीटर८.०B
सक्रिय पैरामीटरघना मॉडल
संदर्भ सीमा१,३१,०७२ tokens
संस्करण स्थितिपुराना · पुराना
वास्तुकलाDense Transformer
मोडैलिटीपाठ
लाइसेंसApache 2.0 लाइसेंस
परिनियोजन स्थितिप्रमाणित कॉन्फ़िगरेशन के साथ तैनाती के लिए तैयार
वाणिज्यिक स्थितिव्यावसायिक उपयोग अनुमत
जारी होने की तारीख2025-01-13
आर्किटेक्चर, खूबियाँ और उपयोग
InternLM3 8B, Shanghai AI Laboratory का आधिकारिक स्व-होस्ट योग्य संस्करण है। यह InternLM सामान्य शाखा में Dense Transformer, 8B और 131,072 टोकन सत्यापित संदर्भ उपयोग करता है।
InternLM3 8B Dense Transformer और 8B उपयोग करता है। प्रकाशित होने पर 64 परतें, hidden width 8192 और 64 attention heads दर्ज हैं।
सत्यापित Dense Transformer आर्किटेक्चर
131,072 टोकन प्रमाणित संदर्भ
आधिकारिक चेकपॉइंट स्रोत
निजी LLM इन्फ़रेंस
एजेंट वर्कफ़्लो
लंबे दस्तावेज़ संसाधन
प्रमाणित चेकपॉइंट और क्वांटाइज़ेशन
केवल इस संस्करण से जुड़े सटीक और स्रोत-प्रमाणित वैरिएंट दिखाए जाते हैं।
अनुशंसित हार्डवेयर
सटीक चेकपॉइंट प्रिसीजन के साथ केवल प्रमाणित रनटाइम कॉन्फ़िगरेशन उपयोग करें। रैंकिंग वेट, केवी कैश, ओवरहेड, GPU आर्किटेक्चर और टोपोलॉजी जाँचती है।
अनुमानित वेट मेमोरी15.35 GB
केवी कैश2 GB
रनटाइम ओवरहेड7.84 GB
सुरक्षा मार्जिन सहित कुल31.24 GB
अनुशंसित सर्वोत्तम मूल्य
1× NVIDIA H200 SXM 141GB
141 GB कुल VRAM · nvswitch
109.76 GB मार्जिन · सीमित क्षमता
USD २,३४५ / माहसबसे कम लागत वाला उपयुक्त विकल्प
2× NVIDIA L4 24GB
48 GB कुल VRAM · pcie
16.76 GB मार्जिन · उपलब्ध
USD ५०० / माहसर्वोच्च प्रदर्शन
1× NVIDIA H200 SXM 141GB
141 GB कुल VRAM · nvswitch
109.76 GB मार्जिन · सीमित क्षमता
USD २,३४५ / माहलाइसेंस और स्व-होस्टिंग विचार
पूरे 8 B निवासी वेट चयनित GPUs पर समाने चाहिए। संदर्भ और concurrency केवी कैश बढ़ाते हैं।
InternLM3 8B Apache 2.0 लाइसेंस के अंतर्गत जारी है। आधिकारिक URL और सत्यापन तारीख सुरक्षित हैं।
व्यावसायिक उपयोग अनुमत. आधिकारिक लाइसेंस व्यावसायिक उपयोग की अनुमति देता है; उसकी सभी शर्तें लागू रहती हैं।
रिलीज़ क्रम
internlm/internlm/internlm3-8b
स्रोत का विवरण
स्रोत संशोधन: 58930c5e0f2b0b2653149106bcb51a314d82a23711fe4dabdfd5d90f3cd33cb6
सामान्य प्रश्न
InternLM3 8B को कितनी VRAM चाहिए?
अनुमान चेकपॉइंट प्रिसीजन, संदर्भ और concurrency पर निर्भर है और प्रमाणित डेटा उपयोग करता है।
कौन से रनटाइम InternLM3 8B को समर्थन देते हैं?
vllm, transformers के लिए आधिकारिक प्रमाण सत्यापित हैं।
क्या InternLM3 8B का वाणिज्यिक उपयोग हो सकता है?
संग्रहीत वर्गीकरण व्यावसायिक उपयोग अनुमत है। आधिकारिक Apache 2.0 लाइसेंस शर्तें देखें।
आधिकारिक स्रोत
अंतिम सत्यापन: 2026-08-26