Llama-3.1-405B-Instruct
meta-llama/Llama-3.1-405B-Instruct
आधिकारिक · BF16 · safetensors
सत्यापित निष्पादन परिवेश: Transformers
| प्रिसीजन / क्वांटाइज़ेशन | प्रारूप | बिट | प्रकाशक भरोसा | परिनियोजन स्थिति |
|---|---|---|---|---|
| BF16 | safetensors | 16 | आधिकारिक | सत्यापित निष्पादन परिवेश |
Meta Llama · सामान्य · Llama 3.1
Llama 3.1 405B: विनिर्देश, GPU आवश्यकताएँ, होस्टिंग और परिनियोजन
Llama 3.1 405B, Meta Llama परिवार की सामान्य शाखा में हाल का संस्करण है और आधिकारिक revision से प्रमाणित है।
कुल पैरामीटर४०५.०B
सक्रिय पैरामीटरघना मॉडल
संदर्भ सीमा१,३१,०७२ tokens
संस्करण स्थितिहाल का · हाल का
वास्तुकलाDense Transformer
मोडैलिटीपाठ
लाइसेंसLlama 3.1 सामुदायिक लाइसेंस
परिनियोजन स्थितिप्रमाणित कॉन्फ़िगरेशन के साथ तैनाती के लिए तैयार
वाणिज्यिक स्थितिशर्तों के साथ व्यावसायिक उपयोग अनुमत
जारी होने की तारीख2024-07-16
आर्किटेक्चर, खूबियाँ और उपयोग
Llama 3.1 405B, Meta का आधिकारिक स्व-होस्ट योग्य संस्करण है। यह Meta Llama सामान्य शाखा में Dense Transformer, 405B और 131,072 टोकन सत्यापित संदर्भ उपयोग करता है।
Llama 3.1 405B Dense Transformer और 405B उपयोग करता है। प्रकाशित होने पर 64 परतें, hidden width 8192 और 64 attention heads दर्ज हैं।
सत्यापित Dense Transformer आर्किटेक्चर
131,072 टोकन प्रमाणित संदर्भ
आधिकारिक चेकपॉइंट स्रोत
निजी LLM इन्फ़रेंस
एजेंट वर्कफ़्लो
लंबे दस्तावेज़ संसाधन
प्रमाणित चेकपॉइंट और क्वांटाइज़ेशन
केवल इस संस्करण से जुड़े सटीक और स्रोत-प्रमाणित वैरिएंट दिखाए जाते हैं।
अनुशंसित हार्डवेयर
सटीक चेकपॉइंट प्रिसीजन के साथ केवल प्रमाणित रनटाइम कॉन्फ़िगरेशन उपयोग करें। रैंकिंग वेट, केवी कैश, ओवरहेड, GPU आर्किटेक्चर और टोपोलॉजी जाँचती है।
अनुमानित वेट मेमोरी777 GB
केवी कैश2 GB
रनटाइम ओवरहेड196.86 GB
सुरक्षा मार्जिन सहित कुल1210.07 GB
तकनीकी रूप से संगत संदर्भ आकार
इस चेकपॉइंट के लिए वर्तमान FusionPointAI इन्वेंटरी रनटाइम, आर्किटेक्चर, टोपोलॉजी और मेमोरी के सभी नियम पार नहीं करती। वैश्विक संगत हार्डवेयर के लिए अनुमानक का उपयोग करें।
लाइसेंस और स्व-होस्टिंग विचार
पूरे 405 B निवासी वेट चयनित GPUs पर समाने चाहिए। संदर्भ और concurrency केवी कैश बढ़ाते हैं।
Llama 3.1 405B Llama 3.1 सामुदायिक लाइसेंस के अंतर्गत जारी है। आधिकारिक URL और सत्यापन तारीख सुरक्षित हैं।
शर्तों के साथ व्यावसायिक उपयोग अनुमत. व्यावसायिक उपयोग शर्तों के अधीन है। परिनियोजन से पहले लिंक की गई आधिकारिक शर्तें देखें।
विकल्प और समान-पीढ़ी वैरिएंट
Llama 4 Scout 17B-16E, Llama 4 Maverick 17B-128E
रिलीज़ क्रम
meta/llama/llama-3-1-405b
स्रोत का विवरण
स्रोत संशोधन: ec5a654d6f9ae0f8c3e0ad5cf9d102d9937c302c51a497a7ae316cdb15dfed83
सामान्य प्रश्न
Llama 3.1 405B को कितनी VRAM चाहिए?
अनुमान चेकपॉइंट प्रिसीजन, संदर्भ और concurrency पर निर्भर है और प्रमाणित डेटा उपयोग करता है।
कौन से रनटाइम Llama 3.1 405B को समर्थन देते हैं?
transformers के लिए आधिकारिक प्रमाण सत्यापित हैं।
क्या Llama 3.1 405B का वाणिज्यिक उपयोग हो सकता है?
संग्रहीत वर्गीकरण शर्तों के साथ व्यावसायिक उपयोग अनुमत है। आधिकारिक Llama 3.1 सामुदायिक लाइसेंस शर्तें देखें।
आधिकारिक स्रोत
अंतिम सत्यापन: 2026-08-26