跳到主要内容

Meta Llama · 通用 · Llama 3.1

Llama 3.1 405B：规格、GPU 需求、托管与部署

Llama 3.1 405B 是 Meta Llama 家族通用分支中的近期版本，并由官方修订认证。

计算建议 定制模型 比较此模型
Llama 3.1 405B 技术部署示意图
参考部署流程；精确架构事实另行列出。
总参数405.0B
激活参数密集模型
上下文窗口131,072 tokens
版本状态近期 · 近期
架构Dense Transformer
模态文本
许可证Llama 3.1 社区许可证
部署状态具备认证配置，可部署
商业状态允许有条件的商业使用
发布日期2024-07-16

架构、优势与用途

Llama 3.1 405B 是 Meta 在 Meta Llama 通用分支中的官方可自托管版本，采用 Dense Transformer、405B，认证上下文为 131,072 Token。

Llama 3.1 405B 使用 Dense Transformer 和 405B。官方资料发布时记录 64 层、隐藏维度 8192 和 64 个注意力头。

已验证的 Dense Transformer 架构
131,072 Token 认证上下文
官方检查点来源
私有 LLM 推理
智能体工作流
长文档处理

已认证检查点与量化

仅显示与此版本关联并经来源认证的精确变体。

Llama-3.1-405B-Instruct

meta-llama/Llama-3.1-405B-Instruct

官方 · BF16 · safetensors

已验证运行环境: Transformers

精度 / 量化格式位数发布者可信度部署状态
BF16safetensors16官方已验证运行环境

推荐硬件

仅使用与精确检查点精度匹配的认证运行时组合。硬件排序会检查权重、KV 缓存、开销、GPU 架构与拓扑。

估算权重内存777 GB
KV 缓存2 GB
运行时开销196.86 GB
含安全余量总计1210.07 GB
技术兼容参考配置

当前 FusionPointAI 库存没有同时通过此检查点的运行时、架构、拓扑和内存检查。请使用估算器查看全球兼容硬件。

许可证与自托管注意事项

全部 405 B 常驻权重必须装入所选 GPU；上下文与并发会增加 KV 缓存。

Llama 3.1 405B 采用 Llama 3.1 社区许可证发布，并保留版本级官方 URL 与验证日期。

允许有条件的商业使用. 商业使用附带条件。部署前请查看所链接的官方条款。

替代方案与同代变体

Llama 4 Scout 17B-16E, Llama 4 Maverick 17B-128E

发布历程

meta/llama/llama-3-1-405b

来源详情

官方来源

来源修订版本: ec5a654d6f9ae0f8c3e0ad5cf9d102d9937c302c51a497a7ae316cdb15dfed83

常见问题

Llama 3.1 405B 需要多少 VRAM？

估算取决于精度、上下文和并发，并使用认证数据。

哪些运行时支持 Llama 3.1 405B？

transformers 已有认证的上游证据。

Llama 3.1 405B 可用于商业用途吗？

存储分类为允许有条件的商业使用；请查阅官方 Llama 3.1 社区许可证条款。

官方来源

最近验证: 2026-08-26