Pacote de produção FP8 para GLM-4.6V

Linhagem da transformação

Precisão do checkpoint de origem

Definido durante o trabalho de engenharia acordado

Esta versão tem vários formatos de checkpoint registados. O checkpoint de entrada exato e a respetiva revisão têm de ser acordados durante a validação do âmbito, antes do início da engenharia.

Precisão de destino

Registado no catálogo

A especificação do pacote define FP8 como formato de destino. Trata-se de uma especificação de engenharia, não de prova de um artefacto concluído ou de qualidade medida.

Âmbito dos resultados a entregar

Definido durante o trabalho de engenharia acordado

Esta compra contrata os trabalhos de engenharia e avaliação indicados para a versão exata. A modalidade de entrega escolhida e o orçamento aceite definem o que será entregue; não se trata de uma transferência imediata de um artefacto já concluído.

• Artefacto de modelo transformado e validado
• Tokenizador e configuração do modelo
• Configuração do runtime para o modo de entrega escolhido
• Somatórios de verificação e manifesto de versão
• Relatório de benchmarking

Transferência: entrega dos artefactos do modelo acordados, do tokenizador e da configuração, do manifesto de versão e das somas de verificação após a engenharia e validação, sujeita à licença da origem.

Alojamento: implementação do resultado acordado na configuração de alojamento selecionada. A afetação de GPU e os encargos recorrentes são orçamentados à parte do trabalho de engenharia pontual.

Transferência + alojamento: entrega do artefacto acordado e implementação alojada, com os respetivos requisitos de licença e alojamento.

Avaliação: o trabalho de avaliação configurado e o respetivo relatório. Não é garantido qualquer resultado de desempenho nem valor de retenção de qualidade antes da medição.

GPU de destino

Registado no catálogo

A configuração tem como alvo 2 × NVIDIA H100 SXM 80GB. Uma especificação de referência ou uma adequação estimada não reserva capacidade de aluguer; a disponibilidade e a adequação da implementação são verificadas antes da afetação.

Adequação à memória

Definido durante o trabalho de engenharia acordado

Estas são estimativas de dimensionamento registadas para o número de GPUs, o contexto e a carga de trabalho selecionados, não resultados de implementação medidos. A sobrecarga do ambiente de execução e o comportamento com cargas de trabalho reais têm de ser validados.

Pesos estimados do modelo: 105.33 GB

Cache KV estimada: 2 GB

VRAM necessária estimada: 141.43 GB

VRAM disponível estimada: 160 GB

Evidências de benchmark

Definido durante o trabalho de engenharia acordado

Não existe um benchmark completo e medido registado para este pacote. As medições são feitas durante a avaliação acordada, com o resultado, o hardware, o ambiente de execução e as definições exatos. As estimativas não são resultados medidos.

Modalidade de entrega

Registado no catálogo

Descarregar + alojar

Significado do estado da engenharia

Pronto para engenharia: é possível definir o âmbito do fluxo de trabalho de engenharia configurado e dos componentes comerciais. Não significa que o artefacto resultante já tenha sido criado ou sujeito a benchmarks.

Limitações de entrega

Entrega configurada: Descarregar + alojar

Opções de entrega: Descarregar pacote / Alojar com FusionPointAI / Descarregar + alojar

Fonte e licença

Fonte oficial da versão

Termos da licença

Detalhes: GLM-4.6V

Comparar modelos relacionados

Linhagem da transformação

Precisão de origem: Definido durante o trabalho de engenharia acordado

Precisão de destino: FP8

Operações de transformação: Quantização FP8, Preparação do ambiente de execução, Avaliação comparativa

Topologia de GPU

GPU de destino: NVIDIA H100 SXM 80GB

Número de GPUs: 2

Preparação do ambiente de execução: transformers