Os comandos e o código permanecem em inglês em todos os idiomas. Substitua os marcadores em maiúsculas pelos valores da sua conta e da sua tarefa paga; não cole chaves reais em cadernos partilhados nem em registos.
Verificações de compatibilidade dos modelos
- Acesso à referência Plano do fornecedor e modelo professor disponível
- Modelo aluno Arquitetura e pesos fixados
- Método SFT ou treino de adaptador compatível
- Ambiente de execução Precisão, memória e dependências
Acesso à referência: Plano do fornecedor e modelo professor disponível. Modelo aluno: Arquitetura e pesos fixados. Método: SFT ou treino de adaptador compatível. Ambiente de execução: Precisão, memória e dependências
Selecione uma referência no seu plano do fornecedor
Use os identificadores de referência do catálogo ativo e os dados de acesso da sua tarefa. A sessão aceita um reference_model_id opcional do mesmo fornecedor pago e produto de origem. O modelo aluno adquirido e a fatura são preservados. Depois de a preparação gerar dados ou iniciar tentativas, já não é possível alterar a referência nessa sessão; não misture silenciosamente dados do modelo professor.
- A referência deve continuar disponível e ser compatível com o método adquirido e com o modelo aluno.
- As restrições de acesso exclusivo para clientes existentes continuam em vigor.
- O nome apresentado de um modelo nem sempre é o respetivo identificador de API.
import os
from fusionpointai_training import TrainingClient
client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
# Set this to a reference ID included in your paid provider plan.
reference_id = int(os.environ["FUSIONPOINTAI_REFERENCE_MODEL_ID"])
session = client.open_session(
os.environ["FUSIONPOINTAI_JOB_UUID"],
runtime="customer_datacenter",
reference_model_id=reference_id,
)
# Change the reference only BEFORE preparation or generation attempts.
print(session["reference_model_id"])Carregar um modelo aluno local fixado
TrainingProject aceita um caminho para um modelo local existente através do adaptador Transformers registado para modelos de linguagem causal. Os ficheiros são carregados com o código remoto desativado. Antes do treino, verifica a compatibilidade da arquitetura, do tokenizador, do comprimento do contexto, da precisão e da memória disponível para o método escolhido. Um identificador de repositório tem de corresponder a uma revisão fixada dentro da raiz do projeto.
- SFT atualiza parâmetros elegíveis; LoRA e QLoRA treinam adaptadores.
- Os pesos locais têm de incluir um tokenizador e uma configuração de modelo compatíveis.
- Um modelo de API apenas para inferência não é um ponto de controlo treinável.
# Continue with the client and session from the quickstart.
state = client.get_session(session["id"])
configuration = state["configuration"]
print(configuration["student_checkpoint"]["repository"])
print(configuration["student_checkpoint"]["revision"])
print(configuration["method"])
print(configuration["sdk_training"])
# These values come from the approved job, not local overrides.import os
supported_runtimes = {
"fusionpointai_hosting",
"customer_datacenter",
"colab",
}
runtime = os.environ["FUSIONPOINTAI_TRAINING_RUNTIME"]
if runtime not in supported_runtimes:
raise ValueError("Choose a supported training runtime")
print("Selected runtime:", runtime)
# Selection alone does not allocate compute or open a training session.Verificar a compatibilidade do adaptador e do ambiente
O adaptador Transformers para modelos de linguagem causal verifica a combinação efetiva do modelo, método, precisão, hardware, distribuição e formato de exportação. Não suporta todas as arquiteturas nem todas as configurações GPU. As combinações não suportadas falham nas verificações de compatibilidade; não se deduz qualquer capacidade apenas a partir de uma etiqueta de configuração.
- Use apenas uma estrutura de modelo que o adaptador Transformers consiga carregar sem código remoto.
- QLoRA requer CUDA e bitsandbytes compatíveis.
- Uma verificação de compatibilidade não é um benchmark nem garante inferência bem-sucedida noutro ambiente.