Os comandos e o código permanecem em inglês em todos os idiomas. Substitua os marcadores em maiúsculas pelos valores da sua conta e da sua tarefa paga; não cole chaves reais em cadernos partilhados nem em registos.
Da perda à aceitação da tarefa
- Referência inicial Desempenho do modelo aluno sem alterações
- Modelo treinado Mesmas condições de avaliação
- Resultados das tarefas Qualidade, correção e erros
- Decisão Aceitar ou indicar requisitos não cumpridos
Referência inicial: Desempenho do modelo aluno sem alterações. Modelo treinado: Mesmas condições de avaliação. Resultados das tarefas: Qualidade, correção e erros. Decisão: Aceitar ou indicar requisitos não cumpridos
Medir os critérios de referência e finais
TrainingProject avalia o modelo sem alterações e o modelo final com linhas locais de validação ou de teste final. Cada critério da grelha identifica uma métrica determinística registada e um limite minimum_score. As métricas incluídas são exact_match, macro_f1, text_similarity e chrf; também podem ser registados avaliadores personalizados com uma versão explícita. As avaliações de referência e finais com dados reservados são executadas localmente.
- A descrição explica o critério, mas não faz por si só uma avaliação semântica.
- Compare as pontuações de cada critério e reveja as capacidades mantidas; não se baseie apenas numa média.
- Guarde em conjunto a grelha, as impressões digitais dos dados e os relatórios de avaliação inicial e final.
# Continue with a TrainingProject whose run has completed.
result = project.evaluate(split="test")
for criterion in result["criteria"]:
print(criterion["id"], criterion["score"], criterion["accepted"])
print("Accepted:", result["accepted"], "Report:", result["report_path"])
# Scores measure the registered criteria; they do not guarantee broader capability.import os
from fusionpointai_training import TrainingClient
client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
server_report = session.get("report")
runtime_report = server_report.get("runtime") if isinstance(server_report, dict) else None
if (
session.get("status") == "completed"
and isinstance(runtime_report, dict)
and runtime_report.get("artifact_sha256") == os.environ["LOCAL_ARTIFACT_SHA256"]
and server_report.get("delivery") == "runtime_local"
and server_report.get("verification") == "runtime_reported"
):
print("Server report matches the local artifact digest.")
else:
print("Completion is not confirmed for this local artifact.")
# Reconcile by reading state; do not repeat training or invent a result.Avaliação das capacidades em alemão
Para um objetivo em alemão, avalie separadamente a compreensão, a gramática, a escrita, a tradução e o raciocínio, quando forem relevantes. Use tarefas ocultas, grelhas de avaliação claras para as pessoas e exemplos de erros pertinentes. Meça também a manutenção das capacidades existentes. A avaliação por um modelo professor pode ajudar, mas evite usar os mesmos exemplos gerados como lições e como prova final de qualidade.
- Classificação: precisão e revocação por classe e padrões de confusão.
- Tradução: significado, terminologia, números, nomes e omissões.
- Escrita: correção gramatical, clareza, tom e conclusão da tarefa.
Executar ciclos de melhoria limitados
TrainingProject avalia os temas do currículo, prepara lições aprovadas quando a partilha o permite e executa ciclos de melhoria limitados. As condições de paragem incluem aceitação, orçamento esgotado, falta de progresso, cancelamento ou regressão. Os relatórios mantêm os objetivos por cumprir e os critérios medidos; passar uma tarefa não certifica capacidades mais abrangentes do modelo.
- Mantenha os dados de aceitação final intactos durante todo o processo de melhoria.
- Fixe a versão dos avaliadores personalizados para poder repetir as comparações.
- Reveja cada critério e regressão; não esconda falhas numa média.