どの言語版でもコマンドとコードは英語のままです。大文字のプレースホルダーは、ご自身のアカウントと有料ジョブの値に置き換えてください。共有ノートブックやログに実際のキーを貼り付けないでください。
モデルの互換性チェック
- 参照モデルへのアクセス プロバイダープランと利用可能な教師モデル
- 生徒モデル アーキテクチャと固定された重み
- 方式 SFT または互換性のあるアダプター学習
- 実行環境 精度、メモリ、依存関係
参照モデルへのアクセス: プロバイダープランと利用可能な教師モデル. 生徒モデル: アーキテクチャと固定された重み. 方式: SFT または互換性のあるアダプター学習. 実行環境: 精度、メモリ、依存関係
プロバイダープラン内から選ぶ
有効なカタログに記載された参照モデル ID と、ジョブのアクセス情報を使用してください。セッションでは、同じ有料プロバイダーおよび提供元製品の reference_model_id を任意で指定できます。購入済みの生徒モデルと請求書はそのまま維持されます。準備によってデータが生成されるか試行が始まった後は、そのセッションの参照モデルを変更できません。教師モデルのデータを知らないうちに混在させないでください。
- 参照モデルは利用可能な状態を保ち、購入済みの方式および生徒モデルと互換性が必要です。
- 既存顧客のみを対象とする制限は引き続き適用されます。
- 画面上のモデル名が API ID とは限りません。
import os
from fusionpointai_training import TrainingClient
client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
# Set this to a reference ID included in your paid provider plan.
reference_id = int(os.environ["FUSIONPOINTAI_REFERENCE_MODEL_ID"])
session = client.open_session(
os.environ["FUSIONPOINTAI_JOB_UUID"],
runtime="customer_datacenter",
reference_model_id=reference_id,
)
# Change the reference only BEFORE preparation or generation attempts.
print(session["reference_model_id"])
固定したローカル生徒モデルを読み込む
TrainingProject は登録済みの Transformers 因果言語モデルアダプターを通じて、既存のローカルモデルパスを受け付けます。モデルファイルはリモートコードを無効にして読み込みます。学習前に、選択した方式に対するモデル構造、トークナイザー、コンテキスト長、精度、利用可能なデバイスメモリを確認します。リポジトリ ID はプロジェクトルート内で固定リビジョンを指す必要があります。
- SFT は対象モデルのパラメーターを更新し、LoRA と QLoRA はアダプターを学習します。
- ローカルの重みには互換性のあるトークナイザーとモデル設定が必要です。
- 推論専用 API モデルは学習可能な生徒モデルのチェックポイントではありません。
# Continue with the client and session from the quickstart.
state = client.get_session(session["id"])
configuration = state["configuration"]
print(configuration["student_checkpoint"]["repository"])
print(configuration["student_checkpoint"]["revision"])
print(configuration["method"])
print(configuration["sdk_training"])
# These values come from the approved job, not local overrides.
import os
supported_runtimes = {
"fusionpointai_hosting",
"customer_datacenter",
"colab",
}
runtime = os.environ["FUSIONPOINTAI_TRAINING_RUNTIME"]
if runtime not in supported_runtimes:
raise ValueError("Choose a supported training runtime")
print("Selected runtime:", runtime)
# Selection alone does not allocate compute or open a training session.
アダプターと実行環境の互換性を確認する
登録済みの Transformers 因果言語モデルアダプターは、実際のモデル、方式、精度、ハードウェア、分散方式、エクスポート形式の組み合わせを確認します。すべてのアーキテクチャや GPU 構成に対応するわけではありません。未対応の組み合わせは互換性チェックで失敗します。設定ラベルだけからハードウェアやモデルの能力を推測しません。
- リモートコードを無効にしてアダプターが読み込めるモデル構成だけを使用します。
- QLoRA には互換性のある CUDA と bitsandbytes が必要です。
- 互換性チェックはベンチマークではなく、別の実行環境での推論成功も保証しません。