Mistral / Devstral Small 2 24B
Devstral Small 2 24B の FP8 量子化
掲載されたプロファイルは目安です。選択したモデルとハードウェアを使って技術測定を行います。
変換前 → 変換後
基盤リリース検証済みチェックポイント
24.000B
24.000B
量子化FP8
品質保持目標
品質保持目標
本番アーティファクトアーティファクト
モデルの系譜とベンチマーク結果
モデルの系譜とベンチマーク結果
GPUの選定
重みとKVキャッシュエンジニアリング計測までの推定値
推定 VRAM測定および認証済みの結果はプロジェクトとともに提供されます。
ランタイムパッケージtransformers, vllm, sglang