Kトランスフォーマー v0.6.4:高性能エンドツーエンドフルパラメーターとLoRA精細調整Kトランスフォーマー v0.6.4は、大型稀有型MOEモデルのためのKT精細調整経路への主要なアップグレードです。このリリースでは、KT SFT を端から端までのフルパラメータ細調整からLoRAに拡張し、同時に、ホスト RAM と GPU VRAM の間で BF16 CPU-GPU 異性的なトレーニングスループットとメモリ効率を改善する。 中核のハイライト。..
リリース: バンプバージョン 0.6.3.post1 (#2063)
Kトランスフォーマー: MiniMax-M3 & GLM-5.2 Day0 サポート 私たちは、Kトランスフォーマー + SGLang (sglang-kt) で MiniMax-M3 と GLM-5.2 の2つの新しい大型 MoE モデルのための Day0 サポートを発表することに興奮しています。両モデルとも、現在 kt-kernel による CPU-GPU 異質推論が利用可能である。この更新では、Qwen3.5 MoEに対応する端から端までの KT LoRA も出荷されます。 Core Highlights MiniMax-M3 Day0 サポート: ミ。..
リリース/0.6.2.ポスト3:KTカーネルのスイグルクランプ付き添いを運ぶ f...
sglang サブモジュール -> 43ed1ec77: V4-Flash ハイブリッド SWA フンクド・プレフィール ハング修正 (#44) + DSV4 プラグイン レジストリリファクター (#47) pin sglang-kt==0.6.2.post2 チュートリアル: 8x RTX 5090 からシングルカード (デコード 20+ tok/s) に V4-Flash 起動例を切り替える; Ada Lovelace SM_89 行を検証に転覆する; それに応じてハードウェア要件 GPU ラインを更新する。
V4-Flash MXFP4 フルGPUプレフィールフォールバックが動作する:以前は、すべてのTPスケジューラーが --kt-gpu-prefill-token-thresholdが実際に発射できるほど低いときに StopIteration/AttributeErrorでクラッシュした (パスがFP8/INT4レイアウトにハードコードされていた).MXFP4を検知し 256の専門家 gpu_layerで V4のスウィズルを再起動し プレフィールブロックに負荷をキャッシュします8x RTX 5090で測定しました (値=1024,切片=1...
kトランスフォーマー v0.6.2 リリースノート Core Highlights kt-kernel MXFP4 MoE オペレーターによるネイティブ DeepSeek-V4-Flash サポート、オフライン変換なしでモデルのネイティブ E2M1 + ue8m0 重量を消費します。SGLang経由のハイブリッドCPU/GPU推論経路、 8×RTX 5090 (消費者ブラックウェル、SM_120) で端から端まで検証。新しいAVX2/AVX-VNNI RAWINT4 MoEバックエンドで、消費者のCPUに ktカーネルのカバーを拡張します。..
Kトランスフォーマー v0.6.1は、大規模なMoE LoRA SFTのための既存のKT精細調整経路の完全なリファクタリストおよび主要なアップグレードです。このリリースでは、 kt-kernel の周りに KT SFT バックエンドを再構築し、 ktransformers[sft] エントリの後ろに SFT スタックをパッケージ化し、 LLaMA-Factory トレーニング エントリと YAML ワークフローをユーザーに馴染みのある状態に保ちます。KT SFTは 6~12倍のトレーニング性能を。..
kトランスフォーマー/kt-カーネルを 0.6.1.post1 にブンプし、追加パッケージを post1 にポイントする。
KTカーネルにおけるAVX2-Only MoE推論サポート: bf16,fp8,gptq-int4 MoEワークロードに対するAVX2-only推論サポートが追加され、AMXのないCPUへの展開カバーを拡大し、CPU-GPU異質推論ワークフローを維持する。GLM-5とMiniMax-M2.5のCPU重量変換: CPU側展開のためのモデル重量を変換するための新しいツールを追加し、GLM-5とMiniMax-M2.5を。..
Core Highlights スグラング・サブモジュールによる簡易化インストール: kvcache-ai/sglang フォークは、現在 git サブモジュールとして販売され、PyPI に sglang-kt として公開されています。インストールは、複数のステップの手動プロセスから単一の ./install.sh コマンドまたは pip install ktransformers (sglang-kt を自動的にインストールする) に削減されます。スグラングサブモジュールの 日々のCI自動同期と自動 PyPI 公開が追加されました。..