E
1.6.6 開発について
DeepseekV41ForCausalLM サポート Lfm3ForCausalLM と Lfm3VlForConditionalGeneration 改善されたループ検出 量子化中にVRAMの使用量を大幅に削減 量子化キャプチャパスが速く ディスクキャッシュの排除ポリシーが固定されています (多くのモデルを切り替える際に可能なチャーンを防ぐ) より多くの最適化、バグ修正、QoLの改善 完全な変更ログ: v1.6.5...v1.6.6
E
1.6.5 について
Nemotron-3.5-Super-VL (NemotronH設定解析を修正) をサポートする キャッシュ量子化を使用してプリフィールするためのVRAMオーバーヘッドを削減する 熱/稀な語彙で低レイテンシードラフトする AVX2とAVX512-BWの推論を高速化する 専門家をオフロードする際にモデルの読み込みを高速化する Gemma4 MTPモデル (Gemma4AssistantForCausalLM) をサポートする 1.6.4 からトークナイザー回帰を修正する 提示キャッシングが時に失敗する 多くの修正。..
E
1.6.4 開発について
サポート Lfm2VlForConditionalGeneration サポート ネモトロン 3.5 ボルト (拡張 ネモトロンHForCausalLM) 同期リクエストのためのよりフェアなプリフィール/デコードスケジューリング いくつかのTP/shmem問題の修正 要求およびドラフトが有効になったときにコンテキストオーバーランの修正 完全な変更ログ: v1.6.3...v1.6.4
E
1.6.3 について
BailingMoeV3ForCausalLM (Ling-3.0, 3.1) をサポートする 複数のバグ修正 完全な変更日記: v1.6.2...v1.6.3
E
1.6.2 開発について
迅速なCPUオフロード DFlash2ドラフター付きTPモデルをサポート GDN/KDA/MLA層のVRAMオーバーヘッドが少なく、ROCm修正とgfx11への注意がより迅速である* その他のバグ修正 完全変更日記: v1.6.1...v1.6.2
E
1.6.1 開発について
GDN/KDA/Mambaの書き込みのVRAMオーバーヘッド削減 繰り返し書き込みモデルのサポート、DFlashをスライディング・アテンションに切り替える (VRAMオーバーヘッド削減) 新しいハイブリッド書き込みモード (書き込みモデル+ロング・ニグラム) トリトンの問題解決 混合アーキテクチャのセットアップでカーネルのオートゥーンを壊す 沢山のROCm修正と最適化 トゥーリング (sm_75) オプティマイゼーション AVX2最適化 多くのバグ修正 完全な変更日記: v1.6...
E
1.6.0 について
初期ROCmサポート (ROCm 10のみ、gfx1100+) AVX2CPUのより速いオフロード 標準でよりスマートなCPUコア割り当て/ピニング システムメモリオーバーヘッドを削減 GLM4,Qwen3-VLのビジョンタワーの修正 その他のバグ修正および最適化 完全変更ログ: v1.5.4...v1.6.0
E
1.5.4 開発について
トークン埋め込み量子化とディスクストリーミングのオプション 量子化精度向上 トランスフォーマー5へのHFトランスフォーマー統合モジュールの更新 包装されたEXL3レイヤのバックプロップを追加 モデルの加載速度向上 性能向上 システムメモリとVRAMオーバーヘッド削減 MiMo-V2.6 の修正 沢山の (潜伏) バグ修正 完全変更日記: v1.5.3...v1.5.4
E
1.5.3 について
小型のホイール 実験用nグラムコープス機能 VRAMの最適化により TPモデルによるダイナミック・ドラフト・サイズのサポート その他の修正 完全変更日記: v1.5.2...v1.5.3
E
1.5.2 について
MiMoV2ForCausalLM 実験チューリングサポートを追加 臨時VRAMアロケーションのリイン、過度に保守的なウォームアップと自動分割測定パス修正 様々なバグ修正と最適化 完全な変更日記: v1.5.1...v1.5.2
E
1.5.1 開発について
KimiLinearForCausalLMを追加 Qwen3.8-Flash-Next,GLM5.3,DeepseekV3/V4 MoE最適化 Qwen3.8-Flash-Next,GLM5.3,DeepseekV3/V4 TPサポートを追加 分子格子量子化モード 自己校正パイプライン改善 (高度に実験的な YAQAサポートを含む) いくつかのメモリ漏洩を修正 Windows および Conda で EXL3_MOE_PINNED_ARENA の修正 その他の最適化およびバグ修正 完全変更日記: v1.5.0...v1.5.1
E
1.5.0 について
NemotronHForCausalLMを修正 (Nemotron-3-Superをサポート) より速い量子化 CPUのオフロードのための実験的なゼロコピーのピンドアリーナモード (Linuxのみ) より速いMoEプリフィールと解読 (下記を参照) MoEモデルのための推測的な解読の改善 いくつかのアーキテクチャでより速い密度のモデルプリフィール いくつかの非決定論のソースを削除 バグ修正とクリーンアップ テストケース 4kプリフィール、t/s解読、t/s,S=1 Qwen3.8-Flas...
E
1.4.9 農業について
DeepseekV4ForCausalLMビジョンタワーを追加 (DeepseekV4-Flash-Vision-Expをサポート) Lfm2ForCausalLMを追加 (LFM2.5密度の多様体) Spark2_5ForCausalLMを追加 (Spark-X2.5) Glm4MoeLiteForCausalLMを追加 (GLM4.7-Flash) より正確なオートスプリット会計 速いCPUオフロード、より良いインテルサポート (AVX512BW層) ビジョンタワーオフロード後にVRAM漏れを修正 大型モデルをオフロードする際に潜在的な労働者のタイムアウトを修正する。..
E
1.4.8 農業について
pyproject.toml を追加 DSv4-Flash,Qwen3.8-Flash-Next,および GLM5.3-Flash のキャッシュ量子化 VRAM 割り当てを最適化し、デフォルトで拡張可能なセグメントに切り替える FA2 コード経路を完全に削除 その他の最適化とバグ修正 完全変更日記: v1.4.7...v1.4.8
E
1.4.7 開発について
すべてのレベルの CPU MoE 性能改善 DRY サンプラーを追加 繰り返されるスロット漏れを修正 6,7 および 8 ビット・トレリーズの量子化が速く 他の多くのバグ修正、最適化およびQoLの改善 フル・チャングログ: v1.4.6...v1.4.7
E
1.4.6 農業について
v1.4.6 からいくつかのリグレーションを修正 Windows のための実験 n-gram ストリーミングを追加します 完全な変更日記: v1.4.5...v1.4.6
E
1.4.5 農業について
サポート Glm5NextForConditionalGeneration (GLM5.3-Flash) サポート Qwen4ExpForConditionalGeneration (Qwen3.8-Flash-Next) 改善された MoE MTP 性能 MoE レイヤのスラブアロケーション 間違ったアライナインされた専門家テンソール形状のために無駄な VRAM を避ける トリトン条件レース (オートチューナー: 'NoneType' オブジェクトはマッピングエラーではありません) を回避する作業 ユニグラムトークナイザーの修正 その他のバグ修正およびQoLの改善 完全な変更日記:...
E
1.4.4 開発について
スプリット MoE CPU-オフロードモードにおける正確性バグの修正 専門家並行モードにおけるより良い MTP サポート ビジョンタワーの量子化への検証とデフォルト ビジョンモデルのオフロードをサポート (システムメモリからのストリーム、パフォーマンスの罰は小さい) 全変更ログ: v1.4.3...v1.4.4
E
1.4.3 について
サポート GlmMoeDsaForCauslLM (GLM 5.2,まだ少しWIPである可能性が高い) ダイナミックな配置 (エキスパートキャッシュを置き換える) を有する部分的なCPU層エキスパートオフロードオプション 自動校正された信頼性値でダイナミックなドラフトサイズの改善 新しい (実験的な) 量子最適化パイプライン 発電機のミッドストリームテキストインジェクションをサポートする (推理トークン予算を有効にする) より正確な自動分割割り当て 削減。..
E
1.4.2 開発について
サポート MuseGlimmerForConditionalGeneration 完全な変更日記: v1.4.1...v1.4.2
E
1.4.1 開発について
Mistral-4 を追加 (Mistral3ForConditionalGeneration の下に) ロジットバイアスをサポートする Formatron の代わりに LLGuidance を採用する (依然としてオプション依存としてサポートされる) banned_strings の隣にフィルター/文法を許可する 完全な変更ログ: v1.4.0...v1.4.1
E
1.4.0 地域社会
サポート DeepseekV4ForCausalLM AVX512 CPU のオフロード性能が向上した プレフィール速度が速い (すべてのモデル) バグ修正 QoL 機能 完全変更日記: v1.3.0...v1.4.0
E
1.3.0 開発
DeepseekV3の初期サポート (JoyAI-LLM-FlashとMoonlight-16B-A3Bに対して検証、ルーティンググループはまだない) 2階層CPU K/Vキャッシュ、よりインテリジェントなページとチェックポイント退出ポリシー Freq/rep 修正。XTCサンプラーとトークン禁止の長期文脈の遅延を引き起こす罰 セキュリティーセンサの読み込みの潜在脆弱性を軽減 他のバグ修正、最適化、QoLの改善 Ful...
E
1.2.1 開発
より速い量子化 Windows: JITコンパイルエラーと壊れた CPUオフロードパフォーマンスの修正 多トークン文字の終わりと始まりの両方のトークンの解読を壊すトークナイザー問題の修正 (韓国語スペシャル) 完全な変更日記: v1.2.0...v1.2.1
E
1.2.0 農業について
LagunaForCausalLM (およびDFlashLagunaForCausalLM) のサポート 専門家層の実験的なCPUオフロードサポート 実験的なダイナミック・ドラフトウィンドウ機能 改善されたセーフェテンサーの読み込み (より速く) より多くのグラフ経路 性能チューニング compare_q.pyを削除し、qbench.pyで置き換えられた 様々なバグ修正 完全変更日記: v1.1.0...v1.2.0
E
1.1.0 について
HYV3ForCausalLMをサポートする TPモードのCPUオーバーヘッド削減とネイティブバックエンドのプレフィールパフォーマンスの改善 トーチ。マルチノミアルの暗黙の断片処理動作に一致するようにトップ-P=1サンプリングを調整する 繰り返しモデルでサポートされている禁止文字列 バグ修正とQoLの改善 完全な変更日記: v1.0.0...v1.1.0
E
1.0.0
-> 図表の小さな書き込み。Flash-attention-2 と xformers の依存関係を削除 オンラインキャッシュの量子化、SWA 層と注意槽の二重入力を持つ新しい注意カーネル 新しい conv1d カーネル (causal_conv1d のサポート/必要性を削除) Ampere の GEMM/GEMV 性能が大幅に改善 ニュー INT8 GEMV カーネル 新しい MoE カーネルチケットスケジューラー すべての attn/GDN モジュールのグラフ経路 融合したサンプリングカーネル。..
E
0.0.43
TPモードで MTP 作成時のエラーを修正 迅速なクワニゼーション フル チェンジログ: v0.0.42...v0.0.43
E
0.0.42
MTPモデルがターゲットモデルの出力デバイスにないときに MTP 作成を修正します 完全な変更日記: v0.0.41...v0.0.42
E
0.0.41
Qwen3.5/3.6 の MTP サポートを追加しました 全変更日記: v0.0.40...v0.0.41