Python パッケージ バージョン このリリースの Python ウィルは 1.4.0rc2.post1 として公開されています。容器の画像と文書は 1.4.0rc2 に残っていますPython パッケージをインストールするときに 1.4.0rc2.post1 を使用します。このパッチは、PyPIの公開 (#21128) を妨害した直接 Git依存性を削除し、ビルド (#21133) の際に使用されたBoostダウンロードミラー (#21133) を更新します。修理された車輪源: v1.4.0rc2.post1,...
署名: シャラベシュ・ジャヤラマン 338298191+シャラベシュ・J-nvda@users.noreply.github.com
ハイライト 既知の問題 パイソンKVキャッシュトランシーバーでデフォルトで提供されている分散型は、ストリーミング要求がキャンセルされた後にKVキャッシュ転送エラーで生成要求が失敗する可能性があります (A100で観察).OpenAI JSON-schema サーバの例 (examples/serve/openai_completion_client_json_schema.py) は、Qwen3モデルで無制限の応答を返します。モデルサポート DeepSeek-V4.1-Flash サポートを追加。..
MPI ワーカープールは LLM インスタンスの間でも再利用される場合、ワーカー初期化中にマルチ GPU (TP2) ストリーミングまたは RPC エクゼクチュエータのワークロードが掛かることがあります (H100 で観察されています).SM120/SM121 GPU (例えば RTX PRO 6000 Blackwell) の DeepSeek MLA モデルは、BF16 BMM で CUDA グラフがキャプチャされたときに違法なメモリ アクセスでクラッシュする可能性があります。SM120 GPUの GPT-OSS モデルが注意して失敗する可能性があります。..
ハイライト モデルサポート モデル読み込み経路#19519を横断するグローバルFP8スケールを持つQwen3.5チェックポイントをサポートする Gemma4ビジョンローータリーエンベッディングをGEMM操作なしで最適化する #19571 Kimi K3 NVFP4 SiTU #19003の CuTeDSL MoEバックエンドを有効にする サポートされる推論経路のためのNemotron-Hビジョン言語LoRA構成を露出する #19151 モデルと実行器を通じてMiniMax-M3パーツごとにCUDAグラフを拡張する。..
ハイライト 既知の問題 要求された並列マッピングがノードを横切るか、呼び出し-ローカル Python モジュールへのリファレンス用負荷を要求する場合、マルチノード推論が起動中に失敗する可能性があります。広告されたホスト名が結合可能な IPv4 アドレスに解決しない場合、分解されたサービスが開始されない可能性があります。ローカルな IPv4 インターフェースに解決するホスト名を使用する。Qwen3.5-4Bは、コンテキスト・パイプラインの並列で精度を失うかもしれない。..
GPT-OSS Eagle3の推測的な解読は、複数GPU実行を使用する場合、ハングされ、終了しない出力を生成したり、正確性を失う可能性があります。Triton MoE バックエンドによる GPT-OSS W4 推論は、4つのGPUデータ並行または専門家並行構成で間歇的にハングまたは精度を失う可能性があります。GPT-OSS ハーモニー ツールの呼び出しは ツールの呼び出しの境界が切れた後も生成され続けます
既知の問題を強調 Qwen3の専門家混合モデルのルーティングされた専門家をターゲットとする LoRAアダプタは、静かに無視され、ベースモデルの出力を生成します。注意層を対象とするアダプターは 正しく動作しますV2 KV キャッシュ マネージャーを使用するモデルは、十分なGPUメモリが空いている場合でも、KV キャッシュサイズ推定があまりにも保守的であるため、不十分なメモリエラーで起動できない可能性があります。GPT-OSS について
ハイライト 発表 KVキャッシュマネージャー デフォルトでKVキャッシュマネージャー V2を有効にした: DeepSeek V3, DeepSeek R1, and DeepSeek V3 Lite DeepSeek V3.2 DeepSeek V4 GLM-5 GPT-OSS ミストラル ラーゲ 3 Kimi K2, Kimi K2.5, and Kimi K3 ミニマックス M2 and MiniMax M3 ネモトロン H and ネモトロン H パズル Qwen3-Next, Qwen3.5, and Qwen3.8 Gemma 3 と Gemma 4 KV キャッシュマネージャー V2は推奨アーキテクチャで、改善された s...
署名: ヤンチャオ ル ヤンチャオル@nvidia.com
署名: ヤンチャオ ル ヤンチャオル@nvidia.com
既知の問題 Torch.compile と CUDA グラフを組み合わせるワークロードは、アロケータアサーション、欠落した出力、または違法なメモリアクセスで初期化または推論中に失敗する可能性があります。SM120のマルチストリームまたはピースワイスCUDAグラフを使用するMTPを使用するMLAモデルは、違法なメモリアクセスで非同期的にクラッシュすることができます。KVCacheManagerV2を使用するワークロードは、他のwi...
既知の問題 Deepseek-V4-Proは GB300 ディサグセットで接続できますDeepSeek-R1 NVFP4マルチGPU (PP4 + MTP) は実行中にMPIワーカー出口でクラッシュする (GB300で見られる).DeepSeek-V3-Lite BF16 + Chunked Prefill (Pythonスケジューラー) は、停止/完了に失敗する可能性があります。Qwen MoEのマルチ-LoRA (ルーティングされた専門家、異なったランク、熱心な) は、サンプリング中に失敗する可能性があります。Gemma3-1B FP8は、火花でプリクォンティ化されています。 コンパイルは失敗します。..
知られている問題 pyTorch コンパイルバックエンドで torch.compile がクラッシュする 数々のマルチ-GPU 正確性経路は、torch_compile=True (例えばDeepSeek-V3-Lite bf16/FP8/NVFP4; Llama-3.1-8B-Instruct FP8 with FlashInfer) について説明している。解決法:影響を受ける設定のtorch.compileを無効にする DeepSeek-V3.2 FP8 H200 のブロックスケール OOM.test_fp8_blockscaleの設定は DGX H200 u で OOM することができます。..
Deprecation Notices AutoDeploy バックエンドは廃止されています。早期モデルサポートは TensorRT LLM の多くのユーザーにとって重要な優先事項であり、PyTorch バックエンドにおける機能モデルサポートへの時間を改善するための代理方法に取り組んでいます。初期の指標として、これはモデルリリースの最初の週内に Minimax M3 機能サポートをリリースするために使用されました。既知の問題 深く探す。..
このRCバージョンは TensorRT バックエンドをサポートする最後のバージョンになります 次のバージョンでは TensorRT バックエンドは削除されます!既知の問題 DeepSeek V3/V3.2 は、違法なメモリアクセスでクラッシュしたり、ウォームアップ中にストップしたりします。Qwen3ファミリーモデルの自動調節は"断言失敗: cutlass TMA WS グループ化 gemm を初期化できなかった"とクラッシュする可能性があります。 API TeaCache係数 (#13170) BR を設定する API を追加します。..
既知の問題 Llama 3.1 8B FP8は、GB200のオートチューナーウォームアップ中にぶら下がります。モデルサポート サポート NVIDIA Wan2.2-T2V量子化チェックポイント (#15093) ステップ-3.7 NVFP4とポートステップ-3.7VLのビジョンタワーをTRT-LLMモジュール (#14926) に MTPを有効にする PyTorch バックエンド (#13919) の T5 と BART をサポートする PyTorch バックエンド (#15292) の MiniMax-M3 をサポートする API VisualGen をアライナイン VisualGen を用いてスキーマの要求を。..
既知の問題 DSV3.2 は、CuteDSL MoE バックエンドを使用すると、GB200/GB300 の様々な長時間パーフテストで IMA とクラッシュします。この問題を回避するために 別の MoE バックエンドを使用しますモデルサポート ホッパー (#14775) のネモトロン-H NVFP4チェックポイントをサポート Qwen画像サポート (#13449) サポートステップ-3.7-フラッシュモデル (#14711) コスモス3-ナノとコスモス3-スーパーサポート (#14824) を追加 AFMoE トリニティサポート。..
認識された問題点 ディープ検索 V3.2 は、様々なagg/disagg コンフィギュレーションで長時間実行されたパフォーマンステスト中に違法なメモリアクセスでクラッシュします。モデルサポート モットワールドモデルサポートを追加 (#14012) MiniMax-M2 (#14314) のマルチノードテンソール並行性を有効にする Mistral Large 3 テキスト専用プロセッサ (#14248) の復元 Gemma4 マルチヘッド_ディムプールとSWA トリトンカーンのホストサイドスライス。..
Yiteng Niu 6831097+niukuo@users.noreply.github.comによって署名されました
ハイライト モデルサポート ネイティブビジョンとオーディオタワー (#14300) を備えたGemma4マルチモダルのサポートを追加 Qwen3.5 MTPとQwen3.6-27B-FP8モデルサポート (#12646, #14359) EXAONE-4.5とLagunaモデルサポート (#12873, #13559) DeepSeek,NemotronH, Qwen3, Qwen3.5-MoEをシャードリングIRカノンモデル (#13478) に切り替える API リファクタ VisualGenArgs APIとレジストリ (#14175) sink_token_length を。..
ハイライト モデルサポート テキスト、ビジュアル、オーディオ、チャンクドプレフィール機能 (#12932, #14134) を備えた Gemma4 マルチモダルモデルサポートを追加 キミ K2.5 マルチモダルビジョンサポートと推理解析器統合 (#12788, #13801) GPT-OSS, Ministral3, Nemotron-H, Nemotron Nano,および DeepSeek モデル有効化および互換性更新 (#12743, #12884, #13844, #13977) を追加 DeepSeek V4と DeepSeek...
ハイライト モデルサポート Qwen3.5 と Nemotron Super V3 (#12185) を含むMambaハイブリッドモデルのためのプレフィックスキャッシングを追加する カスタムMOEルーティングと密度とNVFP4重量ロード修正 (#13433, #13090, #13716) と Qwen3.5サポートを改善する GEMMチューニングとマルチモダルプレイスホルダー拡張 (#13160, #13069) と Nemotron Nanoサポートを改善する 2.2 Wan 5B TI2Vサポートを追加し、LTX-2 FP4ステージを精製する。..
ハイライト モデルサポート ネモトロン3 ナノオムニのサポートと初期最適化; ビデオからオーディオとビデオのためのチャンクドプレフィールに関する既知の問題 ビデオからオーディオ抽出を追加し、ViT注意を最適化し、ネモトロンとネモトロンナノVLモデル (#12921, #12911, #13283) の初期化メモリを削減する モデルごとに VisualGen 例スクリプトを追加し、共有コンフィギュレーション、モデルごとに def ...
[None][feat] 会話ルーター統合テストを追加し、フィンを改善。..