mtmd: minicpmv46ダウンサンプルを追加 (#25993) minicpmv46ダウンサンプルを追加 gguf内のダウンサンプルのモードを入力します。署名終了:tc-mb tianchi_cai@icloud.com 作成 mtmd_image_preprocessor_llava_uhd 署名終了:tc-mb tianchi_cai@icloud.com 修正コード 署名終了:tc-mb tianchi_cai@icloud.com 追加変換 署名終了:tc-mb tianchi_cai@icloud.com 追加 4x vit 無視 m...
chat : DS4 (#26269) のための思考ツール呼び出しを有効にする ウェブサイト: https://llama.app macOS/iOS: macOS アップル シリコン (arm64) macOS アップル シリコン (arm64, KleidiAI有効) DISABLED macOS インテル (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16...
vulkan: add POOL_1D op (#25431) vulkan: pool1dプッシュコンスタンツとパイプラインフィールドを追加する既存の pool2d shader をミラーする Vulkan バックエンド用の pool1d.comp を追加しました。volkan: GGML_OP_POOL_1Dのサポートを追加 パイプラインの作成と操作の管理
vulkan: Windows Intel GPU のドライバーバージョンチェックを導入してクラッシュを軽減 (#25192) Intel Crash のクラッシュガードを削除してドライバ 32.0.101.8860 から修正 Windows のドライバーバージョンチェックを追加してドライバから変換するバージョンの変更 文字列ではなく署名したリファクタを使用する必要はありません Xe2+ 以外の GPU を許可します 機能ボディ位置を調整しました ウェブサイト: https://llama.app macOS/iOS: macOS Apple Silicon...
mtmd: add n_embd_head (#26342) 共著者: Daniel Han unslothai@gmail.com ウェブサイト: https://llama.app macOS/iOS: macOS アップル シリコン (arm64) macOS アップル シリコン (arm64, KleidiAI有効) ディSABLED macOS インテル (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP...
支持回転kvキャッシュ量 (#26180) ウェブサイト: https://llama.app macOS/iOS: macOS アップル シリコン (arm64) macOS アップル シリコン (arm64, KleidiAI有効) ディSABLED macOS インテル (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Android: アン。..
llama: MTPテンザーを実際に使用している場合にのみロードする (#26296) llama: MTPテンザーを実際に使用している場合にのみロードする llama: MTPを (使用していない場合) MTPをサポートする残りのモデルでロードするのをスキップする Co-authored-by: Stanisław Szymczyk sszymczy@gmail.com ウェブサイト: https://llama.app macOS/iOS: macOS Apple シリコン (arm64) macOS Apple シリコン (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramewor...
vulkan: vulkan sdk を 1.4.357.0 (#26303) に更新 ウェブサイト: https://llama.app macOS/iOS: macOS アップル シリコン (arm64) macOS アップル シリコン (arm64, KleidiAI有効) DISABLED macOS インテル (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) x64 (SYCL FP16) そして。..
サーバー: 必要なときに承認されたトークンを修正 ドラフトトークン再プレイ (#26320) 仕様: 必要なときに承認されたトークンを修正 ドラフトトークン再プレイ コント : 命名 共同著者: Georgi Gerganov ggerganov@gmail.com ウェブサイト: https://llama.app macOS/iOS: macOS Apple シリコン (arm64) macOS Apple シリコン (arm64, KleidiAI有効) 障害 macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) arm64 (CPU) Ubuntu...
cuda: __byte_perm (#25603) を使って Q2_0 要素を抽出する ウェブサイト: https://llama.app macOS/iOS: macOS アップル シリコン (arm64) macOS アップル シリコン (arm64, KleidiAI有効) ディSABLED macOS インテル (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16...
SYCL: XMX加速プロンプトプロ。.. (#25025) SYCL: XMX加速プロンプトプロセンシング fattn-mklのために oneMKL GEMMフラッシュ注意を追加する: カーネルを正規化する中でインターリーブド dstレイアウトを修正する Fix mkl_fa_normalize_head: TILEのフラッシュ_attn_combine_resultsにマッチするインターリーブド dstレイアウト ((クエリ * n_q_heads + head) * DV) を使用する。前回 密集型ヘッド・メジャー・レイアウトを使いました
[SYCL] cpy (#26005) の見落としたタイプをサポートします。 cpy の見落としたタイプをサポートします。 正確な機能 rm 未使用コードを使用します。 ウェブサイト: https://llama.app macOS/iOS: macOS Apple シリコン (arm64) macOS Apple シリコン (arm64, KleidiAI有効) ディSABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu...
llama: DeepSeek V4 のために同じKとVキャッシュタイプを強制する; Vキャッシュが量子化されている場合、FAを有効にする (#25871) llama: DeepSeek V4 のために同じKとVキャッシュタイプを強制する; Vキャッシュが量子化されている場合、FAを有効にする llama: MLAモデルのための同じKとVキャッシュタイプを強制する Co-authored-by: Stanisław Szymczyk sszymczy@gmail.com ウェブサイト: https://llama.app macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon...
ggml-zendnn : group matmul mul_mat_id (#25918) の直接API ggml-zendnn : group matmul mul_mat_id の直接API ggml-zendnn : scale MUL_MAT_ID fallback threshold by expert count ウェブサイト: https://llama.app macOS/iOS: macOS アップル シリコン (arm64) macOS アップル シリコン (arm64, KleidiAI有効) ディSABLED macOS インテル (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x6...
sycl: support dev2dev memcpy by DEV2DEV_MEMCPY_FORWARD (#26234) 共著者: Neo Zhang Jianyu jianyu.zhang@intel.com ウェブサイト: https://llama.app macOS/iOS: macOS アップル シリコン (arm64) macOS アップル シリコン (arm64, KleidiAI有効) ディSABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2...
[SYCL] サポート q2 mul_mat (#26231) サポート q2_0 in mul_mat サポート より多くの q2_0 ケース ウェブサイト: https://llama.app macOS/iOS: macOS アップル シリコン (arm64) macOS アップル シリコン (arm64, KleidiAI有効) ディSABLED macOS インテル (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYC...
sycl: fuse RMS_NORM + MUL (#26015) ウェブサイト: https://llama.app macOS/iOS: macOS アップル シリコン (arm64) macOS アップル シリコン (arm64, KleidiAI有効) DISABLED macOS インテル (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) x64 (SYCL FP16) Android: Ubuntu...
ggml-webgpu: 長文脈 (#25956) で量子化KVのためのflash_attn_vecを改善v型チェックといくつかのコメントを修正 editorconfigチェックパスをリバースしたビルドエラーを修正 ウェブサイト: https://llama.app macOS/iOS: macOS Apple シリコン (arm64) macOS Apple シリコン (arm64,KleidiAI有効) 障害 macOS Intel (x64) iOS XCFramework Lin...
サーバー: 次のトークンを生成するimp embdをサポートする (#26313) サーバー: サンプルトークン修正のembdをサポートする ~server_batch() ウェブサイト: https://llama.app macOS/iOS: macOS アップル シリコン (arm64) macOS アップル シリコン (arm64, KleidiAI有効) 障害 macOS インテル (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubu...
mtmd: add lanczos サイズ変更方法 [リリースなし] (#26341)
vulkan: 量子化コンキャット (#25684) をサポートするウェブサイト: https://llama.app macOS/iOS: macOS Apple シリコン (arm64) macOS Apple シリコン (arm64, KleidiAI有効) DISABLED macOS インテル (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Android:...
代替 conv レイアウト (#25617) のテストサポート boole cwhn = true to conv_2d テストケースを追加 グラフ構築時にレイアウトチェックを追加 CPU バックエンドの conv2d.cu カーネルのレイアウトチェックを拡張 新しいグラフ bui を導入することでテスト失敗を防ぐために隣接して保存する必要があります。
llama-context : embd_seq (#25676) をクリアする前に待ちに待ったアシンクコピーを同期する ウェブサイト: https://llama.app macOS/iOS: macOS Apple シリコン (arm64) macOS Apple シリコン (arm64, KleidiAI有効) ディSABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32...
テスト: get-model.cpp を何度も構築するのを避ける (#26317) テスト: get-model.cpp を削除するテスト: 量子型選択を修正する ウェブサイト: https://llama.app macOS/iOS: macOS Apple シリコン (arm64) macOS Apple シリコン (arm64, KleidiAI有効) 障害 macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2)...
ggml-cuda: トランスポーズフリー gemmv 計算を許可する (#26171) マトリックスの重さは 1xK の形になっているとき、mat_mul_vec_f を使用するトランスポーズフリー計算を活用する。ウェブサイト: https://llama.app macOS/iOS: macOS アップル シリコン (arm64) macOS アップル シリコン (arm64, KleidiAI有効) ディSABLED macOS インテル (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubun...
シンクロ: ggml ウェブサイト: https://llama.app macOS/iOS: macOS アップル シリコン (arm64) macOS アップル シリコン (arm64, KleidiAI有効) DISABLED macOS インテル (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Android: Android arm64 (CPU) Windows: W...
M3グラフからカスタムCPU opを削除し、ストックops (#26297) を用いて表示するウェブサイト: https://llama.app macOS/iOS: macOS Apple シリコン (arm64) macOS Apple シリコン (arm64, KleidiAI有効) ディSABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ub...
メタル:メモリを解除するメタル:モデルがGPU操作なしで解放された場合のメモリ漏れを修正する メタル:レジデンスセットを使用する場合にのみデミーワークを実行する メタル: #if定義されたメタルでウラップ機能: システム全体のワイヤレスメモリを測定する テストメタル:常に回帰テストを構築する 共著者: YiChen Lv 63285796+forforever73@users.noreply.github.com 共著。..
ggml : kleidiai ci と stringop 溢出警告 (#26277) の問題修正 署名: Jonathan Clohessy Jonathan.Clohessy@arm.com ウェブサイト: https://llama.app macOS/iOS: macOS アップル シリコン (arm64) macOS アップル シリコン (arm64, KleidiAI有効) 障害 macOS インテル (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x6...
mimo2: アドレス MTPレビューフィードバック (#26228) 共著者: tnhnyc 115956684+tnhnyc@users.noreply.github.com ウェブサイト: https://llama.app macOS/iOS: macOS アップル シリコン (arm64) macOS アップル シリコン (arm64, KleidiAI有効) 障害 macOS インテル (x64) iOS XFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) x64 (ROCm 7.2) Ubuntu x64...