v1.2.2.post1
ディープスピードバージョンを修正
ディープスピードバージョンを修正
サービスを改善する。
バンプバージョン 1.2.1
LLaVA-1.6が外れた!LLaVA-1.5への追加スケーリングにより、LLaVA-1.6-34BはいくつかのベンチマークでGemini Proを上回る。4倍以上のピクセルを処理し、以前よりも多くのタスク/アプリケーションを実行できます。ブログの投稿を見て デモを見てください!モデル動物園でモデルが入手できます。トレーニング/評価データと脚本がすぐに来る
LLaVA-1.5の命令チューニング段階のLoRAをサポートするアップデート - フルモデルのフィントチューニングに比べられる性能、 GPU VRAMへの要求を軽減する。(ckpts/logs,脚本) 自分のデータを持ち込み LLaVA-1.5を自分の任務に 調整してください(説明書) Windows の基本サポート(指示) 修正: グラデント蓄積のトレーニング行動は 大量トレーニングと同じです新しいLOR...
このバージョンでは、LLaVA 1.5のベンチマークに関するトレーニングスクリプト、データ、評価スクリプトを公開します。今日LLaVAを焼いて!LLaVA-1.5は、オリジナルのLLaVAに簡単な変更を加えて11つのベンチマークでSoTAを達成し、すべての公開データを利用し、単一の8A100ノードで1日間でトレーニングを完了し、数十億規模のデータを使用するQwen-VL-Chatのような方法を上回ります。技術的な。..
🔥 LLaVA-1.5は出ました!このリリースでは、LLaVA-1.5モデルの推論と配給がサポートされています。来週には 基準値に関する 訓練・データ・評価・スクリプトを公開しますLLaVA-1.5は 11つのベンチマークで SoTA を達成し、オリジナルのLLaVAへの単純な変更だけで、すべての公開データを利用し、単一の 8-A100 ノードで 1 日間でトレーニングを完了し、Qwen-VL-Chatのような方法を上回ります。
モデル動物園を追加 最新のトレーニング構成でScienceQAのサポートを改善 文書の改善 文書の改善を継続しています文書が不透明だと 気付いたらお知らせください
LLaMA-2 サポートが追加されました LoRA サポートが完全に追加されましたモデルトレーニングをよりアクセス可能にするため、LoRAをベースにしたモデル重量セットを公開し、学術資源 (例えば、4x A6000s,または8x 3090s,CPUのオフロードを必要としない) 異なる言語モデル、ビジョンエンコーダー、およびより多くの交換を含む、大規模なマルチモダルのモデルを訓練するためのより汎用的な設計が間もなく登場します。