ムービージェン 1.1

MoviiGen 1.1は、ZuluVisionによって開発されたオープンソースのAIツールで、テキストから高品質のビデオを生成することに重点を置いています。720Pと1080Pの解像度をサポートし、特に映画のような視覚効果を必要とするプロのビデオ制作に適しています。MoviiGen1.1は、PyTorchフレームワークをベースとしたモデル重み付けと推論コードを提供しており、導入と使用が容易です。MoviiGen1.1は、PyTorchフレームワークをベースとしたモデル重み付けと推論コードを提供しており、導入が容易で使いやすく、オープンかつ高性能であるため、映画やテレビ番組の制作、広告、クリエイティブなコンテンツ生成など、幅広い用途の映像クリエイターや開発者に最適です。

機能一覧

• 720Pと1080Pの高解像度ビデオ生成をサポートし、1080Pとアスペクト比21:9（1920×832）は映画品質の結果を得るために推奨される。
• シーンや被写体、アクションを説明することで、高品質なビデオを生成するテキスト・トゥ・ビデオ機能を提供。
• Qwen2.5-7B-Instructをベースに微調整されたキューワードの拡張モデルを含み、テキスト説明の詳細と生成を改善。
• オープンソースのモデル重みと推論コードにより、ローカルでの展開とカスタマイズされた開発をサポート。
• 映画・テレビ制作、広告、クリエイティブ・コンテンツ制作のためのプロフェッショナル・レベルのビデオ生成をサポートします。
• FastVideoプラグインをサポートし、ビデオ生成のパフォーマンスを最適化。
• PyTorch 2.4.0以上と互換性があり、既存の開発環境に簡単に統合できます。

ヘルプの使用

設置プロセス

MoviiGen 1.1を使用するには、まず環境設定とモデルのインストールを完了する必要があります。以下はその詳細な手順である：

1. クローン倉庫
   ターミナルで以下のコマンドを実行し、MoviiGen 1.1のソースコードを取得します：

   git clone https://github.com/ZulutionAI/MoviiGen1.1.git
   cd MoviiGen1.1
   

2. 依存関係のインストール
   Python 3.10以降がシステムにインストールされ、PyTorch 2.4.0以降がインストールされていることを確認してください。以下のコマンドを実行して、依存関係をインストールします：

   pip install -r requirements.txt
   

   さらに、FastVideoプラグインは、FastVideoのGitHubページにある公式の説明書に従ってインストールする必要があります。

3. ダウンロードモデル
   MoviiGen 1.1モデルはHugging Faceでホストされています。を使用してください。 huggingface-cli モデルファイルをダウンロードする：

   pip install "huggingface_hub[cli]"
   huggingface-cli download ZuluVision/MoviiGen1.1 --local-dir ./MoviiGen1.1
   

   このモデルは、T2V-14B アーキテクチャをサポートし、ダウンロードして ./MoviiGen1.1 カタログ

4. 検証環境
   GPUハードウェアがサポートされていることを確認します（1080Pビデオでは20GB以上のビデオメモリを推奨）。PyTorchがGPUを正しく認識していることを確認します：

   python -c "import torch; print(torch.cuda.is_available())"
   

   輸出 True 環境設定に成功したことを示す。

使用方法

MoviiGen 1.1の中核的な機能は、テキストのキュー・ワードによってビデオを生成することです。以下に具体的な操作手順を示す：

1.基本的なビデオ生成

ユーザーは推論スクリプトを実行してビデオを生成することができます。コマンド例：

PYTHONPATH=. python scripts/inference/generate.py --ckpt_dir ./MoviiGen1.1 --prompt "一个穿红裙的女子在街头漫步，背景是繁忙的都市街道，阳光洒在地面，镜头缓慢移动，展现明亮色彩。"

• --ckpt_dirモデルファイルのパスを指定します。
• --promptシーン、被写体、アクション、美的スタイル、カメラの動きなど。

2.キューを使ったモデルの拡張

MoviiGen 1.1では、Qwen2.5-7B-Instruct fine-tuningに基づくキューワード拡張モデルを提供し、テキスト記述の詳細を強化します。この機能を有効にします：

PYTHONPATH=. python scripts/inference/generate.py --ckpt_dir ./MoviiGen1.1 --prompt "一个穿红裙的女子在街头漫步。" --use_prompt_extend --prompt_extend_model ZuluVision/MoviiGen1.1_Prompt_Rewriter

例えば、シーンの詳細や照明効果などを追加し、生成されたビデオの品質を向上させる。

3.推奨プロンプト形式

最良の結果を得るためには、プロンプトには以下の要素を含める必要がある：

• シーンの説明例えば、「煙が充満し、ブラインドが鋭い影を落とす刑事室」。
• 主部疲れた刑事はテーブルの後ろに座っていた。
• ムーブメントタバコに火をつけて、煙を一服吐き出す」というように。
• 美的様式例えば、「モノクロのハイコントラスト、1940年代のフィルム・ノワール風」。
• カメラシフト静止したミディアムショットで、刑事にピントを合わせる」というように。
  プロンプトの例文

ブラインドが鋭い影を落とす煙の充満した刑事室で、疲れた刑事が机の後ろに座り、煙草に火をつけて煙を吐いている。カメラは静止したミディアムショットで、刑事に焦点を合わせ、憂鬱な雰囲気を作り出している。

4.出力設定

• 解像デフォルトでは720Pと1080Pがサポートされており、映画品質の結果を得るには1080P（1920×832）を推奨します。
• 生成時間1080Pのビデオを生成するには時間がかかるので、高性能GPU（例：RTX 4090、20GB RAM）を推奨します。
• 出力パス生成されたビデオはデフォルトで ./MoviiGen1.1/output ディレクトリを指定することもできるが、推論スクリプトで他のパスを指定することもできる。

5.パフォーマンスの最適化

• FastVideo プラグインFastVideoのマニュアルを参照してください。
• ビデオメモリの最適化ビデオメモリが不足する場合は、720Pのビデオを生成してメモリ使用量を減らしてください。
• バッチファイル複数のキュー・ワードの一括生成や、複数のキュー・ワードをループする推論スクリプトの修正に対応。

ほら

• モデルと依存関係をダウンロードするために、安定したインターネット接続を確保してください。
• 高解像度ビデオ生成には高いハードウェア要件があり、高性能GPUが推奨される。
• プロンプトの言葉の質は、生成結果に直接影響するので、もっといろいろな記述スタイルを試すことをお勧めする。
• GitHubのリポジトリを定期的にチェックし、最新のモデルやコードに更新してください。

アプリケーションシナリオ

1. 映画・テレビ制作
   MoviiGen 1.1は、映画の予告編、ショートフィルム、シーンクリップの生成に適しています。プロフェッショナルな照明効果と詳細なテキスト説明を備えたビデオを素早く生成でき、従来の撮影コストを削減できます。
2. クリエイティブ広告
   広告チームは、MoviiGen 1.1を使用して、製品のプロモーションビデオを作成することができます。例えば、ブランド製品を説明するシーンやアクションを入力することで、高品質な広告素材を素早く生成し、制作時間を短縮することができます。
3. ゲーム開発
   ゲーム開発者は、MoviiGen 1.1を使用して、ゲームのシナリオのニーズに合わせて高解像度とカスタマイズされたスタイルをサポートする、アニメーション化されたトランジションや環境背景ビデオを生成することができます。
4. 教育とトレーニング
   教育者は、歴史的な情景や科学的な実験を動画で見せる教育ビデオを作成し、コンテンツの魅力と直感性を高めることができる。

品質保証

1. MoviiGen 1.1は無料ですか？
   はい、MoviiGen 1.1はオープンソースのツールで、モデルの重みと推論コードはGitHubとHugging Faceからユーザーが自由にダウンロードして使うことができます。
2. 1080Pビデオを生成するために必要なハードウェアは？
   少なくとも20GBのビデオメモリを搭載したGPU（NVIDIA RTX 4090など）を推奨します。それ以下の構成でも720Pビデオを生成できますが、GPUのサポートが必要です。
3. 生成されたビデオの品質を最適化するには？
   シーン、主題、アクション、スタイルの説明で詳細なキュー・ワードを使用する。キュー拡張モデルを有効にして、ディテールをさらに強化する。最良の結果を得るために、ハードウェアが1080P生成に対応していることを確認してください。
4. WindowsとLinuxはサポートされていますか？
   はい、MoviiGen 1.1はWindowsとLinuxでサポートされており、Python 3.10+とPyTorch 2.4.0+がインストールされていれば動作します。
5. ビデオの作成にはどれくらいの時間がかかりますか？
   ハードウェアと解像度によりますが、1080pビデオは数分から数時間かかります。高性能GPUとFastVideoプラグインを使えば、時間を短縮できます。