Seedance 2.0

Seedance 2.0の最も際立った機能の1つは、そのクワッドモーダル入力のサポートです。ユーザーは、テキスト、画像、ビデオクリップ、オーディオファイルを含む最大12の異なるアセットを単一の生成リクエストに組み合わせることができます。 最大9画像、3ビデオ（合計15秒）、および3オーディオファイルをアップロードします。それらを自由に組み合わせて、かつてない柔軟性でクリエイティブなビジョンを表現します。アップロードしたコンテンツからの動き、効果、カメラの動き、キャラクター、シーン、および音の参照を使用できます。 このクワッドモーダルアプローチにより、長いテキスト説明に依存する必要がなくなります。あなたが望むもの — ダンススタイル、カメラアングル、音楽的リズム — をモデルに見せることができ、それを元に従います。

Seedance 2.0は、明瞭な対話、同期された効果音、没入感のある音楽を自動的に生成するために映像と一緒に音声を生成します。Seedance 2.0のリップシンク機能は、音声がアクションとタイミングに一致することを保証し、効果音や音楽が物語のリズムに従うことで、ポストプロダクションの手間を省きます。 音声は、リップシンクのある同期した対話、環境音、音楽が物語のリズムに続いて生成されます。このネイティブオーディオできることにより、後から音声を追加する必要がなくなります。

顔、服装、視覚スタイルは、ビデオ全体でロックされています。キャラクターを一度定義するために参照画像をアップロードすると、モデルはすべてのシーンを通じてそれらを一貫して保持します。 Seedance 2.0は、マルチショットシーケンス全体で顔、服装、テキスト、シーン、視覚スタイルの完璧な一貫性を維持します。これがプロフェッショナルなクリエイターが選ぶ主な理由の1つです — シーケンスはランダムに組み立てられるのではなく、演出を受けているように感じられます。

便利な機能の1つは、カメラの動作を指定する能力です。パン、ティルト、ズーム、オービットなどのカメラの動き技術を示すことができ、シーンが提示される方法を自由に制御することができます — モデル自体が完全に決定するのではなく、狙った感じが得られます。 カメラの動作を一度定義すると、それはショット間で持続するため、シーケンスの途中で移動したりリセットされたりすることはありません。

Seedance 2.0は生成品質の重要な改善を提供します: 現実世界のルールに従って物体が落ちたり、衝突したり、相互作用したりする物理的な正確さ; 自然な動きと適切な慣性で流動的な動き; モデルが複雑なプロンプトを理解し実行する際の正確な指示の遵守。 モデルは、シンクロしたフィギュアスケートのような複雑さを処理し、キャラクターの物理的な信憑性を維持しつつ、機械的連結性を尊重します。重心移動、運動量保存、バランスダイナミクス、協調は、生成プロセスから正しく現れます。

ディフュージョントランスフォーマーアーキテクチャは、フレーム間の関係を追跡します。つまり、キャラクターは自分自身を保ちながら、環境は漂わず、動きはショット間でランダムにリセットされることはありません。これがプロフェッショナルなストーリーテリングにおいて多ショットアプローチが実現可能である理由です。 ワンテイクの連続ショット機能も同様に印象的です。実際には撮影できない複雑なカメラの動きやシーンのトランジションが、プロンプトを一つ用意すれば実現できます。

Seedance 2.0は画像からビデオへの生成をサポートし、静止画をビデオクリップに変換しつつオリジナルの構成やキャラクターのアイデンティティ、視覚スタイルを保持します。ビデオの参照機能を使用すると、既存のクリップをアップロードし、動きやスタイルの参照として活用し、モデルが新しいシーンのカメラワークやペース、動きを複製します。これにより、実際の映像をAI生成コンテンツに変換するための独自の強力なツールとなります。

新しいコンテンツの生成を超えて、Seedance 2.0にはネイティブなビデオ編集機能が含まれています。既存の映像でのキャラクターの置き換え、ビデオクリップの滑らかな拡張、異なるクリップを融合させるマルチクリップの融合がサポートされます。 特定のセグメントを変更したり、キャラクターを置き換えたり、シーンを延長したりすることができ、全体のビデオを再生成することなく行えます — 時間とクレジットを節約します。