Seedance 2.0 Mini 参照生成動画
doubao/seedance-2.0-mini/reference-to-video
Seedance 2.0 Mini Reference-to-Video(リファレンス画像指定動画生成)は、ByteDance(バイトダンス)が開発した、シネマティックなマルチショット動画の作成に最適な、高速かつ低コストな動画生成モデルです。参考画像とテキストプロンプトを高度に融合させ、ストーリー性豊かな動画セグメントを生成します。AIによる柔軟なカメラワーク制御に対応しているだけでなく、異なるシーン間でのキャラクターの同一性を維持するという課題もクリアしています。480Pから4Kまでのマルチ解像度出力、4〜15秒の動画長、そして自由なアスペクト比をサポート。すぐに使えるREST推論APIが提供されており、コールドスタートなしの圧倒的なパフォーマンスを圧倒的なコストパフォーマンスで実現します。
サンプル
パラメータ
| 名前 | 型 | 既定 | 制約 | 説明 |
|---|---|---|---|---|
| prompt *プロンプト | textarea | — | ≤ 5000 chars | 動画のシーン、動き、カメラモーション、雰囲気を説明してください。 |
| images参考画像 | image_upload | — | image/* · 0–9 items | ビジュアルスタイル、キャラクター、またはシーン構図を誘導するための参考画像 URL。 |
| videos参考動画 | video_upload_group | — | video/* · 0–3 items | 参考動画 URL(合計の長さは 15 秒を超えない必要があります)。 |
| audios参考音声 | audio_upload_group | — | audio/* · 0–3 items | 参考音声 URL(合計の長さは 15 秒を超えない必要があります)。 |
| ratioアスペクト比 | select | 16:9 | 16:9 | 9:16 | 4:3 | 3:4 | 1:1 | 21:9 | 生成される動画のアスペクト比です。 |
| resolution解像度 | select | 720p | 480p | 720p | 出力動画の解像度です。 |
| duration長さ | slider | 5 | 4 ~ 15 · step 1 | 生成される動画の長さ(秒、4〜15 秒)。 |
| generate_audio音声を生成 | boolean | true | — | 出力動画に同期したネイティブ音声を生成するかどうかを指定します。デフォルトは true です。 |
| enable_web_searchWeb 検索を有効化 | boolean | false | — | リアルタイム情報の取得のために Web 検索を有効にします。 |
| return_last_frame生成された動画の最後のフレーム画像を返します | boolean | — | — | 生成された動画の最後のフレームを返す必要があるでしょうか? |
API
統一 REST API でこのモデルを呼び出せます。API Keys ページでキーを取得してください。
cURL
# 1) Submit — returns { "task_uuid": "..." }
curl -X POST "https://www.namifusion.com/api/v1/marketplace/run/doubao/seedance-2.0-mini/reference-to-video" \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"input": {
"prompt": "A cinematic portrait, dramatic rim light, shallow depth of field",
"ratio": "16:9",
"resolution": "720p",
"duration": 5,
"generate_audio": true,
"enable_web_search": false
}
}'
# 2) Poll until status is "completed", then read the output URLs
curl "https://www.namifusion.com/api/v1/marketplace/run/tasks/TASK_UUID" \
-H "Authorization: Bearer YOUR_API_KEY"Python
import time, requests
API_KEY = "YOUR_API_KEY"
HEADERS = {"Authorization": f"Bearer {API_KEY}"}
# 1) Submit
resp = requests.post(
"https://www.namifusion.com/api/v1/marketplace/run/doubao/seedance-2.0-mini/reference-to-video",
headers=HEADERS,
json={
"input": {
"prompt": "A cinematic portrait, dramatic rim light, shallow depth of field",
"ratio": "16:9",
"resolution": "720p",
"duration": 5,
"generate_audio": True,
"enable_web_search": False
}
},
)
resp.raise_for_status() # 401/402/429/5xx stop here instead of polling a bad task
task = resp.json()
# 2) Poll until a terminal state (completed / failed / cancelled).
# This model is allowed up to 300s server-side.
deadline = time.time() + 360
while task.get("status") not in ("completed", "failed", "cancelled"):
if time.time() > deadline:
raise TimeoutError(f"still {task.get('status')} — keep the task_uuid and poll later")
time.sleep(3)
poll = requests.get(f"https://www.namifusion.com/api/v1/marketplace/run/tasks/{task['task_uuid']}", headers=HEADERS)
poll.raise_for_status()
task = poll.json()
print(task["status"], task.get("output"))JavaScript
const API_KEY = "YOUR_API_KEY";
const HEADERS = { Authorization: `Bearer ${API_KEY}` };
// 1) Submit
const resp = await fetch("https://www.namifusion.com/api/v1/marketplace/run/doubao/seedance-2.0-mini/reference-to-video", {
method: "POST",
headers: { ...HEADERS, "Content-Type": "application/json" },
body: JSON.stringify({
"input": {
"prompt": "A cinematic portrait, dramatic rim light, shallow depth of field",
"ratio": "16:9",
"resolution": "720p",
"duration": 5,
"generate_audio": true,
"enable_web_search": false
}
}),
});
if (!resp.ok) throw new Error(`submit failed: ${resp.status} ${await resp.text()}`);
let task = await resp.json();
// 2) Poll until a terminal state (completed / failed / cancelled).
// This model is allowed up to 300s server-side.
const deadline = Date.now() + 360 * 1000;
while (!["completed", "failed", "cancelled"].includes(task.status)) {
if (Date.now() > deadline) throw new Error(`still ${task.status} — keep the task_uuid and poll later`);
await new Promise((r) => setTimeout(r, 3000));
const poll = await fetch(`https://www.namifusion.com/api/v1/marketplace/run/tasks/${task.task_uuid}`, { headers: HEADERS });
if (!poll.ok) throw new Error(`poll failed: ${poll.status}`);
task = await poll.json();
}
console.log(task.status, task.output);ドキュメント
Doubao-Seedance 2.0 Mini (Reference-to-Video)
「プロダクションを一つのモデルに」:柔軟な動画リファレンスとマルチモーダル融合による精密なビデオ生成。
Seedance 2.0 Mini (Reference-to-Video)は、ByteDanceが提供する圧倒的なコストパフォーマンスを誇る次世代動画生成モデルです。革新的なマルチモーダル・レファレンス・システムにより、元動画をベースにした動画変換(動画入力あり)だけでなく、動画入力を省略してテキスト・画像・音声から動画を生成(動画入力なし)することも可能。キャラクター、カメラワーク、リズムをピクセル単位で柔軟に制御できます。
🚀 主な特徴
- 柔軟な入力ワークフロー: ビデオ生ビデオ(動画入力あり)と、通常のテキスト/画像生ビデオ(動画入力なし)の両方のモードを一つのモデルパイプラインでネイティブにサポート。
- マルチモーダル融合: 画像9枚+動画3本+音声3本(最大12素材)を同時入力可能。キャラクターの固定や複雑な動作・世界観の指定が容易です。
- ネイティブ音画同期: リップシンク(口パク)とリズム解析を内蔵。BGMのビートや音声に合わせて動画の動きを自動調整します。
- 卓越した物理演算: 流体、重力、複雑な動作をリアルにシミュレート。高速な生成スピードにより高頻度な試作・検証に最適。
- プロ級のカメラ制御: 自然言語で「ドリーイン」「パン」「ズーム」などの高度なカメラワークや照明の変化を指定可能。
🛠️ 技術仕様
| 項目 | 詳細 |
|---|---|
| モデルID | doubao/seedance-2.0-mini/reference-to-video |
| アーキテクチャ | Multi-modal Diffusion-Transformer (DiT) |
| 最大解像度 | 720P (コスト・速度最適化) |
| 動画の長さ | 4 - 15 秒 |
| アスペクト比 | 16:9, 9:16, 4:3, 3:4, 21:9, 1:1 |
| 入力モード | リファレンス動画 (任意), テキスト、画像 (最大9), 音声 (最大3) |
| 生成速度 | 1クリップあたり約20〜60秒 (Mini高速化) |
サンプルプロンプト
- パターンA(動画入力あり): 「@ReferenceVideo1 の動きとカメラワークを完全に維持し、背景とスタイルをネオンが輝くサイバーパンク風のアニメに変更。」
- パターンB(動画入力なし): 「@Image1 をキャラクターとして固定し、雨の夜の街を歩く動きを生成。@Audio1 のリズムに合わせて動画を展開。」
💰 料金プラン (火山エンジン API)
| サービスタイプ | 解像度 | ビデオ入力の有無 | 価格 |
|---|---|---|---|
| 動画生成 (動画参考) | 480p | ビデオ入力あり (Input Video) | $2.100 / 1M トークン |
| 動画生成 (動画参考) | 480p | ビデオ入力なし (No Input Video) | $3.500 / 1M トークン |
| 動画生成 (動画参考) | 720p | ビデオ入力あり (Input Video) | $2.100 / 1M トークン |
| 動画生成 (動画参考) | 720p | ビデオ入力なし (No Input Video) | $3.500 / 1M トークン |
💡 最適な活用シーン
- 動画スタイル変換 (V2V): 実写映像をアニメ調、3Dクレイアニメ、映画風などへ瞬時にコンバート。
- ハイスピードな試作・大量量産: 画質とコストのバランスに優れ、標準モデルの約半分のコストで数多くのバリエーションを迅速に検証可能。
- EC広告・SNS動画制作: 高価な機材なしで、TikTokやReels向けの商品プロモーションや、BGM・音声に同期したMV調のショート動画を作成。
関連モデル
xAI Grok Imagine Video v1.5 参照画像から動画
プロンプトと1-7枚の参照画像から1-15秒の動画を生成します。480pと720pに対応しています。
MiniMax H3 参照画像から動画生成
MiniMax H3 Reference to Video は、自然言語のプロンプトと画像・動画・音声を含むマルチモーダルな参照情報から、一貫性のある 2K 動画を生成します。被写体の一貫性、モーション、タイミング、ビジュアルスタイル、シーンの連続性をコントロールできます。すぐに使える REST 推論 API を提供し、高性能・コールドスタートなし・手頃な価格で利用できます。
Gemini Omni Flash 参照画像から動画生成 API
Gemini Omni Flash 参照画像から動画生成は、1枚以上の参照画像とテキストのプロンプトから、音声が同期した短い AI 動画を生成します。視覚的な一貫性を保ちながら、提供された参照内容に従ってガイド付きのマルチモーダル動画生成を行います。すぐに使える REST 推論 API、高性能、コールドスタートなし、手頃な価格。
Seedance 2.5 参照画像/動画から動画生成
Seedance 2.5の「リファレンス動画生成」機能は、ビジュアルの統一性を保つ究極のソリューションです。参考素材からアートスタイル、ライティング、構図の意図を正確に抽出。新しく生成される動画に完璧に融合させ、シリーズ作品を通して一貫した世界観を維持します。
Seedance 2.0 Fast reference-to-video
Seedance 2.0 Fast(Video-Edit)は、自然言語のプロンプトに基づいて入力動画をより高速かつ低コストで編集できます。ByteDance Seed の統合マルチモーダルアーキテクチャを基盤とし、被写体の同一性、構図、動きを保ちながら、指示に応じてライティング、スタイル、天候、環境、特定の要素を書き換えます。すぐに使える REST API、優れたパフォーマンス、コールドスタートなし、手頃な価格に対応しています。