Skip to content

v0.1.0 — manzai-studio

Choose a tag to compare

@abePclWaseda abePclWaseda released this 25 Jun 06:46

漫才台本から映像付きネタ動画を作るパイプラインの最初の公開版。

できること

  • 台本JSON → ElevenLabs v3 で話者別TTS → 間/かぶせ/ダッキングを反映して結合
  • 2人ツーショットの参照画像+話者別ステムを LongCat-Video-Avatar-1.5(multi-audio)に渡し、
    話者ごとにリップシンクした掛け合い動画を1本で生成

デモ(添付動画)

  • manzai_manjaro_480p.mp4 … 自作ネタ「マンジャロ」を架空2人の合成写真で生成(480p/132秒)
  • manzai_manjaro_480p_audience.mp4 … 同・笑い声/拍手入り

台本・音声・参照画像はすべてオリジナル/合成で、実在人物の肖像・声・既存ネタは含みません。

既知の弱点

長時間生成での顔の identity ドリフト / 左下のウォーターマーク幻影 / 極端な同時発話下でのリップシンク不安定。

ライセンス

コードは Apache-2.0。外部モデル/サービス(ElevenLabs / LongCat-Video-Avatar / Whisper 等)は各規約に従うこと。