Skip to content

Releases: yutoAb/manzai-studio

v0.2.0 — お題→漫才動画

Choose a tag to compare

@abePclWaseda abePclWaseda released this 27 Jun 13:24

お題1語から、漫才動画が丸ごと出てくるようになりました。

新機能

  • scripts/generate_script.py … お題(例: クラウド)→ 漫才台本JSONを自動生成
    (ミルクボーイ型「名前当て×二重三重の意味」テンプレ、要 ANTHROPIC_API_KEY)
  • make_duo_video.py に冒頭の登場拍手を追加
  • 既定ボイスをプロ・ライブラリの漫才向け音(明るめ)に更新

パイプライン

お題 → 台本生成(LLM) → TTS(ElevenLabs v3) → 間/かぶせ/ダッキング → 2話者同時リップシンク(LongCat)

デモ(添付)

  • manzai_cloud_stage_bow_480p.mp4 … お題「クラウド」/ M-1風ステージ / 冒頭・締めの拍手 / 締めの会釈
  • manzai_cloud_480p.mp4 … 同ネタ・白背景(リップシンク精度の確認用)

台本・音声・参照画像はすべてオリジナル/合成。実在人物の肖像・声・既存ネタは含みません。

ライセンス

コードは Apache-2.0。外部モデル/サービス(ElevenLabs / LongCat-Video-Avatar / Whisper 等)は各規約に従うこと。

v0.1.0 — manzai-studio

Choose a tag to compare

@abePclWaseda abePclWaseda released this 25 Jun 06:46

漫才台本から映像付きネタ動画を作るパイプラインの最初の公開版。

できること

  • 台本JSON → ElevenLabs v3 で話者別TTS → 間/かぶせ/ダッキングを反映して結合
  • 2人ツーショットの参照画像+話者別ステムを LongCat-Video-Avatar-1.5(multi-audio)に渡し、
    話者ごとにリップシンクした掛け合い動画を1本で生成

デモ(添付動画)

  • manzai_manjaro_480p.mp4 … 自作ネタ「マンジャロ」を架空2人の合成写真で生成(480p/132秒)
  • manzai_manjaro_480p_audience.mp4 … 同・笑い声/拍手入り

台本・音声・参照画像はすべてオリジナル/合成で、実在人物の肖像・声・既存ネタは含みません。

既知の弱点

長時間生成での顔の identity ドリフト / 左下のウォーターマーク幻影 / 極端な同時発話下でのリップシンク不安定。

ライセンス

コードは Apache-2.0。外部モデル/サービス(ElevenLabs / LongCat-Video-Avatar / Whisper 等)は各規約に従うこと。