Skip to content
ハッカソン公開用のリポジトリです。ビルド用の本体はReBone_v2 サブモジュールになります
Branch: master
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
ReBone_compose @ 9c8b824 compose用のリポジトリを追加 Oct 30, 2019
ReBone_v2 @ 5f6e9e2 デプロイ用のサブモジュールを更新しました Oct 30, 2019
Reboneframework @ 35979a2 サブモジュールをすべて更新 Oct 27, 2019
Reborn @ 5519e4e smoothvmdのsubmodule追加 Oct 27, 2019
docs Set theme jekyll-theme-cayman Oct 1, 2017
rebone-VC @ 41fb6bc VC用サブモジュール追加 Oct 26, 2019
rebone-vmdl @ cfb2dd4 vmdlのサブモジュール追加 Oct 26, 2019
.DS_Store image add Oct 27, 2019
.gitmodules
LICENSE Initial commit Oct 23, 2015
README.md readme微修正2 Oct 30, 2019
image.png image add Oct 27, 2019

README.md

ReBone〜美少女のBoneに生まれ変わる〜

デモ動画

Product Name

製品概要

エンターテイメント X Tech

動画をアップロードするだけ!誰でも簡単バ美肉体験!

背景(製品開発のきっかけ、課題等)

バーチャル美少女受肉、略してバ美肉。Vtuberが知られるようになってから、我々男性にとってバーチャル美少女になることは悲願でした。しかし、美少女の姿になっても声が変えられない、声を変えても出したい声にならない、そもそも機材が買えない等、美少女になるためのハードルは未だ高く険しいのです。我々はそんな状況を打破すべく、動画を送信するだけで声も姿も美少女になれるようなWEBサイトをつくりたいと考えました。

製品説明

このwebサイトにアップロードされた動画から人物を検知し、尚且つその動きをキャプチャーする。そのキャプチャーされたデータをMMDのモーションに反映する。また、動画から音を抽出し、任意(今回は女性)の声に変更する。その後、アップロードした動画と同じ動き、同じセリフを女性の声で喋るMMDが見れるwebサイトが表示される。 加えて、ユーザはそのMMDモデルを任意の方向から見ることが出来る。

1. 特長1:プラットフォームとしての特徴

  • ブラウザからアクセスするので、インストール不要&機種依存しにくい
  • 好きな角度から自分のMMD化した動きを閲覧できる

2. 特長2:画像処理

  • 動画を撮るだけで簡単に美少女(MMD)になれる
  • 特別な機材は必要なし!奥行きや回転まで自動で計算

3. 特長3:音声処理

  • 声まで女の子になれる
  • 好きな女の子の声を選べる

解決出来ること

環境構築などの手間いらずで、vtuber体験が出来る。 vtuber体験の敷居を下げる。

今後の展望

  • UIの改善(見やすさに加えてツイッター投稿などの機能追加)
  • モーションのクオリティ改善(今回1日かけて取り組んだが、改善できなかった)
  • 音声変換のクオリティ改善(今回は学習を2回しか試せなかった&データが少ない、汚い)
  • 音声変換のバリエーション増加(VOCALOIDなら学習データ作成が容易?)

開発内容・開発技術

活用した技術

API・データ

フレームワーク・ライブラリ・モジュール

  • Python3
  • Flask
  • three.js
  • OpenCV
  • python-tk
  • PyQt5
  • tensorflow

独自開発技術(Hack Dayで開発したもの)

2日間に開発した独自の機能・技術

  • カメラ、マイクからwebmを出力
  • Webカメラから映像、音声を分離し、サーバに送信
  • モデル表示ページに背景画像を表示できるようにした
  • smoothvmdを自分達用に改造し、システムに追加した(mmdがより滑らかな動きになるようにした)。
  • 機械学習モデルなど、3人のプロダクトを統合
You can’t perform that action at this time.