Skip to content

TexMotion v1.1.0

Choose a tag to compare

View all tags
@k0ta0uchi k0ta0uchi released this 15 Sep 02:39
· 24 commits to main since this release
v1.1.0
b0b8ecf

TexMotion v1.1.0 Release Notes

日本語 (Japanese)

1. MediaPipe による動画からの 3次元姿勢抽出

映像ファイル（.mp4, .mov 等）に記録された人物の動作を推定し、Unity の Humanoid AnimationClip として書き出すパイプラインを実装した。

  • Python バックグラウンドプロセス連携: 標準入出力を介した JSON ストリーミング方式を採用し、Unity エディタのメインスレッドをブロックすることなく抽出処理を非同期実行する。
  • 時系列フィルタリングと逆運動学 (IK): 検出座標のノイズを低減する時間軸平滑化処理を施し、Humanoid 骨格の各関節回転角を IK 計算により導出する。

2. 動画と 3D アバターの同期並列プレビュー

抽出処理の妥当性を即座に評価できるよう、入力映像と 3D アバターの比較プレビュー画面を追加した。

  • 骨格オーバーレイ表示: 入力映像の上に MediaPipe の2次元骨格ランドマークをリアルタイム重畳描画し、トラッキング状況を可視化する。
  • 同期再生制御: 映像のフレーム進行と 3D アバターの再生位置を一致させ、ループ再生およびリセット操作に対応した。

3. 映像再生の安定化と保守性の向上

環境依存の警告や再生状態の不整合を修正した。

  • 色空間メタデータの整合: Windows Media Foundation における色化け警告を防ぐため、色空間メタデータを bt709 / yuv420p に統一した。
  • 再生ステート管理の修正: ループ再生の境界で発生していたフレームの飛びやプレビュー停止の不具合を修正した。
  • 自動エクスポート処理: バッチモードから .unitypackage を生成するコマンドを追加した。

English

1. 3D Video Pose Extraction via MediaPipe

Added a computer vision pipeline that extracts human movement from video files (.mp4, .mov) directly into Unity Humanoid AnimationClips:

  • Asynchronous Python Worker: Communicates via standard I/O streams using JSON protocols, preventing background extraction jobs from stalling the Unity Editor main thread.
  • Temporal Filtering & Inverse Kinematics: Dampens raw landmark noise through temporal smoothing filters and solves 3D humanoid joint rotations using dedicated IK algorithms.

2. Synchronized Video & 3D Avatar Preview

Introduced an inspection view to evaluate tracking quality against source footage side-by-side:

  • Skeletal Landmark Overlay: Renders 2D MediaPipe skeleton graphs directly onto the video frames to visualize landmark fidelity.
  • Synchronized Playback Controls: Coordinates video playback timing with 3D avatar animation state, supporting continuous looping and scrubbing resets.

3. Video Pipeline Stability & Maintenance

Resolved platform-specific encoding warnings and preview state desynchronization:

  • Color Space Normalization: Standardized video metadata headers to bt709 / yuv420p, eliminating color shift warnings inside Windows Media Foundation decoders.
  • Playback Loop Boundary Fixes: Fixed frame stalls and desynchronization occurring at animation loop boundaries.
  • Automated Package Exporter: Added batch-mode export utilities to streamline .unitypackage builds.

📦 Installation

Download TexMotion.unitypackage below and import it into your Unity project (Unity 2022.3.x recommended, VRChat Avatar project supported).
Or install directly via Unity Package Manager using Git URL:

https://github.com/k0ta0uchi/TexMotion.git
Assets 3
Loading