TexMotion v1.4.1: Dance Groove Dynamics & Turnaround Fix

TexMotion v1.4.1 Release Notes

日本語 (Japanese)

1. 骨盤ヨー角の維持と180度ターンの正常化

腰振りの強調処理（ApplyHipSwayBoost）において、骨盤の回転角を一律に $\pm 45^\circ$ で制限していたため、背後を向く180度ターン動作が斜め前向き（$45^\circ$）に切り詰められる不具合が生じていた。本バージョンでは、骨盤全体の向き（ヨー角）を変更せず保持し、腰の左右移動から生じる微小な傾き（ロール軸、最大 $\pm 8^\circ$）のみを加算合成する構成に改めた。これにより、180度ターンの回転を維持したまま、左右の腰振りを誇張できる。

2. ダンスグルーヴダイナミクスと低重心スタンス（Stance Dip）

直立した棒立ち姿勢を解消するため、足の配置とリズムに連動する姿勢補正（ApplyDanceGrooveDynamics）を導入した。

• 開脚時の沈み込みと膝屈曲: 左右の足の距離（開脚幅）に比例して骨盤の高さを最大 7.5cm 下降させ、同時に膝関節を前方へ $4^\circ \sim 13^\circ$ 屈曲させることで、安定したダンサースタンスを形成する。
• ビートバウンスの増幅: 腰の上下動の振幅を 1.4倍 にスケールし、リズムに合わせた沈み込みと跳ね返りを際立たせる。
• 体幹の前傾姿勢: 脊椎（Spine/Chest）に $7.5^\circ$ の前傾バイアスを付与し、ストリートダンス特有の構え姿勢を再現する。
• 四肢の張り出し: 肩の外転を $6.5^\circ$、肘の外開きを $7.0^\circ$ 拡大し、体幹への腕の密着を防いでシルエットを強調する。
• Dance プリセットの追加: タイムラインのポリッシュパネルに、これらの設定を一括適用するプリセットボタンを追加した。

3. 接地・接触制約ソルバーとフットコンタクトトラック

足裏の滑り（フットスライディング）を抑止するため、接地判定と位置固定を担うソルバー（ContactConstraintSolver）を実装した。

• 接地判定と2-Bone IK固定: 各足の移動速度と床面からの高さを評価して接地状態を自動検出し、接地中は足首の位置を 2-Bone IK で床面に固定する。
• 跳躍期の維持: 跳躍や空中ステップの区間では床面吸着を解除し、元のモーションが持つ滞空高さを維持する。

4. 幾何モデルによる自己貫通およびPhysBone衝突の回避

手足の体幹へのめり込みと、ループ再生境界での急激な関節変化を防ぐ保護処理を追加した。

• 自己貫通回避ソルバー（PenetrationConstraintSolver）: 体幹と腕部を幾何モデル（カプセル・球体）として定義し、接触境界を越えた手足を外側へ押し戻す。
• PhysBone衝突検知（PhysBoneConflictDetector）: ループ再生の先頭と末尾における位置・角速度の急変を検出し、髪や衣装の PhysBone が反転・暴走するのを抑止する。

5. 欠損修復と表情プロファイル

遮蔽によって関節検出が途切れた区間の修復と、表情アニメーションの対応づけを拡充した。

• 運動学エルミート補間（Temporal Inpainting）: 検出が途切れたフレーム間を、欠損前後の速度ベクトルを維持した 3次エルミートスプラインおよび四元数球面線形補間（Slerp）で滑らかに接続する。
• 表情マッピングプロファイル（FaceMappingProfile）: 映像から抽出した表情データとアバターの BlendShape の対応関係を定義・保存する ScriptableObject とエディタを追加した。

---

English

1. Pelvis Yaw Preservation and 180-Degree Turnaround Fix

In previous versions, ApplyHipSwayBoost clamped the pelvis Euler rotation within $\pm 45^\circ$, which incorrectly restricted 180-degree turnaround maneuvers to a $45^\circ$ diagonal pose. This release preserves the global yaw orientation of the pelvis, applying only subtle roll tilts (up to $\pm 8^\circ$) derived from lateral hip displacement. Full 180-degree turnarounds now execute correctly while preserving amplified lateral hip dynamics.

2. Dance Groove Dynamics & Low-Center Stance Dip

To prevent stiff, upright postures during dance motions, ApplyDanceGrooveDynamics introduces rhythm- and footstep-responsive adjustments:

• Stance Dip & Knee Flexion: Lowers the pelvis by up to 7.5 cm in proportion to foot separation width while flexing the knees forward by $4^\circ \sim 13^\circ$, creating a grounded athletic dancer stance.
• Beat Bounce Boost: Scales vertical pelvis oscillation amplitude by 1.4x to accentuate rhythmic bobbing and rebound.
• Torso Street-Dance Lean: Applies a $7.5^\circ$ forward lean bias across the spine to reproduce urban dance posture.
• Arm & Elbow Flare: Expands shoulder abduction by $6.5^\circ$ and elbow outward flare by $7.0^\circ$, preventing limbs from collapsing against the torso.
• Dance Preset: Adds a one-click Dance preset button to the Timeline Polish Panel.

3. Contact Constraint Solver & Foot Contact Tracks

To eliminate foot sliding during grounded phases, ContactConstraintSolver introduces automated foot locking:

• Grounding Detection & 2-Bone IK Locking: Evaluates foot velocity and floor clearance to detect contact intervals, fixing the ankle position to the floor via 2-Bone IK throughout the contact window.
• Airborne Phase Preservation: Releases ground pinning during jumps and aerial steps to preserve original flight trajectories.

4. Geometric Self-Penetration & PhysBone Conflict Protection

Introduces collision mitigation and boundary safeguards:

• Penetration Constraint Solver: Represents the torso and upper limbs using bounding capsules and spheres, actively resolving limb penetration into the body.
• PhysBone Conflict Detector: Detects velocity and positional discontinuities at loop seams, preventing avatar hair and clothing PhysBones from whipping or inverting.

5. Temporal Inpainting & Facial Mapping Profile

Extends repair capabilities for tracking dropouts and facial tracking:

• Kinematic Hermite Inpainting: Reconstructs occluded tracking gaps using cubic Hermite splines and quaternion spherical linear interpolation (Slerp) aligned with boundary velocities.
• Face Mapping Profile: Adds a ScriptableObject profile system and custom inspector to map video-extracted facial landmarks to avatar BlendShapes.

---

📦 Installation

Download TexMotion.unitypackage below and import it into your Unity project (Unity 2022.3.x recommended, VRChat Avatar project supported).
Or install directly via Unity Package Manager using Git URL:

https://github.com/k0ta0uchi/TexMotion.git

TexMotion v1.4.0: 4-Tab Timeline Redesign, Stylized Polish & 3D Stage

TexMotion v1.4.0 Release Notes

日本語 (Japanese)

1. タイムラインエディタの4タブ構成化

タイムライン編集ウィンドウのインスペクターを、編集目的ごとに「ポーズ (Pose)」「修復 (Repair)」「タイミング (Timing)」「ポリッシュ (Polish)」の4つの独立したモジュールへ再編した。
ビューポート、タイムラインルーラー、インスペクターのスクロール領域を個別に分離し、画面解像度に応じたレイアウト調整を可能にした。また、全UI要素に日英両言語のツールチップとラベルを整備した。

2. 手付け風モーションポリッシュエンジン

AI生成や動画抽出で得られた均一なモーションに対し、アニメーションの手付け技法を数理的に反映するポリッシュエンジン（StylizedMotionPolisher）を実装した。

• タメ・ツメ強調 (Snap & Ease): 微動保持区間（Moving Hold）の検出とS字補間曲線による再配置により、緩急の差を増曲する。
• 可変コマ打ち (Anime Frame Stepping): 角速度の大きさに応じて1コマ打ち・2コマ打ち・3コマ打ちを自動的に切り替え、リミテッドアニメ特有のステップ感を付与する。
• キーフレーム削減 (Keyframe Decimator): $SO(3)$ 上の Ramer-Douglas-Peucker アルゴリズムを用いて回転変化の極値を抽出し、スプライン曲線を再構築する。
• 接地衝撃沈み込み (Landing Cushion & Bounce): 足裏の着地を検知した直後のフレームで骨盤を垂直方向に沈み込ませ、減衰振動曲線に沿って姿勢を復元する。
• 骨盤傾斜強調 (Contrapposto Booster): 軸足の荷重状態を判定し、骨盤のロール傾斜と胸郭の逆傾斜を連動して加算する。
• 四肢遅延しなり (Kinematic Drag): 運動連鎖に基づき、近位関節（肩・股関節）の運動位相に対して遠位関節（手首・足首）の回転位相をサブフレーム単位で遅延させる。
• 停止時反動 (Overshoot & Settling): 急停止時の角減速度から慣性運動を算出し、目標角度を一時的に越えてからスプリングダンパーモデルで収束させる。
• ポーズ誇張 (Pose Exaggeration): 基準ポーズからの角度変位量をスケーリングし、外郭シルエットの張り出しを強調する。
• 3D軌道円弧平滑化 (Trajectory Arc Smoother): 手足の先端位置が描く3次元軌道を時間軸上で平滑化し、2-Bone IK によって関節角度へ逆算反映する。
• ポリッシュプリセット: ⚡ Action（キレ重視）、🏋️ Weight（接地・重量感重視）、🍃 Subtle（微小調整）、Custom（個別パラメータ調整）の4構成を用意した。

3. 3DスタジオステージとHUDツールバー

プレビュー視認性を高めるため、ビューポート内に 3D スタジオ環境を追加した。

• ステージ背景とシャドウ: チェッカーグリッド床面、リアルタイム動的コンタクトシャドウ、深度遮蔽（Z-occlusion）を備えたステージ表示を導入した。
• 背景切り替え: HUD から Stage（ステージ）、Dark（暗背景）、Green（クロマキー合成用グリーンバック）を即座に切り替えられる。
• 自動接地プレビュー: アバターの最低足底位置を検出し、床面（$Y=0$）に吸着させて接地感を確認できる。
• フォーカス連動再生制御: Unity エディタが非アクティブになった際の自動一時停止と、再フォーカス時の再生復帰を処理する。

4. 高度姿勢修復とポーズパレット

トラッキング異常値の補正機能とポーズ流用機能を拡充した。

• 体幹めり込み防止リミッター: 腕部と体幹の相対角度を監視し、脇部や胸部へのめり込みを防ぐ最小角度制限を設けた。
• フットスライディング抑制: 地面接地時の足裏座標を固定し、2-Bone IK による位置保持を行う。
• 角速度スパイク修復: フレーム間の異常な角速度変化を検出し、隣接フレームからの四元数球面線形補間（Slerp）によって自動修復する。
• 8スロット・ポーズパレット: フレーム間のポーズを一時保持し、部位別マスクを指定して他フレームへ反映できる。

---

English

1. 4-Tab Inspector Workspace Redesign

Reorganized the Timeline Editor inspector into four task-oriented modules: Pose, Repair, Timing, and Polish.
The viewport, timeline ruler, and inspector panel now maintain independent scrollable regions, scaling cleanly across varying editor window dimensions. All UI controls include full bilingual (English/Japanese) tooltips and labels.

2. Stylized Hand-Keyed Motion Polish Engine

Introduced a procedural animation polish engine (StylizedMotionPolisher) that translates traditional hand-drawn keyframing principles into mathematical transforms:

• Snap & Ease: Emphasizes acceleration and deceleration profiles by combining moving-hold detection with S-curve temporal spacing.
• Anime Frame Stepping: Dynamically modulates update rates between 1s, 2s, and 3s holds based on angular velocity thresholds.
• Keyframe Decimator: Employs an $SO(3)$ Ramer-Douglas-Peucker algorithm to preserve rotational extrema while reconstructing clean spline curves.
• Landing Cushion & Bounce: Detects foot touchdown transitions to lower the pelvis, followed by damped harmonic oscillation back to nominal height.
• Contrapposto Booster: Determines the primary weight-bearing leg and synthesizes responsive pelvis roll tilts paired with reciprocal thoracic counter-tilts.
• Kinematic Drag: Offsets distal joint phases relative to proximal root transitions, simulating secondary mass and follow-through.
• Overshoot & Settling: Calculates inertial momentum upon abrupt deceleration, executing spring-damped oscillation around target orientations.
• Pose Exaggeration: Scales angular displacements from the neutral resting pose to amplify silhouette dynamic range.
• Trajectory Arc Smoother: Enforces clean spatial arcs on limb endpoints through temporal trajectory filtering solved via 2-Bone IK.
• One-Click Presets: Provides four baseline presets: ⚡ Action (crisp transitions), 🏋️ Weight (ground impact and mass), 🍃 Subtle (clean natural passes), and Custom.

3. 3D Studio Stage & HUD Controls

Integrated a studio environment into the preview viewport for precise spatial inspection:

• Stage Floor & Contact Shadows: Adds a checkerboard ground plane, real-time dynamic contact shadows, and depth occlusion.
• Background Modes: Allows instant toggling between Stage, Dark, and Chroma-key Green backgrounds directly from the HUD.
• Auto-Grounding Preview: Snaps the lowest foot point to floor height ($Y=0$) to evaluate posture grounding immediately.
• Focus-Aware Playback: Pauses playback automatically when Unity loses OS focus and resumes upon return.

4. Advanced Pose Repair & Pose Palette

Expanded targeted pose correction and reusability workflows:

• Torso Penetration Limiter: Constrains arm rotational ranges against the chest and ribcage to prevent clipping.
• Foot Sliding Clamp: Locks grounded foot coordinates and reconstructs leg chains via 2-Bone IK.
• Glitch & Spike Filter: Identifies discontinuous angular velocity spikes and repairs affected frames through quaternion spherical linear interpolation (Slerp).
• 8-Slot Pose Palette: Stores pose snapshots in memory for selective, body-part-masked application across target frames.

---

📦 Installation

Download TexMotion.unitypackage below and import it into your Unity project (Unity 2022.3.x recommended, VRChat Avatar project supported).
Or install directly via Unity Package Manager using Git URL:

https://github.com/k0ta0uchi/TexMotion.git

TexMotion v1.3.1: Timeline Apply Unification & Robust Avatar Setup

TexMotion v1.3.1 Release Notes

日本語 (Japanese)

1. タイムラインからのアバター反映パイプラインの統合

タイムラインエディタ内の「Apply to Avatar」処理をメインウィンドウの仕様と一致させ、設定とアセット生成の流れを統一した。

• UIテーマの統一: メインウィンドウと同じエメラルドグリーン（#33D973）の配色を適用し、操作状態を識別しやすくした。
• ターゲットアバターの自動検出: アバター参照欄が空の場合、現在選択中のオブジェクトまたはシーン内に存在する Humanoid アバターを自動探索して割り当てる。
• セットアップモードの連動: メイン設定で選択した方式（Modular Avatar または Direct VRCSDK）をタイムライン側へ即時同期する。Modular Avatar が未導入のプロジェクトでは、ワンクリック導入ダイアログを表示する。
• 生成オブジェクトの自動フォーカス: Modular Avatar 構成オブジェクトの生成直後に、ヒエラルキー上で該当オブジェクトをハイライト表示（Ping）し、選択状態にする。
• 出力パスの規格化とライブラリ更新: 生成されるアニメーションクリップの保存先を Assets/TexMotion/Generated/Anim_{motionName}.anim に固定し、保存完了と同時にモーションライブラリの表示一覧を自動更新する。

2. VRCSDK StateMachineBehaviour 登録時の例外抑止

Unity の内部実装により AnimatorState.AddStateMachineBehaviour が null を返却する環境において、後続処理が参照エラー（Non-static field requires a target）で停止する問題に対処した。

• インスタンス生成フォールバック: 戻り値が null の場合、ScriptableObject.CreateInstance を用いて直接ビヘイビアインスタンスを生成・割り当てるフォールバック機構を追加した。
• null ガードの強化: Action Layer の初期化シーケンスにおいて、ビヘイビア参照の安全性を事前検証する分岐を追加した。

---

English

1. Unified Avatar Application Pipeline in Timeline Editor

Standardized the "Apply to Avatar" workflow within the Timeline Editor to achieve behavioral and visual consistency with the main TexMotion window:

• Visual Alignment: Adopted the primary emerald green accent (#33D973) for avatar application controls to clarify interaction states.
• Automatic Avatar Detection: Resolves unassigned avatar targets by inspecting the active hierarchy selection and querying scene Humanoid components.
• Mode Synchronization: Synchronizes avatar setup preference (ModularAvatar vs. DirectVRCSDK) directly from project settings, prompting an installation dialog when Modular Avatar components are absent.
• Hierarchy Auto-Focus: Highlights (pings) and selects newly generated Modular Avatar game objects within the scene hierarchy immediately upon creation.
• Standardized Export Paths: Fixes generated animation clip destinations to Assets/TexMotion/Generated/Anim_{motionName}.anim and triggers an immediate refresh of the Motion Library index upon export.

2. Fault-Tolerant VRCSDK StateMachineBehaviour Binding

Addressed reference exceptions (Non-static field requires a target) occurring when Unity's internal AnimatorState.AddStateMachineBehaviour returns null in specific project configurations:

• ScriptableObject Fallback: Instantiates behavior instances directly via ScriptableObject.CreateInstance if the standard API returns null, ensuring uninterrupted layer configuration.
• Defensive Null Verification: Enforces boundary null checks across Action Layer assignment routines.

---

📦 Installation

Download TexMotion.unitypackage below and import it into your Unity project (Unity 2022.3.x recommended, VRChat Avatar project supported).
Or install directly via Unity Package Manager using Git URL:

https://github.com/k0ta0uchi/TexMotion.git

TexMotion v1.3.0: WHAM+MediaPipe 3D Fusion & UI Overhaul

TexMotion v1.3.0 Release Notes

日本語 (Japanese)

1. WHAM と MediaPipe による 3次元姿勢統合パイプライン

動画からの姿勢抽出において、カメラ座標系での大域移動推定に強い WHAM と、画像平面上での関節点精度が高い MediaPipe を統合した推論パイプラインを導入した。

• ハイブリッド 3D 融合処理: WHAM による深度方向の位置推定と、MediaPipe による2次元座標および信頼度スコアを重み付け結合し、関節の3次元回転を再構成する。
• 脚部交差と遮蔽の耐性向上: ダンスや方向転換の際に脚が前後に重なる場面でも、左右の足の取り違えや深度反転による姿勢の崩れを抑制する。
• GPU による推論高速化: PyTorch バックエンドによる GPU 推論をサポートし、長尺動画における抽出時間を短縮した。

2. 可変アスペクト比プレビューとオーバーレイ表示

入力動画のアスペクト比に応じた描画処理を刷新した。

• 比率維持スケーリング: スマートフォンの縦型動画（9:16）、正方形（1:1）、横長動画のそれぞれに対し、余白（レターボックス）を自動計算して RenderTexture を生成することで、画像の歪みや端部の切り取りを防止する。
• 2D/3D 並列オーバーレイ: 検出された関節ランドマークを重畳描画した元映像と、推定姿勢を反映した 3D アバターを並列表示し、トラッキング結果を直感的に照合できる。

3. タイムラインエディタの操作性向上

タイムライン上の再生制御と描画安定性を強化した。

• 低速再生の拡張: 再生速度の設定幅を 0.1x から 2.0x まで広げ、0.1x 刻みでのスロー再生に対応した。
• HUD コントロールの追加: タイムラインヘッダーおよびプレビュー画面の HUD 上に、再生・一時停止を切り替えるボタンを配置した。
• 描画例外の解消: スクラビング操作中に発生していた null 参照および GUILayout 状態の不整合を修正した。

4. 設定画面の3タブ再編

設定ウィンドウの構造を見直し、用途別に3つのサブタブへ整理した。

• 一般 (General): 表示言語、ログ出力、UI 設定、更新確認を配置。
• モーション生成 (Text-to-Motion): Kimodo 拡散モデル、生成パラメータ、Hugging Face からのモデルダウンロード機能を配置。
• 動画モーション (Video-to-Motion): 姿勢推定バックエンド（WHAM, MediaPipe, RTMPose, HMR2）の選択、Python 仮想環境の状態確認、モデルアセット管理を配置。
• タブバーの固定表示: スクロール時にもタブ切り替えボタンが隠れない固定ヘッダー構造に変更した。

---

English

1. WHAM + MediaPipe 3D Pose Fusion Pipeline

Integrated WHAM and MediaPipe into a joint estimation pipeline, pairing WHAM's global trajectory estimation with MediaPipe's high-precision 2D planar landmarks:

• Hybrid 3D Fusion: Blends WHAM depth estimations with MediaPipe 2D coordinates and confidence weights to reconstruct accurate 3D joint rotations.
• Occlusion & Leg Crossing Robustness: Suppresses limb-flipping and depth-inversion artifacts when legs cross during turning, dancing, or rapid steps.
• GPU Inference Acceleration: Adds PyTorch-based GPU inference paths to accelerate extraction throughput on long video clips.

2. Dynamic Aspect-Ratio Viewport & Overlay Synchronization

Refactored preview rendering to preserve source video geometry:

• Aspect-Ratio Fitting: Dynamically computes letterboxing offsets for vertical mobile clips (9:16), square feeds (1:1), and wide formats, preventing dimensional distortion and unintended frame cropping.
• Synchronized 2D/3D Comparison: Displays detected 2D skeletal landmarks directly against the real-time 3D avatar viewport for immediate tracking evaluation.

3. Timeline Editor Navigation Enhancements

Refined playback manipulation and layout stability:

• Expanded Low-Speed Playback: Adds variable playback speeds ranging from 0.1x to 2.0x in 0.1x increments.
• HUD Playback Toggles: Places dedicated Play/Pause controls directly on the viewport HUD and the timeline header.
• Layout Exception Fixes: Eliminates null-reference exceptions and GUILayout mismatch state errors encountered during rapid timeline scrubbing.

4. Settings Interface Reorganization

Rebuilt the Settings interface into three dedicated workflow views:

• General: Language selection, logging verbosity, UI behaviors, and release check updates.
• Text-to-Motion: Kimodo diffusion model configs, inference parameters, and Hugging Face asset downloads.
• Video-to-Motion: Pose estimation engine selection (WHAM, MediaPipe, RTMPose, HMR2), Python environment status, and dependency management.
• Pinned Tab Header: Fixes the category bar at the top of the window to maintain navigation access during vertical scrolling.

---

📦 Installation

Download TexMotion.unitypackage below and import it into your Unity project (Unity 2022.3.x recommended, VRChat Avatar project supported).
Or install directly via Unity Package Manager using Git URL:

https://github.com/k0ta0uchi/TexMotion.git

TexMotion v1.2.0

TexMotion v1.2.0 Release Notes

日本語 (Japanese)

1. モーションタイムライン編集ウィンドウの実装

テキストプロンプトからの生成や動画からの抽出が完了した直後に、モーションデータをフレーム単位で確認・調整できる専用エディタ（MotionTimelineEditorWindow）を新設した。

• タイムライン操作: フレーム番号とタイムコードを表示するルーラー、スクラバーによる位置指定、ループ再生、0.25x〜2.0x の速度切り替えを備える。
• キーボードショートカット: 再生・停止（Space）、前後フレーム移動（左右矢印キー）、先頭・末尾移動（Home / End）、履歴操作（Ctrl+Z / Ctrl+Y）、ポーズの複製・貼付（Ctrl+C / Ctrl+V）に対応した。

2. フレームごとのポーズ編集とデータ構造（EditableMotionData）

モーションデータを関節単位で保持・変更するための編集データクラスを設計し、詳細な姿勢調整機能を追加した。

• 関節角度とルート位置の直接編集: 各フレームにおける部位（ルート、体幹、首・頭部、左右腕、左右脚）のオイラー角（Pitch, Yaw, Roll）およびルートの 3次元平行移動オフセット（X, Y, Z）を数値スライダーで調整できる。
• ポーズクリップボードと左右反転: 指定フレームの姿勢をコピーして別フレームへ貼り付ける機能や、左右の四肢パラメータを対称反転するミラーリング機能を搭載した。
• フレーム平滑化 (Smoothing): 前後フレームとの四元数球面線形補間（Slerp）およびベクトル線形補間（Lerp）を実行し、トラッキング時の微小なジッターを抑制する。
• T-Pose リセットと Undo/Redo: 基準ポーズへの復帰や部位別リセットを行えるほか、最大30世代の Undo/Redo 履歴を保持する。

3. 既存アニメーションクリップの読み込みとアバター反映

新規生成モーションだけでなく、プロジェクト内の既存資産を活用するワークフローを整備した。

• Humanoid クリップのサンプリング: 保存済みライブラリ内の既存 Humanoid AnimationClip をタイムライン上に読み込み、ポーズの再編集を行える。
• アセット保存と VRChat 連携: 編集後のモーションを新規 .anim ファイルとして書き出す処理、および VRChat アバターの Action Layer へ直接組み込む自動セットアップに対応した。

---

English

1. Motion Timeline Editor Window

Introduced a dedicated motion editing environment (MotionTimelineEditorWindow) that opens immediately following text-prompt generation or video extraction passes:

• Timeline Navigation: Includes a ruler displaying frame indices and timestamps, a scrubbing playhead, seamless loop toggling, and multi-speed playback (0.25x to 2.0x).
• Keyboard Shortcuts: Maps core operations to standard keys: Play/Pause (Space), frame stepping (Left/Right Arrows), jump to start/end (Home/End), history navigation (Ctrl+Z/Ctrl+Y), and clipboard transfers (Ctrl+C/Ctrl+V).

2. Frame-by-Frame Pose Tweaking & EditableMotionData

Built an underlying animation buffer structure (EditableMotionData) supporting targeted joint adjustments:

• Direct Joint Rotation & Root Offsets: Exposes per-frame Euler angles (Pitch, Yaw, Roll) across skeletal groups (Root, Torso, Neck/Head, Arms, Legs) along with 3D root translation coordinates (X, Y, Z).
• Pose Clipboard & Symmetry Mirroring: Supports copying and pasting individual frame poses, alongside instant left-to-right anatomical symmetry flipping.
• Temporal Frame Smoothing: Applies quaternion spherical linear interpolation (Slerp) and linear interpolation (Lerp) across adjacent frames to dampen tracking jitter.
• Neutral Reset & Multi-Level Undo: Allows resetting individual joints or full poses back to neutral T-Pose, supported by a 30-step Undo/Redo history stack.

3. AnimationClip Ingestion & Avatar Configuration

Connected timeline editing directly into the Unity project asset lifecycle:

• Humanoid Clip Sampling: Samples existing Humanoid AnimationClips from the project library into editable timeline frames.
• Export & Action Layer Binding: Serializes modified motions into standard .anim assets and automates integration into VRChat Action Layer state machines.

---

📦 Installation

Download TexMotion.unitypackage below and import it into your Unity project (Unity 2022.3.x recommended, VRChat Avatar project supported).
Or install directly via Unity Package Manager using Git URL:

https://github.com/k0ta0uchi/TexMotion.git

TexMotion v1.1.0

TexMotion v1.1.0 Release Notes

日本語 (Japanese)

1. MediaPipe による動画からの 3次元姿勢抽出

映像ファイル（.mp4, .mov 等）に記録された人物の動作を推定し、Unity の Humanoid AnimationClip として書き出すパイプラインを実装した。

• Python バックグラウンドプロセス連携: 標準入出力を介した JSON ストリーミング方式を採用し、Unity エディタのメインスレッドをブロックすることなく抽出処理を非同期実行する。
• 時系列フィルタリングと逆運動学 (IK): 検出座標のノイズを低減する時間軸平滑化処理を施し、Humanoid 骨格の各関節回転角を IK 計算により導出する。

2. 動画と 3D アバターの同期並列プレビュー

抽出処理の妥当性を即座に評価できるよう、入力映像と 3D アバターの比較プレビュー画面を追加した。

• 骨格オーバーレイ表示: 入力映像の上に MediaPipe の2次元骨格ランドマークをリアルタイム重畳描画し、トラッキング状況を可視化する。
• 同期再生制御: 映像のフレーム進行と 3D アバターの再生位置を一致させ、ループ再生およびリセット操作に対応した。

3. 映像再生の安定化と保守性の向上

環境依存の警告や再生状態の不整合を修正した。

• 色空間メタデータの整合: Windows Media Foundation における色化け警告を防ぐため、色空間メタデータを bt709 / yuv420p に統一した。
• 再生ステート管理の修正: ループ再生の境界で発生していたフレームの飛びやプレビュー停止の不具合を修正した。
• 自動エクスポート処理: バッチモードから .unitypackage を生成するコマンドを追加した。

---

English

1. 3D Video Pose Extraction via MediaPipe

Added a computer vision pipeline that extracts human movement from video files (.mp4, .mov) directly into Unity Humanoid AnimationClips:

• Asynchronous Python Worker: Communicates via standard I/O streams using JSON protocols, preventing background extraction jobs from stalling the Unity Editor main thread.
• Temporal Filtering & Inverse Kinematics: Dampens raw landmark noise through temporal smoothing filters and solves 3D humanoid joint rotations using dedicated IK algorithms.

2. Synchronized Video & 3D Avatar Preview

Introduced an inspection view to evaluate tracking quality against source footage side-by-side:

• Skeletal Landmark Overlay: Renders 2D MediaPipe skeleton graphs directly onto the video frames to visualize landmark fidelity.
• Synchronized Playback Controls: Coordinates video playback timing with 3D avatar animation state, supporting continuous looping and scrubbing resets.

3. Video Pipeline Stability & Maintenance

Resolved platform-specific encoding warnings and preview state desynchronization:

• Color Space Normalization: Standardized video metadata headers to bt709 / yuv420p, eliminating color shift warnings inside Windows Media Foundation decoders.
• Playback Loop Boundary Fixes: Fixed frame stalls and desynchronization occurring at animation loop boundaries.
• Automated Package Exporter: Added batch-mode export utilities to streamline .unitypackage builds.

---

📦 Installation

Download TexMotion.unitypackage below and import it into your Unity project (Unity 2022.3.x recommended, VRChat Avatar project supported).
Or install directly via Unity Package Manager using Git URL:

https://github.com/k0ta0uchi/TexMotion.git