舞蹈動作偵測與分析的程式模組

相機錄製

動作分類

第一首歌

1. 上下01(UP1)
2. 上下05(UP5)
3. 左右05(LR5)
4. 斜對角01(CR1)

第二首歌

1. 上下03(UP3)
2. 左右01(LR1)
3. 斜對角04(CR4)

方法

資料標注

使用影片資料集進行動作標註，然後將其轉換為圖像序列。接著分類動作訓練兩個不同的模型，每個模型專門用於辨識其中一首歌的動作。確保每個動作都有相對應的標籤。然後，將標註的圖像轉換為YOLO格式或其他模型支持的格式。應用場景涉及到老人坐在椅子上進行動作，所以將這些坐姿動作標註到您的資料集中。這樣可以確保模型在辨識動作時具有更好的準確性和響應性，並且能夠適應各種實際情況。

資料標注

• Roboflow 是一個用於計算機視覺項目的平台，它旨在幫助開發人員和團隊更輕鬆地構建、訓練和部署計算機視覺模型。 Roboflow 提供了一系列工具和功能，使您能夠有效地處理圖像數據、訓練機器學習模型，並將這些模型集成到您的應用程序中。
• 我們將影片上傳到 Roboflow 平台，並利用其功能將影片中的動作切割成偵數作為訓練的圖片。這樣的做法可以有效地提取出影片中的動作特徵，並將其轉換成訓練資料。首先，我們需要將動作影片上傳到 Roboflow 平台。在平台上，我們可以進行影片的預處理和標註，例如設置切割偵數、調整影片解析度和帧率等。接著，我們可以使用 Roboflow 提供的工具進行圖像標註，將影片中的動作標記為訓練資料的一部分。在標註完成後，我們可以將訓練資料集分成訓練、驗證和測試三個部分。訓練資料集用於訓練深度學習模型，驗證資料集用於調整模型的參數和評估模型的性能，而測試資料集則用於最終的模型測試和評估。透過這樣的流程，我們可以有效地利用 Roboflow 平台來處理動作影片並生成訓練資料集。這將為我們後續的動作辨識模型訓練提供所需的資源和基礎。

資料擴增

Roboflow 提供了豐富的在線數據增強工具，用於處理圖像數據，改善數據集的多樣性，提高模型的泛化能力。數據增強是在保持圖像語義信息的前提下，通過應用各種變換和處理來生成多樣性的圖像，從而增加模型對於不同場景的適應能力。

軟硬體版本

• OS: Ubuntu 22.04.4 LTS x86_64
• CPU: 12th Gen Intel i7-12700K (20) @ 4.900GHz
• GPU: NVIDIA GeForce RTX 3060 Ti 8GB

未來可改善

相機錄製畫質提升

• 即時影像增強： 基於硬體加速和優化的即時影像增強技術，可以在相機錄製過程中即時對影像進行增強，提高畫質，並實現更加清晰和真實的影像呈現。
• 多攝影機同步： 支持多攝影機同步錄製技術，可以同步捕捉多個視角的影像，並進行智能的視頻合成和融合，從而提供更豐富和更具立體感的影像體驗。
• 優化影像編碼和壓縮： 基於最新的影像編碼和壓縮技術，開發更高效的影像編碼器和壓縮算法，可以實現更小的文件大小和更高的影像品質，同時減少存儲和傳輸成本。

建立骨架節點

• 更好的特徵表示： 骨架節點模型能夠捕捉人體動作的重要特徵，如姿勢、關節角度等，從而提高了對人體動作的理解和分類能力。
• 計算效率高： 相較於基於像素的方法，骨架節點模型的計算量較小，因為它僅關注於人體關鍵點的位置，因此在許多應用中具有更高的計算效率。
• 計算效率高： 相較於基於像素的方法，骨架節點模型的計算量較小，因為它僅關注於人體關鍵點的位置，因此在許多應用中具有更高的計算效率。

障礙物

• 前方有椅子擋住將來也可以到偵測動作