update pose anno convert COCO to fastlabel #115

takahiro-tamenishi · 2022-06-29T03:08:22Z

概要

アプリケーション側プルリク
https://github.com/fastlabel/fastlabel-application/pull/2264

COCO形式の姿勢推定のデータをfastlabel形式に変換する。
また、そのインポートをする

実装が確定次第、readmeを書きます！

画面

テスト

補足

takahiro-tamenishi · 2022-06-29T03:09:46Z

fastlabel/converters.py

+                for index, keypoint_key in enumerate(keypoint_keys):
+                    keypoint_value = keypoint_values[index]
+                    if keypoint_value == [0,0,0]: 
+                        raise FastLabelInvalidException(f"Keypoint value is [0,0,0]. annotationId: {target_coco_annotation['id']}", 422)


[0,0,0]のときは、そのキーポイントはないということはなので、姿勢推定として抜けているキーポイントがあるということなのでエラーにしています！

[0,0,0]

これって1つ目が0で2つ目も0は座標としてはありうると思うから、配列の3つ目が0だけじゃなくて、1か2以外でも問題があるかと思うけど [0,0,0]にしてる理由ある？

annotationId はスネークケースで

これって1つ目が0で2つ目も0は座標としてはありうると思うから、配列の3つ目が0だけじゃなくて、1か2以外でも問題があるかと思うけど [0,0,0]にしてる理由ある？

@takahiro-tamenishi

ここ漏れてる？

@qoone
すみません。漏れてました。
修正しました。
c966823

takahiro-tamenishi · 2022-06-29T03:10:40Z

fastlabel/__init__.py

    # Convert to Fastlabel

-    def convert_coco_to_fastlabel(self, file_path: str) -> dict:
+    def convert_coco_to_fastlabel(self, file_path: str, annotation_type: str) -> dict:


COCO　jsonのファイルの中に姿勢推定のデータ化を見分けるフラグがなかったので、アノテーションタイプを入力するようにしています

カテゴリーの、"keypoints" の値が空かどうかで判断できると思うけど難しい？
現状利用している人に影響が出ちゃうから、インターフェスはどうしても無理な場合以外は、極力変えないようにしたい！

@qoone
このお客さんからもらったファイルを見る限りでは、セグメンテーションのプロパティに座標情報が入っているかつ、キーポイントにも座標情報が入っていたので、このファイルを見る限りでは、一つのCOCOのファイルに矩形（多角形）とキーポイントの両方の情報が入れられると認識してます。

お客さんからもらったファイル
https://drive.google.com/file/d/1rXWrO31eYFx9l4v-uU-UmnO1XHdCtfqx/view?usp=sharing

qoone · 2022-06-29T04:55:06Z

fastlabel/__init__.py

        with open(file_path, "r") as f:
            file = f.read()
-            return converters.execute_coco_to_fastlabel(eval(file))
+            return converters.execute_coco_to_fastlabel(eval(file.replace("false","False").replace("true","True")), annotation_type)


これはなんで、replaceしてるん？

昨日共有していただいた、お客さんからいただいたCOCOファイルを読み込んだ際に下記のエラーが出ていました
jsonに書かれているfalseが、pythonのFalse（最初文字であるFが大文字）と互換性がなくてエラーが出ているようでした。

Traceback (most recent call last): File "/Users/tamenishitakahiro/fastlabelProject/fastlabel-python-sdk/examples/convert_coco_to_fastlabel.py", line 18, in <module> annotations_map = client.convert_coco_to_fastlabel(file_path=input_file_path,annotation_type="polygon") File "/Users/tamenishitakahiro/.pyenv/versions/3.9.10/lib/python3.9/site-packages/fastlabel/__init__.py", line 1617, in convert_coco_to_fastlabel return converters.execute_coco_to_fastlabel(eval(file), annotation_type) File "<string>", line 11, in <module> NameError: name 'false' is not defined

お客さんからもらったファイル
https://drive.google.com/file/d/1rXWrO31eYFx9l4v-uU-UmnO1XHdCtfqx/view?usp=sharing

fca4ae8
もし、画像のファイル名などにfalse やtrueが入っていたら危険なので修正しました！
evalは調べた感じいらないと判断しましたが、もし必要なようでしたら教えて下さい。

qoone · 2022-06-29T11:37:01Z

fastlabel/converters.py

-                    "type": annotation_type,
-                }
-            )
+            if annotation_type in ["bbox", "polygon"]:


AnnotationType を使ってもらえると！

qoone · 2022-06-29T11:37:10Z

fastlabel/converters.py

+                        "type": annotation_type,
+                    }
+                )
+            elif annotation_type == "pose_estimation":


ここもAnnotationType を使ってもらえると！

qoone · 2022-06-29T12:08:11Z

fastlabel/converters.py

+                keypoints = []
+                target_coco_annotation_keypoints = target_coco_annotation["keypoints"]
+                keypoint_keys = coco_categories_keypoints[target_coco_annotation["category_id"]]
+                keypoint_values = [target_coco_annotation_keypoints[i:i + 3] for i in range(0, len(target_coco_annotation_keypoints), 3)]


3つずつ配列にしてるんだと思うけどわかりにくいので、
処理前と処理後の配列とかを例にコメント追加しておいてもらえると！

takahiro-tamenishi · 2022-06-30T03:47:12Z

@qoone
修正しました！　readmeも追加しました！

qoone · 2022-07-01T10:32:16Z

fastlabel/converters.py

+                keypoint_values = [target_coco_annotation_keypoints[i:i + 3] for i in range(0, len(target_coco_annotation_keypoints), 3)]
+                for index, keypoint_key in enumerate(keypoint_keys):
+                    keypoint_value = keypoint_values[index]
+                    if keypoint_value[2] == 0: 


ここって1と2以外じゃない？

qoone · 2022-07-01T10:33:10Z

fastlabel/converters.py

+                for index, keypoint_key in enumerate(keypoint_keys):
+                    keypoint_value = keypoint_values[index]
+                    if keypoint_value[2] == 0: 
+                        raise FastLabelInvalidException(f"Keypoint value is [0,0,0]. annotation_id: {target_coco_annotation['id']}", 422)


条件とメッセージの内容がずれてない？

takahiro-tamenishi · 2022-07-01T13:49:32Z

fastlabel/converters.py

+                    if keypoint_value[2] == 0:
+                        continue
+                    if not keypoint_value[2] in [1, 2]: 
+                        raise FastLabelInvalidException(f"Visibility flag must be 0 or 1, 2 . annotation_id: {target_coco_annotation['id']}", 422)


・"Visibility flagが０の場合はキーポイントがないのでスキップにする。
　　　↓
・"Visibility flagが１，２以外の場合は、バリデーションエラーにする

takahiro-tamenishi · 2022-07-01T13:50:22Z

@qoone
pip install するのを忘れていて、修正漏れているものがありました。。
修正しました！

update pose anno convert COCO to fastlabel

7bd4655

takahiro-tamenishi commented Jun 29, 2022

View reviewed changes

takahiro-tamenishi requested a review from qoone June 29, 2022 03:11

takahiro-tamenishi self-assigned this Jun 29, 2022

qoone reviewed Jun 29, 2022

View reviewed changes

fix read file

fca4ae8

qoone reviewed Jun 29, 2022

View reviewed changes

takahiro-tamenishi added 2 commits June 30, 2022 12:39

fix annotation type

d8f8bad

add readme

8a06ef9

fix validation

c966823

qoone reviewed Jul 1, 2022

View reviewed changes

update validation

fd6f97b

takahiro-tamenishi commented Jul 1, 2022

View reviewed changes

qoone approved these changes Jul 1, 2022

View reviewed changes

qoone merged commit bd4f4a0 into main Jul 1, 2022

takahiro-tamenishi deleted the 842-import-pose-estimation-annotation branch September 22, 2022 06:56

update pose anno convert COCO to fastlabel #115

update pose anno convert COCO to fastlabel #115

Uh oh!

Conversation

takahiro-tamenishi commented Jun 29, 2022

概要

画面

テスト

補足

Uh oh!

Choose a reason for hiding this comment

Uh oh!

qoone Jun 29, 2022 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

qoone Jun 29, 2022 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

takahiro-tamenishi commented Jun 30, 2022

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

takahiro-tamenishi commented Jul 1, 2022

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

3 participants

qoone Jun 29, 2022 •

edited

Loading

qoone Jun 29, 2022 •

edited

Loading