YOLO X + ByteTrack による複数人同時プレイに対応した機械学習版「だるまさんがころんだ」です。 オープンキャンパスの出し物として作りました。
ByteTrackは、2021年10月に公開されたオブジェクトトラッキングのモデルです。今回は、撃たれた人を追跡するための仕組みとして使っています。Deep SortのようにReIDは使用していません。カルマンフィルタによるバウンディングボックスの移動予測のみでフレームを紐づけています。最初は高い確度のバウンディングボックスに対して、次に低い確度のバウンディングボックスに対して紐付けを行うことで、隠れたオブジェクトでも不検知になりづらい仕組みになっています。
ByteTrack: Multi-Object Tracking by Associating Every Detection Box
Yifu Zhang, Peize Sun, Yi Jiang, Dongdong Yu, Zehuan Yuan, Ping Luo, Wenyu Liu, Xinggang Wang
YOLO Xは、2021年8月に公開されたアンカーフリーの物体検出モデルです。今回は、YOLO Xで検出したバウンディングボックス内をフレーム間差分で差分を算出し動体検知しています。
フレーム間差分を使っています。ただし、単純に前の差分と比較するだけでは些細な自然光でも大きく変化してしまうことがあります。そこで、移動平均(蓄積されたフレーム,最新フレーム間の差分)で変化を和らげています。 MoveNetといった体のランドマークをとる方法でも検知は可能ですが、フレーム毎に推論にブレが生じたりターン毎に距離が違ったりするため、難しいです。
普通の「だるまさんがころんだ」とイカゲーム版の「だるまさんがころんだ」の両方を用意しています。
約5Mの位置に赤い線を引いてます！
イカゲームの原作の韓国語では、「ムグンファ コッチ ピオッスムニダ」
撃たれた！
人がいない時、もしくは全員が撃たれた時はこのリザルト画面に移行します。
制限ターン内にキーボードのGを押すと、ゲームクリアです。
