概要

エイサーの踊りでダンスゲーム!

画面左側に表示されるお手本動画に合わせて踊ろう！ mediapipeの画像認識を用いてカメラからキャプチャしたダンスの類似度を算出＆任天堂switchのJoyconで太鼓を叩く動作を検出し、スコア化 極上の没入感を提供します

大まかな流れ

事前にお手本動画からフレーム毎に骨格ランドマークを抽出し、JSON形式で保存
⇩ ゲーム中、カメラでキャプチャしたプレイヤーの骨格ランドマークと該当するフレームのお手本の骨格ランドマークを比較し、類似度を判定
⇩ 類似度が閾値を超えたときに類似度を元にスコアを加算する

ダンスの類似度判定の流れ

比較するランドマーク座標（お手本とプレイヤーのもの）を相対座標に変換

画面のどの位置にいるかではなく、「頭に対して手がどこにあるか、足がどこにあるか」という各ランドマーク同士の相対的な位置が需要

⇩ ダンスの類似度をcos類似度（角度を用いた類似度）で算出

ダンスのポーズ検出において、ランドマーク同士の距離ではなく、角度が重要。同じ距離でも角度が違えば全く違うポーズになってしまう。

以上を毎フレーム繰り返してお手本との類似度をとります

参考: (https://qiita.com/Killinneko/items/58b4377ba03da7a9c037)

仮想環境(venv)

仮想環境作成

以下のコマンドを実行して仮想環境を作成する 今回はvenvという名前で仮想環境を作成した。以降仮想環境名をvenvとする。

python -m venv [仮想環境名]

仮想環境のアクティベート

Linux,Macの場合

. venv/bin/activate

deactivateで仮想環境を抜けることができる

Windowsの場合

.\venv\Scripts\activate

環境の適応

pip install -r requirements.txt

依存関係書き出し

pip freeze > requirements.txt

実行

python run.py

参考：(https://qiita.com/shun_sakamoto/items/7944d0ac4d30edf91fde)