OpenPose ： MMD向けモーションキャプチャ(Colaboratory)

OpenPoseでモーションキャプチャをしてみました。

娘の発表会のバレエのターンをキャプチャし、ガンマンに踊らせました。

【MMDAutoTrace2.ipynb】

MMDautoTrace2.ipynb というツールを使って、 モーションデータを取得しました。

スクリプトと手順は、Colaboratory 上の Notebook(.ipynb) として提供されていて、その手順に従うとできました。

ポイントのメモ：

  • googleドライブの「autotrace」というフォルダにファイル(mp3)を置く
  • 手順に従い、設定や、実行(解析/出力)を行う
  • 「autotrace」に日付のついたフォルダが作られ、そこに、以下のファイルが作成される
    • OpenPose で解析した結果の棒人間の動画(.avi)
    • あにまさ式～.vmd というファイル名のMMDモーションファイル(.vmd)
※私が試した2020年よりも、内容が、更新されて、手順も変わっている感じがする。(2022/5)

【MMD】

お好きなモデル(.pmx)に、モーションファイル(.vmd)をかぶせると、 モーションキャプチャを反映した動画(.avi)が完成。

オリジナル動画：
　

OpenPose解析結果(棒人間)：
　

ガンマンにモーション適用：
　

ワイプに表示：
　

生成されたモーション(Haruka.ballet.1280x720.short.vmd)

ロングバージョンは、モーションがうまく生成できず、NG

OpenPose結果：

こちらも、モーションがうまく生成できず、NG

OpenPose結果：

■動画公開

[ Instagram ] [ ニコニコ動画 ]

＜ワイプ版＞

[ Instagram ]

■開発者メモ

[ ガンマンのページへ戻る ]