Kinect勉強会にいってきた Kinect(ボーントラッキングインターフェース)について思うことつらつら

いつだったか、割とひどい感じの飲み会のときに、はぎーさん(@hagino3000)がKinectいじってるわーみたいなこといってて
気づいたら勉強会が第二回で、Kinect本の作者が話すってのでニフティに凸してみた

ブログに書くまでが勉強会です！とのことで、
それぞれの発表まとめは誰かがあげてくれるかなーと思ってるので、僕は思ったことをつらつら書く。

参加者としての自分

自分(B4)の卒論テーマが「学習者のとまどい検出」で、被験者に課題とかせて、Kinectで身体動作をキャプチャしている。
先輩がOpenCVの顔検出で実装していた部分を、自分はKinectのボーントラッキングで実装していて、どうしても机上、座位でのキャプチャになるので、精度で問題となっている箇所があった。

複数Kinectのトラッキングで精度向上できないか？という質問をしていたのはそのせい。東大のグループの実装は参考になったけど、ちょっと実験環境で再現するの難しいと感じた。

PRIMA: 複数のKinectを用いた時間型インタラクション ― totakke website

OpenNI/NITE

Kinect勉強会 Vol.2 に参加しました #shibuya_ni - かおるんダイアリー

OpenCVのAPIがWin32APIと似ていて、必要APIが揃っていて、Boostの代用できるんじゃね？っていうのは目から鱗の話だった。
ボーン推定系の検知系API群は使ったことがないものが多く便利そうだったが、ちゃんとドキュメント読む必要ありそうで、要は @kaorun55さんの本読みましょうって感じ。

とはいっても、自分はサンプルのNiUserTrackerをいじって使ってる程度で C++はほとんど書けない。OpenNIでキャプチャしたボーンをソケットでPythonで受け取って加工したデータを、MongoDBへクエリ投げまくって食わせて、Rからニューラルだとか因子分析にかけている。

Kinect本は研究費で落としたいので教授に申請中。

Kinectのデバイス特性について考えたこと

OpenNIいじったり、Kinectのゲームやってて思うんだけど、On/Offのトリガーを検知するのが重要なんだけど難しくて、一定のポーズを取る、とか、ある一連の動きを一セットとして扱う、とか、正直だるくてやってらんない。ゲーム用デバイスのくせに、通常の「ゲームっぽい」インターフェースに全く向かない。それに、トラッキング可能な物理空間に縛られているので、「移動」というメタファが全く通用しない。
本当にKinectでゲームっぽいゲームをやりたかったら、両手にWiiヌンチャクみたいな、動きを阻害しない、移動とトリガーのコマンドを送信できるデバイスと組み合わせる必要があるように感じた。

だからメタファとしてのドラッグアンドドロップを手検出で実装してた@Hagino3000さんはすげーかっこいいと思っていて
是非マウスレスインターフェース実用化して欲しいですね！

LTで、KinectにArduino かましてWiiリモコンと接続して、毛糸のカービィをやってたチームラボの人はいい感じに狂ってて面白かった。

公式SDK

Spring Soon! とのことだが、マイクロソフトの春はまだ遠いらしい。Kinectと同じボーン推定ができると思われるので期待。とのこと。

XtionPro

赤外線照射の深度マップが取得できて、OpenNIと連携してボーン推定が出来る！というデバイス。ASUS製。
バスパワー給電＋小型ってのをみると、将来的に内蔵ウェブカメラ的な立ち位置に収まることも可能ではないか？などと妄想が膨らむ。値段はKinectみたいな大量生産でない分高くなってるのが残念。つっても2万か。

モーションキャプチャデバイス Xtion PRO