::::::076話〜094話 手の姿勢推定編:::::: 管理人 シンプルスター(Simplestar)
自作のゲームエンジンである「Kimberlite」を用いて、手の姿勢推定が行えるようになりました。
Visual Studio Onlineを使ったバージョン管理をはじめ、プログラムの設計について学び、プロジェクト運営のための基礎力を向上させます。
その後、Intel CREATIVEカメラを購入し、リアルタイム距離画像処理を行います。
自作のゲームエンジンである「Kimberlite」を用いて、複雑な手の構造を模したモデルを構築し、リアルタイムに手の姿勢を推定するための下準備を行います。
そして、指を固定した状態ではありますが、手の姿勢推定に成功します。
学生の頃に構想し、そこから8年という歳月をかけて制作技術を学び、制作をつづけて、その考えが形になりました。
これを一区切りとして、人生の新たなステージへと進めたことを最後に報告しています。
076話 開発環境の準備
外出先でも開発ができるようにします。ちょうど良いタイミングなので、開発環境の準備ドキュメントとして今回の話をまとめます。
077話 設計入門
まじめに人に教えられるほどの設計技術を身につけたい、そんな思いからユースケース駆動開発実践ガイドを読んでみました。オブジェクト指向とかそれ系。
078話 ストアアプリ
Windows 8 から登場する新しいデザインスタイルのアプリケーション。何も知らないので作り方と予備知識をそろえてみようと思い、入門書を一読。
079話 ストアアプリの構想
どういうアプリにするかイメージを膨らませ、要求文章を記述。設計を実践しながら視線で操作するストアアプリを構想します。ほか電子書籍について調査など
080話 テクニカルアーキテクチャ
テクニカルアーキテクチャを詰めていきます。バイト配列とイメージの表示関係を調査、実装を明らかにします。後半は Intel のカメラの使い方について記述。
081話 Intel CREATIVEカメラの使い方
約1年前くらいから Intel CREATIVEカメラが入手可能に!Leapと違ってTOF形式なので距離画像が取得可能です。使い方を忘れないうちにメモ。
082話 CREATIVEテストツール作成
Intel PC(PXCM) ライブラリを使ってビデオ、オーディオ入力を確認するテストツールを作成します。認識やアルゴリズムを走らせることを考えましたが次回に。
083話 プラグイン拡張とFFT
C#リフレクションについて勉強します。単純な音声入力をFFTを使ってスペクトルを求め、結果を表示します。プラグイン機構を作る前のテスト段階。
084話 深度画像の3D表示
プラグイン拡張で深度画像の3D表示を行います。プラグイン機構をしっかり設計し、ポイントスプライトシェーダについて復習します。後半はデバッグ記録。
085話 Kimberlite2の機能追加
「シェーダパラメータとプロパティを結び付けたい」という要求に対応する話です。マテリアルを編集すると描画結果に反映されるようになります。
086話 夏休みの課題
3D点群を表示しつつ、リアルタイムで指先位置をプラグインに渡す機構を作成しました。手の姿勢推定を解く下準備です。
087話 夏休みの宿題
Intel PerC ライブラリの手の認識結果を使って、リアルタイムで手の位置、指先の位置にオブジェクトを配置します。手の姿勢推定を解く下準備2です。
088話 名前解決
Blender から書き出した Collada を読み込んだ時点でConstraint、Compound, Shape が設定されるように名前解決の機構を入れました。
089話 フレーム置換
名前解決としてボーンを他のオブジェクトと交換する機能を追加しました。その機能が試せることを確認しながらデバッグ記録を残しました。
090話 ラグドールの作成
ここまでの機能を使って Blender で位置を調整しながらラグドールを作成します。ちょっとエッチなコンテンツになっているので、パンツとか苦手な方は見てはダメ。
091話 手のモデル作成
ラグドール作成でバグを取り除いたシステムを使って複雑な手の関節の制約を与え、リアルな手のモデルを作成します。いよいよ手の姿勢推定に向けて動き出す。
092話 指先追跡
前回作成した手のモデルが指先を追従するようになりました。Intel PerC ライブラリの指先認識結果を使ってですが、初期位置の決定について解決。
093話 手がフィットする
指の曲がりを固定しての手の姿勢推定に成功しました。長かったですね。大学生の頃に構想して8年が経過していました。そして人生の転機へとなります。
094話 人生の転機
管理人が転職に至るきっかけと、転職をしてからのできごとをまとめました。あきらめずに勉強を続けると、人生を切り開くこともあるんだなぁと実感。