HTML5 conferenceで展示してきました

1/25(日)　北千住にある電機大学で開催された「HTML5 Conference」に出展してきました。
HTML5 Conference ＞展示ブース

INTERNET Watch さんの記事
ウェブが“どこにでもあるもの”になったその先にあるものとは、ウェブ技術者の祭典「HTML5 Conference」 -INTERNET Watch
http://internet.watch.impress.co.jp/docs/event/20150126_685352.html

Microsoft、au、ソフトバンクロボティクスさんたちと並んでブース出展させていただきました。(超恐縮)
IoTに注目が集まっていることを反映してか、Webの展示でもマイコンボードなど電子工作系の展示がいくつかありました。

「なんでもジェスチャコントロールβ」とは

「既存アプリの操作を手っ取り早くジェスチャで行いたい！」を実現するアプリです。

KinectでのジェスチャコントロールのインターフェイスをHTMLコンテンツなど既存コンテンツに追加できます。既存コンテンツはアプリ化できれば何でもOK！
既存コンテンツ側での準備はキーコマンドを追加するだけ！
当日はHTA(htmlコンテンツをフル画面表示のアプリとして扱う機能)化したHTMLアプリを用意して、「なんでもジェスチャコントロール β」経由での操作感をお試しいただきました。

「なんでもジェスチャコントロールβ」のよいところ

Kinect アプリの開発にはC＋＋かC＃の言語を用います。
Web業界でコンテンツを作るときには、HTMLやjavascriptを用います。となると、Kinectを使うための言語の習得には高い障壁ができます。
この「なんでもジェスチャコントロールβ」はコンテンツ側でキーコマンド対応にしておくだけで、Kinectでのアプリ開発を行わずともKinectのジェスチャを取得して、コンテンツを操作することができます。

Kinectと連携する部分のアプリはすでに開発してあります。あとは、組み合わせたいコンテンツ側にキーコマンドを追加するだけです。Kinect側とコンテンツ側の2つのアプリを結ぶのはOSを介したKeyDownイベントだけ。
そのため、コンテンツ側の動作検証もキーボードから対応のキーを押すだけで確認できます。

それぞれがまったく独立しているため、開発も容易です。
既存コンテンツや、Webキャンペーンのサイネージ展開などにオススメです。

「なんでもジェスチャコントロールβ」のしくみ

今回開発したのは、以下の4つです。
1)Kinect側の情報を取り出す、DLL。
2)DLLの情報をAIR(Flash のデスクトップアプリ)で利用するためのライブラリ(ANE)。
3)Kinectでのユーザー情報を表示するためのUI。
4)ジェスチャを追加したいコンテンツ。

この「4)ジェスチャを追加したいコンテンツ」はみなさまのコンテンツに差し替え可能です。

しくみは単純です。
Kinectからの情報にあわせたキーをOSにキーコマンドとして受け渡しています。
(4)のジェスチャを追加したいコンテンツは「最前面ウィンドウとして固定」しておくことで、OSからのキーコマンドを受け取れます。

ジェスチャを追加したいHTMLコンテンツ

htmlをブラウザで表示しています。

HTMLコンテンツをHTAでアプリ化して開きます

コンテンツの裏側で動く、Kinectのジェスチャを取り出すAIRアプリ

なんでもジェスチャコントロールの全容

これらをあわせて一緒lに起動すると、ユーザーからはひとつのアプリに見えます。
AIRは見た目部分をFlashで作成できます。なのでUIのデザインを変更するときもFlashで製作し、それをアプリに組み込むためのswcというライブラリの状態で書き出して使います。
Kinectのジェスチャを取り出す核となる仕組みはUIデザインとは別なので、そこだけ精度を上げておけば、あとはいくらでもデザイン変更で活用できるという素敵な構造です。

カンファレンスでの展示で現バージョンでの課題が明確になりましたので、気持ちよいジェスチャ操作に向けて改良していきます。お問い合わせは、弊社のFaceBookページからメッセージでお寄せくださいまし。

viva mambo FaceBook ページ

2015/02/12 追記：「なんでもジェスチャコントロール + デジタル惑星儀-地球編-」

製品版に向けてブラッシュアップしています。
弊社の過去資産、「デジタル惑星儀」から「地球編」をもってきて、kinect UIとつなげてみました。
ジェスチャで宇宙を操作しちゃう「神」視点は、癖になりそうです。

今回からKinectのジェスチャの状態を表示するUI部分が透過画面になったので、既存アプリともよい感じに一体化します。
2-3月はブラッシュアップしつつ、イベントで展示していきますので、見かけた際はぜひお試しください。
なお、「イベントに出展して欲しい！」などのご要望はviva mambo FaceBook ページで承っています。

このページを編集する（内部専用）