HoloLensで言霊を撃ってみよう

  • HoloLens
  • Unity

2017.7.15

ATLの客員研究員に登録すれば、ハイエンドVR機器、モーションキャプチャシステム、クロマキー、SIMVRなど、クリエイター垂涎の設備を自由に使うことが出来ます(要予約)。そして広いフィールドでとのびのびと開発に没頭することが出来ます。

公序良俗に反しない限り何作ってもいいらしいので、今回は「言葉を吐く」「言葉を投げかける」という表現のビジュアライゼーションを行うべく、Microsoft HoloLens(以下HoloLens) を用いて言霊発射装置を作ってみました。

どんなものを作ったのか

言葉には力が宿ると言います。これを昔の人は言霊と呼びました。
例えば、コミックの中の世界は言葉が絵となって存在し、あるときには言葉が物質となって物理的影響力を持ちます。
筆者は不治の中二病に侵されているので、そういうの大好きです。
このアプリでは言葉の見える化を行い、人類をより漫画の世界に近づけます。

端的に言うとドラえもんのコエカタマリンです。喋った言葉を物体(言霊)にして前に飛ばします。楽しい。

言霊は大砲に込める事もできます。楽しい。

特定の言葉で特殊なエフェクトが発生します。例えば「リア充爆発しろ!」と言えば撃った言霊は爆発します。楽しい。

原理

音声をテキストに変換して、その文章をオブジェクトにして飛ばしたり、内容に沿ったエフェクトを出したりしています。

言葉のオブジェクトはただ飛んでいくのではなく、壁や地面で跳ね返ったり突き刺さったりします。

アプリケーションの実現にあたって、音声認識空間マッピングの2つの大きな力を借りています。

 音声認識

音声を入力として用いて、自然言語解析により語句を認識してアクションを起こさせたり、人間が読むことのできるテキストに変換することです。
HoloLensの標準機能で音声入力はサポートされていますが、現在利用できる言語が英語のみとなっています。そこで今回、Google Cloud Speech API を用いることにより、日本語の音声をテキストに変換します。

 空間マッピング

自分の周囲の地形・環境の情報を記憶し、利用することができる空間マッピングはHoloLensの大きな特徴のひとつです。

HoloLensの主たる機能は、HoloToolkitというアセットを使うと簡単に利用することができます。空間マッピングも例にもれず、コードを書くことなく使えます。

利用したアセット

Unity Asset Storeを用いると、専門的な開発スキルがなくても高度な機能を使うことが出来ます。但し、HoloLensで使う場合は、UWPアプリケーション(WindowsStoreアプリ)で利用することになるので、内容によっては使えないアセットもあります。今回使用したGoogle Cloud Speech APIは、特に苦も無く使うことが出来ました。

今回使用したアセットは以下となります。

尚、執筆時点でUnity2017に合わせてGoogle Cloud Speech Recognitionアセットのバージョンが上がっており(3.0)、大幅に使い方・コードが更新されています。
本記事で利用したGoogle Cloud Speech Recognitionアセットのバージョンは2.3です。

動いている様子

エアタップをしている間に言葉を喋ってタップを離して発射します。

爆発が含まれる言霊を投げると爆発して、他の言霊を吹っ飛ばします。

 

机に食べ物を並べようと悪戦苦闘する図です。

結局机のまわりを散らかしただけでした。

寿司に混じって富士があるのでおめでたいですね(活舌悪い)。

 

大砲に言霊を詰めて撃ち出します。

英語コマンド「Cannon, come here.」で大砲を視線の先にセットして、大砲の底の言霊スフィアに視線を合わせたまま言葉を投げかけます。

エアタップからの射出に加えて、大砲をトラップのように設置して変幻自在な攻撃が可能になります。フィールドを言霊の海に沈めましょう。

結び

自分の手でベースとなるアプリを作成すれば、今後の励みにもなりますし、そこから新たな価値やアイデアを創造することもあります。

アドバンスドテクノロジーラボでは、客員研究員で登録すると、マネタイズプランとかコンペ審査のためのプレゼンとかで頭を捻る前であっても、ロマンやジャストアイディアでいいので高速に新しい技術を試すことが可能なので、皆さん利用してみては如何でしょうか。


付録

ここでは、実際の開発に使用されたコードや、開発に必要な知識を手に入れることができます。

ソースコード

このプロジェクトのソースコードはGitHubに公開しております。

https://github.com/m2wasabi/SpeechGoUnity

利用しているアセットについては、リポジトリに含まれておりません。また版権問題等で面倒を起こしそうなエフェクトは除外されております。

参考文献

Microsoft Holographic Academy – Holograms 230 – Spacial Mapping

Speech API – 音声認識 | Google Cloud Platform

同クイックスタート

HoloLensでTranslator Speech APIを使ったリアルタイム翻訳-その2リアルタイム音声入力 | Qiita


えむにわ

アプリ・ウェブ・IoTと奔放に物を作るフリーランスエンジニア。 顔認証で眼鏡を外すと認証されないので、眼鏡が顔の一部だったことを最近知りました。 HoloLens付けても顔認証できる時代来い!