PLUS ANIMA (プラスアニマ) という作品の紹介をさせていただきます。 2016/3 SXSW 2016、2016/5 第3回HACKist展 で展示させていただいたものです。
※ もし作品を「うちの施設においてみたい」という方がいらっしゃいましたら、ご一報ください。連絡方法はこの記事の下のほうです。
PLUS ANIMA ってなに?
PLUS ANIMA はモノとコミュニケーションをするためのインタフェースです。
「モノとおしゃべりできたらな〜」と思ったことありませんか? 「食べ物」にオススメの調理法を聞ききたい。「カメラ」の詳しいスペックがよくわからないから説明をしてもらいたい。「博物館の土偶」から歴史の話を詳しく聞きたい。「ぬいぐるみ」と寂しい時におしゃべりしたい。などなど…etc
PLUS ANIMA は ディープラーニング + プロジェクションマッピング の技術によって、モノに魂 (ANIMA) を宿し、擬人化した演出をすることで、「人とモノとの直接的なコミュニケーション」の実現をします。
PLUS ANIMA では「魂が宿ってるかのように振る舞い、擬人化され、コミュニケーションのとれるモノ」が、今までの人とモノとの関係をアップデートし、人がモノと触れ合う行為をより楽しく、直感的に拡張すると考えて、取り組んでいます。
くわしくはこちらの動画をご覧ください。
どうやって使うの?
使い方はとてもシンプルです。
ようは、「モノをテーブルにおくだけ」で、モノに魂がやどり、勝手にしゃべりかけてきます。
モノからの質問には YES or NO ボタンに手をかざすと、返答できます。
どんなユースケースを想定しているの?
「モノを擬人化し、おしゃべりさせる」テクノロジーはさまざまな場面での使い方が想定できます。その中で、私達がおもに考えている 教育、セールス、エンタテイメントの 3 つのシーンでのユースケースをご紹介します。
🏫 教育施設(博物館、科学館など)での使い方
博物館、科学館などの教育施設の展示品が子供たちへ自分自身の成り立ちついて説明をすることで、より直感的にその展示物への理解を深めることができる、と考えています。
歴史的な壺や、化石が、たとえば、「私はマンモスの牙です。私が若い頃は、こんな体してたんですよ〜。私に含まれる化学成分が◯△✕だから、縄文時代のものだとわかり…etc」と映像とともに、自身の成り立ちについて、わかりやすく解説してくれるコンテンツを作ることができます。
🏪 セールスでの使い方
小売店で商品が自分自身についてのセールストークをしたり、生活者の商品についての疑問点を解消したり、また、生活者の声を集めてPDCAを回すための装置としても、役立つのではと考えています。
たとえば、食品売り場で、じゃがいもを乗せたら、「にんじんも一緒に買って、カレーにして食べるとおいしいよ」と、調理法や一緒に買うとよい品をレコメンドしてくれたり。
家電売場で、カメラ同士が会話をはじめて、「カメラAくんは高いよね。でも、画質が僕に比べるといいよね。」などと、わかりやすく商品スペックの比較をしてくれたり。
🎢 エンタテイメントでの使い方
モノを擬人化させることで、アミューズメント施設の世界観を効果的に演出するためのツールとしての利用法を考えています。
風船をもって、てくてく歩いていると、あるエリア内では、ふつうの風船に、突然、魂が宿り、顔がついて、「Welcome!」と風船がしゃべりはじめ、来場者を驚かせたり。その風船が施設内を案内してくれたり。といったユースケースを想定しています。
どんなテクノロジーが裏側で動いているの?
「モノにまるで魂が宿ってる」という演出を行うための裏側のテクノロジーについて説明します。
👀 ディープラーニングによる物体認識
PLUS ANIMA ではモノにセンサーやタグなどは一切埋め込んでいません。
事前に学習させておいたモノの画像データをもとに、テーブル上部に設置されたカメラで撮った画像から、「そのモノがはなに?」という物体認識をしています。そのため、モノにセンサーやタグなどをつける必要がなく、商品をありのままの状態で演出させることができます。
✨ プロジェクションマッピングによる演出
深度カメラ、RGBカメラの2つのカメラでモノの輪郭、色、をリアルタイムにセンシングし、プロジェクションマッピングの技術を用いて、モノへの演出をリアルタイムにジェネレートしています。
🍑 モノの形状解析からのパーソナリティ・トークシナリオ生成
独自アルゴリズムにより、モノの外見的特徴(色、サイズ、形)にあわせたパーソナリティ(性別、年齢、性格)を生成しています。また、そのパーソナリティに応じて、モノのトークシナリオを、動的に生成しています。
よくあるご質問
SXSW 2016や、HACKist展で展示をしていた際に、よく頂いたご質問を紹介させていただきます。
Q. テーブルの上にはどんなモノをのせても認識しますか?
A : あらかじめ学習させておいたものは精度が高く認識ができます。あらかじめ学習していないものでも、インターネット上から一番近そうなモノの名前を頑張って探してくるので、なんらかの認識結果が出ます。
Q. あらかじめの学習はどのようにしますか?
A : モノをさまざまな角度から動画で撮影し、認識用のデータをわたし達のほうで作らせていただきます。
Q. 2 つ以上モノをおくとどうなりますか?
A : 現状はあとにおいたモノが喋りはじめる仕様になっています。いづれは 2 つの似ているモノを置いたら、スペックの比較ができるような機能があるとよいと思っています。
PLUS ANIMA を実験的に導入して頂ける施設の方を大募集しております!
こんな感じでつくった PLUS ANIMA ですが、まだ実験的プロトタイプ段階で、世の中でまだ活用頂く機会に恵まれていません。
そこで、 「PLUS ANIMAを導入してみたい」 という施設の方がいらっしゃったら、ご一報いただけると幸いです。「擬人化されたモノの可能性」を一緒に探って、人とモノとの新しい関係性について考えられたら嬉しいです。
もしご興味ある方がいらっしゃったら、このページのお問い合わせメニューから、ご連絡ぜひお待ちしております!
/ Staff List
- クリエイティブディレクター : 望月重太朗
- 企画 & プログラマー : 貴田達也 、茶谷亮裕
- デザイナー : 手塚健太郎、中川美香
- プロデューサー : 山本恭裕、館由依子
- おたすけプログラマー : 菅沼慎平
—
3月に行われた SXSW2016 での展示の様子を Gizmode さんの Twitter でご紹介いただきました!
「Hello World!(https://t.co/uHCpFfS5iQ)」by HACKist ものを置くとそれを判別して、話し始めるテーブルです。YES/NOのボタンも出てくるのでものと会話しているような気分に #SXSW pic.twitter.com/ijdLqU0j0z
— ギズモード・ジャパン (@gizmodojapan) March 14, 2016
SXSW2016 での展示の風景です。