HACKist » MachineLearning https://hackist.jp HACKistは日々、博報堂アイ・スタジオで挑戦している、ちょっと変わった新しい実験をお知らせしていきます。 Wed, 30 Sep 2020 02:59:58 +0000 ja hourly 1 http://wordpress.org/?v=4.2.4 モノとコミュニケーションをするためのインタフェース「PLUS ANIMA」 https://hackist.jp/?p=7573 https://hackist.jp/?p=7573#comments Mon, 29 Aug 2016 02:53:15 +0000 http://hackist.jp/?p=7573 PLUS ANIMA (プラスアニマ) という作品の紹介をさせていただきます。 2016/3 SXSW 2016、2016/5  第3回HACKist展 で展示させていただいたものです。

※ もし作品を「うちの施設においてみたい」という方がいらっしゃいましたら、ご一報ください。連絡方法はこの記事の下のほうです。

PLUS ANIMA ってなに？

PLUS ANIMA はモノとコミュニケーションをするためのインタフェースです。

「モノとおしゃべりできたらな〜」と思ったことありませんか？ 「食べ物」にオススメの調理法を聞ききたい。「カメラ」の詳しいスペックがよくわからないから説明をしてもらいたい。「博物館の土偶」から歴史の話を詳しく聞きたい。「ぬいぐるみ」と寂しい時におしゃべりしたい。などなど…etc

PLUS ANIMA は ディープラーニング ＋ プロジェクションマッピング の技術によって、モノに魂 (ANIMA) を宿し、擬人化した演出をすることで、「人とモノとの直接的なコミュニケーション」の実現をします。

PLUS ANIMA では「魂が宿ってるかのように振る舞い、擬人化され、コミュニケーションのとれるモノ」が、今までの人とモノとの関係をアップデートし、人がモノと触れ合う行為をより楽しく、直感的に拡張すると考えて、取り組んでいます。

くわしくはこちらの動画をご覧ください。

どうやって使うの？

使い方はとてもシンプルです。

plusanima-howtouse

ようは、「モノをテーブルにおくだけ」で、モノに魂がやどり、勝手にしゃべりかけてきます。
モノからの質問には YES or NO ボタンに手をかざすと、返答できます。

どんなユースケースを想定しているの？

「モノを擬人化し、おしゃべりさせる」テクノロジーはさまざまな場面での使い方が想定できます。その中で、私達がおもに考えている 教育、セールス、エンタテイメントの 3 つのシーンでのユースケースをご紹介します。

🏫 教育施設（博物館、科学館など）での使い方

博物館、科学館などの教育施設の展示品が子供たちへ自分自身の成り立ちついて説明をすることで、より直感的にその展示物への理解を深めることができる、と考えています。
plusanima-education

歴史的な壺や、化石が、たとえば、「私はマンモスの牙です。私が若い頃は、こんな体してたんですよ〜。私に含まれる化学成分が◯△✕だから、縄文時代のものだとわかり…etc」と映像とともに、自身の成り立ちについて、わかりやすく解説してくれるコンテンツを作ることができます。

🏪 セールスでの使い方

小売店で商品が自分自身についてのセールストークをしたり、生活者の商品についての疑問点を解消したり、また、生活者の声を集めてPDCAを回すための装置としても、役立つのではと考えています。
plusanima-shopping

たとえば、食品売り場で、じゃがいもを乗せたら、「にんじんも一緒に買って、カレーにして食べるとおいしいよ」と、調理法や一緒に買うとよい品をレコメンドしてくれたり。

家電売場で、カメラ同士が会話をはじめて、「カメラAくんは高いよね。でも、画質が僕に比べるといいよね。」などと、わかりやすく商品スペックの比較をしてくれたり。

🎢 エンタテイメントでの使い方

モノを擬人化させることで、アミューズメント施設の世界観を効果的に演出するためのツールとしての利用法を考えています。

plusanima-entertainmant

風船をもって、てくてく歩いていると、あるエリア内では、ふつうの風船に、突然、魂が宿り、顔がついて、「Welcome!」と風船がしゃべりはじめ、来場者を驚かせたり。その風船が施設内を案内してくれたり。といったユースケースを想定しています。

どんなテクノロジーが裏側で動いているの？

「モノにまるで魂が宿ってる」という演出を行うための裏側のテクノロジーについて説明します。

👀 ディープラーニングによる物体認識

PLUS ANIMA ではモノにセンサーやタグなどは一切埋め込んでいません。
plusanima_nosensor

事前に学習させておいたモノの画像データをもとに、テーブル上部に設置されたカメラで撮った画像から、「そのモノがはなに？」という物体認識をしています。そのため、モノにセンサーやタグなどをつける必要がなく、商品をありのままの状態で演出させることができます。

✨ プロジェクションマッピングによる演出

深度カメラ、RGBカメラの２つのカメラでモノの輪郭、色、をリアルタイムにセンシングし、プロジェクションマッピングの技術を用いて、モノへの演出をリアルタイムにジェネレートしています。

plusanima-projection

🍑 モノの形状解析からのパーソナリティ・トークシナリオ生成

独自アルゴリズムにより、モノの外見的特徴（色、サイズ、形）にあわせたパーソナリティ（性別、年齢、性格）を生成しています。また、そのパーソナリティに応じて、モノのトークシナリオを、動的に生成しています。

plusanima-characterize

よくあるご質問

SXSW 2016や、HACKist展で展示をしていた際に、よく頂いたご質問を紹介させていただきます。

Q. テーブルの上にはどんなモノをのせても認識しますか？

A : あらかじめ学習させておいたものは精度が高く認識ができます。あらかじめ学習していないものでも、インターネット上から一番近そうなモノの名前を頑張って探してくるので、なんらかの認識結果が出ます。

Q. あらかじめの学習はどのようにしますか？

A : モノをさまざまな角度から動画で撮影し、認識用のデータをわたし達のほうで作らせていただきます。

Q. 2 つ以上モノをおくとどうなりますか？

A : 現状はあとにおいたモノが喋りはじめる仕様になっています。いづれは 2 つの似ているモノを置いたら、スペックの比較ができるような機能があるとよいと思っています。

PLUS ANIMA を実験的に導入して頂ける施設の方を大募集しております！

こんな感じでつくった PLUS ANIMA ですが、まだ実験的プロトタイプ段階で、世の中でまだ活用頂く機会に恵まれていません。

そこで、 「PLUS ANIMAを導入してみたい」 という施設の方がいらっしゃったら、ご一報いただけると幸いです。「擬人化されたモノの可能性」を一緒に探って、人とモノとの新しい関係性について考えられたら嬉しいです。

もしご興味ある方がいらっしゃったら、このページのお問い合わせメニューから、ご連絡ぜひお待ちしております！

/ Staff List

  • クリエイティブディレクター : 望月重太朗
  • 企画 ＆ プログラマー : 貴田達也 、茶谷亮裕
  • デザイナー : 手塚健太郎、中川美香
  • プロデューサー : 山本恭裕、館由依子
  • おたすけプログラマー : 菅沼慎平

—

3月に行われた SXSW2016 での展示の様子を Gizmode さんの Twitter でご紹介いただきました！

SXSW2016 での展示の風景です。
PLUSANIMA_SXSW

]]> https://hackist.jp/?feed=rss2&p=7573 0 「人工知能ラッパー」でDE DE MOUSEさんとコラボしました https://hackist.jp/?p=7483 https://hackist.jp/?p=7483#comments Mon, 13 Jun 2016 03:10:50 +0000 http://hackist.jp/?p=7483 どうもプログラマーの貴田です。

2016/5/21と5/28、原宿Galaxy銀河系にて行われた３回目のHACKist展「DIGITAL DIVREZ」内の、DE DE MOUSEさんとのコラボレーションイベントように「人工知能ラッパー」をつくりました。

 

「人工知能ラッパー」ってどんなの？

「人間のラッパーさんのように、即興でラップできる人工知能を作りたい」という大目標を掲げつつも。

今回はその超初期段階として、DE DE MOUSEさんの曲のビートに合わせ、ぼくがライブ中に与えた任意のフレーズに沿って、即興でリアルタイムに以下をジェネレートするシステムを作りました。

  • 歌詞 : ライム（韻）を踏んだリリック
  • 歌いまわし : フロウ
  • VJ : 映像

 

どんなライムやリリックを生成してくれるの？

こんかい、歌詞パートでは2種類の歌詞生成アルゴリズムを用意しました。

１つ目は、「シンプルにライム（韻）を踏んだワードを繰り返す」というもの。たとえば、「あんこ」と入力すると、こんな感じの結果がでます。

$ node app1 あんこ
サンゴ
音頭
ちゃんこ
鮮魚
酸素
コント
金魚
珊瑚
チャンコ
散歩
端午
インコ
店舗
元祖
雲母
田んぼ
暗渠
販路
タンゴ

 

2つ目は、「ライム（韻）を踏んだリリックを生成する」というもの。例えば、「”筋肉の歌”を作詞して！」と人工知能にお願いすると、こんな感じの結果がでます。

$ node app2 筋肉の歌
強烈な腹筋
饒舌なスッピン
神経もやられ退屈がfill me
神経もやられ怪物がfill me
朝から筋肉
伽耶から筋肉
唄はじまる
修羅はじまる
金色の甘い股関節
金色の甘いシャヴァネル
筋力アップだ!バーロー!
金属カムだ!バーロー!
デカく幅広い骨盤
セッタく幅広い骨盤
その眼球
その晩秋
繋ぎながら楽しい曲をCOMPOSE作詞作曲
繋ぎながら楽しい曲をCOMPOSE葉月茶道
歌声はなかなか先生、とても
カラオケはなかなか先生、とても
これは七年前の唄
これは七打点前の通夜
あなたの笑顔がかわいい第一関節
ちゃんばらの笑顔がかわいい第しり半月

それっぽい雰囲気のフレーズがでるときもありますが、意味不明なはちゃめちゃなフレーズが出るときもあるところがかわいいところでした。

 

２つ目のアルゴリズムはこんな感じでした。

  • テーマを入力（筋肉の歌）
  • そのテーマをmecabで名詞だけ抽出（筋肉、歌）
  • word2vecで関連語取得（筋肉、全身、神経、腹筋、筋力、股関節、歌、唄、作詞、声、主題歌）
  • その関連ワードをもとに、過去8万曲程度の歌詞を形態素解析したものを、マルコフ連鎖でつなげなおしてフレーズ生成（強烈な腹筋）
  • そのフレーズに韻を踏ませる（饒舌なスッピン）

 

どんなフロウだったの？

フロウは人間と比べる全然できてないのですが、このパートでは、max/mspやsay・soxコマンドを使って、以下のようなことをやりました。

  • バース（小節）の頭に、フレーズの頭が来るようにテンポ同期
  • フレーズレベルの音程、速さ、リバーブ、エコーなどのサウンドエフェクト調整

ラップにはフレーズのはじまりを小節の頭からあえてちょいずらしするテクニックや、フレーズの中で韻を踏んでる部分だけ強調して発話するテクニックなど、いろいろ奥が深いので、そのあたりの再現もっと頑張りたいところでした。

 

ライブは、実際、どんな感じだったの？

本番のときの映像撮ってなかったので、togetter的にエゴサーチ結果貼り付けさせて頂きます！

#HACKist #dedemouse #AI

Amari.さん(@amari_amamam)が投稿した動画 –

 

今回、作った子の裏キャラ設定として、以下のようなのを考えておりました。

  • 文脈ははちゃめちゃだけど、語彙力はすごい
  • おっちょこちょいのフィメール（女子）ラッパー
  • 「ヘイ」「ヨー」などテンポをとるフレーズは人工知能女子らしく「ピ ピ ピ」て言わせました

 

やってみた感想と、次回出演機会募集のお知らせ

人工知能によるラッパーさんの再現はまだまだ到底むずかしくて、言葉遊びを楽しむレベルのものになってしまった感じがありますが、終わったあとに、お客さんから「おもしろかったー」て声が聞こえてきたのは嬉しかったです。

わたし達としては初めての試みでしたが、１回やってみて改善点もたくさん見えたので、これで終わるのはもったいないと思っていて、今後もこの子を育てていきたいのですが、いまのところ、次回出演予定がありません！笑

なので、出演オファーやコラボのご相談など、もしありましたら、このページのお問い合わせメニューから、ご連絡ぜひお待ちしております！

※ 参考にさせて頂いたもの

ラップを学んだり、過去に「コンピュータにラップさせる」にチャレンジされていた方の事例を参考にさせていただきました。

みんなで人工知能ラッパーを作って、人工知能ラッパー同士でのバトルとか勃発すると面白そうです😋😋😋

人工知能ラッパー制作チーム クレジット /

  • 企画・プログラム：貴田達也
  • ビジュアルプログラミング：登山元気、菅沼慎平
  • アートディレクション：竹尾梓

おまけ映像

PC内での実行結果です。現場でターミナル開いてコマンドを打って本当にリアルタイムにワード生成してました。

]]> https://hackist.jp/?feed=rss2&p=7483 0 AIによるVJ映像生成システム「AI VJ」 https://hackist.jp/?p=7443 https://hackist.jp/?p=7443#comments Wed, 25 May 2016 06:49:57 +0000 http://hackist.jp/?p=7443 みなさま、お久しぶりです！ ちゃやです！

なかなかブログ書けてませんでしたが、意外にもちゃんと活動してました！
今回は最近始めた映像効果実験プロジェクト「D・E・E・P」とその第一弾作品「AI VJ」のご紹介をさせていただきます。

【 D・E・E・P 】
D・E・E・PはDigital Enhancement Effective Programの略称で、 デジタルを使った映像効果の実験プロジェクトです。

最近、HACKistのメンバーも増えてきたので、
HACKist_のようにジャンルごとにチームやプロジェクトを分けて取り組んでも良いかなと思って、
映像効果の実験プロジェクトを立ち上げました。

早速その第一弾として私が取り組んだ作品を紹介させていただきます。
AIによるVJ映像生成システム、その名も「AI VJ」です!!　そのまんまですね。

◆ 「AI VJ」 とはどんなもの？

巷で流行っているAI(人工知能)を利用したVJの生成システム及びそれを使って生成された作品です。
人工知能にVJ映像のデータを大量に機械学習させて、VJらしい映像を生成させています。

こちらがそのシステムを使って生成したVJ映像。
人間が作った映像には統一感や美しさではまだまだ勝てませんが、
AIで生成した独特な映像の感じがよく表現されている気がします。

◆ どのように作ったのか

AIでVJ映像を作ったと聞くと一見難しそうに聞こえてしまうかもしれません。
そもそもAIや機械学習ってなんだろうという方もいらっしゃると思います。
今回のVJ映像のAI作成はざっくり言うと下記のようなことをしています。

スクリーンショット 2016-05-24 21.02.03

機械に大量のデータ(上記では猫)を与えて、その画像の特徴を機械に教えこませて、
機械にその特徴を含んでいる画像を作らせる、ということを行っています。
人間も初めて見た知らないものについては、これは何であるかを教えてもらって覚えると思うのですが、
機械はまだまだ人間ほど賢くないので、上記のようにそれを何回も反復して覚えます。
そうして作成したモデル(AIの脳のようなもの)を用いて画像を生成しています。

興味のある方は、こちらに更に詳しい技術詳細が記載してあるので是非御覧ください。

◆ どんな映像が出来上がったか

今回は色々なジャンルのVJ映像データを集めて学習させました。
完全に主観ではありますが、フォトリアル系、モーションタイポ系、MAD系などなどを分類して学習させました。

例えば、これはモーションタイポ系の映像を学習させて作った映像。
なんとなく文字を描こうとしている感が見受けられます。

こちらは初音ミクのmmdの映像を学習させて作った映像。
言われれば初音ミクと分かるけどあまりうまく行かなかった例。

こちらはパーティクルや光の演出がよく登場する映像を学習させて作った映像。
学習させた映像の内容がよく反映されていて割と上手くいった例。

この他にもたくさん映像を生成したのですが中にはかなり特徴を捉えている映像もあり、
上手に学習させてあげれば狙った方向性の映像を生成することも可能な気がしています。

◆ こちらのシステムを活用して実際にVJします！

なかなか面白い映像が生成されるシステムがせっかく出来たので、
それを活用して実際にVJをさせていただきます！

現在絶賛開催中の HACKist 3rd Exhibition 「DIGITAL DIVERZ」 内のイベントにて行われるDEDEMOUSEさんとのLiveで、
“Prototyping and Music”というコンセプトのもと、色々な実験開発したものをご紹介する変わったLiveをするのですが、
こちらのシステムを活用したVJ映像もその場でご紹介させていただきます。

詳細はこちらのサイトから。

実は既に、5/21日に一度実施をしておりまして、5/28日に再度やらせて頂く運びとなっています。
「AI VJ」 以外にも 個性的なプロトタイプ作品を紹介予定ですので、
興味がある方は是非いらしてくださいませ！
会場で会えましたら幸せです！

それでは！！

]]> https://hackist.jp/?feed=rss2&p=7443 0