みなさま、お久しぶりです！ ちゃやです！

なかなかブログ書けてませんでしたが、意外にもちゃんと活動してました！
今回は最近始めた映像効果実験プロジェクト「D・E・E・P」とその第一弾作品「AI VJ」のご紹介をさせていただきます。

【 D・E・E・P 】
D・E・E・PはDigital Enhancement Effective Programの略称で、 デジタルを使った映像効果の実験プロジェクトです。

最近、HACKistのメンバーも増えてきたので、
HACKist_のようにジャンルごとにチームやプロジェクトを分けて取り組んでも良いかなと思って、
映像効果の実験プロジェクトを立ち上げました。

早速その第一弾として私が取り組んだ作品を紹介させていただきます。
AIによるVJ映像生成システム、その名も「AI VJ」です!!　そのまんまですね。

◆ 「AI VJ」 とはどんなもの？

巷で流行っているAI(人工知能)を利用したVJの生成システム及びそれを使って生成された作品です。
人工知能にVJ映像のデータを大量に機械学習させて、VJらしい映像を生成させています。

こちらがそのシステムを使って生成したVJ映像。
人間が作った映像には統一感や美しさではまだまだ勝てませんが、
AIで生成した独特な映像の感じがよく表現されている気がします。

◆ どのように作ったのか

AIでVJ映像を作ったと聞くと一見難しそうに聞こえてしまうかもしれません。
そもそもAIや機械学習ってなんだろうという方もいらっしゃると思います。
今回のVJ映像のAI作成はざっくり言うと下記のようなことをしています。

機械に大量のデータ(上記では猫)を与えて、その画像の特徴を機械に教えこませて、
機械にその特徴を含んでいる画像を作らせる、ということを行っています。
人間も初めて見た知らないものについては、これは何であるかを教えてもらって覚えると思うのですが、
機械はまだまだ人間ほど賢くないので、上記のようにそれを何回も反復して覚えます。
そうして作成したモデル(AIの脳のようなもの)を用いて画像を生成しています。

興味のある方は、こちらに更に詳しい技術詳細が記載してあるので是非御覧ください。

◆ どんな映像が出来上がったか

今回は色々なジャンルのVJ映像データを集めて学習させました。
完全に主観ではありますが、フォトリアル系、モーションタイポ系、MAD系などなどを分類して学習させました。

例えば、これはモーションタイポ系の映像を学習させて作った映像。
なんとなく文字を描こうとしている感が見受けられます。

こちらは初音ミクのmmdの映像を学習させて作った映像。
言われれば初音ミクと分かるけどあまりうまく行かなかった例。

こちらはパーティクルや光の演出がよく登場する映像を学習させて作った映像。
学習させた映像の内容がよく反映されていて割と上手くいった例。

この他にもたくさん映像を生成したのですが中にはかなり特徴を捉えている映像もあり、
上手に学習させてあげれば狙った方向性の映像を生成することも可能な気がしています。

◆ こちらのシステムを活用して実際にVJします！

なかなか面白い映像が生成されるシステムがせっかく出来たので、
それを活用して実際にVJをさせていただきます！

現在絶賛開催中の HACKist 3rd Exhibition 「DIGITAL DIVERZ」 内のイベントにて行われるDEDEMOUSEさんとのLiveで、
“Prototyping and Music”というコンセプトのもと、色々な実験開発したものをご紹介する変わったLiveをするのですが、
こちらのシステムを活用したVJ映像もその場でご紹介させていただきます。

詳細はこちらのサイトから。

実は既に、5/21日に一度実施をしておりまして、5/28日に再度やらせて頂く運びとなっています。
「AI VJ」 以外にも 個性的なプロトタイプ作品を紹介予定ですので、
興味がある方は是非いらしてくださいませ！
会場で会えましたら幸せです！

それでは！！