この課題をデジタル領域の広告制作プロダクションである私たちが持つ「伝える力」と「デジタルテクノロジー」で解決できないかと考え Synchronized Aquarium (シンクロ アクアリウム) という作品をつくりました。

Synchronized Aquarium (シンクロ アクアリウム) は「遊泳の美しさ」、「模様の面白さ」、「生態のヒミツ」といった魚の持つ魅力を映し出す不思議な水槽です。

この作品では、水槽の前面に貼った透明フィルムに、自由に泳ぐ魚の動きにシンクロした映像を重ねて投影しています。

リアルタイムに魚の軌跡、種類を認識し、魚の魅力をモチーフにさまざまな映像演出を行います。

従来の水槽の鑑賞体験をアップデートし、魚の魅力により気づき、学び、感動できる新しい水槽の鑑賞体験を目指しています。

魅力を伝える２つのモード

現在、このシステムには「ショータイム」、「吹き出し」という２つのモードがあります。

（１）魚に心を動かされる「ショータイム モード」

このモードでは「遊泳の美しさ」「模様の面白さ」をモチーフにした映像を音楽と魚の動きにあわせて、水槽に投影します。
泳ぐ魚に映像を重ねることで、映像が観賞魚の持つ本来の美しさを際立たせる補助線のような役割を担います。
また、映像を定期的にアップデートすることによって、シーズンにあわせた演出をすることが可能です。

（２）魚について学べる「吹き出し モード」

このモードでは、「お魚の名前、出身地」や「隠れた生態のヒミツ」などを魚自身が吹き出しで話してくれます。
説明パネルと水槽内の魚を照らし合わせて見る必要がなく、水槽を眺めているだけで図鑑で得られる知識を学ぶことができます。
魚の種類ごとに口調を変えたり、キャラクターを付けることで、より楽しく魚について学ぶことができます。

設置イメージ

現在のシステムは水槽の後ろからカメラで魚の位置をトラッキングし、水槽の前面に貼った透明フィルムに映像を投影しています。

HACKist 4th Exhibition、SXSW2018への出展、博報堂アイ・スタジオのエントランスでの展示風景はこちらです。

※ 弊社のエントランスでは６月末までこちらの水槽を展示しております。

Future Work

こちらの作品に興味があるクライアント or パートナーさまを募集しております。

(1) パッケージのカスタム販売

現在わたしたちがもっている水槽ソリューションに興味があるクライアントさまを募集しております。

(2) 未来の水槽のありかたを一緒に探れるパートナーさま募集

大型の水槽で実施できるよう研究開発を進めたいと思っています。
未来の水槽のありかたを一緒に探れる、大型水槽をお持ちのパートナーさまを募集しております。

問い合わせ先

ご興味がある方はお問い合わせ用フォームより、お気軽にお問い合わせください。

プロジェクトタイトルは「Co-De」。
去年よりワークさせているConnective Designの言葉頭をつまみつつ、CoもDeもそこから繋がる英単語にクリエイティブ周辺を連想させる言葉が様々に当てはまることもあり（Co-creation、Communication、Development、Deliver…）シンプルにそのプロジェクト名としています。

さてこのプロジェクトはどんなものなのか？
その内容をザーッと説明していきます。

どんなプロジェクトか？

体験とテクノロジーのデザインを強みとする我々と、デザイン＆リサーチ研究機関であるCreatives AcrossとMediaLab Amsterdam、そして両者のハブとなるNeuromagic Amsterdamの混成チームからなる、日本とアムステルダムを「テーマ」でつなぐ共創プロジェクトです。

東京チームでは4人、アムステルダムチームではおよそ6〜7人ほどのチームメンバーを立て、一つのテーマに対して双方の視点から課題に取り組みます。

両方の国に共通する課題に向き合い、社会実装を目指す

今回は、お互いの国に共通する社会課題に取り組む、という視点を立てました。
そこで、SDGs（持続可能な開発のための2030アジェンダ）からテーマを見つけることから、このプロジェクトはスタートしています。
SDGsとは、2015年の国連サミットで採択され、2030年までに国連加盟国が達成するべき目標として定められているものです。

両国に共通するテーマをSDGsのアジェンダに沿うように選び、MediaLab式の「Design Sprint」と呼ばれるワークフレームを通じ最終的に社会実装されるアウトプットを作ることを目的としています。

前述のように、本プロジェクトのDesign Sprintに関しては、MediaLab Amsterdamが独自で体系化したものをベースに使用。MediaLab Amsterdamが常日頃おこなっているカリキュラムを日本にも共有してもらい、その中でプロジェクトをワークさせています。

また、社会実装されることを目的としたアウトプットと言っても、その出口は色々とあります。
自分たちでサービスを始めるのか、どこかの企業に買ってもらうのか、はたまたもっと一般の人を巻き込み皆で作り上げる新しいプラットフォームにするのか・・・など、現時点ではどのような出口にたどり着くのか不明ではありますが、いずれにせよ「タンジブルなものを作り上げ何かしらの新しい領域に踏み込む」という点において、メンバー全員がその出口を目指し歩んでいくものとなります。

流れはこのような形で、1回のSprintに約三週間。
それを計4回ほど回し、最終的なアウトプットを両方のチームの連携で目指します。

通常の日本のやり方であれば、 アイデア出し → プロトタイプ → 検証 → 提案 を一本の道のりで行うことが多いですが、MediaLab式の場合は短い時間を区切り、その中で「未完成でもとにかく先に進める」というフローを繰り返すことで、より強度のあるアウトプットを目指していきます。

テーマによってチームがユニークに変化し、限られた時間の中で最大のアウトプットを出すことを求められるオランダにおいて、MediaLab式のDesign Sprintは非常に合理化されたフレームであることが、本プロジェクトを通じ実感値として得られています。

ひとまず、アムステルダムでSprint1を回してきた

遠く離れた場所でチームを組む場合、基本はオンラインでのコミュニケーションがメインとなります。
通常は以下のように、何かしらのビデオチャットツールを使い、双方のコミュニケーションを図ります。

ただ、どれだけオンラインツールが発達したといっても、初めてのプロジェクトを始めるのに一度も対面で会ったことがないのは、プロジェクトを進める上で色々と不安になります。
それはどの国の人でも一緒。相手がどんな性格か、どんなことを思っているか、何が得意で何が不得意か・・・を把握するためには、直接会って会話するのが一番です。

というわけで、まず最初のSprint1に関しては東京メンバー全員でアムステルダムへ行き、現地のDesign Sprintのフレームがどんなものか？のレクチャーを受けながら、実践していきました。

ユニークだったのは、PechaKuchaと呼ばれるやり方で全員の自己紹介をするというもの。これは1ページあたり20秒、トータル10〜20ページのスライドで自分のことをプレゼンするといった、ミニTEDのような自己紹介の方法です。
だいたい一人あたりトータルで200〜400秒の中で自己紹介を行い、それがバトンリレーのような形で回るので、スピード感と程よい緊張感で自分たちの紹介を行うことができます。

この辺りですでに、合理的な進め方で質をあげることを目指す、彼らのやり方の片鱗が見え隠れしています。

さらにDesign Sprintを回すのに欠かせないのが、このDesign Method Toolkit。
世界中にあるデザインやアイデア、リサーチの方法を収集し一つのカードにまとめているものです。

Toolkitのカードの中からファシリテータがその都度、現状のSprintに合うメソッドを選び、ストーリーを組み立ててていきます。
Toolkitの中には日本でのなじみ深いKJ法などもあり、広い視野で集められているのがわかります。

このToolkitはWebでも全ての情報がパブリックに公開されているので、興味ある人は全て読み込んでみるのも、ワークとして面白いかもしれません。（そして朗報があり、現在九州の大学でこのToolkitの日本語翻訳版がそろそろローンチ予定、とのこと。これは期待できそうです）

そんな形で、まずはテーマに対してのリサーチや現状把握をするべく、現地でのディスカッションとフィールドワークを通じSprint1に取り組んできました。
そこで得た様々な情報や刺激を持ち帰り、日本のやり方に沿うような形でアレンジしながら、現在進行形で取り組んでいます。

日本とアムステルダムの混成チームがどんな結果をもたらすか、楽しみでなりません。
現状どんなテーマに向き合っているか？どんな進捗か？の深い情報まではお伝えできませんが、新しいアウトプットに着地できることを信じ、残りの日程を進めています。

また新しい動きがあれば、アップデートした情報をお伝えできればと思います。
お楽しみに！

はじめに

2017年10月26日から29日の4日間。HACkistの4度目の展示である【HACKist 4th Exhibition – Connective Design：テーマとテクノロジーをつなぐデザインの実験】が行なわれました。

今回のエントリーはその中の作品の一つである【The Falling Moon：VRアドベンチャー】と銘打ったVR体験コンテンツについて触れたいと思います。月の落下により崩壊する世界のラスト3分間を体験するVRアドベンチャーです。VRでのリッチな視覚＆身体体験ではなく、情報量を絞りREAL空間とVR空間を繋ぐことで「VRのナラティブ性」について深くアプローチすることを目的としています。

VRを考える上で見えてきた課題

VRコンテンツを作る上で幾つかの実例をやってみた結果、構築された世界への没入感は相当高いレベルである反面、身体情報の視覚、聴覚、触覚のみでそれを体験しなければならず、現実と比較して「何かが足りない」という印象を持ちました。
さらにヘッドマウントディスプレイを装着することで、いかにもこれからVRを始めますよ！という線引きがありその感覚にも改善点があるような印象を受けました。

この「何かが足りない」という漠然とした課題。

プロジェクトの大半の時間を割き、メンバーでディスカッションを続けた結果、VRでのリッチな視覚＆身体体験ではなく、情報量を絞りREAL空間とVR空間を繋ぎ「VRのナラティブ性」についてアプローチすることで課題に対しての一つの解が提案できると考えました。

アイディアと制作期間

VRの体験時間を3分と設定。短すぎても伝わらないし、長すぎてもVR酔いの懸念がある中で導き出した時間。
限られた時間の中で行う体験をどう現実世界の体験とシンクロさせるかでした。

こればかりは考えても限りがある部分でしたので、実際のものを作っては複数人でのデバッグ+意見交換というセットを何度も行い、ストーリーの軸を決めるor修正の繰り返し。何度もゼロベースから作り直しを行う為に制作スピードが求められます。
課題抽出のディスカッションの間の数日を使いいくつものサンプルが作られ、そして消えていくというまさにコンテンツタイトル通りの制作スタイルを貫いた感があります。

プランが固まり最終的に使うプログラム部分や会場のセッティング、オペレーションなどを確認しつつ仕上げを行い、展示前日のギリギリまで調整を続けていました。

展示期間中の運用

ヘッドマウントディスプレイの装着やコンテンツの説明、安全面の確保などでどうしても運用には人の手が必要となってきます。それをネガティブにはとらえず展示期間中に気づいたことを運用スタッフ間で共有し、オペレーション手順の改善やプログラムの更新などを随時行えたのは大きな成果だと思っています。（初日と最終日ではVR世界も少し変わっていたことでしょう）

オペレーションについては事前に想定していた管理用のインターフェースがあり、その状態を見ることでスタッフ間の引き継ぎも数分で行えるなどの事前準備が効いていました。これについては次の機会で触れようと思います。

展示を終えて

今回は「VRのナラティブ性」に対してのアプローチでした。振り返って反省点や追加で作りたい部分などはあるのですが、それを差し引いてもやはりVRは非常に強力な体験装置です。
ただどうしても一人でやることが前提になってきます。今回のように1:1の体験。それはそれで重要なのですが、1:N。多数の人が同時に体験できるものについて考えても面白いと思います。

今回の展示会を経て、ユーザー体験の重要性を非常に強く意識でき、その取り組みに関われて非常に良い刺激を受けることができました。
この経験を生かしてまた面白いものを作っていけたらと思っています。

ご来場いただいた皆様、そして関係者の皆様！ありがとうございました！！！

Credit

クリエイティブディレクター／アートディレクター／デザイン
望月 重太朗

デザイナ／テクニカルディレクター／VR構築
小井 仁

演出／シナリオ
下田 彦太（CluB_A）

ミュージック／サウンドデザイン
太田 昌孝（MUSE CREA inc）

ボイス
李そじん（青年団、東京デスロック）

レコーディング
村井 宏志（r STUDIO）

デザインアシスタント
諏訪真

運用／アシスタント
阿部 世理

今回は「Unityでの群行動アルゴリズムを使った演出を考えてみる」と銘打っていますが、主に扱うのは群知能アルゴリズムをUnityに移植して遊んでみた記録になります。

群知能 – 人工知能技術の一つで自然界の例として、鳥の群れ、動物の群れ、魚の群れなどの再現を行うのに非常に優れた考え方の一つです。主だって使ったのは基本的なVector3計算とRigidBody,Quaterianという基本項目だけになってしまうのですが、Unityのプログラムを組みに当たって非常に重要な項目を多く含むと思われたため頑張ってみました。
群知能アルゴリズムと聞くと流行りの機械学習系かと思う方もいらっしゃるかもしれませんが、そうではなく基本的なルールをいくつか設定することで複雑でエレガントな演出が実行されます。

そのルールとは・・・

ルール1
鳥オブジェクトは、自分以外の鳥オブジェクトと一定の距離を保つ。

ルール2
鳥オブジェクトは、自分の属する群れと同じ方向に向かって飛ぶように向きと速度を常に調整する。

ルール3
鳥オブジェクトは、自分の属する群れと離れすぎないように群れの中心に向かって進む。

基本的なルールは上記の3つになるのですが、製作者のセンスといいますか、幾つかの別ルールを追加しても面白い動きを見せてくれます。前置きが長くなりました。記録した動画を用意しましたので見ていきましょう。

[Unity] Boids 3D

ルール1から3までをそのまま組み込んだものがこちらの3Dモードです。今回は視認しやすいよう軌跡を描いています。
簡単なルール3つだけで何か意志を持ったかのような動きが見て取れますね。

今回Boidsを作るにあたって、2つのバージョンでスタディを進めています。一つは物理的な衝突判定を前提としたモード。
そしてもう一つは衝突判定を考慮しないモードです。Boidsの特性上、鳥同士が衝突するということは少ないのですが、ゲームエンジンの一つとして組み込んだ場合他のオブジェクトとの衝突判定があった方が総合的に使いやすいと思われたので両方のモデルで製作しています。ただ、2つのバージョンといっても基本となるアルゴリズムは前述した3つのルールを組み込んでいるため同じ処理になります。

[Unity] Boids 2D

3Dバージョンを作ったのはいいのですが、ディスプレイの中で3Dを扱うとユーザーの情報取得難度が上がり、よくわからない！ということも多くあります。そこで2Dバージョンに調整を行いました。気づいてはいましたが・・・平面的な情報の方がよくわかりますね。それぞれの鳥はお互いの距離を適切に保ちつつ、他の群れと遭遇した場合はお互いに影響を及ぼしあいながら進行を繰り返している様子がわかります。

動きを組み込んだ後のブラッシュアップ項目の一つに必ずと言っていいほど処理負荷の軽量化が挙げられますが、
最初挙げた3つのルールの見直しや、Unity上でのプログラムの最適化などを行えばさらに数倍効率的に動くのではないでしょうか。

基本的な動きのパターンが出来たところで、このプログラムが何に使えるかという点ですが、比較的柔軟に使えるような気はしています。鳥や動物の群れ、魚群、飛行機の編隊飛行にもうまくやれば対応できるかもしれません。

[Unity] Boids Zombi

このアルゴリズムをつかってゾンビの群れを操ってみました。実際に使うとなれば、例えばゾンビの周辺にプレイヤーがいた場合は、その群れに属するゾンビが一斉に襲ってくる！といった展開がまず考えられるかと思います。ちなみにVRにも移植してみたのですが、これかなり怖いですね！！

Unityといえばアセットストアを使って効率化してみたいなスタイルが主流かと思いますが、時々こういったアルゴリズムを触ってみて楽しんでみるのもいいのではないでしょうか。

HACKistではこれまでに色々とハードウェア系のプロトタイプや作品を発表してきましたが、それらのプロトタイプや作品がどうやって作られているのかをあまり表に出してこなかったので、今回はハードウェアの制作環境や制作過程をご紹介したいと思います。

ハードウェアの制作環境

弊社には「ラボルーム」と呼ばれる研究開発などに使用されている部屋があるのですが、その一角にハードウェア制作のためのスペースがあります。

ここでは主に電子回路の制作や実装、簡単な外装の制作などをおこなっています。
基板の制作は専門業者に発注することもありますが、最近では切削加工機を使って社内で制作することが増えてきました。

よく使う部品や材料などは社内にストックしています。

基板の制作から実装までを社内で完結できるようになっているので、短時間でのハードウェアプロトタイプの制作が可能となっています。

ハードウェアプロトタイプ制作の流れ

ひとえにハードウェアのプロトタイプ開発といっても、ハードウェア系の制作をしたことがない方にはイメージがつかないかもしれません。そこでHACKistでおこなっているハードウェア制作の流れをご紹介したいと思います。

前提として、何を作るか、どんな仕様にするかは既に決まっていることとします。

1. 基板の設計

まずはじめに基板の設計をおこないます。

基板の設計にはメンバーによって使用するソフトウェアは違いますが、僕の場合は基板の設計にはKiCadというソフトウェアを使用します。

まずKiCad上で回路図をおこしながら全体の設計をおこないます。この時点で使用する部品も決定していきますが、初めて使用する部品がある場合には、使い方を確認するために検証基板を専用に作成することもあります。
部品の購入は秋葉原の電子部品販売店で購入することが多いですが、そこで販売されていないものは海外の電子部品通販サイトなどから購入することも多いです。

回路図決まったら、基板の設計をおこないます。CAD画面上に部品を配置して、その間を配線などでつないだりしながら基板を設計していきます。この時の配線の仕方などに結構人それぞれのこだわりなどが現れたりするのですが、基本的にはキレイな配線を目指すとミスがあった時の修正作業などもスムーズにおこないやすいです。

すべての部品を配置してすべての配線をひき終えて、配線にミスがないかよくチェックをしたら基板の設計データの完成です！

2. 基板の制作

基板の設計データが完成したら、それを実際に出力します。

基板は切削加工機で基板用の銅箔板を削ることで制作します。

設計データを FlatCAM というソフトに読み込ませ、切削加工機を動かすための加工データを作成します。FlatCAMの使い方の詳細は割愛しますが、持っているエンドミル（切削加工で使用するドリル刃）の種類に応じてパラメータを入力し、最適な加工データを出力します。参考までに、うちでは 直径が0.5mmと0.2mmのエンドミルをよく使用していて、単純な回路は0.5mmだけ、細かくて複雑な回路だと0.5mmに0.2mmも組み合わせる場合が多いです。

加工データができたら、実際に基板の加工です！

加工中はエンドミルの交換などの作業以外は見ているだけなので休憩タイムです。

※上の画像と動画の切削中の基板は設計データとは別のものです

加工が終わると、写真のような基板ができあがります。

3. 部品の実装

基板の加工が終わったら、基板上に部品を載せてはんだ付けしていきます。

基本的には手作業ではんだ付けをしていくのですが、使用する部品によってはそれが難しい場合もあります。

下の写真の基板は、とあるICの検証用に制作した基板ですが、そこに使用するICは大きさが２ミリ程度、電極端子は0.2ミリ程度の大きさしかありませんでした。このサイズだと手作業でのはんだ付けは難しいです。

そこで、このような時は簡易リフローという手法を使ってあらかじめ基板上にペースト状のはんだをつけて、そこにICを載せてホットプレートで基板全体を熱することではんだ付けをします。※料理風景ではありません

こうしてすべての部品の実装が終わったら基板の完成です。

4. ファームウェアの制作

基板が完成してもファームウェア（基板に組み込むソフトウェア）を書かないと基板は動作しません。

ハードウェア特有の制約のようなものはありますが、ファームウェアの作成手順自体は普通のプログラム作成とそう変わりません。使用するマイコンメーカーが提供する開発環境を使用して動作させたいプログラムを組んでいきます。

ファームウェアを作成したら、メーカーが提供するデバッガと呼ばれる書き込み機を使用してファームウェアを基板上のマイコンに書き込みます。

5. （必要に応じて）外装の制作

ここまで来たらほぼ完成したようなものですが、制作するハードウェアによっては外装も制作しなければいけない場合があります。

切削加工機を使用して樹脂を削って制作したり、3Dプリンターを使って作ることもありますし、自分で制作する時間がなかったりクオリティを求める時は外部の3Dプリントサービスを利用することもあります。

※画像はスタイロフォームを使って外装の試作をおこなっているところです

下の画像はDIGLOGのものですが、基板に外装がつくと見た目の印象が大きく変わるので、制作のモチベーションもぐっと上がります！

6. 動作確認をして完成

基板とファームウェア（と場合によっては外装）がそろって、最後にきちんと意図した動作をしているかどうか検証をして問題なければようやくハードウェアプロトタイプの完成です！

制作物によっては基板の設計から製造までを丸々外注に出してしまうこともあったりするので、必ずしも今回説明した通りではないのですが、ハードウェアの制作という意味ではおおむねこのような工程で制作がおこなわれます。

ちなみに、上の写真の左側にある基板は現在プロトタイプを重ねながら現在開発中のものなので、詳細はいずれ改めてご紹介できればと思います！

さいごに

今回は簡単にですが、HACKistのハードウェアプロトタイプの制作現場をご紹介しました。
ハードウェアはソフトウェアに比べると形になるまでの道のりが長くて大変だったりするのですが、動いた時完成した時の感動はソフトウェア以上のものがあるように思います。

これまでのHACKistブログはソフトウェア系の記事が多かったですが、HACKistではフィジカルを活かしたハードウェア系作品の制作にも取り組んでいますので、今後はそういったハードウェア系の記事もどんどん上げていきたいと思います。

この作品は見えない力の表現となっていて、HoloLensをつかい、Unity,Max,IoTといった技術を連動させた作品となっています。
細かい技術要点は多々あるのですが、今回担当した視覚効果の部分について触れていきたいと思います。

体験設計と基本的なパーツの実装

体験の流れとして、HoloLensで見えるMR空間内にバリアを展開。それにユーザーがエネルギー弾を投げてバリアを破壊するという一連の流れの生成と演出になります。このオーダーに対して次の動画のようなデモをいくつか作り、チーム内でイメージの共有を進めました。

このバリア、初めはWebGLでサンプルを作っています。Unityで作るのになぜWebGLをつかってサンプルをつくるのか？という疑問があるかもしれません。
その理由として、INVISIBLE FORCEを作り始めたのが1月中旬。3月上旬のSXSWまで時間がなく一番慣れ親しんだ言語がGLSLだったというのもあります。（余談ですが、この時点でUnityを触り始めて2月半ほどでした・・・）デザイナーさんと詰めていく過程をGLSLでやり、最終的なアウトプットに対してはHLSLで実装したといえばわかりやすいでしょうか。
また、柔らかなイメージのバリアなので、弾が当たった瞬間に弾くようなエフェクトではなく、受け流すような動きを演出として加えています。
これで基本的な部分ができました。

GPGPUをつかってバリア破壊のエフェクトをつくる

次はバリア破壊のエフェクト。イメージしたのは柔らかい球体が割れていく様。シャボン玉や風船が割れる瞬間をスーパースローカメラでとらえたような絵を再現する事にしました。バリアにエネルギー弾が当たったところからゆっくりとバリアが無くなっていくイメージです。

いくつか実装の方法は思いついたのですが、この時は一番シンプルなバリアと弾の接触した座標からの距離を使った3D演算をShader側で行う事で達成しました。いわゆるGPGPUの一種です。
Shaderに処理を委ねたのは、計算内容が3Dによったものだったのでマシンの処理負荷を考慮した結果でした。

INVISIBLE FORCE製作を振り返って

やはり3Dコンテンツの制作は、デザイン先行しての制作になりにくく（いわゆるグラフィックデザインが先行しにくいためです）、全体の体験を設計した後にチーム内のイメージ共有、そしていきなり実装というケースが多いかと思います。今回もまさにその環境だったのですが、イメージにできるだけ合わせた実装を行なった後にチームで細かくすり合わせを繰り返すことで作り込みと完成度を高めていくことができました。コミュニケーションってやっぱり大事ですね！

MRとして今回製作していますが、基本的なことを押さえていればVRコンテンツにもすぐ応用が利き、改めてUnityの汎用性の高さを確認できました。
余談ですが、先日VRを作ってみようと思い、月曜に作り始めたら火曜には簡単なでのレベルのVRゲームができたので改めてご紹介できればと思っています。

Shaderの汎用性

Shader（本記事の中ではGLSL、HLSLといったShader言語で開発）は基本的に3DCGにおいて、陰影処理や模様を作り出す機能の総称なのですが今回はこれに加え3DCGの形状も変化させてみました。これはGPGPUというテクニックの一つで、PCの中でグラフィックを計算する部分を使ってグラフィック以外の計算をさせる事で高速に処理を行う方法です。これはビジュアライズ分野以外にも多く使われており、最近よく耳にする機械学習の分野においてもこのGPGPUの処理方法が使われています。
このようにShaderは非常に多くの汎用性があるため今後より掘り下げた使い方を模索していこうかと思っています。

今週末からCannes Lionsがスタートしますが、
それに先駆けてすでに公開されてるLions Innovationの全ショートリストをチェックしてみました。

今回はどんなラインアップなのか、作品ごとに簡単な説明（＋僕の個人的な見立て込み）に加え、
ケースフィルム（orサイト）のリンクをシートにまとめてみました。
公開しておきますので、是非ご活用ください。
※あくまでもザーッとしたチェックなので、捉え違いなどがあった場合はこっそりメッセなどで教えていただけると幸いです。

Lions Innovation 2017 Shortlist

Lions Innovationは少々他のカテゴリーと趣向が変わっており、現地でのプレゼンテーションが必須となっています。
で、このプレゼンを審査員と一緒に聴講できるんですね。

私は2015年より過去２回ほど、仲間と共にこちらのFacebookページでリアルタイムにプレゼンレポートを行っているのですが、今年も実施する予定なので、もしよければチェックしてみてください。

TAPES

今年もどんなカンヌになるか、楽しみですね。
現地にいらっしゃる方、是非お会いしましょう！

OpenPose って何ができる？

写真・絵画・マンガや、動画から人物のボーンの2次元座標を抽出できます。

以下、いくつか openposeのデフォルト設定でボーン検出してみた例を貼ります。

人物写真。

※ 出典元 : PAKUTASO

古い写真や、風景写真。

西洋絵画。

「民衆を導く自由の女神」 ウジェーヌ・ドラクロワ

「アダムの創造」 ミケランジェロ

「アルプス越えのナポレオン」 ダヴィッド

例えば、イラスト。

※出典元 : いらすとや

浮世絵などの日本絵画。

「三世大谷鬼次の奴江戸兵衛」 東洲斎写楽

「鷹見泉石像」 渡辺崋山筆

漫画。

出典：ブラックジャックによろしく

OpenPose は実写の人間だけではなくて、写実的なイラストや、絵画にも効果を発揮することがわかっていただけたと思います。

OpenPose の論文によると、教師データは MPII Human Pose Dataset と、COCO 2016 keypoints challenge dataset であると書いてあります。このデータセット内に絵画がないように見受けられるので、実写の人物写真に対し最も効果的です。もし絵画に対してボーントラッキングしたいなら別途、漫画のデータセットを作るのが正攻法だと理解しつつ、OpenPose は抽象化された人間に近いかたちに対しても応用が可能な汎化能力の高さがあり、すごいなー、と感じました。

また、OpenPose は画像だけじゃなく、動画に対しても利用可能です。

リアルタイムではない過去の動画だったら、全フレームに対して、認識をすることができます。以下はインド映画の全フレームに対して OpenPose
をかけてみた動画です。

※ こちらの動画を解析させていただきました。

リアルタイムな動画の場合でも、このくらいの精度・速さで認識ができます。

僕がいつも使ってるディープラーニングマシン (NVIDIA Tesla K40C) だとリアルタイムのウェブカム映像（1080p）をそのまま認識させると、 3[fps] 程度でしたが、 github の demo_overview ページにあるように、--net_resolutionオプションをつけて、解析対象の画像の解像度を下げて実行すると、認識精度が下がりますが、FPSは早くなります。被写体が映像の中で大きく写っていれば、だいたい 7-10[fps] くらいで認識できます。

OpenPose はすでにあるポーズ推定技術と何が違うの？

一番商用でなじみのあるポーズ推定技術である Kinect V2 と比べたときの、OpenPose のメリット・デメリットについてです。

○ メリット:

• 人物が写っていれば、古い動画でも対応可能。また、人物が描かれた写実的なイラスト、絵画にも対応可能な場合がある。
• ふつうの単眼のビデオカメラや、ウェブカメラで撮影した映像でポーズ推定可能。（つまり、わざわざ Kinect で撮影したデータを使わずに、スマホでとったデータでも解析可能ということ）
• センシング距離に制約がない（KinectV2 は 8[m] までとのこと）
• 屋外の太陽光の有無に関係なく使える（KinectV2 は赤外線に影響を受けやすい）

× デメリット:

• リアルタイムだとマシンスペックにもよるが、だいたい 3-10[fps] 程度と fps が遅め
• 2 次元座標しかとれない。3 次元座標がとれない。
• OpenPose の実行には性能のいい GPU を積んだマシンが必要。

ポーズ推定原理として、KinectV2は赤外線を使って TOF 方式という、光を照射して、戻ってくるまでの時間をもとに、3D デプスデータを取得し、そこからボーン推定をしていますが。OpenPose は 2 次元画像をもとに、「右手首」「左足首」などの体のパーツをディープラーニングで物体認識し、そこから体全体のボーン構成を推定するような手法をとっていることから、このような違いが生まれています。（※参考： Multi-Person Pose Estimation using Part Affinity Fields というプレゼン資料）

OpenPose はどんな表現に使えそう？

ひとまずスノーボード動画に対して、プレイしている人が常に映像の中心に固定されるような映像を作ったら、プレイヤー中心視点の映像となり、新しい見え、にならないかぁー？という実験を Unity でしてみました。

※ こちらの動画を解析させていただきました。

最近、こんなかんじの実験をいろいろ試しており、OpenPose らしい表現が見つかり次第、この blog にまたあげようと思います！

OpenPose のライセンスについて

ここに書いてある通り、非商用利用の場合はフリーで使えるが、商用で利用する場合は、連絡をください、と書かれています。

OpenPose の今後について

五指のトラッキングが1,2ヶ月後、顔のランドマークのトラッキングが 2,3 ヶ月後に comming soon と書かれており、OpenPose の今後のアップデートに注目していこうと思っています！

今年で4回目のトレードショー出展を果たし、無事に4日間戦い抜いた「HACKist」なわけですが、本記事では、「【SXSW2017】HACKist、四度目のオースティンの大地を踏む」でご紹介した5つのプロダクトの現地での準備風景と、日本〜現地で設営を終えるまでの裏方の苦労話から一つ、お話しようと思います。

まずは現地の準備前の風景。

去年に引き続き3ブース（約9メートル）借りたので、相変わらずの広さ！
出展企業の中でも3ブース横につなげて展示しているところは、単独の出展ではめずらしいのではないでしょうか。

到着すると、日本を出る前にオーダーしたモニターなどの備品が各ブースに届けられています。
今回も日本から発送した（苦労して税関を通過させた）荷物を宿からトラックの荷台に乗せて運び、みんなで開梱、組み立てていきます。

こちらは今回の目玉、Invisible Force（IF）の筐体組み立て風景です。
現地でのテストも無事に終えることができました。
やはり現場入りから気づくこともあり、このあとIFで使うブロックをスプレーで白く塗るなど、現場での対応が必ず必要なのもこういう所ならではですよね！

トレードショーが始まってからも、やはりIFは派手で音もでかいため、周囲の注目を集めていました。体験したいという方が続出していました。

テスト風景動画はこちら

IFに続いてTREKTRACK、Talking POP、 JACH、RePHubもどんどん展示していきます。

前回よりも長くなったターポリンも全員協力して設置します。

Invisible Forceで使用予定だったノートPCがパワー不足で使えないなどのトラブルもありましたが、今回もなんとか無事に、2日間の設営と動作確認を終えることができました！

、、、そして、ここからが裏方の話。

トレードショーに出展するには、あたりまえですが、現地で展示する実物をはじめ、ターポリンや什器、説明パネルなどの付属品も用意しなければなりません。そして現地の運営ともやり取りしないといけないことが多くあります。
また作ったものは現地に輸送しなければならないので、そこを円滑に進めることができるか、というのもトレードショーを成功させるにあたって非常に大事なキーとなります。

そして、実はここがなかなかめんどくさい。

今回はそのめんどくさく、もっとも裏方っぽい「出展関連物の発送」についてお話をしようと思います。

輸送方法はなにがいいのか

今回、最初に、そして初めてトライしようとした方法は展示会場の機材・設営周りをすべて取り仕切っているFREEMAN
という会社に事前に荷物を送り、トレードショー準備が始まる日に、ブースまで届けてもらうという方法でした。

結果、今回も、いつもお世話になっているFedExで宿泊先に輸送→メンバーで現地まで運搬という方法を取ることとなってしまったのですが（理由は後ほど）、次回SXSWに荷物を送るときはこの方法がいい思いました。
アメリカまでの輸送費(FedEx)+現地の輸送費(FREEMAN)で、ちょっと値は張るかもですが、現地でのオペレーションがだいぶ効率的になります。

ただしこの方法も、送る時期によって一時保管の倉庫かトレードショー会場かで送り先が違ったり、ちょっと注意は必要です！

ルールの確認は入念に！

先ほど、結局今回も宿泊先までの輸送なったと書きましたが、何故そうなったのでしょうか？今回の理由は梱包にあったのです。

今回梱包した荷物はこのような感じです。

前回(SXSW2016)送ったときはダンボールとガムテのみの包装でしたが、今回は綺麗にまとめてラップでぐるぐる巻き。
梱包作業はメンバーみんなで行ったのですが、流石に手際も良くなっており、梱包にはさほど時間はかかりませんでした。

梱包も終わり、集荷表も書き、集荷も依頼済み、「あとは待つだけ」と思ったその時、、、

最終確認のため見返していたSXSWの出展者用ポータルサイトで見つけてしまいました。

「Freeman will accept crated, boxed or skidded materials」

ちゃんとダンボールに入ってるか、木箱に入ってるか、スキッド？に乗ったものしか受け付けませんとのこと。

気づいたのは集荷時間の３０分前、、、。
危なかったです。気づくのがあと一歩遅かったら、危うくアメリカに荷物がついてから送り返され（るか行方不明になっ）て、展示が全て台無しになるところでした、、、。

輸送周りの手配を一緒に行っていた公文さんに、即効電話で相談、プチ会議の結果、今回も宿泊先へ荷物を輸送することに。
そして例年通りそこから自分たちの手で会場まで運ぶことになりました。

みなさんも、得意先からもらった仕様書を納品前によくよく見直したら仕様が違って、作り直し、、、なんて経験はないでしょうか？

自分は普段エンジニアとして働いているのですが、今回の一件はそれに近いものがあるなと感じました。
やはり、しっかりと事前にドキュメントを理解するってことが、何事においてもものごとの出発点だなと再認識しました。

最大の難関、税関申告書

さて、FedExに集荷依頼して、梱包したら、終了か？と思うのですが、そういうわけにもいかないのです。

そう、集荷時に「税関申告書」も書いて提出しなければならない。
この申告書、海外に荷物を送ったことのある方ならわかると思いますが、非常に細かく書かなければならない。

そしてただでさえ厄介な輸送で、この税関を通す作業が一番手間がかかります。
HACKistは2016年も2017年もこのフェーズでヒヤヒヤしました。最悪、荷物が届かないですから。

今回、一番大きな例を上げるならば、IFの筐体をwoodshelfとしたのですが、これまた税関で引っかかってしまったんですね〜。

2016年はTシャツ、つまり綿で引っかかってますから、やはり植物の持ち込みは厳しいことが伺えます。

今回は3回ぐらい、税関を通してくれるFedExの人と電話やメールのやり取りをしてどうにか通ったのですが、木の学術名称まで聞かれたり、最初大雑把に書いてしまうと、あとでより細かく聞かれることを学びました。

HACKistがSXSWに出展を始めた頃からずっと、この税関周りの対応をメインで行ってくれている公文さんが、FedExからメールが来る度に「またか、、、。もうやだ〜。」とうんざりしていたのが印象に残っています、、、。笑

余裕を持った対応を。

HACKistの実体験を踏まえてご紹介したSXSW出展の裏方、いかがでしたでしょうか。

これからもSXSWに限らず色々な場へ可能性を探しに行くHACKistとしてはこの辺の地味な知見でも次に生かし、より制作に集中、余裕を持った対応、そして安心して現地入りできるようにしたいと思います！

まず前提として

カンヌには「解」がある。
SXSWには「問い」がある。

と言われるほど、SXSWには未知のテクノロジーや未解決の課題がゴロゴロしています。
両者の違いは、こう言い表すこともできるでしょう。

カンヌ：過去1年間の作品を振り返って表彰し次世代のクリエイティビティを予見する「フォアキャスト」志向
SXSW：どんな未来を創りたくて、そのために何を今やるのかを、スタートアップや研究者が集まって実行する「バックキャスト」志向

いずれも間違いなく未来をクリエイトするための動きであり、両方の視点を持っていることで本当のイノベーションが起こせるのではないかと思います。

私は昨年度のSXSWに視察目的で初参加して、それまで8年間の広告業界ライフで良しとされていた価値観（カンヌ至上主義）を叩き壊されるような感覚を覚えました。
SXSWでは、成功事例が綺麗にパッケージ化されたケースフィルムなどほぼ見かけず、荒々しい形相のプロトタイプや出口の見えない議論が無造作に転がっています。まるで初めてのアジア旅行で見知らぬバックパッカー街にたどり着いたときのような、不安と好奇心が入り混じった高揚感を思い出しました。

今年は、出展やスピーチなどのよりディープなSXSW体験から、5つの「問い」を持ち帰ることができました。

1. リアリティを増したバーチャル体験は現実にどんな影響を与えるのか？
2. 音声と画像のデータ処理が容易になることで、どのようなUIが普及するのか？
3. 広告領域のアイデアは、ビジネス領域でも通用するのか？
4. 企業はどのようにイノベーション機能を持つべきか？
5. 100年後の未来に「旅行」という概念は残るのか？

今回はVR関連の事例レポートも兼ねて1つ目の問い

「1. リアリティを増したバーチャル体験は現実にどんな影響を与えるのか？」

について書きたいと思います。

まずはVRに関する4つの事例をご紹介します。

事例１：台湾発の8k画質360度カメラ（正式名称不明）

8K画質がVRにも持ち込まれ、3D映像の解像度は高まり続けています。すでに現時点で、人と人が会話するくらいの距離ではほぼ現実と変わらない解像度を体感できるようコンテンツが存在しています。

事例２：The Music Room

VRならではの楽器演奏空間。バーチャル空間が主語となって現実空間に対して干渉する、これまでと逆のアプローチが試みられている。

事例３：OSSIC

音を全方位的に感知できるヘッドホン。このような周辺技術の進歩によって視覚以外の体験が向上している。

事例4：Sensiks

匂いや熱風など五感でVRを体験できるボックス型装置。周辺技術だけでなく「演出」方法も進化している。ここは広告業界にとっても得意分野なのでは？

これらの事例を見ていると、「バーチャル体験のリアリティは今後も高まり続ける。現実との関わりにどんな変化が起きるだろう？」という疑問が自然と湧いてきますよね。

かつてインターネットは、現実とは別世界のように認識されていましたが、近年ではリアルな生活の一部となりました。その延長線上で考えれば、バーチャル空間は現実と等しい、あるいはそれ以上の価値を持つ空間になりえます。

そのとき、例えば墓をバーチャル上で創作する人が現れるかもしれません。その墓に生前の人物のデータに基づいたAIが備われば、埋葬という文化や宗教にも変化が生まれそうです。

旅行はどう変わるでしょう？肉体的な移動を伴わずに様々な土地の風景や文化に触れることができるのであれば、「実際の移動」という体験こそが高級な旅行スタイルに進化するかもしれません。

リモートワークの普及が現在も進んでいますが、ほぼ全ての仕事がバーチャル空間でより効率的に進む可能性もあります。その時、アパレル業界はバーチャル空間上の衣類に注力することになるでしょう。

このようにSXSWで自分なりの「問い」を見つけ、それに対する仮説を考えることは、各種業界の未来を先回りして考えることにもつながります。その仮説からプロトタイプを生み出していくことで、業界課題の解決につながるサービスや製品が生まれることもあるでしょう。プラナーにとってのSXSWは、新しい広告手法のネタ集である以上に、広告会社の未来のビジネスモデルのヒントの宝庫だと思います。

広告会社が拡張しつづける、クライアント課題に対するソリューションをイメージにすると↑のように描ける。サウスバイに集まる技術やサービスもこの中へ。戦略と戦術が混同するカオスな状況が続く中で、技術に対する正しい理解がプラナーにも求められる時代へ。

この図のように課題自体を能動的に発見することで、ビジネスクリエイションやコンサルティングが広告会社の新しい提供サービスになりえる。点の技術ではなく、面で何が起きているか捉えるためには、広告と技術に限らない「自分らしい視点」がより重要になるかもしれない。（この辺は、広告アイデアをビジネスに活かせるか、という「問い」とも関連しそう。）

前述した他の4つの問いについても引き続き思考をめぐらせ、研究開発に生かしていきたいと思います。

takuro