この課題をデジタル領域の広告制作プロダクションである私たちが持つ「伝える力」と「デジタルテクノロジー」で解決できないかと考え Synchronized Aquarium (シンクロ アクアリウム) という作品をつくりました。

Synchronized Aquarium (シンクロ アクアリウム) は「遊泳の美しさ」、「模様の面白さ」、「生態のヒミツ」といった魚の持つ魅力を映し出す不思議な水槽です。

この作品では、水槽の前面に貼った透明フィルムに、自由に泳ぐ魚の動きにシンクロした映像を重ねて投影しています。

リアルタイムに魚の軌跡、種類を認識し、魚の魅力をモチーフにさまざまな映像演出を行います。

従来の水槽の鑑賞体験をアップデートし、魚の魅力により気づき、学び、感動できる新しい水槽の鑑賞体験を目指しています。

魅力を伝える２つのモード

現在、このシステムには「ショータイム」、「吹き出し」という２つのモードがあります。

（１）魚に心を動かされる「ショータイム モード」

このモードでは「遊泳の美しさ」「模様の面白さ」をモチーフにした映像を音楽と魚の動きにあわせて、水槽に投影します。
泳ぐ魚に映像を重ねることで、映像が観賞魚の持つ本来の美しさを際立たせる補助線のような役割を担います。
また、映像を定期的にアップデートすることによって、シーズンにあわせた演出をすることが可能です。

（２）魚について学べる「吹き出し モード」

このモードでは、「お魚の名前、出身地」や「隠れた生態のヒミツ」などを魚自身が吹き出しで話してくれます。
説明パネルと水槽内の魚を照らし合わせて見る必要がなく、水槽を眺めているだけで図鑑で得られる知識を学ぶことができます。
魚の種類ごとに口調を変えたり、キャラクターを付けることで、より楽しく魚について学ぶことができます。

設置イメージ

現在のシステムは水槽の後ろからカメラで魚の位置をトラッキングし、水槽の前面に貼った透明フィルムに映像を投影しています。

HACKist 4th Exhibition、SXSW2018への出展、博報堂アイ・スタジオのエントランスでの展示風景はこちらです。

※ 弊社のエントランスでは６月末までこちらの水槽を展示しております。

Future Work

こちらの作品に興味があるクライアント or パートナーさまを募集しております。

(1) パッケージのカスタム販売

現在わたしたちがもっている水槽ソリューションに興味があるクライアントさまを募集しております。

(2) 未来の水槽のありかたを一緒に探れるパートナーさま募集

大型の水槽で実施できるよう研究開発を進めたいと思っています。
未来の水槽のありかたを一緒に探れる、大型水槽をお持ちのパートナーさまを募集しております。

問い合わせ先

ご興味がある方はお問い合わせ用フォームより、お気軽にお問い合わせください。

OpenPose って何ができる？

写真・絵画・マンガや、動画から人物のボーンの2次元座標を抽出できます。

以下、いくつか openposeのデフォルト設定でボーン検出してみた例を貼ります。

人物写真。

※ 出典元 : PAKUTASO

古い写真や、風景写真。

西洋絵画。

「民衆を導く自由の女神」 ウジェーヌ・ドラクロワ

「アダムの創造」 ミケランジェロ

「アルプス越えのナポレオン」 ダヴィッド

例えば、イラスト。

※出典元 : いらすとや

浮世絵などの日本絵画。

「三世大谷鬼次の奴江戸兵衛」 東洲斎写楽

「鷹見泉石像」 渡辺崋山筆

漫画。

出典：ブラックジャックによろしく

OpenPose は実写の人間だけではなくて、写実的なイラストや、絵画にも効果を発揮することがわかっていただけたと思います。

OpenPose の論文によると、教師データは MPII Human Pose Dataset と、COCO 2016 keypoints challenge dataset であると書いてあります。このデータセット内に絵画がないように見受けられるので、実写の人物写真に対し最も効果的です。もし絵画に対してボーントラッキングしたいなら別途、漫画のデータセットを作るのが正攻法だと理解しつつ、OpenPose は抽象化された人間に近いかたちに対しても応用が可能な汎化能力の高さがあり、すごいなー、と感じました。

また、OpenPose は画像だけじゃなく、動画に対しても利用可能です。

リアルタイムではない過去の動画だったら、全フレームに対して、認識をすることができます。以下はインド映画の全フレームに対して OpenPose
をかけてみた動画です。

※ こちらの動画を解析させていただきました。

リアルタイムな動画の場合でも、このくらいの精度・速さで認識ができます。

僕がいつも使ってるディープラーニングマシン (NVIDIA Tesla K40C) だとリアルタイムのウェブカム映像（1080p）をそのまま認識させると、 3[fps] 程度でしたが、 github の demo_overview ページにあるように、--net_resolutionオプションをつけて、解析対象の画像の解像度を下げて実行すると、認識精度が下がりますが、FPSは早くなります。被写体が映像の中で大きく写っていれば、だいたい 7-10[fps] くらいで認識できます。

OpenPose はすでにあるポーズ推定技術と何が違うの？

一番商用でなじみのあるポーズ推定技術である Kinect V2 と比べたときの、OpenPose のメリット・デメリットについてです。

○ メリット:

• 人物が写っていれば、古い動画でも対応可能。また、人物が描かれた写実的なイラスト、絵画にも対応可能な場合がある。
• ふつうの単眼のビデオカメラや、ウェブカメラで撮影した映像でポーズ推定可能。（つまり、わざわざ Kinect で撮影したデータを使わずに、スマホでとったデータでも解析可能ということ）
• センシング距離に制約がない（KinectV2 は 8[m] までとのこと）
• 屋外の太陽光の有無に関係なく使える（KinectV2 は赤外線に影響を受けやすい）

× デメリット:

• リアルタイムだとマシンスペックにもよるが、だいたい 3-10[fps] 程度と fps が遅め
• 2 次元座標しかとれない。3 次元座標がとれない。
• OpenPose の実行には性能のいい GPU を積んだマシンが必要。

ポーズ推定原理として、KinectV2は赤外線を使って TOF 方式という、光を照射して、戻ってくるまでの時間をもとに、3D デプスデータを取得し、そこからボーン推定をしていますが。OpenPose は 2 次元画像をもとに、「右手首」「左足首」などの体のパーツをディープラーニングで物体認識し、そこから体全体のボーン構成を推定するような手法をとっていることから、このような違いが生まれています。（※参考： Multi-Person Pose Estimation using Part Affinity Fields というプレゼン資料）

OpenPose はどんな表現に使えそう？

ひとまずスノーボード動画に対して、プレイしている人が常に映像の中心に固定されるような映像を作ったら、プレイヤー中心視点の映像となり、新しい見え、にならないかぁー？という実験を Unity でしてみました。

※ こちらの動画を解析させていただきました。

最近、こんなかんじの実験をいろいろ試しており、OpenPose らしい表現が見つかり次第、この blog にまたあげようと思います！

OpenPose のライセンスについて

ここに書いてある通り、非商用利用の場合はフリーで使えるが、商用で利用する場合は、連絡をください、と書かれています。

OpenPose の今後について

五指のトラッキングが1,2ヶ月後、顔のランドマークのトラッキングが 2,3 ヶ月後に comming soon と書かれており、OpenPose の今後のアップデートに注目していこうと思っています！