今回は「Vincent」という作品の中身について説明をしたいと思います。
Vincentは元々、インタラクティブ閃光玉（天）で行った立体造形物へのマッピングがひと段落したところで、あるコンペティション向けに違うプロトタイプを作るというところから始まりました。

◼︎インタラクティブ閃光玉（天）

テントは独自製作（プロトタイプはIKEAの天蓋）で、そこに対して間に分配器挟んだ２台のRICHOの超単焦点プロジェクターで投影してます。中にも入って体験できるように背面投影と透過スクリーンです。
造形物投影に合わせるのはMadMapperを使っております。
（作る段階で細かく設定しないと明るさによっては映像綺麗に出ないという課題はあるです）

余談ですが最近、分配器の代わりにTripleHead2Goというものを手に入れた（遅い）のでちょっとした建売住宅とか中規模ライブハウスくらいまでならばマッピング出来る気持ちではあります。
この流れだと確かにOputiTrackさえあれば規模問わないインタラクティブ可能だな、と。持ってないけど。

序盤から話は逸れましたが、この次の作品という位置付けでVincentがあります。

アイデアとして、アナログなイラストとデジタル技術を組み合わせたハイブリッドアートの分野で、人をセンシングしてイラストにインタラクションが起きるというアイデアを少しずつ昇華させて進めているものです。

最初に作ったプロトタイプはこちら。
（ムービー用の曲もオリジナルですよー）

◼︎Vincent -Approach the World Truth-

フェルメールの絵画を真っ白なキャンバスにプロジェクションして投影します。
そこに距離センサを設置して人が近づいたのを検知してグリッジのエフェクトがかかり、別の絵に変わります。

通常、絵画を見るときに人は「見る」という行為、つまり視覚でコミュニケーションしますが、それに加えてさらに詳細な絵画の情報得るために「近づく」という行為が発生します。
Vincentのプロトタイプでは「近付くことで見える真実がある」というコンセプトを元に人が絵画に近寄るとフェルメールと同じ時代に別の画家が描いた貧困をテーマとした絵に切り替わり、最終的には元となる真珠の耳飾りの少女の絵が涙を流す、というインタラクションが発生します。

ここに至るまでにイラスト（絵画）を動かすっていう視点で幾つかサンプルも作ったりしてます。

こんなとか、

こんなのとか。

実際の絵になるべく馴染むようにCG合体したらどんなになるかなーと思って試したものの、ただ絵を動かすだけだと体験は弱い。。こういう動くプロトをラピッドで数パターンか作っては捨て作っては捨て、考えて、いまの状態に至ってます。

◼︎システム構成

Vincentのシステム構成は下記になります。

割とシンプルで、超音波センサーが拾った値を制御用PCにシリアル通信で送って演出に反映させています。
基本、インタラクティブ閃光玉（天）の構成にセンサーが入った感じです。
閃光玉（天）はセンサーの代わりにMIDIによるリアルタイム演出操作が出来ます。

今回の展示はプロトのように２つの絵画の切り替わりではなく、アニメーションという要素を加えました。
アニメーションといってもデジタルなものではなく、いわゆるセルアニメの手法である「コマ割り」です。

◼︎ILLUST

今回は手書きのイラストをこうやって18枚くらい用意しました。

Unity側でテクスチャを距離に応じて切り替えていくのですが、コマ割りだけに順番がおかしくなるわけにはいきません。なので、距離も絶対値じゃなくていくつかの閾値を設けて達したらアニメーションとして0.1秒くらいで自動アニメするようにしています。

◼︎CODE

参考までにUnityのスクリプトを載せるとこんな感じ。

_Distance変数がセンサー値で、これは「ツチボタル」や「Siricon」去年展示の「ランドリーバード」などのArduinoのセンサーで有名なMaker番長の茶谷くんが作ったモジュール使わせてもらってます。

Arduinoからシリアル通信を受け取るマネージャーなど、いくつかのスクリプトがあってシングルトンクラスになっていてどこからでも参照出来るので、とっても便利です。これをテクスチャ変更するスクリプト内で呼び出して値を調整していたりします。

ただ、センサー値の取得を秒間1000回やってパーティクルを500以上同時に動かすとなると処理落ちして辛いので、結局秒間１０回にしてます。今回は10回/秒のセンサー値でも対応出来るのですが、もっとリアルタイム性の高いコンテンツの場合、ここは検討しないといけないところです。

あと、Arduinoやセンサースペックの影響だと思うのですが、値のブレは結構あります。今回はセンサー値はそのままにVincent用のローパスフィルターを別で作成して精度を上げてます（独自ローパスは秘密）。
演出の限界はシングルトンのせいなのか、単純にCPU性能高めれば良いのかは謎。

本当は絶対値に応じたスムーズなアニメーション変化が出来れば良いのですが、時間の都合で上記のコードのようなテクスチャ切り替えを愚直に繰り返してます。。

仕上げにMainCameraにImageEfectでBlurを少しかけてスムーズに見えるようにしていて、この辺りはUnityの恩恵で楽にはなっているものの、現状の仕組みのままならば環境はopenFrameworksの方が向いているなぁと思ったりしています。そういう意味ではUnityとoFは両方使って初めて意味があるなーという気づきがありました。

Unityは表現が多彩で扱いやすいです。でも複数のアプリを連結させてバックエンドで動かしたりコードから直接描画する分にはoFの方が有利です。プログラマ界隈の外人風に言うとC++はパワフルだね！という感じです。
厳密にはUnityでJSでスクリプト書いても最終的には変換されるのですが、そこの段取りの分、遅い的な。

でも、最近oF使うことも多いのですが画像系をたくさん描画すると結局、ガタガタすることはある。
参考までにこちらも軽くプロトタイプしたマイク音量拾ってサークル描画するやつ。

1000個まではMacbookProでも余裕。

UnityもoFも表面上使うだけだとどっちでもダメですね。
差別化はかるためにもunityではシェーダーくらいかけるようにしよう。
そんな感じで色々気づくことあるのでUnityとoF、どっちかしかやってない人はどっちもやったほうがいいと思います。

展示後にセンサー使わないでポリゴンをバリバリ使うコンテンツを作ったら結局、限界を迎えたのでそもそものUnity内のプログラム構造に問題あるのかもとか思ってて、プロトタイピングはこういう積み重ねが割と大事だなーと思っております。

展示みていただいた方の中には「KINECTとかで深度とればもう少し精度上がるのでは」というコメントをいただきましたが、Vincentは今の使い方だけでなく汎用的に使えるものを目指しているので、安価なセンサーを使っている、という感じです。PCも小型のMINI PCにすればコストは低く、持ち運びも簡単になるなと思ってます。

KINECTとMacbookProのままだとスペックも余剰でコストも高く応用利かないので、そういうのはVincentの思想と合わないという理由で採用していないです。

◼︎まとめ

Vincentは、取り立ててすごい技術を使ってるわけでも無く、超新しいテクノロジーでもないです。
理由は前述したような近付くことでのハイブリッドアートの体験の実現をターゲットにしてた、というところが大きいですが、技術的な側面として、全体的な構成が「スケーラブルであること」は気にしています。いわゆる仕組みとして横展開出来るものをつくっています。今後は実運用で使ってもらえるところを探して根本はブレずに少しずつ状況に応じたブラッシュアップはしたいなーと思っています。

以上、全体を通して雑文的になって「わけわかんねーこと言ってるな、こいつ」という感じだと思いますが、要はこういうテクノロジー全般を俯瞰しつつ日々、生きておりますのでこういうのイベントで使いたいとか、同じ仕組みで独自のもの使いたいとかあればお気軽にお声がけくださいという感じで締めのご挨拶と代えさせていただきます。

ArtDirection/Illust/Design: Eri Hosokawa
Programming: Junpei Qawasaki
Sensor: Akihiro Chaya

では。

デバイス担当のクモンです。
 
今回は、「物の重量を、iPhoneから観察する」というお題。
まず物の重さの変化を観察をと思い、台所にあるデジタルスケールのHackしてみました。
ブログの記事としては、２つに分けて書こうかと思います。
 
　①Arduinoを使って、デジタルスケールのHack編（本稿）
　②konashi使って、ハードウェア（デジタルスケール）とiPhoneの連携編
 
②まで作り込むとデバイスのネットワーク接続が可能になるので、
最近なにかと話題のIoT(Internet of Things)の文脈にそった
デバイス制作に近づけます。※IoTについて記事下部参照
（とは言ってもネットワーク接続可能になるだけで、IoTと言うにははまだ遠い存在ですが…）
 
まず、Arduinoを使って、デジタルスケールのHackから。

 
今回使用したのは、Amazonで800円位で買うことができるデジタルスケール。
 
 
 
このデジタルスケーラを分解すると、
　①ひずみゲージ：重さを計測する部分
　②バッテリー
　③基盤：計測結果を演算/表示する部分
に分解できます。
 
今回使ったのは、以下”ひずみゲージ”です。
 

 
「えっ！」こんな塊で重さ測ってたんだ！ってな金属の塊がでてきます。
この金属の塊が、ひずみゲージというセンサです。
 
ひずみゲージは、
「金属（抵抗体）は曲がると、抵抗値が変化する」
という金属の物理特性を利用し、
抵抗値の変化を監視することで金属の曲がり具合をセンシングするものです。
（人が見えない歪みでも抵抗値が変化します）
 
台所にあるデジタルスケールは、このひずみゲージを利用したもので
　①デジタルスケールの上に物を乗せると
　②ひずみゲージが”ひずみ”
　③抵抗値が変化する
　④その抵抗値の変化量からものの重量を算出
これが私たちが日常使っているデジタルスケールの仕組みです。
 

 
家電を分解すると先人の知恵がきゅっと詰まってておもしろいです。
わざわざデジタルスケールを分解しなくても、
ひずみゲージは単体で売られています。
でも、家電の分解をすることでプロダクトにつまった沢山の知恵を学べるのでオススメです。
以下がその結果です。
 
【やったこと】
　ひずみゲージの抵抗値の変化に応じて、LEDの光量を調整
 
【使ったもの】
　•Arduino Uno
　•ひずみゲージ：デジタルスケール
　•オペアンプ：取得値増幅用
　•抵抗
　•バイパスコンデンサ：供給電力安定用
　•LED
 
【Fritzing】

 
【デモ】

 
なんか、とんでもない地味なものができあがってしまったのですが、
とりあえずデジタルスケールのHackはできたので
次はiPhoneとの連携を試み、変化している抵抗値の可視化していきます。
 
【about IoT Tech】
今回の「物の重量を、iPhoneから観察する」に関連した話題として事例の紹介を。

 
先日猫の顔認識で話題になったBistro
 

※参照：https://www.indiegogo.com/projects/bistro-the-smart-feeder-that-recognizes-your-cat-s-face
 
コレは飼い猫の健康状態をクラウドで管理かつスマホから確認できるというデバイス。
デバイスに乗るとその猫の体重が計測され、クラウド上に保存される。
餌の与える分量の調整や体調の管理を容易にしてくれるデバイスのようです。
 
猫の顔認識で複数の猫の健康状態を管理できる優れもの。
 
猫の顔認識の画像がなんかかっこよい…

デバイス担当のクモンです。 

最近「書く音をセンシングする」というお題があったので

身近にある圧電素子を使って書く時に発生する振動をセンシングするセンサ作ってみました。

参考：http://arduino.cc/en/Tutorial/Knock
 

圧電素子って聞くと条件反射的に「うっ！」となりがちな言葉ですが、

意外と身の回りに溢れているいわゆるスピーカに使われている素材です。

 

例えば、「目覚まし時計」「ストップウォッチ」等

音を発するものを分解すると大抵入ってます。

 

今回は100均で買ってきたストップウォッチをHackしました。

 

【ストップウォッチの分解】※右側の円盤状のものが圧電素子

【圧電素子】

 

圧電素子（水晶や特定の種類のセラミック）は「圧電効果」という物理的特性をもってます。

 

具体的に、

————————————————————

力を加える　　　⇒　電圧発生（圧電効果）

電圧をかけると　⇒　ひずむ（逆圧電効果）

————————————————————

という不思議な力です。この特性は、固体結晶内のイオンの配置に秘訣があるんですが、

今回割愛します。

 

身の回りにあるスピーカはこの特性（逆圧電効果）を利用してます。

　①電気信号で

　②圧電素子をひずませて

　③空気を振動させて

　④音を発する

圧電スピーカーの仕組みです

 

仕組みも簡単だし安いので、

今回はこの「圧電効果（力を加える　⇒　電圧発生）」

を利用した振動センサつくってみました。

 

【使ったもの】

　•Arduino Uno

　•抵抗：2.2MΩ x 2

　•圧電素子（ストップウォッチ）

 

【回路図】

 

【デモ】

 

今回は、分かり易いよう圧電素子がひずむとLEDが光るというものをつくりましたが、

このスイッチングシステムはいろんなものに応用がきくと思います。

 

例えば、

【１】HACKistでも開発している、「インタラクティブ閃光玉」

コレは、マイクから入ってくる「音」をトリガーとして電球が光るシステムですが、

地面にこの振動センサを仕込むことで振動をトリガーとして

歩いた所を光らせることができたり。

 

また、

【２】オリジナルの打楽器

　⇒センサつけた身の回りのものすべてが打楽器になったり

【３】窓ガラスにはっつけることでの防犯対策

　⇒スマホ連携することでリアルタイム監視とか

【４】家の扉につける事で行動の監視

　⇒例えば介護の為（毎日トイレ行ってるのかとか）の行動監視

 

とかとか、意外と身の回りは振動による情報伝達が溢れているので

振動をスイッチングのトリガーとした場合いろんな可能性が広がります。（手軽に）

ノックしたら扉の鍵が開くというもの作っているひともいたり。

 

私は【２】に着目しており、つぎはPureData(Pd)とこの振動センサを連携させ

様々な音響を生成するデバイスを作ってみようと思います。

心拍センサを使った企画について

今回の企画は新郎へのサプライズ企画となっていました。あらかじめ新婦には心拍センサを装着していただき、会場に複数設置されたモニターに心拍データを映しておきます。  モニタの中の画面はこんな感じです。（波形は擬似データです。）

この状態で、突如スクリーンに表示されたランダムなワードを組み合わせて、即興で、新郎から新婦へ「愛の言葉」を紡ぎ、叫んでいただく、という試練が出されます。

そして、新婦の心拍数が、新郎の「愛の言葉」を受けて、ある一定ライン以上に達したら、合格！達しなかったら、新郎に罰ゲーム！という企画でした。

実際に、新郎が新婦に、愛の言葉を叫んでいる様子がこちらです。

仕組みについて

心拍のセンシングには、ユニオンツール様のmyBeat WHS-2というウェアラブルな心拍センサを使わせていただきました。センサは小さくて、軽いので、本当にウェアラブルで、湿布みたいに、ぺたっと服の下に貼り付けられます。   システム構成は以下のような感じです。突貫で組んだので、無駄もありますが、安定してほぼリアルタイムに心拍を取得できていました。   地味に工夫したポイントは、センサのBluetoothは20[m]程の距離を飛ばすことも可能とのことだったのですが、式場には、たくさんの来賓者さまが移動しているので、それが障害物となったり、他の機器との混線の可能性も考えられるので、花嫁さまのなるべく近く忍ばせて、安定させたことです。   他にやってみてわかった、気付きとしては以下がありました。

• wikipediaによると、人間の安定心拍数は、女性で65-75[bpm]と言われているが、今回の花嫁さまの場合、式中ずっと100-120[bpm]をキープしており、結婚式中なので当然といえば当然だが、常にドキドキ状態だったと考えられます。その中で、今回のような企画を実施する場合、閾値の現場調整が必要でした。
• 経験上、心拍のセンシングはたいてい体を動かすと、ノイズが入りやすかったが、今回のセンサの値は非常に安定していた。

心拍数は厳密に人の興奮や、わくわく等の感情と完全に一致しているとは言い切れないですが、今回のような企画で、今後も生体データのエンタメ活用の方向性は探っていきたいと考えています。それでは！