プロジェクト
【プロジェクションマッピングによる料理の彩り調整とシミュレーション（椎尾一郎・村田容常・大野敬子）】
１.はじめに
本研究では、食卓におかれた料理の彩りを調整し、シミュレーションする手法とシステムについて検討し、試作を行った。このシステムは、（１）ユーザが食卓上に置かれた「色の調味料瓶」デバイスを料理に向けて振ると、その操作と場所を検出し、（２）その場所に局所的に色を調整したコンピュータイメージを作成し、（３）これを食卓上方に設置したプロジェクターからプロジェクションマッピングの手法で投影し、料理の色を調整する。本方式により、食味や健康に影響を与えない仮想の「食品着色料」を実現できる。また本システムは、調理者や食品着色料の商品企画者・開発者に対して、美味しそうに見える魅力的な料理の色とその組み合わせを探求するシミュレーションツールにもなる。
２.料理画像を元にした投影画像作成
 |
| 図１：料理とこれに投影する画像の例 |
食卓に置かれた料理の画像を天井カメラで取得し、これから作成した映像をプロジェクターから料理に投影することにより、料理に彩色を施すことができる。本研究では、最初に、この手法について実験を行った。料理画像から投影画像を作成する予備実験は、研究代表者が指導する2011年度の卒業研究で実施している。図1はその結果の一例である。この予備実験では、料理の色に対応するマンセル表色系原色を局所的に配置した画像を手作業で作成し、これを料理に投影し、照明の効果を確認した。本研究では、当初、この投影画像の自動化に着手したが、適切な画像を得るためには、料理の色から原色へのマッピングを行う評価関数を十分に最適化する必要があることがわかった。そこで、料理画像の画素ごとの輝度を均一にした映像を作成し、これを投影する方法を考案し評価した。
 |
| 図２：左：元画像。中：輝度を均一にした画像。右：投影したもの |
図２に、本方式による投影の例を示す。この例では、赤を強調した照明をリンゴに当てることができ、簡単な画素処理で、効果的な照明作成が可能であることを確認できた。
３.ユーザが指定する色の投影
料理画像を元にした画像を投影する手法では、投影した画像がふたたびカメラで取得されて、投影画像に影響を与えることで、音響機器のハウリングのようなフィードフォワードが発生する。実際に実験してみたところ、カメラとプロジェクタの画素位置のわずかなずれが増幅されて、尾を引いたようなゴースト状のノイズが発生した（図３）。このノイズを除去するためには、撮影時のみ映像の投影を停止するなどの処置が必要であるが、その際のちらつきを軽減する工夫が必要になる。
 |
| 図３.食卓に投影した例 |
本方式により料理画像から取得した色を投影する方式は、多くの場合、料理を彩る方向の結果を得られると期待できるものの、料理によっては不適切な結果となる可能性もある。たとえば、透明感のある薄口の出汁やコンソメのような食材では、その色が濃くなってしまう可能性もある。そこで、ユーザが着色する色を指定する手法を検討することにした。食物学的な見地からも、食品やユーザによって、食品に付ける適切な色は異なっていると考えられている。また、ユーザが指定した色で着色できるシステムを作成することで、着色料の実験をしている企業が、手軽に実験を行えるようになる可能性もある。
４.色の調味料瓶
食卓に置いた料理に、プロジェクションにより視覚効果を加える研究は、2011年の本学での研究の後、様々な研究者により実施されている (たとえば Y. Kita and J. Rekimoto, Spot-Light: Multimodal Projection Mapping on Food. ;In Proceedings of HCI (29). 2013, 652-655.)。そこで、本研究では、ユーザが視覚効果を指定するユーザインタフェースに着目し、ここにタンジブルで直感的な手法を考案し、新規性の高いインタフェース手法とした。これが「色の調味料瓶」である。通常の調味料瓶は、料理の味を整えるために食卓に置かれる。これに対して、「色の調味料瓶」は、調味料瓶を模したタンジブルな物体で、ユーザがこれを持ち上げて料理に対して振ることで、その部分にユーザ指定の色づけを行うことができる。
 |
 |
 |
| 図４.「色の調味料瓶」によるインタフェース。 |
| 左／中：スマートフォンによる瓶の試作。右：全体図 |
「色の調味料瓶」による料理への色付けのためのインタフェース実現手法を図４で説明する。本研究では瓶を使ったインタフェース手法を実証するモックアップとして、瓶の代わりにスマートフォンを利用した。また、食卓上方に、プロジェクターと赤外線カメラを設置し、それぞれをPCに接続した。PCとスマートフォンはWiFi経由でネットワーク接続し、ソケット通信により情報交換を行なう。また、3mm厚のアクリル板をレーザカッターで加工し、スマートフォンスタンドを作成した。スタンドの底部には赤外線LEDを設置している。スマートフォン画面には、色を指定するメニューを表示している。ユーザはこれにより色を指定し、次に、スマートフォンを持ち上げて、料理に向かって振る動作をする。振る動作は、フマートフォン内部の加速度センサにより検出する。また、スタンド底部の赤外線LEDを赤外線カメラで撮影し、これをPC内のプログラムで処理し、瓶を振る場所を検出する。これによりユーザが瓶を振る動作をした食品部分に、PCで作成した色をプロジェクションすることで、仮想的な色の調味料を加えた効果を実現する。
なお、現在は、色を加える操作のみを実現しているが、今後は、瓶を逆さに持つことで、色を減じる操作も実現したい。また、スマートフォンではなく、Arduinoなどの組み込みマイコンを利用して小型化し、調味料瓶の形状を持ったデバイスに作り替えていく予定である。
