Image-related Projects

デジタルカメラの普及や、消費者生成型ウェブサイトの流行により、計算機上で写真やビデオなどの画像情報を扱う機会が増えています。このページでは、伊藤研究室の研究テーマのうち、静止画・動画に関係あるものを紹介します。

デジタルカメラの普及により、職業のみならず趣味で大量の写真を撮影する人が増えています。また、医療、防犯対策、人工衛星などの専門分野における撮影画像も、大量に蓄積される機会が増えています。私達はこのような大量の画像を一覧するブラウザの研究を進めています。
私達による画像ブラウザの最初の研究成果は、閲覧したい画像を階層的に探索させるブラウザ CAT (Clustered Album Thumbnail) です。 CATでは画像を階層的にグループ化し、各グループに代表画像を設けます。そして代表画像の一つをズームインすると、グループ内の各画像を閲覧できます。

A. Gomi, R. Miyazaki, T. Itoh, J. Li, CAT: A Hierarchical Image Browser Using a Rectangle Packing Technique, 12th International Conference on Information Visualization (IV08), pp. 82-87, 2008. (PDF)
安田, 五味, 伊藤, キーワードの共通性を配置結果に反映した大量画像の一覧可視化手法, 第2回データ工学と情報マネジメントに関するフォーラム(DEIM 2010). (PDF)

私達は画像ブラウザの研究を進める上で、大量の個人写真群からの特定写真の検索、およびこのような個人写真群を一種のライフログと考えての生活履歴の分析、といった用途を考えました。私達は自己の生活を振り返るとき、多くの場合において、「いつ、どこで、誰と」といった情報に紐づけて記憶をたどります。これに倣って、写真に付加された日時、場所、被写体情報から画像を一覧することで、特定写真の検索や、ライフログの分析に役立てないか、と考えました。
私達は、このような発想から生まれた個人写真ブラウザ MIAOW (Memorized Images As Organized by When/Where/Who) を提案しています。 MIAOWでは、場所と日時にしたがって写真を階層的にグループ化し、日時や場所の隣接関係を保持するように3次元空間に写真を配置します。それと同時に、写真群の登場人物をグループ化して別ウィンドウに表示します。そして、写真をクリックすれば該当する登場人物がハイライトされたり、登場人物をクリックすれば該当する写真がハイライトされたり…、という相互操作により、特定写真の検索を容易にします。

A. Gomi, T. Itoh, MIAOW: A 3D Image Browser Applying a Location- and Time-Based Hierarchical Data Visualization Technique, Advanced Visual Interface (AVI10), pp. 225-232, 2010. (PDF)
A. Gomi, T. Itoh, A Personal Photograph Browser for Life Log Analysis based on Location, Time, and Person, ACM Symposium on Applied Computing, Multimedia Visualization Track, pp. 1250-1257, 2011. (PDF)
五味, 伊藤, 「何時，何処で，誰と」３つのメタ情報を用いた大量個人画像の一覧可視化手法, 情報処理学会グラフィクスとCAD研究報告学生合宿表彰者セッション, CG-138-2, 2010. (PDF)

私達は画像ブラウザの研究を進める上で、画像には多くのメタ情報や特徴量が付加されている場合がある、という点に着目しました。例えば撮影日時や撮影場所の他に、キーワードが付与されている場合もあれば、写っている物体を象徴する数値（例えば価格、重量、ユーザ評価値など）が付与されている場合もあります。また、画像内容の特徴量（例えば色合い、細かさなど）を算出することも可能です。これらのメタ情報や特徴量を活用して画像を配置することで、画像群を閲覧しやすくなる場合もあると考えます。
私達は、このような発想にしたがって、3次元空間を浮遊するような独特の感覚で自由に各画像を閲覧できる画像ブラウザを開発しています。

堀辺, 伊藤, PhotoLab: ユーザの思考を支援する画像閲覧インタフェースの開発, 情報処理学会グラフィクスとCAD研究会第131回研究会, 2008. (PDF)

長時間にわたる動画像の内容を確認しやすくするための一手段として、動画内容の要約結果を表示する、という問題があり、動画の研究のみならず可視化の研究としても重要な問題とされています。私達はこの問題に対して、2つの研究に着手しています。
1つめの研究は、上空撮影画像やセンサから得られる人物移動経路の集計・要約結果の可視化です。私達は、このような可視化のための技術 FRUITE Route を提案しています。この技術では、多数の経路情報の中から類似部分を1本にまとめる、という考え方に基づいて、多数の経路情報を単純化した形で表示します。
2つめの研究は、動画像から重要なフレームを抽出し、その一覧という形で動画像の内容を要約する可視化です。私達は、動画像の要約結果として得られるキーフレーム群を水平方向に並べ、それを用途にあわせて詳細度制御しながら、複数の動画像ファイルの内容を比較できる動画像ブラウザを開発しています。

H. Yabushita, T. Itoh, Summarization and Visualization of Pedestrian Tracking Data, 15th International Conference on Information Visualisation (IV2011), pp. 537-542, 2011. (PDF)
A. Fukute, T. Itoh, M. Onishi, A Linked Visualization of Trajectory and Flow Quantity to Support Analysis of People Flow, 17th International Conference on Information Visualisation (IV2013), pp. 561-567, 2013. (PDF)
薮下, 伊藤, 経路情報の要約と可視化の一手法, 芸術科学会論文誌, Vol. 10, No. 3, pp. 167-178, 2011. (PDF)
福手, 大西, 伊藤, 人流情報分析のための動線と流量の複合可視化手法, 画像の認識・理解シンポジウム(MIRU2012), 2012. (PDF)
S. Kasamatsu, T. Itoh, A Browser for Summarized Multile Movies, NICOGRAPH International 2009. (PDF)

画像に写るシーンを計算機が自動認識し、その内容を検索できるようにする、という問題は数十年前から研究が進んでいますが、最近では画像の検索エンジンの普及によりその必要性が高まっています。
私達は、画像の一部に写る小さな物体を高速検出する技術について研究を進めました。この研究では、大きな画像の色分布を前処理として求めておき、続いて検索したい小物体の色分布との照合を行い、似たような色分布を構成する部分を候補として検出し、その候補の中から最適と思われる部分を切り取る、というものです。

五味, 伊藤, 代表色領域の位置関係に着目した大容量画像からの類似部分画像の高速抽出, 芸術科学会論文誌, Vol. 6, No. 3, pp. 117-125, 2007. (PDF)
A. Gomi, T. Itoh, K. Koyamada, S. Hido, VIEWGLE: Fast Extraction of Similar Partial Images for Querying Viewing Parameters, NICOGRAPH International 2006. (PDF)

計算機による画像の自動認識という研究分野は、静止画のみならず動画においても研究が進んでいます。その中でも有名な問題の一つとして、被写体となる人間の顔画像から、その動作や感情を読み取る、という問題があります。この問題の多くは、被写体の特徴点（例えば目や口）を検出し、その移動量から動作や感情を推定します。しかし、動画から目や口を見失わずに追跡し続けることは非常に難しく、その頑強性は課題の一つとなっています。
私達は、顔画像の特徴点追跡の頑強性を改善する手法を提案しています。この手法では、いったん見失いかけた特徴点を、動きの推定に基づいて高速に復帰することに成功しています。成功例と失敗例のビデオを見比べていただければ、本研究の成果がよくわかっていただけるものと思います。

Y. Nomura, T. Itoh, Y. Yamaguchi, A Robust Method of Facial Feature Tracking for Moving Images, NICOGRAPH International 2007. (PDF)