実時間カメラベース文字認識

English page is here

実時間カメラベース文字認識の応用例

Last update

2012年6月15日

概要

カメラで撮影した情景内の単語を実時間で認識する技術です。世界で初めて、カメラで撮影した様々なレイアウトの文字や単語を実時間で認識することを可能にしました。

私たちはこの技術を利用して、通常のノートパソコンで動作する新しいインタフェースを開発しました(上図参照)。これは、利用者がカメラを向けた方向にある単語を認識し、その単語の翻訳と、単語にあらかじめ関連づけられた画像や音声を提示するものです。例えば、上の図のようにHawkという単語を認識したときには、鷹の画像を表示したり、鷹の鳴き声を再生したりするといった具合です。このインタフェースを用いれば、利用者はwebページのリンクをクリックするのと同様の手軽さで、知りたい情報を入手することができます。

デモビデオ

  1. 環境中文字列をリンクアンカー化するカメラベースインタフェース

  2. WMV ( 35MB)

    軽量版WMV (7.6MB)

手法のプレゼン

  1. レイアウト非依存な実時間カメラベース文字認識(MIRU2009)

  2. PPTX (3.4MB)

    PPT (5.7MB)

    PDF (2.4MB)
  3. リアルタイム単語認識技術を利用したカメラベース情報取得システム(PRMU2010年2月)

  4. PPT (2.4MB)

    PDF (2.2MB)

関連情報

発表文献

SPIE Newsroom
Real-life clickable text
MIRU2010
カメラで撮影した単語画像の実時間認識
DAS2010
Memory-Based Recognition of Camera-Captured Characters
IAPR Nakano Award (Best Paper Award)受賞
PRMU2010年2月
リアルタイム単語認識技術を利用したカメラベース情報取得システム
PRMU2010年2月
カメラ撮影文字の事例に基づく実時間認識
MIRU2009
レイアウト非依存な実時間カメラベース文字認識
MIRU2009
文字の並びをリンクアンカー化するWeb カメラベースインタフェース
ICDAR2009
Real-Time Camera-Based Recognition of Characters and Pictograms
CBDAR2009
Real-Time Recognition of Camera-Captured Characters in Complex Layouts

新聞掲載

日刊工業新聞
大阪府立大、カメラで撮影した文字などをパソコン出力する技術開発

特許

名称
パターン認識装置
出願人
公立大学法人 大阪府立大学
発明者
岩村 雅一、黄瀬 浩一
出願
特願2009-29031 (2009年2月10日)
国内優先権主張
特願2009-163924 (2009年7月10日)
PCT出願
PCT/JP2010/51889 (2010年2月9日)
国際公開
WO/2010/092952 (2010年8月19日)

開発者

--> 知能メディア処理研究室ホームページ