ソニー、物体認識と空間認識を組み合わせたAR技術「SmartAR」

現実の空間を認識した上で歩く“ARモモ”

3つの特徴

　ソニーは、専用マーカーを利用せずに物体を認識する技術や、ユーザーが存在する部屋などの空間を認識する技術を用いたAR（拡張現実）技術「SmartAR」を開発した。同社では19日、報道関係者向けに説明会を開催し、デモとともに、その特徴を紹介した。

　AR（Augmented Reality）とは、現実に情報を付加し、見ている物の関連情報を参照できたり機器内部の設計図を確認したりできるなど、実際に見て触る感覚を強化する技術。最近では、「セカイカメラ」など、携帯電話のカメラを利用したARサービス/アプリが登場してきており、周囲にカメラを向けると、その方角にある店舗が分かったり、ユーザーが追加した情報を参照したりできる。

　今回、ソニーが開発した「SmartAR」は、現実の世界にスマートフォンなどのカメラを向けたとき、2次元コードのような専用マーカーがなくても、その場にある物を認識して、関連情報をディスプレイ上に表示できる。写真や物体を認識する「物体認識技術」と、AIBOなどのロボット開発で培ったという「3D空間認識技術」を組み合わせている。SmartARは、画面上に付加情報や仮想のキャラクターなどを表示することに加え、高速な認識や追従、現実空間にあわせたAR情報の表示が可能となっている。

マーカーレスARで表示	歩くモモ

　ソニー・エリクソン製のAndroidスマートフォン「Xperia arc」を使って行われたデモは、いずれもサーバーと通信して処理するのではなく、「Xperia arc」内だけで処理されている。そこで紹介された「SmartAR」の特徴は、「マーカーレスAR」「高速・ピッタリAR」「3D空間AR」の3点だ。

　「マーカーレスAR」は、専用マーカーなしで認識できる点を指したもの。SmartARでは、認識すべき対象（洋服、飲食店のメニューなど）は事前にデータベースに登録しておく必要はあるが、デモで行われた商品認識の場合、置かれた場所を含めて、ある一方向から写真を撮影する。この写真から商品の形や色、あるいは床の模様といった特徴となるデータを抽出。独自技術によって、別方向からカメラをかざしても認識できるようにしている。ただ、違う場所に同じ商品を置いた場合、その場所がデータベースに含まれていなければ認識精度は下がる。また真上から見た場合など、商品の形が大きく変化する場合も認識しない可能性がある。

　「高速・ピッタリAR」とは、パソコンと比べれば処理能力が限られるXperia arcであっても、認識対象の商品（オブジェクト）をスピーディに追随して、関連情報を表示し続けられるというもの。これもソニー独自の技術で、処理を軽量化したことで実現したとのことで、認識対象に対してカメラが揺れ動いても、AR情報は表示されたまま。ただ、自動車のような高速移動時については未検証という。

フロアマップを掲げるソニー システム技術研究所の福地氏	SmartARで捉え、AR情報を表示	パネルを傾けても認識して追従する
パネルを一回転させ、一端認識が外れてもスピーディに復帰	移動しても追従	カメラに近づけ、オブジェクトのサイズが変わっても認識
横に傾けて、AR情報を立体的に表示	横に傾けて、AR情報を立体的に表示	横に傾けて、AR情報を立体的に表示

　「3D空間AR」とは、空間を認識して、その場に合わせたARの表現ができるというもの。プレゼンテーションでは、仮想のボールが上から落ちてきて、現実の物体を動かすと、ボールの跳ねる方向が変わる、といった様子が示された。これは、スマートフォンのカメラを使って、その場にある壁や床、机などの物体の大きさなどを「SmartAR」側で認識したことで実現した。仕組みとしては、カメラを使った三角測量とも言うべきもので、カメラを動かすことで複数地点から物体まで距離を算出しているという。これは、ソニーが手がけてきたロボットの空間認識技術を活用しており、初めて訪れた場所でも、ARに反映させることができる。

現実の机をに沿ってARの水がこぼれる	画面中央のコップの右上、仮想のボールが飛ぶ	机の上の本を傾ける。仮想のボールは本にぶつかると跳ねる方向を変える

ソニーの藤田氏

　ソニーのシステム技術研究所所長である藤田雅博氏は、ソニーがかねてよりAR技術に取り組んでおり、最近ではPS3用ゲーム（THE EYE OF JUDGMENT）でも用いていること紹介。今後は実証実験を行って、さらに磨きをかけて、商品化を目指すとした。ただし商品化の時期は未定で具体的な計画はないが、同社ではゲームやスマートフォンを使ったサービスを視野に入れているとのこと。

ソニーのこれまでの取り組み	ロボットで培った空間認識技術

　プレゼンテーションでは、ビル内のフロアマップを認識して、各店舗の情報をARで表示するデモ、飲食店のメニューを認識させるとスマートフォンの画面で商品を確認できるデモなどが披露された。また会場では、服飾店を模したコーナーにある服を認識するとモデルが着用したイメージを参照できるなど、SmartARを使った具体的な例が紹介されていた。

概要	服飾店を模したコーナー	SmartARで認識	着用イメージ
画面右に認識対象の服。わずかしか捉えていないが認識	飲食店を模したコーナー。テーブル上のペーパーを認識	画面上でメニュー表示	ばらまかれた写真の上にある商品を認識
AR情報を表示	AR情報を表示