床指紋照合を用いたリアルタイム位置推定（情報科学部ディジタルメディア学科 藤田 悟 教授）

床指紋を用いて、屋内で位置推定を行う

床面は様々な材質を持ち、木目調や石材調などの模様が描かれており、さらに使用後のキズや汚れがつけられています。この模様を詳細に観察すると、場所ごとに異なる微細なパターンを持つことがわかります。本研究では、このような床面の特徴を床指紋と名付けました。近年のスマートフォンのカメラは、1億画素を超える製品も販売され、1画素あたり1mm以下の高精細な画像が撮影可能です。そこで、この画像から、床指紋を抽出し、照合することができれば、その画像の撮影位置を同定することができると考え、それをスマートフォン上のアプリケーションとして実現する手法の研究を進めています。そして、今回、スマートフォンから動画を撮影しながら、その動画に基づいて、リアルタイムに位置をトラッキングするアプリケーションを実現しました。なお、本研究はJSPS科研費 JP17K00138の助成を受けたものです。

床指紋の照合方法

床表面は、一般的には目立った特徴が少なく、どこを見ても似たような模様が繰り返されているように見えます。しかし、1mm 単位にまで拡大して見ると、それぞれの場所が、微妙に異なっていて、色の濃さの違いや、キズ、小さな汚れなどが、異なる模様となって観測できます。これを、画像のミクロな特徴量と呼び、1枚の画像から数万点以上のミクロな特徴量を計算できます。そして、同じ床を撮影した2枚の写真を比べてみると、同じようなミクロな特徴量が双方の画像から観測でき、これを特徴点マッチングと呼びます。このような特徴点マッチングに成功した点が多数観測され、かつ、それらが幾何学的に矛盾ない場所に並んでいれば、2枚の写真は同じ場所を撮影したと判断できます。これが、床指紋照合技術の基本的な考え方です。

しかし、2枚の画像は、撮影した高さや向き、カメラの傾きが違うかもしれません。また、手振れやピントの関係でぼやけているかもしれません。この結果、ミクロな特徴量が、まったく同一な値として観測できることは少なく、似たようなミクロな特徴量が、画像の中のあちこちに見つかります。2枚の写真を比較した場合、似た特徴量を持つ別の場所を、同じ場所と誤認識してしまうことになります。そこで、多量の誤っているかもしれない特徴点マッチングペアの中に、ある一定数以上のペアが、幾何学的に矛盾なく検出できたときに、2枚の写真は、同じ場所を撮影したと判定することになります(図1参照)

幾何学的に矛盾のない並び方と言っても、カメラが傾いていれば、3次元的な透視画像として歪んだ画像になってしまうため、前処理が必要です。多くのスマートフォンには、加速度センサが搭載されているので、重力方向を検出することができ、端末の傾きがわかります。そして、端末の傾き角度に基づいて、床画像の3次元的な歪みを補正し、床を真上から撮影した画像に変換する計算式を明らかにしました。画像の傾きが補正されれば、後は、撮影の高さと方向の違いだけになり、画像を2次元的に比較できます。具体的には、特徴点マッチングした3点のペアを結ぶ三角形が、2枚の画像の間で相似三角形をなしていれば、幾何学的に矛盾のない特徴点の位置であることが判定できます。そして、特徴点マッチングしたペアの中に、相似三角形を形成する3点が多く含まれていれば、2枚の画像は同じ場所で撮影したことが判定できます。

リアルタイム・トラッキングと床地図作成

画像変換や、ミクロ特徴量の計算、特徴点マッチングについては、OpenCV というライブラリが公開されていて、スマートフォンのアプリケーションからも利用できます。ただし、スマートフォンは計算資源が乏しく、また、OpenCVライブラリを、上位の開発用プログラム言語から利用すると、ライブラリを呼び出すたびに、重い処理が必要になり、速度低下を招きます。本研究の成果のひとつは、アプリケーションの実装技術であり、ライブラリを呼び出す回数を最小限にすることで、速度低下を押さえました。

次の問題は、相似三角形の抽出です。例えば、1000個のマッチングペアがあった時に、3点の組み合わせは、10億通りあります。これを全て検査するには時間が必要です。そこで、本研究では、RANSAC と呼ばれる乱数による方法を用いて、確率的に正しいマッチングペアを検出する方法を開発しました。

この他にも、床指紋に必要な最低限の特徴点数を決定するなど、速度性能に影響がある部分を徹底的に精査することで、1対の画像照合にかかる時間を0.24秒までに低減しました。

この高速な指紋照合を用いて、リアルタイムに位置をトラッキングするアプリケーション(図２参照)や、床地図をリアルタイムに作成していくアプリケーション(図3参照)を作成しました。

今後の計画

今後も、高速化への取り組みを継続し、スマートフォン上のリアルタイムな位置推定アプリケーションを増やしていく予定です。大規模な床画像データベースを作り、実際に広い場所を歩き回ってトラッキングをするアプリケーションを実現しようと考えています。