【法政の研究ブランドvol.26】センサーが捉える「目に見えない情報」から規則性を見出し、 ビッグデータ時代に不可欠な画像・映像の圧縮技術の向上に取り組む （情報科学部ディジタルメディア学科　高村 誠之 教授）

プログラミングの処理化に没頭し、アルゴリズムの重要性に気付く

私は現在「画像圧縮」や「画像処理」という、大量のデータがテレビやパソコン、そしてスマートフォンの間を行き交う今日の情報社会に欠かせない技術について研究しています。

データ量は日々増え続けているため、画像や映像に含まれる様々なセンシング情報から規則性を見つけ出し、モデル化して解析することで、効率よく圧縮・整理し、誰もが扱いやすい形にすることは、今後一層重要になると考えられます。

プログラミングに触れるきっかけとなったのは、高校で「数学研究部」に所属し、パソコンに触れる機会に恵まれたことです。当時のパソコンは処理速度が今ほど速くなく、少しでも自分のプログラムの実行処理速度を上げたいという思いがありました。プログラムへ組み込んだ一定の計算手順や処理方法のことをアルゴリズムと言いますが、数学研究部の活動の中でアルゴリズムの重要性に気付いたことが、今思えば現在の研究への興味に繋がっていたかもしれません。例えば問題のサイズをnとし、問題を解くのに√nに比例する計算時間のアルゴリズムとnに比例する計算時間のアルゴリズムがあった場合、n=1億では前者は後者より1万倍程度速くなります。計算機が1万倍速くなるには相当な年月やコストが必要なことを考えると、よいアルゴリズムを使うことの重要性がよくわかると思います。

当時は将来研究者になろうとは思っていませんでしたが、大学では理系に進み、パソコンサークルに入ってプログラミングを続けました。その際「TAKALITH（タカリス）」というテトリスのような3次元パズルゲームを自作し、自らのプログラムを多くの人に使ってもらえる喜びのようなものも実感しました。​​

大学時代に関心を持ったテーマを大学院、民間の研究所で深掘り

学部時代は研究と呼べるような実績はなかなかありませんでしたが、数学の陰関数という関数が描くハート型やクローバー型の画像が面白く、楽しみながらプログラミングに没頭していきました。グラフィックスを描くアルバイトをして自分でもライブラリを作るなかで、やはり高速化を追求していました。

そうするうちに画像処理に少し興味が芽生えてきたため、画像処理を扱う研究室を志望し、大学院進学という道を選択しました。修士課程では、雑誌などのレイアウトの画像解析を行いました。研究室に印刷会社の方が来て、こうした技術をどう実用化できるのかなど、一緒に社会実装の可能性も検討しました。

博士課程でも同じ研究室に所属して研究を続けましたが、そこでは静止画像の圧縮技術（可逆符号化）に取り組みました。可逆符号化とは、文字通り圧縮したデータを元通りに復元できる技術です。

博士課程修了後はNTT研究所に入所して、博士課程での研究の延長線上にある、動画の圧縮技術の研究に携わることになりました。研究所の仲間と一緒に開発した圧縮方式は、スマホの画像圧縮や4K8K放送の圧縮技術の一部に含まれ使われています。

画像や映像が持つ様々な情報から規則性を見出し、圧縮技術の向上に活かす

画像や映像圧縮の技術はビデオ通話やテレビ放送、YouTubeに代表されるネットビデオなど皆さんの生活にも活かされていて、なじみ深いものだと思います。

どうやって圧縮しているのか、「JPEG」という汎用の圧縮フォーマットを例に説明してみます。画像の濃淡は多数のパターンの波形で構成されているのですが、あらかじめ用意された波形のパターンに分解したものが「JPEGフォーマット」です。つまり、本来画像が持つ複雑な波形を既定の波形の重ね合わせにあてはめることで、データ量を減らすことが可能なのです。

そのルールを見出してモデル化するという仕組みを作り出すのはとても大変な作業ですが、こうした技術が確立されたおかげで、どんな写真を取り込んでもその規則（アルゴリズム）に従って圧縮をすることができるわけです。「JPEG」は1992年に完成したフォーマットですが、その後、2015年に「HEIF（HEIC）」というフォーマット（H.265/HEVCという規格に基づくフォーマット）が誕生し、同じバイト数でもよりきれいな画像になりました。

ただし、HEIFは例えばスマホの内部保存フォーマットに使われているのですが、JPEGの方があまりに広く流通し対応機器も多いため、利用者にはJPEGにフォーマット変換して見せるような裏方的な使われ方がなされています。今後はHEIF対応製品・サービスが増え、徐々に広がっていくと思います。このように技術は日々進化しています。

私の研究テーマの一つである「様々なセンシング情報（マルチモーダル信号）のモデル化と処理、圧縮」は、従来の画像や映像だけでなく、赤外画像や被写体までの距離など様々なセンサーから集められた膨大なセンシング情報から関係性を見出して整理保管することで、データを捨てることなく圧縮し、データの管理、蓄積、伝送の効率化の実現を目的としています。

そのためには、センサーの精度も重要です。これまで光の明るさをしっかりと把握することができなかったのですが、これを追求していくとデータ圧縮やデータ処理の妨げになるノイズ（雑音）の除去が可能となります。また、センサーの出力する値をそのまま使うのではなく、ノイズが必ず持つ統計的性質を使い、出力値を補正することも可能となります。これによって、例えばセンサーが出力できる上限を超える明るさの光も測定できるなど、今後さらに面白い研究ができると思っています。

法政大学で研究と教育という2つの柱から新たな視点を得る

2022年からは法政大学情報科学部に研究の場を移しました。研究所に長年勤めて成果を出し外部に認められていたことや、学会で多くの大学の先生方と付き合う機会があったこともあり、大学での研究に関心を持ちました。学生の時は教えることが向いていないと思っていたので、大学教員という道は全く考えていませんでしたが、気が付けばここにたどり着いていました。

大学では研究のほかに教育という側面もありますが、NTT研究所でも後輩に教えたり、育てたりということを日頃実践していましたし、何より研究実績やスキルなども備えてきましたので、模索しながら取り組んでいます。

また、大学ではより自由な環境で研究を行うことができるのが魅力です。一方、教育する相手はこれまでとは年齢層も前提知識も異なり、授業のなかで学生から受ける質問を見ると、どういう部分をうまく教えられていないのかなど、自分の不備に気づくことがあります。

そのため私の研究室では、1人1人の学生とじっくり向き合うためにマンツーマンの指導を基本としています。そうした指導を行う中で、修士学生の研究発表に付き添い、この夏にオーストラリアに赴きました。この研究は自然界に見られる現象に規則性を見出し、それを自然画像に対する圧縮に利用できるのではないかという仮説のもと、実験と検証を行ったものです。こうした学生の学会発表に付き添うという経験も大学ならではでしょう。

若い頃は先輩の研究者のことを雲の上の存在に感じられますが、研究とは日々の簡単なアイデアの積み重ねで、アイデアさえ良ければ良い結果を生み出すことがあります。今、皆さんが当たり前に利用しているスマホやIT機器なども、はるかギリシャ時代から使われているようなアルゴリズムから、ずっと積み重ねられてきた結果なのです。