ヤフー、ビッグデータ分析を高速化する検索技術「NGT」をOSSとして公開--特許も無償開放

　ヤフーは24日、高次元データの高速検索技術「NGT（ Neighborhood Graph and Tree for Indexing）」を開発し、オープンソースソフトウェア（OSS）として「GitHub」に公開したと発表した。

　NGTは、テキストや画像、商品・ユーザーデータなど、複数の特徴を持つ高次元データを、膨大なデータベースの中から高速に検索する技術。AIやIoTの登場で膨らみ続けるビッグデータの分析を高速化でき、200万件の言語データを対象に実施した「SASH」との比較では約4倍、「FLANN」と比較すると約12.3倍の高速化を確認したという。

既存の検索技術と比較

　NGTを活用することで近似したデータのマッチングを高速化でき、AI技術の精度向上が可能になるほか、フォーマットや入力方法がバラバラの大量のデータを高速に照合することで、企業内で活用し切れていないデータを名寄せし、AIに最適なビッグデータを生成できるとしている。また、ヤフーでは実用化していないものの、機械学習などを活用したニュースコンテンツのパーソナライズ配信、運用型ディスプレイ広告の精度向上も可能だとしている。

　これまで、商用不可の研究用途として2015年9月より「Yahoo! JAPAN研究所」で公開していたが、社内外問わず多くのデータサイエンティストとともに同技術を発展させていくため、特許実施権を無償提供した上でOSSとして公開した。

　同社では、「マルチビッグデータ」の利活用のために「技術で世界TOP10」を掲げており、大学や研究機関との共同開発やOSSコミュニティへの貢献など、オープンなコラボレーションを推進しているという。今回の取り組みもその一環としている。