MSがデータラングリングツール開発中？--AI開発者向けにFacebookと「ONNX」発表も

　2017年に入って行われたMicrosoft Researchのプレゼンテーションによれば、データサイエンティストは作業時間の80％をデータの抽出とクリーニングに費やしているという。この作業は「データラングリング」とも呼ばれる。Microsoftはこの状況を改善したいと考えている。

　それが「Project Pendleton」だ。

すべてのMS製品に"知性"を組み込む

　筆者は1年前、情報提供者の1人から、Microsoftが「Pendleton」というコードネームで、機械学習関連の新しいツールに取り組んでいるという話を耳にした。しかし、このツールについて記事にできるだけの情報は、The Walking Cat氏（Twitterアカウント：@h0x0d on Twitter）が情報や資料を明るみに出すまで手に入れることができずにいた。

　The Walking Cat氏が提供したPendletonの資料の導入部分で、Microsoftはこのツールについて次のように説明している。

　「Pendletonは、データの問題を調べ、発見し、理解し、修正する作業を手助けする、柔軟でスケーラブルなツールを提供する。これを利用することで、さまざまな形式のデータを消費し、そのデータを用途に合った新しい形式に変形することができる」

　Pendletonは、Windows、OS X/macOSで動作するクライアントアプリケーションだ。ランタイムではPythonを使用しており、さまざまなPythonライブラリに依存している。

　情報提供者の1人の説明によれば、Pendletonはデータの準備やクリーニングを行うよう設計された、データサイエンティスト向けのツールだ。このツールは、不規則なカラムを削除したり、カラム内のフォーマットを変更したり、欠損データを処理したりといった作業に使用できる。また、データセットに何が含まれているかを調べるためのアナリティクスツールも含まれている。

　Microsoftは1年近く、あるいはそれ以上の期間、社内でPendletonのテストを行っている。同社がこのツールをどのような形でリリースするかについての情報はまだないが、どうやらまだ未定のように思える。

　筆者の推測では、Pendletonには「データラングリングのためのプログラム合成技術を開発し、実際の製品に組み込む」研究を行っているMicrosoft ResearchのPROSE（Program Synthesis Using Examples）研究チームが（少なくとも一定程度は）関与していると考えられる。

提供：The Walking Cat

　一方、データ科学と大規模なデータセットに関して、MicrosoftとFacebookは米国時間9月7日、深層学習モデルを提示するために共同開発した新標準「Open Neural Network Exchange（ONNX）」を発表した。そうしたモデルをフレームワーク間で動かすことができるようにするというものだ。

　ONNXは、開発者がMicrosoftの「Cognitive Toolkit」やFacebookの「Caffe2」のほか、「PyTorch」などのAIフレームワークを容易に切り替えられるようにする。ONNXの初期バージョンのコードとドキュメントはGitHubでオープンソースとして公開されている。