フジテレビ×日本MS、クラウド／AI技術で連携--動画の字幕を自動生成、自動翻訳も

　フジテレビジョン（フジテレビ）と日本マイクロソフト（マイクロソフト）は3月29日、新しい視聴者体験を提供するためのクラウド／AI技術で連携すると発表した。

　第1弾として、フジテレビが1月からスタートしている投稿動画配信サイト「DREAM FACTORY（ドリファク）」の基盤としてクラウドプラットフォーム Microsoft Azureを採用し、新しい視聴者体験サービスを展開する。

フジテレビジョン 常務取締役の大多亮氏と日本マイクロソフト 代表執行役 社長の平野拓也氏

　7月1日にMicrosoftのAI機能「Speech to text」をドリファクに実装し、音声認識によって自動で動画の字幕を生成できるようにするほか、さらに字幕を5カ国語（日本語、英語、スペイン語、中国語、フランス語）に自動翻訳できる機能も提供する。対応言語は、ドイツ語やイタリア語など計9カ国語に増やしていく考えだ。

　また今後は顔認識によって特定の出演者以外の顔をぼかしたり、登場シーンなどにジャンプする機能、予告編を自動でつくれる要約機能などを加えていくという。

　テレビの現場では、字幕づけや翻訳作業、顔のぼかし作業など、多くの過程を手作業で行っており、これらをAIで自動化しようというのが今回の試みだ。まずはドリファクからスタートし、いずれはテレビの現場に技術を取り入れることも考えているという。

フジテレビは研究素材を提供、マイクロソフトはAI技術のブラッシュアップへ

　今回の連携により、フジテレビはドリファクのコンテンツを、AI技術の向上のための研究材料としてマイクロソフトに提供する。マイクロソフトは、提供されたコンテンツをAI技術のブラッシュアップのための研究材料として活用し、日本語の認識率の向上、顔認知技術による肖像権チェック、映像モデレート技術による成人向けコンテンツの自動排除処理、自動翻訳、索引付けなどの機能向上につなげる。また、新たな動画配信基盤の構築や映像コンテンツ開発のための技術支援体制の整備とサポートを行う。

字幕自動生成機能のデモ。Microsoft Researchのディープニューラルネット（DNN）に基づいた音声認識を利用することでデジタル音声を自然言語へと変換し、メタデータを自動で抽出する

自動字幕生成機能に、自動翻訳機能を統合。ユーザーは好きな言語を選んで再生できる。また、コンテンツ投稿者は修正もできるようにする

　フジテレビはドリファクを、“パフォーマーやクリエーターの発掘の場”として位置付ける。投稿された動画作品は、コミュニティとしてジャンルごとにセグメントされ、リアルタイムでランキング表示されるしくみだ。作品投稿者はその人気を競い合い、ユーザーはランキングに応じて入れ替わる動画作品を楽しめる。

登場人物を選び、その人以外をぼかす、といった指示ができる

　フジテレビジョン 常務取締役の大多亮氏は、「ドリファクからスターを作りたい。たとえば、『爆笑そっくりものまね紅白歌合戦』という番組があるが、ドリファクに投稿してもらい、おもしろければもしかすると番組に出られるかもしれない。オーディションいらずというと言い過ぎかもしれないが、そういうチャンスもある」と語り、テレビ放送との連動も考えられるとした。

特定のテキストシーンへのジャンプ機能も今後提供予定だ