NVIDIA、深層学習を活用して超スローモーション動画を作成するシステムを開発

　NVIDIAの研究チームは、ディープラーニング（深層学習）を活用して、ある難しい作業をうまく行う方法を開発した。その作業とは、すでに撮影された映像からスローモーション動画を作成することだ。

　研究チームは、ソルトレークシティーで米国時間6月18日から22日まで開催される「Computer Vision and Pattern Recognition（CVPR）2018」カンファレンスで、21日にこの研究成果を披露する予定だ。同チームが開発したのはディープラーニングを活用したシステムで、30fpsの動画から高品質なスローモーション動画を作成できるという。作成された動画は、今の最新技術を利用したスローモーション動画よりスムースで滑らかな動画になっている。

　「子どものサッカーの試合を撮影していて、あとになってスローモーションで見られればいいのに思ったときなどに、このシステムが役立つかもしれない」と、NVIDIAでビジュアルコンピューティングおよびマシンラーニング研究のシニアディレクターを務めるJan Kautz氏は、米ZDNetの取材に対して語った。

　また、プロフェッショナルな用途にもこのシステムを利用できる。たとえば、プロのアスリートやダンサーが、自分のフォームを研究するために、超スローモーションで動画を見たい場合などだ。

　Kautz氏のチームは、NVIDIAのGPU「Tesla V100」と、「NVIDIA CUDA Deep Neural Network（cuDNN）」で強化したオープンソースのディープラーニングフレームワーク「PyTorch」を用い、240fpsで撮影された1万1000本以上の動画を使って、システムをトレーニングした。

　学習を終えたシステムは、高フレームレートの動画をフレーム単位やピクセル単位で分解する方法を理解できるようになった。

　システムはその学習結果に基づき、30fpsの動画で連続する2つのフレームを調べ、この動画が高フレームレートで撮影されていた場合にフレーム間で記録されていたはずの画像を予測する。そして、「フレーム間の画像を補い、それらの画像をすべて順番に並べることで、新しいスローモーション動画を生成する」とKautz氏は説明した。

左右両端の2枚の画像の間をシステムが補い、滑らかなスローモーションを実現する
提供：NVIDIA