【神奈川工科大学（KAIT）】生番組の8Kライブ映像ワークフローをオンライン上で実現 -- 400Gbps対応のエッジ装置の8K非圧縮映像処理機能を活用

神奈川工科大学（KAIT）情報ネットワーク・コミュニケーション学科（神奈川県厚木市）の丸山充教授、瀬林克啓特任教授らは6月に幕張メッセ（千葉市美浜区）で開催されたInterop Tokyo 2023において、全国3か所（沖縄、神奈川、千葉）の8Kカメラのライブ映像や北陸8Kサーバからの素材映像をネットワーク上で編集し、ライブ配信する実証実験に成功しました。
丸山教授、瀬林特任教授らは、オンライン上で8K映像を用いた生配信の映像制作ワークフローを実現することを目指し、10Gbpsを超える非圧縮8K映像ストリームデータをソフトウェアのみでリアルタイム処理可能な映像処理機能VVF（Virtualized Video handling Function）の開発を進めてきました。
今回の実証実験では、ShowNet（*1）、国立研究開発法人情報通信研究機構（NICT：エヌアイシーティー）のJGN、StarBED、高信頼NFV システム、大学共同利用機関法人 情報・システム研究機構 国立情報学研究所（NII：エヌアイアイ）のSINET6といった通信ネットワークを組み合わせ、8K広域映像配信環境を構築しました（図1）。クラウドとエッジ（*2）で複数のVVFを自在に連動させる仕組みとして、最新の経路制御技術であるSRv6（Segment Routing over IPv6）のサービスチェイニングの機構を組み込んでいます（図2）。




【研究背景】
丸山教授、瀬林特任教授らは、映像素材として用いる非圧縮8K超高精細映像の伝送・蓄積配信システムの開発に2014年から取り組んできました。現在はそのシステムに加え、8K映像のリアルタイム編集・配信をオンライン上で完結して実現できるクラウド・エッジ動画編集・配信環境の開発に取り組んでいます。これが実現すると、映像編集拠点に専用に構築したローカルシステムでしか行うことができなかった超高精細映像の生配信映像ワークフローを、オンライン上で誰でも行うことが可能になります。

【研究内容およびこれまでの成果】
本環境は、編集のための映像処理をクラウドと複数のエッジを連携させた分散システムで実現しています。エッジやクラウドなど汎用機で構成されたネットワーク上で広帯域な映像処理を行うため、映像処理はソフトウェアのみでリアルタイム処理を実装する必要があります。そこで丸山教授、瀬林特任教授らはDPDK（Data Plane Development Kit）（*3）を応用することで、超高精細映像処理を分散して行う仮想映像処理機能（VVF）と呼ぶフレームワークを開発しました。現在、VVFとして、異種類の8K非圧縮フォーマット（8Kデュアルグリーン：8K-DG 24Gbps、フル解像度8K 48Gbps）相互間のトランスコード機能や色変換処理を行うカラーコレクティング（*4）機能、8K映像の中から任意のHD（ハイビジョン）部分を切り抜く機能、映像スイッチングを行う機能などが実装されています。なお、トランスコード処理およびカラーコレクティング処理にはIntelのSIMD （Single Instruction Multiple Data）並列命令であるAVX-512 を使用して高速処理を実現しています。

VVFの動作検証のため、KAIT近傍のSINET6相模原DCに400Gbpsという超広帯域回線で接続されたエッジ装置を構築しました。これにより遠隔地からの本装置利用が可能となったことから、昨年度は国際展示会SC22（2022年11月14日～17日、ケイ・ベイリー・ハッチソン・コンベンションセンター・ダラス）のNICTブースにおいて、本エッジ装置を遠隔利用した8K非圧縮映像のリアルタイム編集・配信の国際実験・デモを成功させることができました。

【今回の実証実験について】
今回のInterop Tokyo 2023のKAITブースでは、このVVFを自在に連携させるサービスチェイニングをSRv6（*5）技術を用いて実装したシステムの実証実験を実施しました。図１に示すように、全国3か所（沖縄県宜野座市、KAIT、幕張会場）に設置した8Kカメラと、北陸8Kサーバからの素材映像を、相模原DCと会場に分散構築したVVFを連携させ、生番組の8K ライブ映像ワークフローをオンライン上で実現しました。
また、低遅延配信システムとの連携にも取り組み、ミハル通信株式会社（神奈川県鎌倉市）をフレッツ網で接続し、3拠点（ミハル通信、KAIT、幕張会場）を結んだ低遅延会議システムの実験も行いました。

図２に示すように、8Kカメラや素材映像サーバからの8K映像はIPv4マルチキャストパケットで送出されることから、SRv6の機能であるサービスチェイニングを用いるため、Encap装置でIPv4 マルチキャストパケットをSRv6にカプセル化し、エッジ装置のVVFに伝送しました。Encapには、エヌ・ティ・ティ・コミュニケーションズ（NTT-C）社のソフトウェアルータKamueeを用いました。各VVFはインラインでSRv6を処理するEnd.AN機能をDPDKベースで実装し、端末にはDecap装置で編集後の映像を通常のIPv4マルチキャストに戻して出力しています。以上により、8Kカメラ映像や映像サーバからの映像素材を切り替え、フォーマット変換や色合い変換、HD切り出しをして一部を拡大して詳細を確認する、というような編集ワークフローをSRv6のサービスチェイニングにより構成することができました。

【今後の展開】
このように、エッジやクラウドの複数のVVFがネットワーク内で自在に共用可能となり、オンライン上で様々な映像処理を自在に連携させ編集・配信できるため、従来のように映像編集拠点毎に集約して構築していた映像処理装置は不要となります。今後はこの技術を発展させることで、手持ちのPCをネットワークに接続するだけで誰でも8K映像編集・配信が可能となる新たなメディア製作手法の確立にむけて研究開発を進めていきます。

＜謝辞＞
Interop Tokyo 2023展示の実証実験の実施にあたり、ShowNet、NICT、NII、宜野座村IT オペレーションパーク、北海道テレビ放送株式会社、NTT-C、アリスタネットワークスジャパン合同会社、古河ネットワークソリューション株式会社、ピュアロジック株式会社をはじめ関連組織の皆様のご協力をいただきました。

＜研究助成等＞
本研究成果の一部は、NICTの委託研究「高臨場感通信環境実現のための広帯域・低遅延リアルタイム配信処理プラットフォームの研究開発」（採択番号03101）およびJSPS 科研費 22K12021、 22K12003 により得られたものである。

（*1）ShowNet：Interop Tokyo 2023 期間中、幕張メッセにおいてネットワークを構築し、出展社ブース、来場者、カンファレンス会場などにインターネットへの接続性を提供していたプロジェクトの名称。
（*2）エッジ：端末とクラウドの間に配置したコンピューティングリソースを示す。端末に近いためリアルタイムな処理を得意とし、処理後の大容量なデータをクラウドに格納するような機能分散を行う。
（*3）DPDK：ソフトウェアベースのルータやスイッチの高速動作を目指して、CPUの特定のコアやNIC（ネットワークインタフェースカード）などのリソースをプロトコル処理専用に割り当てる技術のこと。今回は、この技術を映像処理に応用している。
（*4）カラーコレクティング／カラーコレクション：カメラの撮影時の色温度の補正やシーンに応じた色味を変化させること。複数のカメラ映像を切り替えた際の色味の変化に対する違和感をなくし、統一感を持たせるために行う調整。
（*5）SRv6：Segment Routing over IPv6は、IPv6の拡張ヘッダを利用してパケット単位の経路制御を行う。拡張ヘッダ部にセグメント識別子（SID: Segment Identifier）と呼ぶ情報を複数追加することができ、各ルータはパケットをSIDリスト通りに特定の経路に誘導する。



※取材の際には、事前に下記までご一報くださいますようお願い申し上げます。
※本リリースは大学プレスセンタ－に送信させていただいております。


▼本件に関する問い合わせ先
神奈川工科大学　研究推進機構
研究広報部門
住所：〒243-0292　神奈川県厚木市下荻野1030
TEL：046-291-3218
メール：liaison@kait.jp


【リリース発信元】 大学プレスセンター リンク