初音ミクがスクリーン外から登場できた理由--「超歌舞伎」で使われた最新技術

　4月28日と29日の2日間、千葉県の幕張メッセにて開催されたイベント「ニコニコ超会議2018」にて、歌舞伎と最新技術を掛け合わせた舞台「超歌舞伎」が上演。技術協力を行っているNTTが、報道陣向けに公演で使われている最新技術についての説明を行った。

　超歌舞伎は、歌舞伎俳優とボーカロイドキャラクターの共演という新しい歌舞伎の形を実現した企画。ニコニコ超会議において2016年に初上演され、今回で3回目となった。作品は顔見世舞踊の「積恋雪関扉」（つもるこいゆきのせきのと）に着想を得た新作「積思花顔競 -祝春超歌舞伎賑-」（つもるおもいはなのかおみせ またくるはるちょうかぶきのにぎわい）。俳優の中村獅童さんと初音ミクの主演によって行われた。

　中村さんと初音ミクの掛け合いが魅力となっているステージでは、NTTの最新技術が活用されている。過去2回の超歌舞伎でも、NTTのイマーシブテレプレゼンス技術「Kirari!」を活用し、「分身の術」など新たな表現を支えてきた。そして今回も最新技術を導入した演出を行った。そのひとつが、初音ミクが冒頭で山車に乗って登場したシーンだ。

　従来はステージ中央のスクリーン上から登場する初音ミクが、今回はスクリーンの外から山車に乗って登場。さらに山車が反転し、観客側に向いていた初音ミクが背中を向いた状態になり、さらに山車から降りてステージ上に立つというシーンとなっていた。

　この山車には、複数の表示装置に対して光路長を制御することで、3層の空中像を正面と背面から同時に視聴できる「両面透過型多層空中像表示装置」を搭載。山車の下部に設置されているモニターから初音ミクを映し出し、さらに上部にもモニターを設置し背景を映し出す。そして装置内に設置したハーフミラーに反射させることによって、両面からの視聴に対して、初音ミクの正面と後ろ姿を自然な形で表現したうえ、背景の桜吹雪も両面から見て破綻しないように表示させているという。

　もうひとつは、これまでも分身の術などで活用されている「被写体抽出技術」の進化について。今回は被写体と背景の色情報を教師データとした機械学習を通じて、わずかな色の違いでも被写体と背景を識別できるほど精度が向上したという。NTTの開発関係者によれば「従来は暗い背景や黒い布を背景にしたので、多少のエラーが発生しても目立たない。しかし今回は背景が明るい状態で厳しい環境で、単純な背景差分では綺麗に抽出できないところを、機械学習で解決した」と説明する。

　このほか、会場となったイベントホールには、歌舞伎特有の掛け声である「大向こう」に、最新の音響処理技術を掛け合わせたインタラクティブ歌舞伎「歌舞伎シャウト」も展示。大画面に表示された役者絵に対し、設置されたメガホン風のマイクを通じて大向こうを掛けると、言った言葉が音声認識により文字として可視化。役者絵に向かって飛んでいくというもの。

　複数のマイク素子と音響信号処理によって、騒がしい環境でも周囲の雑音を低減し、音声認識を可能とするインテリジェントマイク技術を活用。さらにリアルタイム波面合成技術によって、可視化された大向こうの動きと同期して音声が立体的に飛んでいくという。この大向こうの言葉が役者絵にあたると、タイミングや大向こうらしさなどによって、役者絵がさまざまな反応をするという内容となっていた。

　本作では平安時代を舞台に、中村さんは初の悪人役となる惟喬親王（これたかしんのう）と、これに敵対する良岑安貞（よしみねやすさだ）の2役、初音ミクも同様に、安貞の許嫁である小野初音姫（おののはつねひめ）と、白鷺の精霊の2役を演じ分けに挑んだ。このほか終盤ではボーカロイドキャラクターである鏡音リンも出演したほか、中村さんが観客席に現れ、ペンライトを手に観客を煽りつつ場内を練り歩き、大いに盛り上がっていた。

　公演は終了しているが、中継を配信していたニコニコ生放送のタイムシフトで視聴が可能。また2017年に行われた「花街詞合鏡」をテーマに、VR空間で傾城初音太夫（初音ミク）の舞を目の前で鑑賞することができるPS VR用ソフト「超歌舞伎VR ～花街詞合鏡～」が無料配信されている。