富士通とJR東日本ら、電車の発着やアナウンスなど音情報を視覚化する実証実験

　富士通、東日本旅客鉄道（JR東日本）、JR東日本クロスステーション、大日本印刷（DNP）の4社は6月9日、音の視覚化装置「エキマトペ」を用いて、ホームに流れるアナウンスや電車の発着などの音情報を文字や手話で表現する実証実験を実施すると発表した。

　実験期間は、6月15日から12月14日まで。実験場所は、JR上野駅（東京都台東区）の1・2番線（京浜東北線と山手線）。

　 富士通、JR東日本、DNPの3社は、2021年7月に川崎市立聾学校で開催された「未来の通学」をテーマとしたワークショップをきっかけに、駅のアナウンスや電車の音といった音情報を文字や手話で視覚的に表現する装置「エキマトペ」の開発プロジェクトを開始していた。

　エキマトペを活用した第1弾のプロジェクトとして、2021年9月13日から15日の3日間、JR巣鴨駅にて駅ホームに流れる音を視覚化する実証実験を実施。SNSなどを通じて、駅の利用者から多くの反響があったという。

　第2弾となる同実験においては、参画企業にJR東日本クロスステーションが加わり、社会実装に向けてさらなる省スペース化やコスト削減を意識したエキマトペの筐体の改善を図っている。さらに、駅を地域とのタッチポイントとして機能拡張できるように、ダイバーシティ＆インクルージョンに関する地域情報の掲示機能を追加した。

　具体的には、エキマトペを活用してホームに流れるアナウンスや電車の発着音、ドアの開閉音などをマイクで集音。AI分析でリアルタイムに文字や手話、擬音語、擬声語といったオノマトペ（自然界の音や声、事物の状態を言語音で表現した言葉）に変換して、ホーム上に設置された自動販売機上部の専用ディスプレイに表示する。

　音情報の視覚化にあたっては、富士通のスーパーコンピュータ「FUJITSU Supercomputer PRIMEHPC FX1000」で構築したAIの学習モデルを活用し、マイクで集音した駅の音情報を識別する。

　ホームに流れる定型アナウンスは、テキストに変換されると同時に事前収録したJR東日本の駅社員による手話動画がディスプレイ上に表現され、電車の発着音やドアの開閉音などは、手書きアニメーションで表現されるという。

　加えて、駅社員によるアナウンスを、富士通の「FUJITSU Software LiveTalk」でテキスト変換。DNPが開発する文章を読み取り、感情や話題に合わせたフォントに自動で切り替えるシステム「DNP感情表現フォントシステム」を通じて、文章の内容に適した感情豊かなフォントで表現する。

　4社は、同実験を通じて、聴覚に障がいをもつ人をはじめとする駅の利用者に快適な体験を提供することで、より安全安心な鉄道利用を実現し、ダイバーシティ＆インクルージョンへの相互理解の促進を目指す。

　また、エキマトペの体験に関するフィードバックをもとに、駅の利便性向上を目指し、利用者への情報伝達のあり方についても検討するという。