「隠れた単語を発見する」 単語ごとに「スペース」を入れて表記しない日本語は、一般的にその内容を機械的に分析することが、英語などと比べて難しいとされる。そのため、文章の中から意味を持つ単語を選び出す「形態素解析」を行う場合、一般的にはあらかじめ用意された辞書との照合を行う方式などが使われている。しかし、この方式ではブログなどで次々と生み出される新語などへの柔軟な対応が難しい。この研究ではベイズ統計モデルを用いることによって、前もって辞書を準備しなくても、大量の文章に対する統計的な分析から、自動的に単語を発見し、分割を行うことができることを目指す。検索エンジンや機械翻訳の精度向上に貢献する可能性がある研究だ。
CNET Japanの記事を毎朝メールでまとめ読み(無料)
ものづくりの革新と社会課題の解決ニコンが描く「人と機械が共創する社会」
OMO戦略や小売DXの実現へ顧客満足度を高めるデータ活用5つの打ち手
パナソニックのV2H蓄電システムで創るエコなのに快適な未来の住宅環境
企業や自治体、教育機関で再び注目を集める身近なメタバース活用を実現する
CNET Japan(Facebook窓)