「隠れた単語を発見する」
単語ごとに「スペース」を入れて表記しない日本語は、一般的にその内容を機械的に分析することが、英語などと比べて難しいとされる。そのため、文章の中から意味を持つ単語を選び出す「形態素解析」を行う場合、一般的にはあらかじめ用意された辞書との照合を行う方式などが使われている。しかし、この方式ではブログなどで次々と生み出される新語などへの柔軟な対応が難しい。この研究ではベイズ統計モデルを用いることによって、前もって辞書を準備しなくても、大量の文章に対する統計的な分析から、自動的に単語を発見し、分割を行うことができることを目指す。検索エンジンや機械翻訳の精度向上に貢献する可能性がある研究だ。
CNET Japanの記事を毎朝メールでまとめ読み（無料）
ビジネスの推進には必須！
ZDNet×マイクロソフトが贈る特別企画
今、必要な戦略的セキュリティとガバナンス
企業は価値創出に専念できる！
パランティアが打ちだしたDX支援のかたち
従量課金制データプラットフォームの魅力
「つなげる」を諦めない第3の選択肢
いつでもどこでもネットを身近に
進化を遂げたHD-PLCの最新情報
スタートアップの成長には不可欠
成長していくうえで陥りやすい3つの課題の
解消の鍵となる内製化をゆめみが支援
