テキストマイニングの形態素解析とは？注意点やツールを解説！

テキストマイニングの形態素解析とは？

テキストマイニングとは、テキストデータを単語や文節で区切り、単語の出現頻度や傾向を分析することです。この分析に使われる技術の１つに形態素解析があります。では、形態素解析の概要を見ていきましょう。

文章を単語に切り分けて分析する方法

テキストの分析には、文章を単語や文節で区切る過程があります。それを実現する技術が形態素解析です。たとえば、「昨晩カレーを食べました。」という文章を形態素解析すると以下のように区切られます。

昨晩／カレー／を／食べ／ました／。

このように、文章を最小単位で区切って記したものを分かち書きと呼びます。そして、形態素解析では分かち書きした各要素の品詞を特定します。上の例では、「昨晩」は時相名詞、「食べました」は動詞で基本形は「食べる」であると特定されます。

テキスト分析の事前処理として利用される

形態素解析は類似度計算や文書検索を行ううえで必要であるため、テキストマイニングの事前処理として利用されます。類似度計算とは、ある文書と別の文書がどれほど類似しているかを計算することで、文書検索はキーワードから文書を検索できます。

これらの技術は、文章のままだと意味が似通っているか判断しづらく、文字ごとに区切ると意味が分からないので、文章を単語に区切らなければ成立しません。単語は、文章の意味を把握するのに有効な最小の単位と言えます。

特に日本語のテキストを分析するうえで形態素解析は重要な役割を果たします。日本語は英語のように単語同士の間にスペースが挟まれていないため、どこで区切ればよいのか機械的に判断しづらいからです。

形態素解析の注意点

つづいて、形態素解析の注意点を２つ見ていきましょう。

意味を取り違えることがある

以下のような場合に、単語の意味を取り違える可能性があります。

■方言や敬語がある

たとえば、「来る」の尊敬語には「お越しになる」「いらっしゃる」「お見えになる」「来られる」があります。これらすべてが同じ意味だと機械的に判断するのは容易ではありません。

■複数の意味に解釈できる

区切る位置によっては別の意味に解釈できる文章が存在します。その場合、正しい区切り方ができない可能性があります。特にひらがなで記述されている場合は意味を判別しづらいため要注意です。

解析ツールの辞書機能によって分析精度が左右される

形態素解析は辞書の情報をもとに行われます。ところが、すべての辞書の情報が同じわけではありません。品詞が辞書によって異なる場合もあれば、特定の単語が掲載されていないケースもあります。

特に地名や商品名などの固有名詞は要注意です。日々新しい言葉が生まれているため、定期的に辞書情報を更新しなければなりません。

形態素解析の流れ

形態素解析はどのような流れで行うのでしょうか。

文章から単語に分ける

文章から単語に分ける際に問題となるのが、どこで区切るかです。形態素解析では、辞書（単語帳）を利用して文章を区切ります。たとえば「かれはやくしょにきょうようがある」という文章を区切る場合を考えましょう。

まず、文章の意味は考えずに単語として区切れる部分で区切ります。その結果、「枯葉／役所／に／今日／用／が／ある」「彼／早く／書／に／教養／が／ある」などの区切り方ができます。このように、考えられる区切り方をすべて列挙するのが、形態素解析の最初の段階です。

候補の単語をグラフ化する

前のステップで区切った単語をグラフ化します。上述の「かれはやくしょにきょうようがある」を区切ってラティス構造にしたものの一部を以下のように示します。

• 彼→は→役所→に→　教養　→が→ある
• 　→早く→書→
• 　　　　　　　　→今日→用→

このように、並べた要素を枝状に分岐させてつないだ構造をラティス構造と呼びます。特に形態素解析における単語のラティス構造を「形態素ラティス」といいます。

もっともらしい単語の並びを探す

次は、ラティス構造から最適な単語の並びを探し出します。上述したラティス構造を例にすると、考えられる並びの候補は以下の４パターンです。

• ■彼は役所に教養がある
• ■彼早く書に教養がある
• ■彼は役所に今日用がある
• ■彼早く書に今日用がある

これらの中から、最適なものを選びだすために用いられる方法を最小コスト法といいます。各候補のコストを計算し、それが最小なものを最適な並びとします。この場合のコストとは、以下の２つです。

【連接コスト】

２つの単語のつながりにくさ

【生起コスト】

１つの単語の出現しにくさ

上述の例で言えば、「早く」と「書」は連接コストが高いです。「書」の生起コストも高いでしょう。また、「に」と「教養」は連接コストが高いですが、「に」と「今日」「用」ならばコストは低くなります。

このようにコストを計算した結果、コストが最小な並びとして「彼は役所に今日用がある」が選び出されます。

形態素解析を活用してマイニングの精度を上げよう

形態素解析とは文章を分かち書きにすることで、テキストマイニングの事前処理として行われます。形態素解析には以下の注意点があります。

• ■意味を取り違えることがある
• ■照合する辞書によって解析結果が異なる

形態素解析は以下の流れで行います。

1. １．文章を単語に区切る
2. ２．区切った単語をラティス構造に並べる
3. ３．最小コスト法により最適な並びを特定する

適切に形態素解析を活用し、マーケティングに活かしましょう。