自然言語処理とは？
日常的に使われる言語を自然言語と呼びます。では自然言語処理とはどのような処理のことなのでしょうか。その概要を見ていきましょう。
自然言語をコンピューターが処理して分析すること
自然言語処理は、その自然言語をコンピュータで分析する技術のことです。NLP (Natural Language Processing)とも呼ばれます。
自然言語は日常的に人が使う言葉であり、曖昧さを含みます。同じ言葉でも用いる人物や文脈によって違う意味を示すことも珍しくありません。したがって、コンピュータで機械的に分析するのは大変で、高度な技術が必要になります。
現在、AIやディープラーニングの技術が発展し、機械による自然言語の理解や翻訳が可能になりつつあります。
解析を行うAIは言語を学ぶ必要がある
AIが自然言語を解析するためには、大量のデータをもとにした言語の学習が必要です。大量のデータから特徴を抽出し、その概念を獲得することで言語を理解できるようになります。このような学習をディープラーニングと呼びます。
自然言語処理のうち、形態素解析と構文解析は難しくありません。単語や文法のルールに従って文章を分割するだけだからです。一方、文章の意味や文脈を把握するには、ディープラーニングが必要となります。
2000年代に入ってからはディープラーニングが進み、機械による自然言語処理の性能が大幅に向上しました。
自然言語処理でできること
自然言語処理では、具体的にどのようなことが可能なのでしょうか。
大量のテキストデータの解析
コンピュータによる自然言語処理は、人間より遥かに多くのテキストデータを処理できます。テキストの内容を精緻に把握できる一方で、人間と違って疲労を感じません。
この技術は、特にテキストマイニングで大きく力を発揮しています。テキストマイニングとは、テキストデータの中から重要な情報を抽出する技術です。たとえば、SNSの情報からユーザーのニーズを分析できます。したがって、主にマーケティング分野で使われます。
近年、テキストマイニングで解析すべきテキストデータは膨大で、SNSの発達や音声データをテキスト化する技術の進歩に伴い、爆発的に増えています。そのうえで、自然言語処理の技術を活用した高速で高精度なテキストマイニングの重要性は年々高まりつつあります。
非構造化データの処理
非構造化データとは、行や列によって構造化されていないデータのことで、動画や画像のデータなどが非構造化データに該当します。構造化データと異なり、コンピュータで分析するのは容易ではありません。
人間の言語は典型的な非構造化データです。形式が整っていないだけでなく、個人の癖や方言、スペルミスなど多様な曖昧さを含みます。したがって、コンピュータで分析するには向いていません。
しかし、最近ではAIのさまざまな機械学習により、非構造化データの処理精度が高まっています。自然言語処理によって曖昧さを解消されたテキストは、音声認識技術やビジネスに役立つことが期待されています。
自然言語処理の流れ
自然言語処理の流れを４つのステップに分けて見ていきましょう。
１．形態素解析を行う
自然言語処理で初めに行う処理は形態素解析です。形態素解析とは、文章を最小の単位である単語に分割する作業です。たとえば、「満天の星と月が美しい」を形態素解析すると、以下のようになります。
満天／の／星／と／月／が／美しい
このように文章を分割して書くことを「分かち書き」と言います。意味を持つ最小単位である単語に分けることで意味を解析しやすくなります。英語など多くの言語では単語同士の間にスペースがありますが、日本語にはそれがないため、形態素解析が必要です。
２．文章の構造を解析する
続いて、形態素解析した文章を構文解析します。構文解析とは、単語同士の関係性を解析する作業です。
上述の例でいえば、「満天／の／星／と」と「月／が」は名詞句として認識されます。そして、これら２つが主語であり、「美しい」が述語として扱われます。このように分類することで、「美しい」のが「満天の星」と「月」であることが分かるのです。
一方、別の解析方法も考えられます。「月／と／星」をまとめて名詞句と見なし、「満天／の」を「月／と／星」の形容詞と考える方法です。こうすると、「満天」なのは「星」と「月」の２つだということになります。
構文解析の段階では、このように文法的に考えられる構造をすべて挙げていきます。
３．文章の意味を分析する
構文解析をした文章は、まだ意味が定まっていません。上述の例でいえば、「満天」なのが「星」と「星と月」のどちらなのかという問題が残っています。そこで、次の段階に行うのが意味の分析です。
この段階では辞書を使って単語同士の意味の関係を調べます。その結果をもとに、構文解析した結果から最適なものを選出するのが目的です。
上述の例では、辞書を参照することで「満天」の意味が「空いっぱい」だと分かります。さらに、「星」は複数あり「月」は１つしかないことが判明します。これにより、「満天」は「星」だけにかかるのだと特定されるのです。
４．文脈を理解し情報を抽出する
最後に行う作業は文脈解析です。同じ文章でも文脈によって異なる意味を持つことがあるため、文章の正しい理解には文脈の把握が欠かせません。
たとえば、「満天の星と月が美しい夜の思い出だ」という文章を考えてみましょう。この文章から分かる「思い出」の内容は、それが「満天の星と月が美しい夜」の話であることだけです。しかし、この文章の前になんらかのエピソードが語られていれば、「思い出」がそのエピソードを指すことが分かります。
文脈解析でそのことを理解するためには、複数の文章を形態素解析・意味解析しなければなりません。コンピュータにとっては難しい作業です。精度の高い意味解析を実現するためには、大量のデータでディープラーニングさせる必要があります。
自然言語処理に用いられる手法
テキストマイニングにおける自然言語処理で使われる手法を３つ紹介します。
共起語解析
共起語とは、ある言葉と関連性が強く、同時に用いられる言葉です。たとえば、「星座」の共起語には「占い」「性格」などがあります。共起語の解析はマーケティング分野で有効です。
特にWebマーケティングにおいて、検索エンジンに自社のコンテンツを表示させるうえで共起語は重要な意味を持ちます。ユーザーが検索エンジンで情報を調べる際、単語を共起語とともに入力することが多いためです。
検索結果に自社のコンテンツを表示させるには、コンテンツ内で適切に共起語を使う必要があります。共起語解析により、よく使われる言葉の組み合わせを把握できれば、コンテンツ作りに役立つでしょう。
トピックモデル
トピックモデルは文章のトピック（題目）を把握するための技術です。対象の文章がどのようなトピックを扱ったものなのかを解析することでマーケティングに役立てられます。
従来は潜在意味解析という方法が使われていました。これはテキストに出てくる単語の数や頻度からトピックを判断する方法です。たとえば、「英語」「初心者」などの単語が頻出していれば、語学に関するトピックだと判断できます。
しかし、潜在意味解析では人間にとって分かりやすいトピックに分類できないなど、いくつかの問題がありました。そこで登場したのがトピックモデルです。
トピックモデルでは、１つのテキストが複数の潜在的なトピックから確率分布的に生じるものだと考えます。これにより、１つのテキストが複数のトピックを含んでいる場合でも分類が容易になりました。トピックモデルはニュース記事におけるタグ付けの自動化などに有効です。
感情分析
感情分析とは、その名のとおりテキストで表現された人間の感情を分析することで、SNSでの発言やECサイトにおけるレビューを分析するのに用いられます。
感情分析では、個々の単語の意味から文章全体の感情を分析します。たとえば、「面白い」「おすすめ」などがあればポジティブ、「つまらない」「嫌い」などはネガティブです。どちらにも該当しない単語は、ニュートラルに分類されます。
具体的には、感情を示す単語ごとにポジティブなら加点・ネガティブなら減点し、総合点によって文章全体を判断します。「この映画は序盤はつまらないけど、あとは面白いからぜひおすすめ」では、総合的にポジティブだと判断できるでしょう。そのため「ネガポジ判定」と呼ばれることもあります。
自然言語処理を活用してテキストマイニングを効率化しよう
自然言語処理とは、コンピュータによって自然言語を処理することです。この技術により、非構造化データでも大量に処理できるようになります。自然言語処理の流れは以下のとおりです。
- １．形態素解析
- ２．構文解析
- ３．意味分析
- ４．文脈解析
自然言語処理の応用対象であるテキストマイニングでは、以下のような手法が用いられます。
以上を踏まえ、テキストマイニングを効率化しましょう。
