自然言語処理（NLP）とは？できることや実施手順を詳しく解説

自然言語処理とは

自然言語処理の概要を見ていきましょう。

人が使っている言語をコンピュータで処理・分析すること

自然言語処理は、自然言語をコンピュータで分析する技術のことです。NLP (Natural Language Processing)とも呼ばれます。

自然言語とは日常的に人が使う言葉であり、曖昧さを含みます。同じ言葉でも、話す人物や文脈によって違う意味を示すことも珍しくありません。したがって、コンピュータで機械的に分析するのは大変で、高度な技術が必要になります。

現在はAIやディープラーニングの技術が発展し、機械による自然言語の理解や翻訳が可能になりつつあります。身近な例でいうと、SiriなどのAIアシスタントや、検索エンジン、チャットボットなどで自然言語処理が用いられています。

機械可読目録とコーパスを用いて処理される

機械可読目録とは、書き言葉を機械が理解できるようにする通信規格です。人間の言葉を、機械が理解できるようにするための辞書のような存在と言えます。

一方、コーパスとは自然言語の使用方法を集積したものです。機械が自然言語を理解するための膨大なサンプルと言えます。人が英会話を学習する際の、英文用例集のような存在と考えると分かりやすいでしょう。

これら２つを用いて、自然言語を機械に処理させるのが自然言語処理です。

自然言語処理でできること

自然言語処理を行うと、どのようなことが実現するのでしょうか。

大量のテキストデータの解析

コンピュータによる自然言語処理は、人間より遥かに多くのテキストデータを処理できます。この技術は、特にテキストマイニングで大きく力を発揮します。テキストマイニングとは、テキストデータの中から重要な情報を抽出する技術です。たとえば、マーケティングの分野では、SNS上のコメントやカスタマーサポートに寄せられた顧客の声からニーズを分析できます。

ほかにも医療現場では、診療する中で患者が訴えた痛みや会話の内容を記したテキストデータを解析し、うつ病や認知症などとの相関性がないかなどを確認できます。

このようにテキストデータを解析すると新たなチャンスやリスクを発見できるので、さまざまなビジネスシーンで活かせるでしょう。

非構造化データの処理

非構造化データとは、行や列によって構造化されていないデータのことで、動画や画像のデータなどが非構造化データに該当します。構造化データと異なり、コンピュータで分析するのは容易ではありません。

人間の言語は典型的な非構造化データです。たとえば、スマートスピーカーに明日の天気を尋ねる場合、「明日の天気は？」「明日は雨降る？」「明日の降水確率は？」など、さまざまな質問が考えられます。形式が整っていないだけでなく、個人の癖や方言、スペルミスなど曖昧さを含みます。したがって、コンピュータで分析するには向いていません。

しかし、最近ではAIのさまざまな機械学習により、非構造化データの処理精度が高まっています。文の構造や前後の文脈から質問の意図を読み取って、的確な回答をするシステムも増えているのです。

関連記事

watch_later 2021.03.11

テキストマイニングツール比較８選！選び方や注意点も解説

続きを読む ≫

自然言語処理の流れ

次は、自然言語処理の流れを４ステップで解説します。

１．形態素解析を行う

自然言語処理ではじめに行う処理は形態素解析です。形態素解析とは、文章を最小の単位である単語に分割する作業です。たとえば、「満天の星と月が美しい」を形態素解析すると、以下のようになります。

• 満天／の／星／と／月／が／美しい

このように文章を分割して書くことを「分かち書き」と言います。意味を持つ最小単位である単語に分けることで意味を解析しやすくなります。英語など多くの言語では単語同士の間にスペースがありますが、日本語にはそれがないため、形態素解析が必要です。

２．文章の構造を解析する

続いて、形態素解析した文章を構文解析します。構文解析とは、単語同士の関係性を解析する作業です。

上述の例でいえば、「満天／の／星／と」と「月／が」は名詞句として認識されます。そして、これら２つが主語であり、「美しい」が述語として扱われます。このように分類することで、「美しい」のが「満天の星」と「月」であると分かるのです。

一方、別の解析方法も考えられます。「月／と／星」をまとめて名詞句と見なし、「満天／の」を「月／と／星」の形容詞と考える方法です。こうすると、「満天」なのは「星」と「月」の２つだということになります。

構文解析の段階では、このように文法的に考えられる構造をすべて挙げていきます。

３．文章の意味を分析する

構文解析をした文章は、まだ意味が定まっていません。上述の例でいえば、「満天」なのが「星」と「星と月」のどちらなのかという問題が残っています。そこで、次の段階に行うのが意味の分析です。

この段階では辞書を使って単語同士の意味の関係を調べます。その結果をもとに、構文解析した結果から最適なものを選出するのが目的です。

上述の例では、辞書を参照すると「満天」の意味が「空いっぱい」だと分かります。さらに、「星」は複数あり「月」は１つしかないことが判明します。これにより、「満天」は「星」だけにかかるのだと特定されるのです。

４．文脈を理解し情報を抽出する

同じ文章でも、文脈によって異なる意味を持つことがあります。したがって自然言語処理では、ある文章を処理する際、その前後にある文章にも構文解析と意味解析を行い、文脈を明らかにします。

なお、文章同士の関係性を明らかにするには言葉の意味や文法だけではなく、一般常識のようなさまざまな知識が不可欠です。そのため、充分な実用性を誇る文脈解析システムは未だに登場していません。

しかし、最近では照応解析や談話解析といった手法が提唱され、研究が進められています。近い将来、人間と同程度かそれ以上に文章を深く理解できるシステムが登場するかもしれません。

自然言語処理に用いられる手法

最後に、自然言語処理に用いられる手法を３つ紹介します。

１．共起語解析

共起語とは、ある言葉と関連性が強く、同時に用いられる言葉です。たとえば、「星座」の共起語には「占い」「性格」などがあります。共起語の解析はマーケティング分野で有効です。

特にWebマーケティングでは、Web検索結果の上部に自社のコンテンツを表示させるためユーザーのニーズに応える必要がありますが、コンテンツ内で共起語を使うと効果的です。なぜならユーザーが検索エンジンで情報を調べる際、共起語を入力することもあるからです。

共起語解析により、よく使われる言葉の組み合わせを把握できれば、コンテンツ作りに役立つでしょう。

２．トピックモデル

トピックモデルは、文章のトピック（題目）を把握するための技術です。対象の文章がどのようなトピックを扱ったものなのかを解析することで、マーケティングに役立てられます。

従来は潜在意味解析という方法が使われていました。これはテキストに出てくる単語の数や頻度からトピックを判断する方法です。たとえば、「英語」「初心者」などの単語が頻出していれば、初学者向けの語学に関するトピックだと判断できます。

しかし、潜在意味解析では人間にとって分かりやすいトピックに分類できないなど、いくつかの問題がありました。そこで登場したのがトピックモデルです。

トピックモデルでは、１つのテキストが複数の潜在的なトピックから確率分布的に生じるものだと考えます。これにより、複数のトピックを含んでいるテキストも分類が容易になりました。トピックモデルはニュース記事におけるタグ付けの自動化などに有効です。

３．感情分析

感情分析とは、その名のとおりテキストで表現された人間の感情を分析することで、SNSでの発言やECサイトのレビューを分析する際に用いられます。

感情分析では、個々の単語の意味から文章全体の感情を分析します。たとえば、「面白い」「おすすめ」などがあればポジティブ、「つまらない」「嫌い」などはネガティブです。どちらにも該当しない単語は、ニュートラルに分類されます。

具体的には、感情を示す単語ごとにポジティブなら加点・ネガティブなら減点し、総合点によって文章全体を判断します。「この映画は序盤はつまらないけど、あとは面白いからぜひおすすめ」では、総合的にポジティブだと判断できるでしょう。そのため「ネガポジ判定」と呼ばれることもあります。

自然言語処理を活用してテキストマイニングを効率化しよう

自然言語処理とは、人間が日常的に用いる言語を機械で分析することです。形態素解析・構文解析・意味解析・文脈解析の流れで処理され、共起語解析やトピックモデル、感情分析などの手法が用いられます。

自然言語処理について理解を深め、翻訳やマーケティングの分野で必要となるテキストマイニングに活かしましょう。