テキストマイニングツール導入後に必要な３ステップ

テキストマイニングツール導入後の3つのステップ

ステップ１．目的の明確化

テキストマイニングは、非構造化データである自然言語の文章を解析し、データベースやスプレッドシートのような構造化されたデータと同様の有用な情報を取り出すことができるデータ解析手法の一つです。

ただし、テキストマイニングで実施できるのは、あくまでも解析と可視化の部分だけであり、非構造化データから構造化データを抽出し、その出現頻度や相関などを可視化するだけですので、それをどう解釈するかというのは使用者に委ねられます。もちろん、サービスによっては一般的な解釈までもやってくれるものがありますが、それが必要とする情報かどうかは、使用者の判断になります。

そのため、実際に使用する前には、どのような方針、何のため、といったデータ解析の目的を明確にしておかなければなりません。

ステップ２．データの分類と整理、収集方法の明確化

ステップ1で明確化した目的や方針のもと、解析すべきデータを整理します。

テキストマイニングするのだからデータの整理はツールに任せればよいという考え方もありますが、上にも書きましたように、ツールそのものはただデータを解析し、可視化するだけのものです。もしそのデータの9割が目的とは無関係なものであっても、ツールはなんの疑問も持たず結果を出力し、有用な1割のデータは埋没してしまいます。

これで、本当に有用な情報を得られるわけがありません。そのため、解析すべきデータが本当に目的や方針にかなったデータであるかを確認、整理しておく必要があるのです。またこのとき、ここで決めた目的や方針をもとに、データの収集方法自体を明確にしておくことも、今後の更なる改善のためには重要なことです。

ステップ３．データ分析と解釈の方針決定

目的を明確にし、有用な情報が眠っていると思われる情報を整理・準備したら、最後に、そこから得られた結果を解釈するための方針（ポリシー）を決めます。

繰り返しますが、テキストマイニングでできることは、データの解析と可視化です。もちろん、解析結果は一つではありませんし、可視化手法も多数あります。どのような分析をして、結果をどのように解釈するかは、事前に決めておくことが必要です。

分析方法や結果を解釈するための方針が漠然としたままでは、どんな方向にでも解釈できてしまい、分析者個人の思い込みや固定観念など、分析が恣意的になり、誤った判断を導くという場合も少なくありません。テキストマイニングの結果を見てから決めればよい、という考え方もありますし、実際に可視化されたデータから新たな発見もあることは確かです。

しかし、どこまで詳細に分析するのか、どの程度の誤差であれば許容できるのかなど、基本的な方針や解釈するための方針がなければ、最初の段階でつまずくことも多いのです。決定する方針は「出現頻度の多いものを見て、少ないものは見ない」「相関をとるのは4種類のデータのみ」などという単純なもので構いません。

大量のデータの中か浮かびあがってくる情報から、そのとき本当に必要とする有用な情報を掴み取るためには、そのための明確な方針が必要なのです。一般的にはコスト面と決裁者が理解しやすくするために、できるだけシンプルにすることが良いとされています。

漠然とした宝探しではなく、明確な目的をもった探索が重要

テキストマイニングシステムを導入し、使用することになったということは、解析すべきテキストデータがあり、目的があるのは当然です。しかし、その目的は漠然としており、宝探しをするような動機で導入する企業も少なくありません。

企業のテキストデータの85パーセントは非構造化データだと言われており、その中には、ほとんど活用されることのない有用な情報が含まれているのは確かです。

しかしそれらの情報を見いだすことができるのは、目的を持ってマイニングした場合にのみであり、ただ漠然と宝探しをしても容易に見つかるものではありません。情報化社会という言葉が陳腐化しつつある昨今、情報は最強の武器になることは当たり前になっています。

そんな社会の中で企業が一層の発展を遂げるためには、自社に眠る大量の情報から最適な武器を見いだしていく必要があります。そのためにもまず、自社の進むべき方向を明確化し、情報に踊らされるのではなく情報を制する決意をもって、情報の海に立ち向かうことが重要です。その時こそ、テキストマイニングシステムは非常に強力なツールとしてその力を遺憾なく発揮してくれることでしょう。