ビッグデータ時代のテキストマイニングとは？

テキストマイニングとは？

マイニング（mining）とは「発掘」を意味する英語で、鉱山から鉱石を探し出すことです。かつてデータ量が限られシンプルであった時代は、検索することで、簡単に見つけ出すことができました。しかし、現在ではベースとなるテキストデータが膨大な量になっています。欲しいデータがほんのわずかで、あとはノイズ（土くれ）なのです。

また、検索するべき言葉さえ分かっていない場合があります。「新製品のアイディア」が欲しいといっても、漠然としていて探しようがありません。そこで、テキストを分類整理し関連付け、簡単なレポートを提出してくれるツールが必要となります。

インターネットが進化し、ビッグデータ時代と呼ばれるようになりました。SNSでは、多くの人がとりとめのない言葉をアップしています。これらを入手することは容易ですが、そこから有用な情報を得るのは手作業の限界を超えます。

ここにテキストマイニングの必要性があります。膨大な量のテキストデータからキラリとしたヒントを探すテキストマイニングは、「気づき」を得るための道具なのです。

テキストマイニングの流れと「形態素解析」

テキストマイニングに不可欠な技術に「形態素解析」があります。テキストマイニングを「意味のある最小単位」で区切ると紹介しましたが、この「文章を区切る」ために利用される技術が形態素解析であり、テキストマイニングの1stステップとなります。

「形態素解析」は聞き慣れない言葉ですが、言語として意味を持つ最小単位のことで、英語では単語のことになります。単語ごとにスペースで区切られているため、簡単に分割処理できます。

ところが、日本語の場合は切れ目がないため、機械的に判断できません。このため、AIなどに見られる自然言語処理が必要になります。形態素解析は機械翻訳や仮名漢字変換でも必要となる技術です。

この形態素解析によってテキストをバラバラにしたら、データを「クリーニング」します。データ分析では一般に行われていることですが、外れ値や欠損値、ノイズを取り除きます。

こうして「マイニング」に入ります。統計的手法を使って、他のデータと組み合わせたり、関連を視覚化して、価値を見出します。マイニング技術には「アソシエーション分析」（単語間の関連性を見る）や、「クラスター分析」（テキスト間の類似性からグループ化する）などがあります。

何を分析して何を得るのか？

アンケートから「お客様のニーズ」

アンケートは集計のことを考慮し、すべて選択式にするのが理想です。しかし、生の声を聞きたいというニーズも多く、自由記述の欄を設けることが多くあります。この声を個々に読むことはリソース的に困難です。そこで、テキストマイニングを利用して、具体的な要求やサービス利用シーンなどをつかみます。

コールセンターの対応履歴から「問い合わせ情報」

コールセンターやヘルプデスクでは対応履歴を残しています。中には音声認識により、テキスト化されている場合もあります。これらを利用して、数の多い問い合わせを集計し、FAQを作成したり、製品やサービスの改善に活用します。

インターネット上からマーケティングデータ

インターネット上の掲示板・コミュニティサイト、SNS、ブログなどは、お客様の生の情報の宝庫です。しかし、量が多すぎて分析までは手が回りません。そこで、テキストマイニングを活用して、自社製品の満足度や評価などを探ります。新製品投下後にインターネットから評判を収集している企業もあります。イベントの終了後にその反響を集め、分析している企業もあります。

まとめ　～ ビッグデータ時代に不可欠となるテキストマイニング ～

多くの情報がデジタル化され、データ分析が容易となっています。しかし、その量が多すぎたり、形式が異なると、通常のツールでは分析が困難となります。このため、テキストマイニングの導入が活発化しています。お客様の声を吸い上げ、マーケティングデータとして活用するためにも、テキストマイニングの検討をお勧めします。