これで納得！ テキストマイニングの歴史と進化

データマイニングの歴史

テキストマイニングは、統計学などを利用してデータ解析するデータマイニングから派生しました。コンピュータがビジネス上の業務を支援するようになったのは、1960年代から70年代にかけてのことです。このころは大型汎用機が中心で、主に大企業で経理、給与、生産などの基幹業務の処理を行っていました。

まだコンピュータが電子計算機と呼ばれていたころで、名前のとおり計算するのが仕事でした。しかし、データの蓄積が可能なことから、これを経営に役立てることはできないかと、データ解析が始まります。これがデータマイニングの始まりです。

1980年代になって歴史の主役はオフィスコンピュータに代わります。比較的低コストで導入できることから、大企業のみならず中堅レベルの企業まで、一斉にコンピュータ化されました。

ここで販売、購買、生産、在庫、人事、給与など幅広い業務がコンピュータに委ねられ、各種データをコンピュータは提供していくことになります。ここにおいて高度情報化社会が訪れました。コンピュータの提供する情報は、人・モノ・金に続く第4の経営資源とさえ呼ばれるようになります。その情報を解析するデータマイニングも広がりを見せました。

テキストマイニングの歴史と現在

1990年代から2000年前後にかけてテキストマイニングが登場します。その背景には次の変化がありました。

テキストマイニングの歴史と現在「データ量の増加」

この時代になってコンピュータはパソコンが中心となり、一気に低価格化されていきます。データを保存するストレージも信じられないほどの低価格になっていきます。1980年代を知っている人には「タダみたいなものだ」と思わせる金額でした。

この低価格化のため、それまで集約して蓄積してきたデータを生データのまま保存できるようになりました。売上の集計情報ではなく、売上明細までの保存できるのです。ところが、蓄積したデータがあまりに膨大で、従来とは異なった分析技術が必要になりました。

テキストマイニングの歴史と現在「システムの統合」

既述のようにコンピュータはいくつもの業務をシステム化してきました。それが、この時代になって「サイロ化」「部分最適化」と非難されるようになります。このため、SOA（Service Oriented Architecture）という考え方が生まれ、異なるシステムを統合する動きが出ました。

しかし、販売管理システムや顧客管理システムなど、システムごとにデータ形式が異なるため、システムが統合されても分析できません。ここでも新たな技術が必要となりました。

テキストマイニングの歴史と現在「テキストデータの増加」

コンピュータが扱うのは数値データが中心でした。しかし、インターネットが普及進化し、テキストデータが氾濫したため、その有効活用が求められるようになりました。そのテキストデータは宝の山にも見える反面、圧倒的に多いのはゴミのような役にたたないデータです。これを手作業で取り除くのは大変な手間です。テキストを扱う技術と効率化が求められました。

これらを背景に登場したのが「テキストマイニング」の概念と技術です。テキストマイニングにより、膨大な量のテキストデータを解析し、ビジネスに役立つ有用な情報を探り当てることができます。

従来、データ分析はビジネスの課題を解決する「仮説」を導き出すものでした。しかし、テキストマイニングはこの常識を大きく変えようとしています。仮説以前の「気づき」を引き出すのです。

たとえば「これはおかしい」「これは変だな」「これは興味深い」と思わせるキーワードや関連する単語を提供します。生のままのデータではノイズが多すぎて、これらに気づくことができません。

このようにして気づきを得て、次のステップとして仮説が成立します。その仮説を実証するためにテストマーケティングをしたり、製品のサンプル配布をします。

まとめ　～ テキストマイニングでさらなる情報活用を ～

歴史とともに、データ分析のあり方も領域も変わっています。テキストマイニングは情報活用の新たな領域を開きました。その可能性を試してみませんか。

テキストマイニングツールについてご興味のある方は、下記の記事をご覧になってみてください。

参考記事：テキストマイニングの「機能概要」と「活用シーン」