データが部門ごとに分かれている状態を解消する
DWHとは、複数のシステムから集めたデータを分析しやすい形で蓄積しておく基盤です。部門ごとにデータが閉じている状態を改善する目的で検討されます。
分散が生じる背景を整理する
データが分かれる背景には、部門ごとに必要なシステムを導入してきた経緯があります。それぞれのシステムが個別に情報を持つため、全社を横断して見たいときに集める作業が必要になります。
整理の第一歩は、現在どこにどのデータがあるかを一覧にすることです。システム名、管理している部門、保持している主な項目、取り出す方法を並べましょう。この一覧があると、どこから着手するかの優先順位を決められます。すべてを一度に集める必要はなく、まず経営の判断に使う指標に関わるデータから始める進め方が現実的です。
集約する範囲と定義を決める
集める際に課題となるのが、同じ名称の項目が複数のシステムにあり、意味が異なるという状況です。売上の計上時期や、顧客の分類方法がシステムごとに違うと、集めても比較できません。
対応としては、全社で使う指標の定義を先に決め、その定義に合わせて各システムのデータを変換する形が有効です。定義は文書にまとめ、関係する部門と確認したうえで確定させましょう。基盤を選ぶ際は、項目の説明を登録できる仕組みや、データの出どころをたどれる仕組みがあるかを確認しておくと、後々の確認が進みます。
集計の処理が遅くなる状態を改善する
データ量が増えるにつれて、集計にかかる時間が延びていく場合があります。原因は複数の要素にまたがります。
遅くなる要因を切り分ける
処理が遅い場合、対象としたデータ量が大きい、集計の記述が効率的でない、他の処理と資源を取り合っている、といった要因が考えられます。まず、どの処理にどれだけ時間がかかっているかを確認しましょう。
確認したいのは、実行した処理ごとの所要時間を記録できるか、処理の内容を分解して確認できるかという点です。時間帯によって差がある場合は、他の処理との重なりが関係している可能性があります。原因を一つに決めつけず、記録をもとに順に確認する進め方が有効です。判断が難しい場合は、ベンダーへ記録を提示して相談してください。
改善の手段を検討する
改善の方法には、処理の資源を増やす、頻繁に使う集計をあらかじめ計算して保持しておく、データの持ち方を見直すといった選択肢があります。どれが適しているかは、遅くなっている原因によって変わります。
基盤を選ぶ際は、処理の資源を分析の用途ごとに分けられるか、必要なときだけ増やせるか、あらかじめ集計した結果を保持する仕組みがあるかを確認しましょう。あわせて、資源を増やした場合の費用も確認が必要です。性能と費用は連動するため、どの水準で折り合いをつけるかを社内で決めておくとよいでしょう。
データ品質への不安に対応する
集めた数値が正しいかどうかへの不安は、分析の活用が進まない要因になります。確認の仕組みを設計へ含めましょう。
取り込みの段階で確認する
データが正しく届いているかは、取り込みの直後に確認するのが効率的です。件数、合計値、必須の項目に空がないかといった観点で、元のシステムと突き合わせます。
確認したいのは、こうした検査の処理を設定できるか、想定と異なる場合に処理を止められるか、管理者へ通知が届くかという点です。誤ったデータがそのまま蓄積されると、後から見つけて修正する手間が大きくなります。取り込みの記録を残せる仕組みがあれば、問題が起きた時点をさかのぼって特定できます。
数値の根拠をたどれるようにする
報告した数値について質問を受けた際、どのデータからどう計算したかを示せる状態が望ましい形です。加工の経緯が残っていないと、確認に時間がかかります。
確認したいのは、データの出どころと加工の経緯をたどれる仕組みがあるか、集計に使った条件を記録できるかという点です。項目の意味を登録しておける仕組みもあわせて使うと、担当者が変わっても内容を確認できます。品質を保つ責任をどの部門が持つかも、運用の設計として決めておきましょう。元のシステムを管理する部門と、基盤を管理する部門のどちらが確認するかを整理しておくと、問題が起きた際の対応が進みます。
ITトレンドでは、最新の製品・サービスを多数比較・掲載しています。まず資料を取り寄せて機能や特徴をさまざまな製品で比較してみてください。忙しい業務時間内でも、各社に問い合わせる手間なく、たった1回の入力（約60秒）でDWHの一括資料請求が可能です。浮いた時間で、じっくりと製品を比較検討し進めましょう。
属人化と運用工数を減らす
基盤の内容を特定の担当者しか把握していない状態は、異動や退職の際に運用が止まる要因になります。
設定の内容を共有できる形にする
取り込みの処理や集計の記述が、担当者の手元にだけ存在する状態は避けたいところです。設定を基盤上で管理し、複数の担当者が確認できる形にしておきましょう。
確認したいのは、処理の一覧を出力できるか、変更の履歴が残るか、記述に説明を添えられるかという点です。開発の仕組みと組み合わせて設定を管理できる製品であれば、変更の経緯も追えます。あわせて、管理者を複数登録し、権限を役割ごとに分けられるかも見ておきましょう。
定型作業を減らす仕組みを取り入れる
運用工数を減らすには、毎回手作業で行っている処理を洗い出すところから始めます。取り込みの実行、失敗時の再実行、状況の報告といった作業は、機能で置き換えられる場合があります。
確認したいのは、処理を決めた時刻に自動で実行できるか、失敗した際に自動で再試行するか、実行の結果をまとめて通知できるかという点です。あわせて、外部のツールから処理を呼び出す接続手段が用意されているかも見ておくと、他の仕組みと組み合わせた運用を検討できます。導入前に現在の作業時間を記録しておくと、効果の確認がしやすくなります。
老朽化した基盤の更新と内製との比較
自社に設置した基盤を長く使っている場合、更新の時期に構成そのものを見直す機会が訪れます。
更新を検討する際の判断材料
更新を検討する目安になるのは、保守を受けられる期限、処理能力が現在のデータ量に見合っているか、拡張の余地がどれだけ残っているかという3点です。データ量が増えて処理時間が延びている場合は、構成の見直しを含めて検討する時期といえます。
クラウド上のサービスへ切り替える場合は、既存のデータと処理をどこまで引き継げるかを確認しましょう。移行を支援する仕組みがあるか、作業を依頼できるかは製品や事業者によって異なります。切り替え期間中に両方を並行して動かす計画も、業務への影響を抑える方法として検討できます。
自社で構築する方法との比較
基盤を自社で組み立てる方法もありますが、設計と運用に専門的な知識が必要になります。接続元の仕様変更への対応も自社で行うことになるため、担当できる人員と継続性を踏まえた判断が求められます。
比較する際は、初期の構築費用だけでなく、運用にかかる工数と、担当者が変わった際の引き継ぎまで含めて考えましょう。既存の仕組みを活かしたい事情がある場合は、一部を自社で組み立て、残りを製品で補う構成も選択肢になります。複数の方法について見積もりと工数の試算を取り、条件をそろえて比べてください。
データの分散を解消したいときのDWH
部門ごとに分かれた情報を集約するには、定義をそろえる工程が欠かせません。設計から進められる製品を紹介します。
DWH構築サービス ～貴社独自のデータモデル構築～
- 最適なデータモデリング
- 圧倒的な透明性
- 変更に強い
キヤノン電子テクノロジー株式会社が提供する「DWH構築サービス ～貴社独自のデータモデル構築～」は、業務データを活用しやすい形へ整えるDWH構築サービスです。和名や業務用語で処理を定義できるノーコードの仕組みが用意され、技術者以外でも内容を追いやすくなっています。将来的に社内で運用を担う体制を目指す企業の材料になります。
Dr.Sum
- 導入実績8,000社超！顧客満足度No.1・サポート品質ランク★★★
- 散在したデータを一元化、10億件のデータも1秒台で◆高速集計◆
- 直感的な操作で誰でも簡単にデータ分析が可能
ウイングアーク１ｓｔ株式会社が提供する「Dr.Sum」は、散在するデータを統合し、集計と分析を進めるためのデータ分析基盤です。取り込みから加工までをノンプログラミングで組み立てられる仕組みを備え、蓄積した内容を表計算ソフトやWebブラウザから確認できます。国内の事業者による提供のため、相談を日本語で進められます。
BigQuery （グーグル・クラウド・ジャパン合同会社）
- 世界中の企業が利用するデータ分析基盤
- DWHと機械学習機能が統合されている。
- サーバーレスでインフラ管理不要
MetapsBridge （株式会社メタップス）
- アトリビューション分析で広告効果を最大化
- 不正クリック検知機能で広告費を節約
- リアルタイムレポートで迅速な意思決定を支援
DWHに関するFAQ
DWHによる課題解決について、よく寄せられる質問と回答をまとめました。
- Q1： どこからデータを集め始めればよいですか？
- 経営の判断に使う指標に関わるデータから着手する方法が現実的です。まず現在どこにどのデータがあるかを一覧にし、優先順位を決めてから進めましょう。
- Q2： 集計が遅い場合、資源を増やせば解決しますか？
- 原因によって適した対応が変わります。処理ごとの所要時間を記録して要因を切り分けたうえで、資源の追加、集計結果の保持、データの持ち方の見直しを検討してください。
- Q3： 数値の正しさはどう担保しますか？
- 取り込みの直後に件数や合計値を元のシステムと突き合わせる検査を組み込む方法があります。加工の経緯をたどれる仕組みとあわせて設計するとよいでしょう。
- Q4： 自社で構築する方法とどちらがよいですか？
- 担当できる人員と継続性によって判断が変わります。構築費用だけでなく、運用工数と引き継ぎまで含めて条件をそろえて比較する方法が現実的です。
まとめ
データ分析にまつわる課題は、集める範囲と定義の設計、処理の資源と記述の見直し、取り込み時の検査と経緯の記録、設定の共有という観点で整理すると打ち手が見えてきます。老朽化した基盤の更新は、構成そのものを見直す機会にもなります。自社で構築する方法とは工数と引き継ぎまで含めて比べましょう。自社の課題を整理したうえで、複数の製品資料を取り寄せて比較検討を進めてください。
