想定と異なる結果が出た場合の切り分け
DWHとは、複数のシステムから集めたデータを分析しやすい形で蓄積しておく基盤です。結果が想定と違う場合、いくつかの層に分けて確認します。
データが届いているかを確認する
最初に確認したいのは、分析の元になるデータが想定どおり蓄積されているかです。取り込みの処理が成功しているか、件数は元のシステムと一致しているか、対象とした期間は正しいかを見ます。
確認の方法としては、件数や合計値を元のシステム側と突き合わせる方法が有効です。差が見つかれば、取り込みの設定や実行の状況を確認します。基盤を選ぶ際は、取り込んだ件数を記録できるか、検査の処理を組み込めるか、失敗した際に通知が届くかを見ておくと、こうした確認が進めやすくなります。
集計の条件を確認する
データが正しく蓄積されていれば、次に集計の条件を確認します。対象とした表、結合の条件、除外の設定、集計の単位が意図したとおりかを見ていきます。複数の表を組み合わせる集計では、結合の条件によって件数が変わる場合があります。
備えとしては、集計の内容を保存して再実行できる仕組みを使う方法があります。いつどの条件で実行したかを追えると、結果について問い合わせを受けた際にも説明できます。集計の内容を他の担当者が確認できる形にしておくと、1人で抱え込まずに検証を進められます。
取り込みでデータが欠ける場面
大量のデータを扱う環境では、一部が蓄積されない状況が生じる場合があります。原因は複数の要素にまたがります。
処理の途中で止まる場合
取り込みの処理が途中で終了すると、その回のデータが部分的にしか反映されません。原因としては、対象のデータ量が想定を超えた、実行できる時間の上限に達した、元のシステム側の応答が途切れたといった要素が考えられます。
確認したいのは、処理の実行記録に開始と終了、エラーの内容が残っているかという点です。あわせて、途中で止まった場合に部分的なデータが残るのか、まとめて取り消されるのかも確認しましょう。取り消される仕組みであれば、再実行するだけで整合を保てます。部分的に残る仕組みの場合は、重複を防ぐ手順を用意する必要があります。
形式が合わずに除外される場合
取り込みの際、想定した形式と異なる値が含まれていると、その行だけが除外される場合があります。日付の表記が違う、数値の項目に文字が入っている、項目の数が合わないといった状況が考えられます。
確認したいのは、除外された行を後から確認できるか、その理由が記録されるかという点です。除外された件数が通知される仕組みがあると、気づかないまま集計する事態を避けられます。元のシステム側で表記が変わった可能性もあるため、担当部門へ確認する手順もあわせて決めておきましょう。除外された行を保管しておく設定があれば、後から取り込み直す判断もできます。
集計の実行でエラーが起きる場面
集計を実行した際にエラーが返る場合、記述の内容と資源の状況の両面から確認します。
記述や権限に関する要因
エラーの内容には、記述の誤りを示すもの、参照した表が存在しないことを示すもの、権限が不足していることを示すものなどがあります。まず、返されたメッセージの内容を確認しましょう。
表が存在しないという内容の場合、表の名称が変わった、あるいは取り込みの処理でまだ作成されていないという可能性があります。権限に関する内容であれば、実行した利用者に対象の表を参照する権限があるかを確認します。基盤を選ぶ際は、エラーの内容が分かりやすく示されるか、記録として残るかを見ておくと調査が進めやすくなります。
資源や実行時間に関する要因
処理に必要な資源が足りない場合や、実行できる時間の上限に達した場合にもエラーが返ります。対象のデータ量が大きい集計や、複数の処理が重なる時間帯で起きやすい傾向があります。
確認したいのは、実行時の資源の使用状況を確認できるか、上限の設定を調整できるか、処理を分割して実行できるかという点です。読み込む範囲を絞る条件を加えると、必要な資源を抑えられる場合があります。判断が難しい場合は、記録を提示してベンダーへ相談してください。改善の提案を示す機能がある製品もあります。
ITトレンドでは、最新の製品・サービスを多数比較・掲載しています。まず資料を取り寄せて機能や特徴をさまざまな製品で比較してみてください。忙しい業務時間内でも、各社に問い合わせる手間なく、たった1回の入力（約60秒）でDWHの一括資料請求が可能です。浮いた時間で、じっくりと製品を比較検討し進めましょう。
管理情報の反映が遅れる場面
項目の説明や加工の経緯といった管理情報が、実際の状態と一致しないことがあります。
収集の仕組みを確認する
管理情報を自動で収集する仕組みでは、決められた頻度で更新される場合があります。新しく作成した表がすぐに一覧へ現れないのは、この頻度によるものかもしれません。まず、更新の方式と最終の実行時刻を確認しましょう。
確認したいのは、収集の頻度を設定できるか、手動で実行できるか、収集の対象範囲を指定できるかという点です。対象が広いほど収集にも時間がかかります。必要な範囲に絞ると、更新の間隔を短くできる場合があります。収集が失敗した際に通知が届くかも、あわせて確認しておきましょう。
手作業の情報を維持する
項目の説明や、業務上の意味づけは自動では収集できないため、担当者が登録する必要があります。この更新が滞ると、一覧の内容が実態と合わなくなります。
対応としては、新しい表や項目を追加する際の手順に、説明の登録を含める方法があります。登録がない項目を一覧で確認できる機能があれば、抜けを見つけやすくなります。定期的に内容を見直す機会を設け、担当者と頻度を決めておきましょう。実態と合わない情報が残っていると、かえって誤解を招く可能性があります。
権限の設定が意図どおりに働かない場面
閲覧できる範囲の制限が想定と違う状態は、扱う情報の重要度が高いほど影響が大きくなります。
設定の重なりを確認する
権限は、利用者ごとの設定、所属する役割ごとの設定、対象の表や列ごとの設定が重なって決まります。複数の設定が関係するため、どれが適用されているかを追いにくくなる場合があります。
確認したいのは、ある利用者が実際に何を参照できるかを一覧で確認できる機能があるかという点です。設定を変更した後は、対象の利用者の視点で実際に確認する工程を設けましょう。役割の単位でまとめて管理できると、個別の設定が積み重なる状態を避けられます。権限の一覧を出力できる機能も、定期的な見直しに役立ちます。
反映のタイミングを確認する
権限を変更した際、すぐに反映される仕組みと、次回の接続時に反映される仕組みがあります。認識に差があると、変更したのに変わらないと受け取ってしまう場合があります。
確認したいのは、反映までにかかる時間、接続中の利用者にどう適用されるか、変更の履歴が残るかという点です。退職や異動にともなう権限の削除では、反映の遅れが問題になる可能性があります。手順を決める際に、この時間差を見込んでおきましょう。変更を行う権限を誰に与えるかも、あわせて整理しておくことが大切です。担当者を1人に固定せず、複数人が対応できる体制にしておくと、不在時にも手続きが進みます。
記録と権限の管理を確かめたいDWH
取り込みの結果や権限の設定を確認できると、想定と異なる状態に早く気づけます。管理の仕組みを比べたい製品を紹介します。
Dr.Sum
- 導入実績8,000社超！顧客満足度No.1・サポート品質ランク★★★
- 散在したデータを一元化、10億件のデータも1秒台で◆高速集計◆
- 直感的な操作で誰でも簡単にデータ分析が可能
ウイングアーク１ｓｔ株式会社が提供する「Dr.Sum」は、複数のシステムから集めたデータを統合して集計・分析するためのデータ分析基盤です。プログラムを書かずにデータの加工や取り込みの処理を組み立てられるため、専任の開発者を置きにくい組織でも扱いやすい構成です。集計結果は使い慣れた画面から参照できます。
DWH構築サービス ～貴社独自のデータモデル構築～
- 最適なデータモデリング
- 圧倒的な透明性
- 変更に強い
キヤノン電子テクノロジー株式会社が提供する「DWH構築サービス ～貴社独自のデータモデル構築～」は、企業ごとの要件にあわせてデータ基盤を構築するサービスです。データの統合や権限の管理、システム連携といった機能に対応します。処理の定義とメタデータの管理により、後から項目を追加する際にも対応しやすい構成を目指せます。
AzureDataLake （日本マイクロソフト株式会社）
- 大容量データを柔軟に扱える高スケーラビリティなストレージ。
- 多様なデータ形式を一元管理。
- Azure分析基盤・AIサービスと連携し高度なデータ活用を支援。
SmartDWH （株式会社システムサポート）
- ETL/EAI、DWH完備のデータ基盤を簡単・スピーディに構築
- 多様なデータソースと自動接続
- 収集元の差異を吸収し、統一形式に自動変換
DWHに関するFAQ
DWHの機能にかかわる事象について、よく寄せられる質問と回答をまとめました。
- Q1： 取り込んだ件数が元のシステムと合いません。
- 処理が途中で止まっていないか、形式が合わずに除外された行がないかを確認します。除外された行と理由を記録できる仕組みがあるかも、選定時に見ておきましょう。
- Q2： 集計の実行がエラーで終わります。
- 返されたメッセージの内容から、記述、権限、資源のどれに関する問題かを切り分けます。読み込む範囲を絞る条件を加えると解消する場合もあります。
- Q3： 新しく作った表が一覧に出てきません。
- 管理情報の収集が決められた頻度で行われている可能性があります。更新の方式と最終の実行時刻を確認し、手動で実行できるかも見ておきましょう。
- Q4： 権限を変更したのに反映されません。
- 反映のタイミングは仕組みによって異なります。接続中の利用者への適用方法もあわせて確認し、退職時などの手順ではこの時間差を見込んでおいてください。
まとめ
DWHで想定と異なる結果が出た場合は、データが届いているか、集計の条件は正しいか、資源は足りているかという順に確認すると原因を絞り込めます。取り込みは処理の停止と形式の不一致、集計は記述と権限と資源、管理情報は収集の頻度、権限は設定の重なりと反映の時間が焦点です。記録を残せる仕組みも選定時の確認項目です。運用の流れを整理したうえで、複数の製品資料を取り寄せて比較検討を進めてください。
