DWHの連携で問題が起きやすい箇所
DWHとは、複数のシステムから集めたデータを分析しやすい形で蓄積しておく基盤です。他のシステムとつなぐ際は、送る側と受け取る側の両方に条件があります。
接続の条件がそろわなくなる場面
連携は、通信の経路、認証の情報、データの形式という3つの条件がそろって成り立ちます。いずれかが変わると処理が止まります。認証に使う情報に有効期限がある場合、期限切れによって連携が止まる可能性があります。
導入時には、それぞれの条件を一覧にして記録しておきましょう。接続先と使用する経路、認証情報の種類と有効期限、扱うデータの形式と項目を書き出しておくと、問題が起きた際の確認が早まります。有効期限がある情報は、更新時期を管理表へ登録し、複数の担当者が把握できる状態にしておくことをおすすめします。
実行の順序が管理されていない場面
取り込み、加工、表示という流れの中で、前の処理が終わる前に次の処理が始まると、古い内容のまま結果が出る可能性があります。処理自体は成功するため、数値を見るまで気づかないこともあります。
備えとしては、前の処理の完了を受けて次を開始する仕組みを使う方法があります。確認したいのは、処理の依存関係を設定できるか、全体の流れを一覧で確認できるか、途中で失敗した際に後続を止められるかという点です。あわせて、最終更新の時点を表示できると、利用者が古いデータで判断する事態を避けられます。
表示の仕組みとの連携で起きる場面
分析結果を可視化のツールへ渡す構成では、表示された数値についての確認が必要になる場面があります。
数値が食い違って見える場合
同じ指標が両方のツールで異なる値になる場合、集計の条件や対象期間の違いが原因のことがあります。どちらかが誤っているとは限らず、前提が異なるだけという場合も多くあります。
確認したいのは、集計の対象期間、除外している条件、金額や数量の丸め方、時刻の扱いです。両方の設定を並べて比較すると、差の理由が見えてきます。今後については、どちらのツールでどの指標を出すかを決めて役割を分けておくと、確認先がはっきりします。指標の定義を文書にまとめ、関係者が参照できる場所に保管しておきましょう。
表示に時間がかかる場合
画面を開くたびに基盤へ問い合わせる構成では、対象のデータ量が大きいと表示までに時間がかかります。利用者が同時に多いと、さらに影響が出る可能性があります。
対応としては、あらかじめ集計した結果を保持しておく方法や、表示側でデータを取り込んで保持する方法があります。どちらを選ぶかは、必要な鮮度によって変わります。確認したいのは、表示側で保持する仕組みがあるか、更新の頻度を設定できるか、基盤側で集計した結果を渡せるかという点です。あわせて、表示のたびに基盤側で処理が実行される構成では、その分の費用がどう計上されるかも確認しておきましょう。
整形の仕組みとの連携で起きる場面
データを取り出して形式を整えてから蓄積する処理を、専用のツールで行っている構成もあります。
処理が途中で止まる場合
整形の処理が失敗すると、その回のデータが反映されません。原因としては、元のシステム側の項目が変わった、想定と異なる値が含まれていた、接続が一時的に途切れたといった要素が考えられます。
確認したいのは、処理の実行記録にエラーの内容が残っているか、どの段階で止まったかが分かるかという点です。失敗した際に管理者へ通知が届く設定と、再実行できる仕組みもあわせて確認しましょう。原因が一方に限られるとは限らないため、整形のツールと基盤の双方で状況を確認する進め方が有効です。
処理の役割が重なる場合
整形の処理は、専用のツールで行う方法と、基盤側で行う方法があります。両方で似た処理を行っていると、結果が食い違った際にどちらを直せばよいか分からなくなります。
整理の方法としては、処理ごとにどちらで行うかを決めて一覧にする方法が有効です。全社で共通して使う整形は取り込みの段階、分析ごとに変わる整形は基盤側というように分けると、役割がはっきりします。決めた内容は文書に残し、担当する部門の間で共有しておきましょう。
ITトレンドでは、最新の製品・サービスを多数比較・掲載しています。まず資料を取り寄せて機能や特徴をさまざまな製品で比較してみてください。忙しい業務時間内でも、各社に問い合わせる手間なく、たった1回の入力（約60秒）でDWHの一括資料請求が可能です。浮いた時間で、じっくりと製品を比較検討し進めましょう。
接続手段の制限にかかわる場面
外部のプログラムから操作する構成では、実行回数や同時に実行できる数の条件が動作に影響します。
実行回数や同時実行の上限に達する場合
APIとは、外部のプログラムからシステムを操作したり情報を取得したりするための接続手段です。多くの製品では、一定時間あたりの実行回数や、同時に実行できる集計の数に上限が設けられています。
設計の段階で、想定する処理の回数と頻度を算出し、上限に収まるかを確認しましょう。多数の利用者が同時に集計を実行する環境では、同時実行の上限が影響する可能性があります。上限を超えた際にどのような応答が返るか、待機して再実行する仕組みがあるかも確認してください。開発を担当する部門や委託先がある場合は、仕様の確認に同席してもらいましょう。
取得できるデータ量に制限がある場合
接続手段では、1回のやり取りで取得できる件数や容量に上限が設けられている場合があります。大量のデータを一度に取得しようとすると、途中で打ち切られる可能性があります。
確認したいのは、上限の値と、分割して取得する仕組みが用意されているかという点です。分割の方法が仕様書に記載されているかを確認し、抜けや重複が生じない形で取得できるかを確かめましょう。取得した件数を後から突き合わせる工程を組み込むと、欠落に気づきやすくなります。
保管場所との同期で手作業が残る場面
クラウド上の保管場所にファイルを置いている構成では、すべての工程が自動化できるとは限りません。
自動化しにくい処理が残る理由
ファイルの名称や形式が毎回同じであれば自動で取り込めますが、部署ごとに様式が異なる場合や、手作業で作成されたファイルでは、そのままでは扱えない場合があります。見出しの位置や列の並びが違うと、取り込みの設定が合いません。
対応としては、提出する様式を統一する方法と、様式ごとに取り込みの設定を分ける方法があります。基盤を選ぶ際は、複数の様式に対応した設定を作れるか、ファイル名の規則で振り分けられるかを確認しましょう。手作業が残る部分については、担当者と頻度、確認の手順を決めて文書に残しておくことが大切です。
同期の状況を把握する
ファイルが置かれたかどうかを人が確認する運用では、提出の遅れに気づきにくくなります。想定した時期にファイルが届いていない場合に、気づける仕組みがあると運用が安定します。
確認したいのは、指定した時刻までにファイルがない場合に通知を出せるか、取り込んだファイルの一覧を確認できるかという点です。あわせて、同じファイルを二重に取り込まない仕組みがあるかも見ておきましょう。提出する部門へ期限を周知し、状況を共有する運用とあわせて設計すると、手作業の負担を抑えられます。
周辺の仕組みとつなげたいDWH
取り込みと表示の仕組みまで含めて設計すると、分析が業務へ届きやすくなります。組み合わせを相談したい製品を集めました。
DWH構築サービス ～貴社独自のデータモデル構築～
- 最適なデータモデリング
- 圧倒的な透明性
- 変更に強い
キヤノン電子テクノロジー株式会社が提供する「DWH構築サービス ～貴社独自のデータモデル構築～」は、大量のデータを統合・蓄積して分析につなげるためのDWH構築サービスです。データもシステムも内容が見えない状態にしない方針が示されており、構築後に自社で運用を続ける形も見据えて相談できます。クラウドとオンプレミスの両方に対応します。
Dr.Sum
- 導入実績7,700社超！顧客満足度No.1・サポート品質ランク★★★
- 散在したデータを一元化、10億件のデータも1秒台で◆高速集計◆
- 直感的な操作で誰でも簡単にデータ分析が可能
ウイングアーク１ｓｔ株式会社が提供する「Dr.Sum」は、企業内のデータを収集して高速に集計するデータ分析基盤です。データの統合や加工、権限の管理といった機能を備えています。オンプレミスとクラウドの両方に対応しており、保管の条件にあわせて構成を選べる点も検討の材料になります。
BigQuery （グーグル・クラウド・ジャパン合同会社）
- 世界中の企業が利用するデータ分析基盤
- DWHと機械学習機能が統合されている。
- サーバーレスでインフラ管理不要
CoPASS （deex株式会社）
- 6,000社超の代理店DBで最適なパートナー探しを支援。
- AI自動生成Eラーニングで代理店育成をサポート
- 専門コンサルタントが戦略相談まで伴走し、成功を支援。
DWHに関するFAQ
DWHの連携で生じる事象について、よく寄せられる質問と回答をまとめました。
- Q1： 基盤と表示ツールで数値が違います。
- 集計の対象期間や除外条件、丸め方、時刻の扱いの違いが原因のことがあります。両方の設定を並べて比較し、どちらでどの指標を出すかを決めておくとよいでしょう。
- Q2： 整形の処理が失敗したことに気づく方法はありますか？
- 失敗時に管理者へ通知を送れる設定があるかを確認しましょう。最終更新の時点を画面に表示できると、古いデータのまま判断する事態も避けられます。
- Q3： 同時に実行できる集計の数に上限はありますか？
- 製品によって設定されている場合があります。多数の利用者が同時に使う環境では影響する可能性があるため、上限と超過時の動作を確認してください。
- Q4： ファイルの取り込みをすべて自動化できますか？
- 様式が統一されていれば自動化しやすくなります。異なる様式が混在する場合は、様式ごとに設定を分けられるかを確認し、手作業が残る部分は手順を残しましょう。
まとめ
DWHの連携で生じる事象は、接続の条件と実行の順序という2つの観点から確認すると整理しやすくなります。表示ツールとは集計条件と表示方式、整形の仕組みとは実行記録と役割分担、接続手段は上限と分割の方法、保管場所とは様式の統一と通知が焦点です。手作業が残る部分は手順を文書に残しましょう。連携の要件を整理したうえで、複数の製品資料を取り寄せて比較検討を進めてください。
