ETLとはどのような仕組みか
課題を見る前に、何を行う仕組みなのかを押さえておきましょう。
ETLが担う三つの工程
ETLは、データを取り出す工程、分析に使える形へ整える工程、格納する工程という三つの頭文字から名付けられています。基幹システムや業務システム、外部のサービスからデータを集め、分析の基盤へ渡すまでを担います。
整える工程では、項目名をそろえる、日付の形式を統一する、不要な行を除く、複数の情報を結び付けるといった処理を行います。近年は、先に格納してから格納先の環境で変換する構成も用いられており、扱うデータ量や基盤の性能によって使い分けられます。どちらの構成を採るかによって、変換の処理をどこで実行するかが変わります。基盤の性能や費用の考え方にも関わるため、検討の初期に方針を決めておくとよいでしょう。
手作業での集約との違い
各システムからファイルを出力し、表計算ソフトで結合する運用でも、集約自体は可能です。件数が少なく、頻度も低い段階では対応できます。
違いが表れるのは、対象が増えた場合と、定期的に繰り返す場合です。毎月同じ作業を人が行う運用では、時間がかかるだけでなく手順のばらつきも生じます。処理の内容を定義して繰り返し実行できる点が、仕組みとして持つ利点です。
設計段階で生じる課題
組み立てる段階でつまずきやすい点を、三つに分けて確認します。
取り込むデータの品質
集めたデータに、表記の揺れや欠けた値、重複した行が含まれている場合があります。同じ取引先が複数の名称で登録されている、必須のはずの項目が空欄になっているといった状況です。
こうした状態のまま集約すると、集計の結果も実態から離れます。仕組みで一定の整形は行えますが、どちらの値を正とするかという判断は業務の担当者に委ねられます。着手の前に、もとになるシステムのデータがどのような状態にあるかを確認しておきましょう。
変換の規則の整理
システムごとに項目の持ち方が異なるため、対応づけの規則を定める必要があります。区分を表すコードの意味が違う、集計の単位が異なるといった食い違いを、どう扱うかを決める作業です。
この規則は、業務の理解がなければ定められません。技術的な担当者だけで進めると、意味を取り違えた変換になる可能性があります。業務の担当者と一緒に確認し、定めた内容を文書として残しておくことが欠かせません。
処理時間と実行の計画
扱うデータ量が増えると、処理にかかる時間も延びます。夜間に実行する計画でも、業務が始まるまでに終わらない事態が生じ得ます。
もとになるシステムから読み出す処理が、そのシステムの動作に影響する場合もあります。実行する時間帯を、業務の稼働時間や他の処理と重ならないよう調整しましょう。将来のデータ量の増加も見込んで、余裕のある設計にしておくことが望まれます。
運用段階で生じる課題
稼働した後に表面化しやすい課題を二つ挙げます。
変換の内容の保守
業務の変更にあわせて、変換の規則も見直す必要があります。新しい区分が追加された、集計の単位が変わったといった変更が反映されなければ、結果が実態と合わなくなります。
処理の数が増えるほど、どこで何を変換しているかを把握しにくくなります。作った担当者しか内容が分からない状態では、変更への対応も滞ります。定義の内容を確認しやすい形で残し、複数人が把握できる状態にしておきましょう。
取得元の変更への追随
もとになるシステムが更新されると、項目の構成や接続の方法が変わる場合があります。外部のサービスからデータを取得している場合は、提供元の都合で仕様が変わることもあります。
変更に気づかないまま実行が続けば、誤ったデータが分析の基盤に格納されます。取得元の変更予定を把握する経路を整理し、影響を受ける処理を洗い出せる状態にしておきましょう。処理が失敗した際に知らせる仕組みも欠かせません。
ITトレンドでは、最新の製品・サービスを多数比較・掲載しています。まず資料を取り寄せて機能や特徴をさまざまな製品で比較してみてください。忙しい業務時間内でも、各社に問い合わせる手間なく、たった1回の入力（約60秒）でETLツールの一括資料請求が可能です。浮いた時間で、じっくりと製品を比較検討し進めましょう。
課題への向き合い方
ここまでの課題に対して、どのような備えが考えられるかを整理します。
失敗の検知と再実行の設計
処理が途中で止まった際に、どこまで進んだのかを確認できる状態にしておく必要があります。記録が残っていなければ、やり直すべき範囲も判断できません。
再実行した際に同じデータが二重に登録されない設計かも確認点です。失敗を知らせる仕組みと、対処の担当をあわせて決めておきましょう。分析の基盤を使う部門へ、データが更新されていないことを伝える経路も整理しておくと混乱を避けられます。
対象範囲の絞り込み
すべてのシステムのデータを一度に集めようとすると、整理の作業だけで長期化します。まず何を分析したいのかを決め、そこに必要なデータに絞る進め方が現実的です。
範囲を絞れば、変換の規則を定める作業も現実的な量に収まります。運用が安定した段階で対象を広げていけば、途中で見直す余地も残せます。最初から完全な基盤を目指さない姿勢が、着手を進めやすくします。
ETLツールの選び方
ここまでの内容を踏まえ、製品を選ぶ際の確認事項を整理します。
取得元と格納先の整理
最初に、どこからデータを取り出し、どこへ格納するのかを整理します。自社に設置したデータベースか、クラウド上の基盤か、外部のサービスかによって、必要な接続の方式が変わります。
対応する接続先の種類は製品によって差があります。利用しているシステムやサービスの名称を伝えたうえで、対応の可否を確認しましょう。今後追加する予定があれば、その計画も含めて相談しておくと選択肢を狭めずに済みます。
変換機能と実行の管理
項目の対応づけ、条件による分岐、複数のデータの結合、集計といった処理を、どこまで画面上で設定できるかを確認します。プログラムを書かずに設定できれば、担当者の負担を抑えられます。
実行の管理も確認点です。決まった時刻に自動で動かせるか、処理の順序を制御できるか、失敗した際に通知が届くかといった機能が該当します。処理の履歴を確認できる画面があると、日々の運用を進めやすくなります。
費用とサポート範囲の確認
料金は、接続先の数に応じたライセンス、処理するデータ量による課金、初期費用と保守費の組み合わせなど、製品によって考え方が異なります。データ量が増えると費用も上がる構成では、増加の見込みを踏まえた試算が必要です。
サポートについては、どこまで対応してもらえるのかを具体的に確かめます。操作方法の案内にとどまるのか、変換の設計や既存処理の移行を支援してもらえるのかは製品ごとに差があります。社内に経験者がいない場合は、この部分の充実度が立ち上げを左右します。
データ統合の課題解消に役立つETLツール
設計や運用の段階で生じやすい課題にあわせて検討できるツールを紹介します。
TROCCO
- 開発・インフラ・人件費のコストやデータ統合作業工数を削減
- 分析リードタイムの短縮によりデータ活用がスピーディーに
- データ環境が整備されることで、データの民主化が促進
株式会社primeNumberが提供する「TROCCO」は、クラウド型のETL・データ統合サービスです。多様なデータソースからの取り込みをノーコードで設定できる機能を備えており、データ基盤の構築における設計段階の負担を抑えやすくなります。
HULFT Square
- ファイル転送・データ連携機能をフルマネージドサービスで提供
- 接続先の特性に合わせたコネクター/API/ファイルでの柔軟な連携
- 国・地域/業種/業務システム間をまたぎデータ連携することが可能
株式会社セゾンテクノロジーが提供する「HULFT Square」は、クラウド型のデータ連携・ETLサービスです。既存のHULFT製品との親和性を持たせた構成になっており、オンプレミス環境からクラウドへの移行を段階的に進めたい企業に向いています。
Waha! Transformer
- 1,000億件のベンチマークが証明する大量データ高速処理性能
- ノーコードで簡単に構築できるシンプルな操作性
- 作り手が「欲しい！」と感じるデータ接続先とメンテナンス機能
株式会社ユニリタが提供する「Waha! Transformer」は、データの抽出・変換・格納を扱うETLツールです。処理の実行状況を監視する機能を備えており、運用段階で発生しやすいデータ連携の遅延やエラーを把握しやすくなります。
AWS Glue （アマゾン ウェブ サービス ジャパン合同会社）
- サーバーレスでデータ統合処理を実行
- 複数データソースを統合し、カタログ形式で一元管理。
- ETLやデータ変換を一つのサービスで完結。
Ranabase （株式会社ユニリタ）
- 業務フローを漏れなく統一的に可視化し、共通言語で理解可能に。
- 業務から改善サイクルまで一連管理、継続的改善を促進。
- 業務改善/BPM機能が一つに。
ETLに関するよくある質問
導入を検討する担当者から寄せられることの多い質問と回答をまとめました。
- Q1： 手作業での集約から切り替える目安はありますか？
- 一律の基準はありませんが、毎月同じ作業に時間がかかっている、担当者によって手順が異なる、対象のシステムが増えて追いつかないといった状況が続く場合は検討の時期といえます。現在の作業時間を測っておくと判断しやすくなります。
- Q2： EAIとどう使い分けますか？
- 分析のために大量のデータをまとめて処理する用途はETL、業務システム間で必要な時点にデータを渡す用途はEAIが中心になります。両方の性格を備えた製品もあるため、実現したい処理を伝えて確認するとよいでしょう。
- Q3： データが整理されていなくても導入できますか？
- 一定の整形は仕組みで行えますが、どちらの値を正とするかという判断は業務側で決める必要があります。まず対象を絞り、そのデータの状態を確認してから着手する進め方が現実的です。整理の工数も計画に見込んでおきましょう。
- Q4： 導入までにどのくらいの期間がかかりますか？
- 取得元の数と、変換の規則を整理する作業の量によって幅があります。少数のシステムから始める場合は短期間で立ち上げられる一方、全社のデータを対象にする場合は整理の工程を含めて数か月以上を要することもあります。範囲を絞って始めましょう。
まとめ
ETLでは、取り込むデータの品質、変換の規則の整理、処理時間と実行の計画が設計段階の課題になります。運用が始まると、変換の内容を保守し続けること、取得元の変更に追随することが課題として残ります。失敗を検知して再実行できる設計と、対象範囲を絞って始める進め方が備えの基本です。取得元と格納先を整理したうえで、変換機能や実行の管理、費用を比べて選びましょう。
