DWHの移行を機にETLツールを乗り換えるなら？ジョブ移行の進め方

ITトレンドがおすすめする製品・サービス

■主な連携先別

• クラウドDWHへのデータ転送を中心に使う：TROCCO、Reckoner[レコナー]、CDataSync
• オンプレミスの基幹システムやデータベースと連携する：Reckoner[レコナー]、Waha! Transformer、HULFT Square、IIJクラウドデータプラットフォームサービス、JOINT AI Flow byGMO、Pentaho、TalendDataFabric
• SaaSのデータを集めて分析に使う：TROCCO、Reckoner[レコナー]、IIJクラウドデータプラットフォームサービス、CDataSync

■処理の作り方別

• 画面操作で処理を組み立てるノーコード型：Reckoner[レコナー]、ASTERIA Warp、Waha! Transformer、HULFT Square、IIJクラウドデータプラットフォームサービス、JOINT AI Flow byGMO、CDataSync、DataSpider Servista、Pentaho
• SQLやコードで変換処理を書ける：TROCCO、Reckoner[レコナー]、AWSGlue

ETLツールの乗り換えを検討するきっかけ

ETLツールの乗り換えは、データの保存先や連携先が変わり、今のツールでは対応しきれなくなったときに検討されます。乗り換えの目的によって、移行で重視すべき点も変わります。代表的な3つのきっかけを確認しましょう。

データ基盤のクラウド移行

社内のデータベースで管理していた分析用データを、クラウド上のDWHへ移す計画をきっかけに、ETLツールを見直すケースがあります。DWHとは、分析のために大量のデータを整理して保存するデータベースのことです。

既存のETLツールがクラウドDWHへの書き込みに対応していない場合や、対応していても転送の設定が複雑な場合は、乗り換えが選択肢に入ります。データ基盤の移行とETLの移行を同時に進めるか、順番に進めるかは、作業量と影響範囲を見て判断しましょう。

接続先の増加とコネクタの不足

SaaSの利用が増えると、ETLツールで集めたいデータの取得元も増えていきます。取得元ごとの接続部品をコネクタと呼び、用意されていない場合は個別に開発する必要があります。

個別開発したスクリプトが増えると、取得元の仕様変更のたびに修正が必要となり、保守の負担が大きくなります。今後追加したい取得元を一覧にし、乗り換え先で標準のコネクタが用意されているかを確認すると、乗り換えの効果を見積もりやすくなります。

保守期限やライセンス費用の見直し

利用中の製品のサポート終了や、稼働しているサーバーの更新時期も、乗り換えを考える契機です。サポートが終わると、不具合の修正や新しいOSへの対応を受けられなくなるおそれがあります。

ライセンスの課金方式も製品によって異なり、サーバーのCPU数や処理するデータ量、実行時間を基準とするものがあります。現在の処理量で新旧の費用を試算し、データ量が増えた場合の費用の変化も比べておきましょう。

乗り換え前に行うETLジョブの棚卸し

ETLツールの乗り換えで最初に行うべき作業は、既存のジョブの棚卸しです。ジョブとは、データの取得から書き出しまでをひとまとめにした処理を指します。長く使っているツールほど、用途が不明なジョブや重複したジョブが残っている場合があります。

接続先と取得方式の一覧

ジョブごとに、データの取得元と書き出し先、取得の方式を一覧にします。取得方式には、毎回すべてのデータを取り込む全件取得と、前回から変わった分だけを取り込む差分取得があります。

差分取得では、更新日時の列を使うのか、データベースの変更履歴を読み取るのかによって、乗り換え先で必要な機能が異なります。接続に使っている認証情報やネットワークの経路も記録しておくと、新しいツールでの接続設定がスムーズに進みます。

変換ロジックとスクリプトの洗い出し

データの結合や集計、コードの変換、不正な値の除外といった変換ロジックは、ツールの画面設定、SQL、独自のスクリプトに分散している場合があります。どこに何が書かれているかを洗い出し、ジョブごとに整理しましょう。

画面設定で組んだ処理は、乗り換え先にそのまま移せない場合があります。作り直す前に、処理の目的と入力・出力の例を文書に残しておくと、移行後に結果が正しいかを判断する基準として使えます。

実行スケジュールとジョブの依存関係

各ジョブが何時に動き、どのジョブの完了を待って次のジョブが始まるかという依存関係も整理が必要です。依存関係を見落とすと、前のジョブが終わる前に次の処理が始まり、集計結果が欠けるおそれがあります。

夜間の処理が朝の業務開始までに終わる必要があるなど、完了期限があるジョブも明記しておきましょう。乗り換え先のスケジュール機能で同じ順序と期限を再現できるかが、移行計画を立てるうえでの判断材料です。

ETLとELTの違いを踏まえた処理の置き場所

ETLツールの乗り換えは、変換処理をどこで行うかを見直す機会でもあります。クラウドDWHを使う場合、データを先に書き込んでからDWHの中で変換するELTという方式も選べます。それぞれの特徴を理解して、処理の置き場所を決めましょう。

変換を行うタイミングの違い

ETLは、データを転送する前にツールの中で変換する方式です。保存先に整ったデータだけを書き込めるため、個人情報を除いてから送りたい場合などに向いています。

ELTは、取得したデータをそのままDWHに書き込み、DWHの処理能力を使って変換する方式です。元のデータが残るため、後から別の集計をしたいときに取り込み直す手間を減らせます。ただし、DWH側の処理量に応じて費用が増える場合があるため、料金体系もあわせて確認しましょう。

DWH側のSQLへ移す処理の見極め

棚卸しした変換ロジックのうち、大量データの集計や結合は、DWH側のSQLへ移すと処理時間を短縮できる場合があります。一方、取得元ごとの文字コードの変換や不要な列の除外は、転送前に行うほうが扱いやすいこともあります。

どの処理をどちらに置くかは、データ量、利用者のSQLの習熟度、DWHの料金体系によって判断が分かれます。乗り換え先のツールが両方の方式に対応しているかを確認し、移行後に見直せる余地を残しておきましょう。

ITトレンドでは、最新の製品・サービスを多数比較・掲載しています。まず資料請求して、さまざまな製品の機能や特徴を比較してみてください。忙しい業務時間内でも、各社に問い合わせる手間なく、たった1回の入力（約60秒）でETLツールの一括資料請求が可能です。浮いた時間で、じっくりと製品の比較検討を進めましょう。

新旧ETLツールを並行稼働させる検証

移行したジョブが正しく動くかは、新旧のETLツールを一定期間並行して動かし、出力結果を比べて確かめます。処理が最後まで動いたことだけで判断せず、データの中身が一致しているかまで確認することが大切です。

件数と合計値の突き合わせ

並行稼働中は、新旧それぞれの出力先に書き込まれたデータの件数と、売上金額などの主要な数値の合計を突き合わせます。日付ごと、取得元ごとに分けて比べると、差異が出た箇所を特定しやすくなります。

差異の原因は、差分取得の条件、文字コードや日付の形式の違い、端数の処理方法など複数考えられます。原因と対応を記録しておくと、同じ種類のジョブを移行するときの確認項目として再利用できます。

異常時の通知と再実行の確認

正常に動く場合だけでなく、取得元に接続できない、データの形式が想定と違うといった異常時の動きも確かめておきましょう。エラーが起きたときに管理者へ通知が届くか、実行履歴とエラーの内容を確認できるかが確認のポイントです。

あわせて、失敗したジョブを途中から再実行できるか、自動で再試行する設定があるかも検証します。検証は本番データに影響しない環境で行い、取得元のシステム管理者にも事前に相談しておくと安全です。

下流のBIやレポートへの影響

ETLの出力先のデータは、BIツールの画面や定例のレポートで使われています。BIとは、データをグラフや表にして分析するためのツールです。テーブル名や列名が変わると、これらの画面が動かなくなるおそれがあります。

出力先のデータを参照している画面やレポートの一覧を作り、利用部門に並行稼働中の数字を確認してもらいましょう。切り替え日を事前に周知しておくと、問い合わせへの対応もスムーズです。

乗り換え後のETL運用を属人化させない工夫

ETLツールの乗り換えが完了した後も、取得元の追加や仕様変更にあわせてジョブの修正は続きます。特定の担当者しかジョブの中身を理解していない状態を避けるため、移行を機に運用のルールを整えましょう。

ジョブ定義の文書化と命名規則

ジョブの名前に、取得元や処理の目的、実行頻度がわかる規則を設けると、一覧を見ただけで役割を判断できます。棚卸しで作った一覧と変換ロジックの説明は、移行後も更新し続ける資料として残しましょう。

ジョブの設定をファイルとして書き出し、変更の履歴を管理できる製品もあります。変更前の状態に戻せる仕組みがあると、修正による不具合が起きたときの復旧にかかる時間を短くできます。

権限設計と変更履歴の管理

誰がジョブを作成・変更・実行できるかを、役割ごとに分けて設定します。本番のジョブを変更できる人を限定し、変更前に別の担当者が内容を確認する手順を設けると、意図しない変更を防ぎやすくなります。

操作の履歴が残るかどうかも、乗り換え先を選ぶときの確認項目です。複数人で運用状況を把握し、障害対応の手順を共有しておくと、担当者の異動があっても運用を続けられます。

移行先として検討したいETLツールの一覧

既存ジョブの移しやすさや接続先の幅、処理の作り方に注目して、この記事で紹介するETLツールを一覧にしました。乗り換え先を絞り込むときの比較材料にしてください。

ジョブの移行と並行稼働を進めやすいETLツール

棚卸ししたジョブを作り直す手間や、並行稼働での照合、移行後の運用のしやすさを基準に製品を選びました。現在の接続先と、変換処理をどこで行うかの方針にあわせて比較してください。

TROCCO

株式会社primeNumber

資料請求リストに追加

製品詳細ページへ ＞

《TROCCO》のPOINT

1. 開発・インフラ・人件費のコストやデータ統合作業工数を削減
2. 分析リードタイムの短縮によりデータ活用がスピーディーに
3. データ環境が整備されることで、データの民主化が促進

Reckoner[レコナー]

株式会社スリーシェイク

資料請求リストに追加

製品詳細ページへ ＞

《Reckoner[レコナー]》のPOINT

1. クラウド型ETLサービスの決定版‼100種以上のデータ連携先と接続
2. データ連携作業の工数を大幅削減！プログラム作業不要で実現！
3. 直感的なインターフェースで簡単操作！ドラッグ＆ドロップで連携

ASTERIA Warp

アステリア株式会社

資料請求リストに追加

製品詳細ページへ ＞

《ASTERIA Warp》のPOINT

1. 100種類以上の接続先！異なるシステムのデータを柔軟に統合！
2. スケジュール実行でデータ更新を自動化！手作業と運用負荷を削減
3. 1万社以上の導入実績と国内シェアNo.1の製品

Waha! Transformer

株式会社ユニリタ

資料請求リストに追加

製品詳細ページへ ＞

《Waha! Transformer》のPOINT

1. 1,000億件のベンチマークが証明する大量データ高速処理性能
2. ノーコードで簡単に構築できるシンプルな操作性
3. 作り手が「欲しい！」と感じるデータ接続先とメンテナンス機能

HULFT Square

株式会社セゾンテクノロジー

資料請求リストに追加

製品詳細ページへ ＞

《HULFT Square》のPOINT

1. ファイル転送・データ連携機能をフルマネージドサービスで提供
2. 接続先の特性に合わせたコネクター/API/ファイルでの柔軟な連携
3. 国・地域/業種/業務システム間をまたぎデータ連携することが可能

IIJクラウドデータプラットフォームサービス

株式会社インターネットイニシアティブ

資料請求リストに追加

製品詳細ページへ ＞

製品・サービスのPOINT

1. ASTERIA Warpをコアエンジンとしたクラウド型サービス
2. GUIでの開発＆約90種類の豊富なアダプターでデータ連携先が豊富
3. 個人情報などの機微データも安全に取り扱えるセキュリティ

まとめ

ETLツールの乗り換えでは、既存ジョブの接続先や変換ロジック、スケジュールを棚卸しし、ETLとELTの違いを踏まえて処理の置き場所を見直すことが大切です。並行稼働で件数や合計値を照合し、異常時の通知や再実行も確かめてから切り替えましょう。移行後の文書化と権限設計まで整えておくと、データ基盤を安定して運用できます。自社のデータ基盤に適したETLを比較したい方は、資料請求を活用してください。