社内のデータベースをつなぐならオンプレミス型ETLツール？判断基準と運用

ITトレンドがおすすめする製品・サービス

■提供形態別

• オンプレミス型にも対応：Waha! Transformer、ASTERIA Warp、DataSpider Servista、PreciselyConnect、Pentaho、TalendDataFabric
• 社内のデータをクラウドへ送る仕組みがある：Reckoner[レコナー]、HULFT Square、CSアナリティクスDataUploader

■主な接続先別

• 社内のデータベース：Waha! Transformer
• CSV・固定長テキスト・Excelなどのファイル：Waha! Transformer
• レガシーシステム・メインフレーム系のデータ：Waha! Transformer、PreciselyConnect

オンプレミス型ETLツールが選ばれる場面

ETLツールは、複数のシステムからデータを抽出し、変換して、分析用のデータベースなどへ書き込む作業を自動化するツールです。オンプレミス型は自社のサーバーに導入して使う形態で、データの置き場所や接続先の環境によって選ばれます。

社内ネットワーク内の基幹システムをつなぐ場合

オンプレミス型が選ばれる場面の1つは、連携元と連携先の多くが社内ネットワークの中にある場合です。生産管理や販売管理などの基幹システムのデータベース、部門ごとのファイルサーバーをつなぐ構成が該当します。

ETLツールを同じネットワークに置けば、社外を経由せずにデータを受け渡せます。古いデータベースや独自形式のファイルを扱う場合は、接続方式に対応しているかが選定の前提です。接続先の一覧を作り、資料やデモで対応状況を確かめましょう。

大量データを社外に出さずに加工したい場合

毎日数百万件の取引明細を集計するなど、扱うデータ量が多い場合もオンプレミス型が検討されます。データをインターネット経由で送る必要がなく、回線の帯域や通信量を気にせずに処理を組めるためです。

ただし、処理の速さはサーバーの性能やデータベースの状態、変換処理の作り方など複数の要因で決まります。オンプレミス型であれば必ず速いわけではないため、自社のデータに近い量で試験的に処理して確認しましょう。

社内規程でデータの持ち出しが制限されている場合

個人情報や機密情報を扱う業務では、社内規程によって社外のサービスへのデータ送信が制限されている場合があります。こうした環境では、データを社内で処理できるオンプレミス型が検討の対象にあがります。

一方で、クラウド型でもデータの保管場所や暗号化の方式を選べる製品はあります。規程がクラウド利用を一律に禁止しているのか、条件付きで認めているのかを情報システム部門に確認してから判断すると、選択肢を狭めすぎずに済みます。

クラウド型ETLツールと異なる処理の流れ

オンプレミス型とクラウド型のETLツールでは、データが通る経路や処理性能の決まり方、クラウドサービスとの接続方法が異なります。形態を選ぶ前に、データがどこを通ってどこで加工されるのかを図にしてみると違いを把握できます。

データの通り道と通信経路

オンプレミス型では、データは社内のサーバー上で抽出・加工され、社内の書き込み先へ送られます。クラウド型では、データがいったんインターネットを経由して提供会社の環境で加工される構成が中心です。

クラウド型を使う場合は、社内のデータベースに社外から接続するための通信の許可が必要になることがあります。ファイアウォールの設定変更が伴う場合もあるため、ネットワーク管理者と事前に通信経路を確認しておきましょう。

処理性能の決まり方

オンプレミス型の処理性能は、主に自社で用意するサーバーのCPUやメモリ、ディスクの性能に左右されます。処理が重くなった場合は、サーバーの増強や処理の分散を自社で検討します。

クラウド型は、契約プランや利用量に応じて処理能力が割り当てられる形が中心です。データ量が月末などに大きく増える業務では、オンプレミス型ではピーク時にあわせたサーバー構成が必要になる点も考慮しておきましょう。

クラウドサービスとの接続

近年は、社内のシステムだけでなく、SaaS（インターネット経由で使うソフトウェア）やクラウド型のデータウェアハウスとの連携も求められます。オンプレミス型でも、こうしたクラウドサービスへ接続できる製品があります。

接続にはAPI（システム同士がデータをやり取りする窓口）を使う場合が多く、相手側の仕様変更にあわせた対応が必要です。接続用の部品が提供会社によって更新されるのか、自社で対応するのかを確認しておきましょう。

オンプレミス型ETLツールの運用で発生する作業

オンプレミス型のETLツールでは、ツール本体だけでなく、実行環境の維持やジョブの監視も自社で担います。導入後に担当者の負担が想定を超えないよう、継続して発生する作業を把握しておきましょう。

実行サーバーの準備と冗長化

まず、ETLツールを動かすサーバーを用意し、OSやデータベースなどの前提ソフトウェアを導入します。製品ごとに動作環境の条件が定められているため、対応するOSのバージョンを事前に確認しておくことが大切です。

夜間バッチが止まると翌朝の業務に影響する場合は、サーバーを2台構成にする冗長化も検討しましょう。冗長化の方式によって追加のライセンスが必要になる製品もあるため、見積もりの段階で確認しておくと安心です。

ジョブ監視と失敗時の再実行

ジョブとは、データの抽出から書き込みまでの一連の処理をまとめた単位です。連携元のデータベースが停止していた、ファイルが届いていなかったなど、ジョブが失敗する原因は複数あります。

運用では、失敗をメールなどで通知する仕組みと、どこまで処理が進んだかをログで確認できる状態を整えます。途中から再実行できるか、二重に書き込まれないかも確認しておきましょう。対応手順は複数の担当者で共有しておくことが大切です。

バージョンアップと接続先の変更への対応

オンプレミス型では、ETLツール本体のバージョンアップを適用する時期と作業を自社で計画します。新しいバージョンで既存のジョブが同じ結果を返すかを、検証環境で確認してから本番に反映する流れが基本です。

連携先のシステムが更新されて項目が増えたり、データベースのバージョンが変わったりした場合も、ジョブの修正が必要です。連携先の更新予定を関係部門から早めに共有してもらう仕組みを作っておきましょう。

ITトレンドでは、最新の製品・サービスを多数比較・掲載しています。まず資料請求して、さまざまな製品の機能や特徴を比較してみてください。忙しい業務時間内でも、各社に問い合わせる手間なく、たった1回の入力（約60秒）でETLツールの一括資料請求が可能です。浮いた時間で、じっくりと製品の比較検討を進めましょう。

オンプレミス型ETLツールの費用の考え方

オンプレミス型のETLツールの費用は、ライセンスの数え方と、導入後に続く保守や運用の費用で大きく変わります。製品ごとに課金の単位が異なるため、自社の構成にあてはめて見積もりを比べることが大切です。

ライセンスの課金単位

オンプレミス型のライセンスは、サーバーの台数やCPUのコア数、接続先の数、利用する接続用部品の種類などを単位に数える製品があります。買い切り型のほか、年単位で利用権を契約する形態もあります。

接続先が今後増える見込みがある場合は、追加時の費用も確認しておきましょう。検証用や待機用のサーバーにもライセンスが必要かどうかは製品によって異なるため、構成図を示したうえで見積もりを依頼すると確認の漏れを減らせます。

保守費用と運用担当者の工数

ライセンス費用のほかに、製品の保守契約の費用が毎年かかる形が見られます。保守契約に含まれる範囲は、問い合わせ対応やバージョンアップの提供など製品によって異なるため、内容を確認しましょう。

見落としやすいのが、サーバーの維持費や運用担当者の工数です。ジョブの監視や障害対応にかかる時間を見込んで、数年単位の総額でクラウド型と比べると、判断の材料がそろいます。

ハイブリッド構成という選択肢

オンプレミス型かクラウド型かの二択ではなく、両方を組み合わせるハイブリッド構成もあります。社内のデータとクラウドサービスの両方を扱う企業では、データの置き場所にあわせて処理の場所を分ける方法が検討されます。

社内に実行用エージェントを置く構成

クラウド型のETLツールの中には、社内のサーバーにエージェントと呼ばれる実行用のソフトウェアを置き、社内のデータベースへの接続や加工をそこで行う製品があります。管理画面はクラウドで提供され、処理は社内で実行される形です。

この構成では、設計や監視をクラウド上で行いながら、データを社内で処理できます。エージェントの更新を誰が行うか、通信にどのポートを使うかは、導入前に提供会社へ確認しておきましょう。

段階的にクラウドへ移す場合

基幹システムのクラウド移行を予定している企業では、ETLの処理も段階的に移す方法があります。社内のシステムが残るうちはオンプレミス側で処理し、移行が済んだ連携から順にクラウド側へ移す進め方です。

移行期間中は2つの環境を並行して管理するため、どのジョブがどちらで動いているかを一覧で把握しておくことが重要です。将来の移行を見据え、ジョブの定義を出力できるかもあわせて確認しておきましょう。

オンプレミス対応ETLツールの比較

オンプレミスで動かせる製品と、社内データをクラウドへ送る仕組みを持つ製品を一覧にまとめました。

オンプレミスや社内データ連携に対応する製品

提供形態にオンプレミスが含まれる製品と、社内のデータをクラウドへ送る仕組みを備えた製品を紹介します。自社のデータの置き場所にあわせて比較してください。

Waha! Transformer

株式会社ユニリタ

資料請求リストに追加

製品詳細ページへ ＞

《Waha! Transformer》のPOINT

1. 1,000億件のベンチマークが証明する大量データ高速処理性能
2. ノーコードで簡単に構築できるシンプルな操作性
3. 作り手が「欲しい！」と感じるデータ接続先とメンテナンス機能

ASTERIA Warp

アステリア株式会社

資料請求リストに追加

製品詳細ページへ ＞

《ASTERIA Warp》のPOINT

1. 100種類以上の接続先！異なるシステムのデータを柔軟に統合！
2. スケジュール実行でデータ更新を自動化！手作業と運用負荷を削減
3. 1万社以上の導入実績と国内シェアNo.1の製品

Reckoner[レコナー]

株式会社スリーシェイク

資料請求リストに追加

製品詳細ページへ ＞

《Reckoner[レコナー]》のPOINT

1. クラウド型ETLサービスの決定版‼100種以上のデータ連携先と接続
2. データ連携作業の工数を大幅削減！プログラム作業不要で実現！
3. 直感的なインターフェースで簡単操作！ドラッグ＆ドロップで連携

HULFT Square

株式会社セゾンテクノロジー

資料請求リストに追加

製品詳細ページへ ＞

《HULFT Square》のPOINT

1. ファイル転送・データ連携機能をフルマネージドサービスで提供
2. 接続先の特性に合わせたコネクター/API/ファイルでの柔軟な連携
3. 国・地域/業種/業務システム間をまたぎデータ連携することが可能

まとめ

オンプレミス型のETLツールは、社内の基幹データベースやファイルサーバーをつなぎ、データを社外に出さずに加工したい場合に検討されます。一方、実行サーバーの準備や冗長化、ジョブの監視と再実行、バージョンアップへの対応は自社で担います。ライセンスの課金単位と運用の工数を含めた総額で比べ、ハイブリッド構成も視野に入れて検討しましょう。自社の環境にあうETLツールを比べたい方は、資料請求を活用してください。