Fivetran
Homeブログ
フルマネージド(完全管理型の)ELTとは?

フルマネージド(完全管理型の)ELTとは?

フルマネージドELTでは、データ統合をアウトソースして自動化することで、貴重なエンジニアの時間を節約することができます。

フルマネージド(完全管理型の)ELTとは?

Charles Wang 著 2021年5月19日

ELTとは、Extract, Load, Transformの頭文字をとったもの。一般にETLと対比されるが、ETLは基本的には同じプロセスを異なる順序で行うものです。ETLは1970年代にデータ統合のニーズに対応するために考案され、現在でもよく使われています。

アナリストは、ダッシュボードやレポーティングをサポートするデータモデルを作成するためにトランスフォームを利用します。変換には、データのクリーニング、サマライズ、ピボット、結合など、値を変更または作成するすべての操作が含まれます。これらの操作は複雑で、通常、ソースからの生の値を不明瞭にしたり、変更したりします。

ETLの決定的な弱点は、データが読み込まれる前に変換されてしまうことです。そのため、元の値が不明瞭になるだけでなく、データモデルが変更されるたびに、パイプライン全体を再構築しなければなりません。

これに対し、新しいELTプロセスでは、データの使用方法を一切想定せずに、すべての生データを抽出してロードします。また、データ変換は、データパイプラインに組み込まれたエンジニアリング中心のアクティビティから、データウェアハウスで実行されるアナリスト中心のアクティビティへと移行します。

つまり、ダッシュボードやレポーティングのためのデータモデルなど、下流のビジネスやアナリティクスの要件を変更しても、パイプラインには影響がないということです。アウトソーシングと自動化を適切に活用することで、データパイプラインはソースの変更にも継続的に適応することができ、アナリストは常に新鮮なデータを扱うことができます。

ELTはデータ統合の新しいアプローチであるため、その機能に関する一般的な質問にお答えします。

フルマネージドELTの機能とは?

フルマネージドELTツールは、企業がデータ統合をアウトソーシングすることを可能にします。これにより、以下のような多くの典型的なパイプラインのメンテナンス作業が自動化されます。

  • 頻繁に行われるAPIの変更に対応するためのデータ抽出スクリプトの修正
  • 抽出したデータソースをクエリ可能なスキーマに正規化する
  • データソースで作成された新しいデータや新しい構造に合わせてスキーマを更新すること

フルマネージドELTを提供するプロバイダーを選択するメリットは、これらの技術的な障壁の多くが排除されるため、アナリストが確実かつ迅速にデータにアクセスできるようになることです。

ETLとELTの違いは?なぜELTの方が優れているのか

フルマネージドELTでは、さまざまなソースからのすべてのデータが一箇所に集中し、人手を介さずに継続的に更新されます。この永続的で最新のデータリポジトリにより、チームは新たな問題に取り組み、プロジェクトのタイムラインを短縮し、既存のデータセットから新たな洞察を生み出すことができます。完全に管理されたELTは、さらに一歩進んで、インクリメンタルな更新を行うことで、ターンアラウンドを短縮し、本番のソースシステムへの影響を少なくします。

ETLとELTの違いについては、こちらの記事をご覧下さい。

自分でスクリプトを組んでもいいが… フルマネージドELTが必要な本当の理由

目的を持って構築されたフルマネージドELTのプロバイダーは、接続するデータソースのあらゆる特性を理解することに苦心し、様々なユースケースに対してソフトウェアを定期的にプレッシャーテストしています。堅牢なELTソリューションの開発に必要な設計上の考慮事項は些細なものではなく、時間、費用、労働力、そしてモラルにおけるコストは相当なものです。

データ統合をアウトソーシングすることで、洞察までの時間を短縮し、初期構築と継続的なメンテナンスの両方で貴重なエンジニアリングリソースを節約することができます。自動化されたELTは、どのようなレベルの技術者でも利用することができ、アナリストは遅延を最小限に抑えて作業することができます。

Fivetran(ファイブトラン)がELTを担当することで、同社のエンジニアはデータサイエンスや機械学習のプロジェクトに集中できるようになりました。

ELTを利用するには、必ずクラウドベースのデスティネーションが必要?

いいえ、必ず必要というわけではありません。ELTはデータ統合に対するクラウドネイティブなアプローチですが、オンプレミスのツールを使用している企業は、データを継続的に更新し、モニタリングダッシュボードを可能にし、データチームが変化するビジネスプロセスに対応できるシステムのメリットを享受できます。

フルマネージドELTの仕組みとは?

統合をセットアップするために必要なことは、適切なアクセスレベルを持つユーザーアカウントを提供または取得することです。これは通常1ステップのプロセスです。そこから、自動化されたデータコネクタが、データソースで利用可能なすべてのデータの完全なヒストリカルロードを行い、ソースから変更が読み込まれると、そのデータセットを更新し続けます。インテグレーションは数分で設定でき、データソースが進化してもパイプラインをチェックする必要はありません。

お客様がフルマネージドELTを検討する準備ができましたら、ファイブトランがお手伝いします。お気軽にご連絡ください。

この記事は英文から翻訳されました。オリジナルの記事はこちら(英語)からご覧ください。