Theo Hopkinson 著 2021年6月11日
Fivetran（ファイブトラン）では、データエンジニアを採用する代わりに、アナリストやダッシュボードビルダー、ウェブ解析やペイドメディアの専門家を採用し、ビジネスバリューに集中することができます。当社のインフラは、1～2年前に比べて、より幅広く、より高度になっています。
Databricks社、マーケティング・アナリティクス・マネージャー、Chris Klaczynski氏
事例による成果
- Databricks社のマーケティング・アナリティクス・チームは、サイロ化したデータ・ウェアハウスから最新のデータ・レイクハウスへと移行し、2年以内に1人のチームから5人のチームへとスケールアップしました。
- 信頼性の高いデータにアクセスできるようになったことで、マーケティングチームのパフォーマンスの可視性が向上し、アカウンタビリティを重視する文化の構築につながりました。
- Fivetranの導入により、Databricks社は毎月40時間以上のエンジニアリング時間を削減しており、これはパートタイムのデータエンジニアに相当します。
- Fivetranによって削減された時間で、マーケティング・アナリティクス・チームは、ダッシュボードの構築、ビジネス・インサイトの推進、機械学習プロジェクトにおける他のチームとの共同作業に集中できるようになりました。
使用データスタック
- パイプライン：Fivetran
- データソース： Marketo、Salesforce、Facebook Ads、Google Analytics
- データの移動先（デスティネーション）：データブリックス・デルタ・レイク
- BIツール：Tableau、SQL Analytics
ファイブトラン導入前の状況
Databricks社のマーケティング・アナリティクス・マネージャーであり、FivetranのパワーユーザーであるChris Klaczynskiの紹介です。Databricks初のフルタイムのマーケティング・アナリティクス・チームのメンバーとして、クリスは2019年に入社した際に、AmazonのKindleとAlexaの顧客行動チームから豊富な経験をもたらしました。
クリスの役割は明確で、Databricksのマーケターが最も困難な問題を解決するのを支援することでした。Databricks社は、データチームが世界の最大の課題を解決するのを支援することを誇りとするビジネスで、Apache Spark、Delta Lake、MLflowのオリジナルクリエイターによって2013年に設立されました。Databricksは、クラウド上の最新のLakehouseアーキテクチャ上に構築されており、データウェアハウスとデータレイクの長所を組み合わせて、データとAIのためのオープンで統一されたプラットフォームを提供しています。
データブリックスの課題
クリスがDatabricks社で最初に担当したのは、パイプライン生成の促進、データベースの成長、ROIの向上といった主要なマーケティング目標のサポートでした。しかし、Databricksが急速に拡大するにつれ、一元化された文書化されたデータの必要性が明らかになってきました。データサイロは、クリスのマーケティングチームを含め、ビジネスのあちこちに出現していましたが、データは独自のデータウェアハウスに保存されていました。
マーケティング業務を円滑に進めるためには、クリスが新たに構築したダッシュボードに信頼性の高いタイムリーなデータを提供することが重要でしたが、専任のエンジニアリングリソースがなく、マーケティングチームが急速に拡大している中で、需要に合わせて拡張することは不可能に近い状況でした。
「私がやっていたことの97％は、電気をつけておくことでした。データ地獄から抜け出すことは、私にとって大きな生活の質の向上につながりました」
クリスがDatabricksに入社したとき、データはノートブック、Alteryx、中央チームのレガシーパイプラインを使ってこしらえられていました。これは拡張性のあるアプローチではなく、クリスはデータやレポートを信用していないマーケティング担当者からの何通ものメールに対処していました。Databricks社は、従来のデータウェアハウスで多くの課題に直面していました。
- 特にSalesforceとMarketoのパイプラインに関する問題 – データをネイティブにDelta形式にすることができず、回避策としてParquetを使用する必要がありました。
- 既存のテーブルにネイティブでデータを追加する際に、一時テーブルを使用したり、より複雑なETLが必要になるという問題があった。
- スキーマの変更は常にパイプラインを破壊し、その結果、機能停止や古くて信頼できないデータが発生していました。
そのためステークホルダーは、重要な洞察が本当なのか、それとも単なるデータ品質の問題なのかを見極めることができませんでした。クリスのチームは、データがソースシステムと一致しないたびに、ステークホルダーからの信頼を失っていました。そのため、計画や予算配分などの意思決定に支障をきたしていました。
ソリューション〜課題の解決〜
クリスは、チームが必要とする信頼性の高いパイプラインを提供する、ローコードでターンキーのソリューションを探し始めました。探していたのは、次の3つの戦略でした。
- データエンジニアリングの “ジャングル “から抜け出し、インサイトと予測分析を行う。
- データエンジニアやDevOpsではなく、アナリストやデジタルSMEを採用する。
- データパイプラインを自給自足し、DeltaとAutoMLを活用する。
私たちは、データエンジニアリングの仕事はしたくありませんでした。私たちは、ビジネスの成果を生み出すインサイトの提供と分析の実行に集中したかったのです。
Fivetranは、クリスのデータパイプラインのニーズを満たすソリューションとして、すぐに注目を集めました。試用してみると、セットアップは迅速かつ簡単でした。”簡単な指示に従って、クラスターをセットアップし、IPをホワイトリストに登録し、数日後にはレースに出ることができました。”
クリスのチームは現在、Fivetranを使って、すべての主要なマーケティングソースシステムからデータを取り込んでいます。現在、クリスのチームはFivetranを使用して、Marketo、Salesforce、Facebook Ads、Google Analyticsといった主要なマーケティングソースシステムからデータを取り込んでいる。”簡単に言えば、うまくいくんです。” クリスのチームは、データをプロダクトチームやセントラルチームの他のソースと結合し、データサイエンスや機械学習を実行し、分析のための重要なTableauダッシュボードを生成するために、意味のある方法でデータを変換しています。
成果とまとめ
Fivetranは現在、急速に成長するデータチームのアナリストとリーダーをサポートしており、彼らは90人以上のマーケティング担当者に重要な洞察を提供しています。Fivetran社は、Databricks社のエンジニアリング時間を月に40時間以上削減しています。
Fivetranは、従来のようなエンジニアを採用するのではなく、アナリストやダッシュボードビルダー、ウェブ解析やペイドメディアの専門家を採用することで、ビジネスバリューに集中することができます。当社のインフラは、1、2年前に比べてはるかに広範で高度なものになっています。
データ取り込みをFivetranに任せることで、クリスはマーケティングチームが直面する最も一般的な質問に答えるTableauダッシュボードのフルスイートを構築する時間を確保し、チームの時間を節約して、3つのデータサイエンスと機械学習プロジェクトで価値を高めることに集中できるようになりました。
- キャンペーンレベルの正確な予測により、マネージャーが自分たちのペースを把握し、パフォーマンスが順調かどうかを理解できるようにする。
- 特定のお客様のイベントが消費に与える影響を判断する因果影響モデル。
- 過去の行動に基づいてイベントへの参加を予測し、チームがよりターゲットを絞ったメールマーケティングを行えるようにする傾向モデル。
クリスの意思決定による下流への影響は、すでにDatabricksの社内で感じられています。カスタマーサービスとカスタマーサクセスは、このプロセスがいかに簡単であるかを見て、より多くのユースケースやコネクタのスイッチを入れることを求めています。
「Fivetranを使用することで、新入社員が使用するであろう新しいデータソースを導入することができますが、それは我々が深く追求していない分野です。新入社員は、すぐにダッシュボードの構築に取り掛かることができます。パイプラインを構築したり、ノートブックやコードを書くことに慣れたりする必要はありません。データにすぐにアクセスできるので、インサイトやステークホルダーとの関係構築に集中することができます」と述べています。
信頼性の高いデータへのアクセスは、マーケティングアカウントマネージャーにとって非常に重要であり、彼らは自分たちが行う予測に対してより大きな責任を負うようになりました。洗練されたダッシュボードによる可視性の向上により、チームはキャンペーンのパフォーマンスを追跡し、迅速に対応することが容易になりました。
デルタ・レイクへのデータ取り込みに興味のある方は、Databricksパートナーポータルから、DatabricksとFivetranのパワーについてご確認ください。
Fivetranのマーケティング・アナリティクスのページでは、高速で信頼性の高いリアルタイムな方法でマーケティング・データを一元化する方法をご覧いただけます。
この記事は英文から翻訳されました。オリジナルの記事はこちら（英語）からご覧ください。
