Azure Databricksの概要と活用事例について

はじめに

本稿ではMicrosoft社が提供しているMicrosoft Azureのサービスの一部であるAzure Databricksの概要と活用事例について紹介していきます。活用事例は実際に業務でAzure Databricksを活用している企業・団体の3組を例に紹介していきます。

Azure Databricksとは

Azure DatabricksとはMicrosoft Azureクラウドサービス用のApache Sparkベースの分析プラットフォームになります。Azure Databricksでは多様なサービスを享受することができ、以下はその中でも主な機能になります。

最適化されたApache Sparkエンジン

ハイスペックに調整されたApache Sparkを搭載しているので、オートスケーリングストラクチャでのシンプルなデータ処理を行うことができます。また最大50倍ものパフォーマンス向上を発揮することができます。高い信頼性とパフォーマンスを確保するよう設定されているので、監視する必要もありません。

ビッグデータに対応した機械学習

Azure Databricksの機械学習用のサービスであるAzure Machine Learning使用することで、高度な機械学習を行うことができます。Azure Databricksなら機械学習モデルの管理から更新までの作業を容易にしてくれます。機械学習でよく使われているTensorFlowやscikit-learnなどのフレームワークも使用することができ、機械学習に即座にアクセスすることができます。

Azure Databricksの利用料金について

Azure Databricksの利用料金について紹介していきます。Azure Databricksでは、仮想マシンと、利用する仮想マシンのインスタンスに基づくDatabricksの単位 (DBU) に対して使用した分だけ料金が発生します。DBUとは処理能力の単位を表しています。

Azure Databricksの活用事例

ここからは実際に業務にAzure Databricksを活用している企業や団体について紹介していきます。

ヤマハ発動機株式会社

ヤマハ発動機では工場から販売店それぞれに日々多くのデータが生み出されていきます。そのデータを集約・活用するためにはデータウェアハウスが必要でした。そのデータウェアハウスの基盤を構築するうえで選ばれたクラウドサービスがAzureになります。Azureであれば元々データ分析基盤に関して得意でなかろうと、Microsoftのサポートを受けつつ、データウェアハウスを構築することができました。ヤマハ発動機は今回構築したデータウェアハウスを運用することで、従来より物流の把握や在庫状況などの情報をより早く取得することができるようになりました。

株式会社エクシング

通信カラオケで有名なJOYSOUNDを提供しているエクシングもAzureを利用している企業の一社です。エクシングはApache SparkベースのAzure Databricksの並列分散処理を利用することで、リレーショナルデータベースの仕組みを問わずに加工・集計処理を切り出せる点に魅力を感じたそうです。Azure DatabricksはAI関連のライブラリも提供しているので、今後のコンテンツにも日々貯蓄されていく様々なデータをどう活用していくかが今後の課題となっています。

国立研究開発法人 国立がん研究センター

研究センターでは異分野の融合を促進するために「AIマッピングシステム」というシステムがAzureで開発されています。AIマッピングシステムは過去の論文を読み取り、そこから構造化されていないテキストデータから主題を機械学習により抽出することができます。そこからタグ付けと重みづけを行うことで、研究者同士の関連性をマッピングすることができます。Azure Databricksを活用することで、900万人の研究者の関連性を4時間足らずで抽出することが可能になりました。

まとめ

本稿ではAzure Databricksの概要と活用事例について紹介してきました。Azure DatabricksはほかのAzureのサービスとの親和性も高いので、併せて利用することで多くの恩恵を受けることができます。

Azure Databricksはデータの貯蓄・分析に長けているので、今後も多くの分野で使われていくことでしょう。

本稿が皆様のお役に立てれば幸いです。最後までお読みいただきありがとうございます。