Amazon Kinesis について

はじめに

AWS（Amazon Web Services)を利用していて、データ分析を利用したい、という方におすすめのツールが「Amazon Kinesis」です。この記事では、Amazon Kinesisの特徴などについて解説していきます。

Amazon Kinesis について

「Amazon Kinesis」 とは、米Amazon社が提供する、動画・ストリーミングデータ処理ツールです。ストリーミングデータをリアルタイムで収集、処理、分析することができ、数秒から数分でデータ分析を完了できます。

AI、動画、データ、アプリケーションなど、あらゆるストリーミングデータをリアルタイミングで処理し、分析結果を表します。Amazon Kinesisはデータを受け取るとすぐに処理や分析が行われるため、スピーディーに分析結果を表示することができるようになっています。

Amazon Kinesis には、動画・データなどそれぞれに最適化されたデータ処理ツールがあり、それらを使用することで簡単にデータを処理、分析することができます。

Amazon Kinesisのツールと特徴

Amazon Kinesisには複数のデータ処理ツールがあり、用途に応じて最適化されています。ここでは、Amazon Kinesisのツールと特徴について説明していきます。

Amazon Kinesis Video Streams

「Amazon Kinesis Video Streams」は、AWS（Amazon Web Services)に動画をストリーミングが可能にさせることができます。動画を分析や、Machine Learning（ML）のために使用されます。Amazon Kinesis Video Streamsは、動画データをデータロスしにくい形で保存、さらには暗号化、インデックス化も行われます。また、API を介したデータへのアクセスも可能にします。

同じAWSのサービスである、「Amazon Rekognition Video」との統合や「Apache MxNet」、「TensorFlow」、「OpenCV」との統合も可能になっています。これらと統合することで、 動画分析を活用するアプリケーションを迅速に構築することが可能となります。料金は従量課金制であり、基本料金や導入にあたっての初期料金等は不要です。

「WebRTC」では、Amazon Kinesis Video Streamsを利用することで、メディアストリーミングを、APIによってデバイス接続を可能になります。WebRTCを使ったビデオチャットやP2P接続を使ったストリーミングがよく利用されます。

Amazon Kinesis Data Streams

「Amazon Kinesis Data Streams」は、ストリーミングデータを収集し、リアルタイムで分析を行うことができます。ウェブサイトの利用データ、データベースのストリームや株等の金融取引など、様々なソースからデータを継続的に収集することができます。収集データはミリ秒単位で収集でき、リアルタイムで分析データを管理することもできます。リアルタイムで分析したデータは、異常を確認した場合にアラートを発生させたり、様々な用途で利用することが可能です。

Amazon Kinesis Data Firehose

「Amazon Kinesis Data Firehose」は、ストリーミングデータを収集して変換し、Amazon S3、Amazon Redshift、Amazon Elasticsearch ServiceなどのAWSのストレージに落とし、既存の管理ツールなどでリアルタイム分析が可能です。収集したデータ量が多い場合にも自動的にスケールするため、その都度管理する必要はありません。

また、収集したデータはデータベースに落とされる際、圧縮や暗号化も同時に行われるため、ストレージの圧迫を最小限にしつつセキュリティも強化されます。
データを落とす際、Apache Parquetなどのそれぞれの指向形式に変換されるように設定することができれば、最小限の容量で保存や分析をすることができます。

Amazon Kinesis Data Analytics

Amazon Kinesis Data Analyticsは、ストリーミングアプリケーションを構築、管理するために利用されます。Amazon Kinesis Data Analyticsを利用すれば、AWSのサービスと簡単に統合することが可能になります。また、SQLを使ってリアルタイムでデータを処理したり、JavaユーザーであればJavaを使ってリアルタイムでデータを処理することができます。

まとめ

Amazon Kinesis について解説していきました。Amazon Kinesisの機能は複数あり、それぞれを有効利用することでデータ処理に非常に役立つツールです。利用を検討している方はぜひ使ってみてはいかがでしょうか。