Amazon Elastic Inferenceとは？

最終更新日：2026年8月10日

Amazon Elastic Inferenceとは

項目	AWS	Microsoft Azure	Google Cloud
世界シェア	約33%（首位）	約22%	約11%
強み	サービス数・実績	Microsoft製品連携	データ分析・AI
無料枠	12ヶ月+常時無料	12ヶ月無料	常時無料枠あり
主な資格	CLF / SAA / SAP	AZ-900 / AZ-104	ACE / PCA

Amazon Elastic Inferenceとは、Amazon EC2またはAmazon SageMakerのインスタンスタイプまたはAmazon ECSタスクに適切な量のGPUによる推論アクセラレーションをアタッチさせる、高速コンピューティングサービスです。それによるディープラーニングの推論を実行するコストを最大 75% まで削減できます。Amazon Elastic Inferenceは、TensorFlow、Apache MXNet、PyTorch、および ONNX モデルをサポートしています。

Amazon Elastic Inferenceの特徴

●推論コストを最大 75% まで削減

Amazon Elastic Inference では、アプリケーションの全体的なコンピューティングおよびメモリのニーズに最も適したインスタンスタイプを選択できます。その後、必要な推論アクセラレーションの程度を個別に指定できます。これにより、推論の GPU コンピューティングを多めにプロビジョニングする必要がなくなり、推論コストを最大 75% まで削減します。

●Amazon SageMaker、Amazon EC2 および Amazon ECS との統合

AWS で推論ワークロードを実行するには、複数の方法があります。Amazon SageMaker にモデルをデプロイして完全マネージド型を実現するか、Amazon EC2 インスタンスまたは Amazon ECS タスクで実行してご自身で管理することができます。Amazon Elastic Inference は、Amazon SageMaker、Amazon EC2 および Amazon ECS とシームレスに連携するように統合されているため、両方のシナリオで推論アクセラレーションを追加できます。Amazon SageMaker でモデルの HTTPS エンドポイントを作成するとき、そして Amazon EC2 インスタンスを起動するとき、および Amazon ECS タスクを定義するときに、推論アクセラレーションに関してご希望の程度を指定できます。

●TensorFlow、Apache MXNet および PyTorch のサポート

Amazon Elastic Inference は、AWS の TensorFlow Serving と Apache MXNet、PyTorch の強化バージョンで使用するように設計されています。これらの機能強化により、フレームワークは推論アクセラレーターの存在を自動的に検出し、アクセラレーターの GPU とインスタンスの CPU 間で最適なモデル運用を分散させます。さらに AWS Identity and Access Management (IAM) ポリシーを使用してアクセラレーターへのアクセスを安全に制御します。強化された TensorFlow Serving と MXNet、PyTorch ライブラリは、Amazon SageMaker、AWS ディープラーニング AMI、および AWS Deep Learning Containers によって自動的に提供されるため、モデルを本番環境でデプロイするためにコードを変更する必要はありません。

●Open Neural Network Exchange (ONNX) フォーマットのサポート

ONNX は、深層学習フレームワークでモデルをトレーニングし、推論のために別のモデルに転送できるようにするオープンフォーマットです。これにより、さまざまなフレームワークの相対的な強みを活用することができます。ONNX は PyTorch、MXNet、Chainer、Caffe2、Microsoft Cognitive Toolkit に統合されており、TensorFlow を含む他の多くのフレームワーク用のコネクタが付いています。Amazon Elastic Inference で ONNX モデルを使用するには、本番環境へのデプロイ向けに、トレーニングされたモデルを AWS に最適化されたバージョンの Apache MXNet に転送する必要があります。

●単精度または混合精度演算の選択

Amazon Elastic Inference アクセラレーターは、単精度 ( 32 ビット浮動小数点) 演算と混合精度 ( 16 ビット浮動小数点) 演算の両方をサポートします。単精度は、お客様のモデルで使用されるパラメータを表す超大容量の数値範囲を提供します。しかし、ほとんどのモデルではこのような精度と数値の計算が実際に必要ないため、結果として不要なパフォーマンス低下が発生します。この問題を回避するために、混合精度演算では数値範囲を半減させて、最大 8 倍の推論パフォーマンスを得ることができます。

●複数のアクセラレーションでの可用性

Amazon Elastic Inference では、アクセラレーターごとに 1 秒あたり 1 〜 32 兆の浮動小数点演算 (TFLOPS) の複数のスループットサイズが提供されます。また、コンピュータビジョン、自然言語処理、音声認識などの幅広い推論モデルを効率的にアクセラレーションさせます。Amazon Elastic Inference は、125 TFLOPS (利用可能な最小限の P3 インスタンス) から始まるスタンドアロンの Amazon EC2 P3 インスタンスと比較して、アクセラレーターごとに 1 つの TFLOPS から開始します。これにより、さらに適切な単位で推論アクセラレーションをスケールアップできます。より複雑なモデルの場合は、アクセラレーターごとに最大 32 TFLOPS までアクセラレーターサイズの拡大を選択することもできます。

●Auto Scaling

Amazon Elastic Inference は、Amazon SageMaker、Amazon EC2 および Amazon ECS インスタンスのスケールに使用するのと同じ Amazon EC2 Auto Scaling グループの一部である可能性があります。EC2 Auto Scaling では、アプリケーションの需要に応じて EC2 インスタンスを追加すると、各インスタンスにアタッチされているアクセラレーターもスケールアップされます。同様に、Auto Scaling では需要の減少につれて EC2 インスタンスが減少すると、インスタンスごとにアタッチされているアクセラレーターもスケールダウンされます。これにより、アプリケーションのコンピューティング能力に合わせて推論アクセラレーションをスケールさせ、アプリケーションの需要を満たすことが容易になります。

押さえておきたいポイント

• Amazon Elastic Inferenceは2022年に新規提供が停止し、2023年4月にサポートが終了したサービスであり、現在は新規導入できない。
• 推論コストの削減が目的であれば、現行のAmazon SageMaker AIが提供するServerless Inference、SageMaker Neoによるモデル最適化、AWS Inferentia/Trainiumベースのインスタンスなどが代替の選択肢になる。
• AWSのサービスはライフサイクル変更（終了・統合・改称）が起こりやすいため、古い記事や資料を参照する際は必ずAWS公式サイトの最新情報（What’s New等）で現状を確認する習慣が重要。

よくある質問

Amazon Elastic Inferenceは今でも使えますか？

いいえ。AWSは2022年に新規提供を停止し、既存ユーザー向けのサポートも2023年4月に終了しました。現在は新規に利用することはできません。

Elastic Inferenceの代替として何を使えばよいですか？

推論コストを抑えたい場合は、Amazon SageMaker AIのServerless Inference、非同期推論、SageMaker Neoによるモデル最適化、AWS Inferentia/Trainiumベースのインスタンスなどが代替候補になります。要件に応じて、AWS公式サイト・公式ドキュメントで最新の推奨構成をご確認ください。

Elastic InferenceはTensorFlowやPyTorch以外のフレームワークにも対応していましたか？

提供当時は、TensorFlow、Apache MXNet、PyTorch、ONNX形式のモデルに対応していました。ただし現在はサービス自体が終了しているため、新たに導入することはできません。

最後に

いかがだったでしょうか。Amazon Elastic Inference自体はサービス終了済みですが、推論コストの最適化という課題は今も変わらず重要です。現行のAmazon SageMaker AIが提供する推論オプションなど、最新のサービスで基礎を整えて、機械学習に挑みたいですね。