Amazon Elastic Inference es un servicio de infraestructura como servicio (IaaS) que permite a los equipos de IT añadir aceleración de GPU a bajo costo a instancias de Amazon EC2 y Sagemaker, así como tareas de Amazon ECS. Este servicio está diseñado para optimizar los costos de la inferencia en aprendizaje profundo, pudiendo reducir estos costos hasta en un 75%. Además, es compatible con modelos de TensorFlow, Apache MXNet, PyTorch y ONNX, lo que lo convierte en una opción versátil para diversas aplicaciones.

La inferencia representa hasta el 90% de los costos operativos totales en aplicaciones de aprendizaje profundo, debido a que las instancias de GPU independientes suelen estar optimizadas para el entrenamiento, no para la inferencia. Amazon Elastic Inference soluciona esta ineficiencia al proporcionar una solución que combina la potencia de los GPU con la flexibilidad de las instancias de CPU, garantizando un rendimiento eficiente y económico para la toma de decisiones en tiempo real.