Computer Vision para personalizar pedidos en el drive-thru

Solución de IA para una cadena de comida rápida: la cámara del drive-thru reconoce la matrícula, identifica al cliente o el historial de pedidos del coche y muestra ofertas personalizadas en la pantalla.

El objetivo era crear un sistema que personalice la atención en el drive-thru sin identificación manual ni acciones adicionales por parte del cliente.

En los restaurantes con drive-thru los clientes suelen pedir rápido, sin abrir la app y sin identificarse en el programa de fidelidad. Por eso la cadena no puede usar el historial de compras, los platos favoritos, las mecánicas de bonificación ni las ofertas personales en el momento del pedido. Además, una parte de los locales ya tiene menús digitales y otra sigue con menús impresos, donde la personalización solo puede mostrarse en una pantalla independiente junto al punto de pedido.

Había que diseñar un sistema de IA que reconociera la matrícula en tiempo real, la vinculara con la cuenta del usuario o con el historial del coche y enviara a la pantalla la oferta adecuada: plato favorito, combo, upsell, mecánica de bonificación o invitación a iniciar sesión en la app.

Formato del proyecto: prototipo I+D de una solución de visión artificial
Sector: cadena de restaurantes de comida rápida
Escenario: drive-thru
Tipo de datos: vídeo de cámaras, matrícula, historial de pedidos
Función clave de IA: reconocimiento de matrículas en tiempo real
Escenarios de atención: 3
Tipos de local: menús digitales y menús antiguos con pantalla independiente
Tiempo objetivo de reconocimiento: 1–2 segundos tras la llegada del coche
Precisión objetivo con un fotograma válido: 90%+
Horizonte del plan: hasta 24 semanas desde la investigación hasta la explotación piloto

El proyecto exigía combinar visión artificial, procesamiento de eventos en tiempo real, identificación del cliente y un motor de recomendaciones. La cámara detecta la llegada del coche, reconoce la matrícula y la envía a un servicio backend que determina uno de estos escenarios:
el coche está vinculado a un usuario autenticado en la app; el coche ya ha pedido antes en el drive-thru pero no está vinculado a una cuenta; el coche llega por primera vez y hay que crear un nuevo perfil de historial.
Para los clientes autenticados el sistema puede mostrar el nombre, los puntos acumulados, los platos favoritos y ofertas personales. Para los coches conocidos sin cuenta, ofertas basadas en pedidos anteriores. Para los coches nuevos, mecánicas universales: bonificación por registrarse, ofertas de bienvenida y upsells no personalizados.

Diseñamos un prototipo en el que la cámara del drive-thru capta el coche en la zona de pedido y envía el fotograma al módulo de visión artificial. El modelo localiza la matrícula, reconoce los caracteres, la normaliza y la transmite al backend.

El backend comprueba si la matrícula está vinculada a una cuenta de la app. Si lo está, el sistema usa los datos del programa de fidelidad y el historial de pedidos. Si no hay cuenta pero el coche ya ha estado antes, utiliza el historial acumulado de esa matrícula. Si el coche es nuevo, se crea un perfil anonimizado que servirá para futuras recomendaciones.

Tras la identificación el sistema envía a la pantalla el escenario de comunicación: plato favorito, oferta personal, bonificaciones, combo o upsell. En los locales con menús digitales la oferta puede mostrarse en el propio menú; en los locales con menús impresos se usa una pantalla independiente junto al punto de pedido.

También se previó la integración con comunicaciones push y por correo para los usuarios autenticados: cupones personales, avisos de bonificaciones, retos y ofertas de regreso.

El resultado es un prototipo I+D de sistema de IA para personalizar el drive-thru a partir de visión artificial e historial de pedidos.

Cubre 2 tipos de restaurantes: locales con menús digitales y locales con menús antiguos donde la personalización se muestra en una pantalla independiente. Se describen 3 escenarios de identificación: usuario autenticado, coche conocido sin cuenta y coche nuevo. Se contemplan 4 tipos de personalización: platos favoritos, combos, mecánicas de bonificación y upsells.

El plan del proyecto incluía investigación, especificaciones y programa de pruebas, recopilación de datos de entrenamiento, entrenamiento del modelo, inferencia, entorno DevOps, pruebas de integración y de carga, pruebas manuales y explotación de prueba y piloto: hasta 24 semanas para el ciclo completo.

Indicadores objetivo del prototipo: reconocimiento de la matrícula en 1–2 segundos, precisión del 90%+ con fotograma válido, procesamiento del evento en tiempo real y entrega de la oferta personal antes de que empiece el pedido.