Computer Vision
для персонализации заказов
на drive-thru

AI-решение для сети ресторанов быстрого питания: камера на drive-thru распознаёт номер автомобиля, определяет гостя или историю заказов машины
и выводит персонализированные предложения на экран.

Цель проекта заключалась в разработке системы, которая помогает персонализировать обслуживание гостей на drive-thru без ручной авторизации и дополнительных действий со стороны клиента.

В ресторанах с drive-точками гости часто делают заказ быстро, без входа в приложение и без идентификации в программе лояльности. Из-за этого сеть не может использовать историю покупок, любимые блюда, бонусные механики и персональные предложения в момент заказа. При этом часть ресторанов уже оснащена цифровыми менюбордами, а часть работает со старыми печатными меню, где персонализацию можно показывать только на отдельном экране рядом со стойкой заказа.

Нужно было спроектировать AI-систему, которая распознаёт номер автомобиля в реальном времени, связывает его с аккаунтом пользователя или историей заказов автомобиля и передаёт на экран подходящее предложение: любимое блюдо, комбо, апсейл, бонусную механику или предложение авторизоваться в приложении.

Формат проекта: R&D-прототип CV-решения
Отрасль: сеть ресторанов быстрого питания
Сценарий: drive-thru / автоокно
Тип данных: видеопоток с камер, номер автомобиля, история заказов
Ключевая AI-функция: распознавание номера автомобиля в реальном времени
Количество сценариев обслуживания: 3
Типы точек: цифровые менюборды и старые менюборды с отдельным экраном
Целевое время распознавания: до 1–2 секунд после подъезда автомобиля
Целевая точность распознавания номера при валидном кадре: 90%+
Горизонт проектного плана: до 24 недель от исследования до опытной эксплуатации

Проект требовал объединить компьютерное зрение, обработку событий в реальном времени, клиентскую идентификацию и рекомендательную систему. Камера должна фиксировать подъезд автомобиля, распознавать номер и передавать его в backend-сервис, который определяет один
из сценариев:

1. машина связана с авторизованным пользователем в мобильном приложении;
2. машина уже делала заказы на drive-thru, но не привязана к аккаунту;
3. машина приехала впервые, и для неё нужно создать новый профиль истории заказов.

Для авторизованных гостей система может выводить имя, количество бонусов, любимые блюда
и персональные предложения. Для известных автомобилей без авторизации — предложения
на основе прошлых заказов. Для новых автомобилей — универсальные механики: бонусы
за авторизацию, стартовые предложения и неперсонализированные апсейлы.

Мы спроектировали прототип системы, в которой камера на drive-thru фиксирует автомобиль в зоне заказа и передаёт кадр в модуль компьютерного зрения. Модель выделяет номерной знак, распознаёт символы, нормализует номер и передаёт его в backend-сервис.

Backend проверяет, связан ли номер автомобиля с аккаунтом пользователя в мобильном приложении. Если связь есть, система использует данные программы лояльности и историю заказов. Если аккаунта нет, но автомобиль уже приезжал раньше, система использует накопленную историю заказов по этому номеру. Если автомобиль новый, создаётся обезличенный профиль, который в дальнейшем можно использовать для рекомендаций.

После идентификации система передаёт на экран сценарий коммуникации: любимое блюдо, персональное предложение, бонусы, комбо или апсейл. Для ресторанов с цифровыми менюбордами предложение может отображаться прямо на менюборде. Для ресторанов со старыми печатными меню используется отдельный экран рядом со стойкой заказа.

Дополнительно была предусмотрена интеграция с push- и e-mail-коммуникациями для авторизованных пользователей: персональные купоны, уведомления о бонусах, челленджи и предложения вернуться за повторным заказом.

В результате был подготовлен R&D-прототип AI-системы для персонализации drive-thru на основе компьютерного зрения и истории заказов.

Система покрывает 2 типа ресторанов: точки с цифровыми менюбордами и точки со старыми менюбордами, где персонализация выводится на отдельный экран. Описаны 3 сценария идентификации: авторизованный пользователь, известный автомобиль без авторизации и новый автомобиль. Заложены 4 типа персонализации: любимые блюда, комбо-предложения, бонусные механики и апсейлы.

Проектный план включал исследования, подготовку ТЗ и ПМИ, сбор обучающих данных, обучение модели, инференс, DevOps-контур, интеграционные и нагрузочные тесты, ручное тестирование, тестовую и опытную эксплуатацию. По проектной оценке, полный цикл работ занимал до 24 недель.

Целевые показатели прототипа: распознавание номера за 1–2 секунды, точность распознавания при валидном кадре — 90%+, обработка события в режиме реального времени и передача персонального предложения на экран до начала оформления заказа.