Как AI помогает ритейлу видеть магазин глазами покупателя

Всем привет! Меня зовут Вадим Медяник, я технический директор ИТ-компании BPA Technologies.

Сегодня я хочу рассказать о том, как работают «умные магазины» — торговые пространства, где используются технологии искусственного интеллекта и компьютерного зрения. Именно они позволяют автоматизировать контроль товаров, анализировать поведение покупателей и предотвращать кражи, превращая обычный магазин в сложную технологическую систему.

В этой статье я хочу показать, как с технической точки зрения строится комплексная система мониторинга для ритейла. Она объединяет три ключевых направления: использование RFID для антифрода, построение тепловых карт и подсчёт посетителей, а также компьютерное зрение для анализа выкладки и соответствия ценников.

Умные магазины: почему это новый стандарт

Ритейл переживает серьёзные изменения: покупатели становятся всё более «цифровыми», привычки смещаются в сторону онлайн-каналов, а офлайн-магазины вынуждены перестраиваться под омниканальную модель. Молодые поколения, выросшие в среде постоянного доступа к интернету и смартфону, ждут от брендов мгновенного и персонализированного взаимодействия. В этих условиях «умный магазин» перестаёт быть концепцией будущего и становится ответом на реальный запрос рынка.

Цифры это подтверждают. По данным исследования компании Рексофт, более 40% ритейлеров уже используют искусственный интеллект и нейросети не только в маркетинге, но и в операционных процессах. Большие данные помогают выстраивать гиперперсонализированные предложения, а рекламные кампании строятся на базе обезличенной информации из программ лояльности. Проще говоря, торговые сети начинают понимать своих клиентов глубже, чем когда-либо раньше.

К этому добавляются IoT-решения: электронные ценники, которые обновляются в один клик по всей сети; «умные полки» с датчиками, автоматически отслеживающие остатки; и даже весы, которые распознают продукты по внешнему виду и экономят время покупателя. Всё это перестаёт быть экспериментами и постепенно превращается в стандарт.

С какими запросами ритейлеры приходят сегодня

Мы сами прочувствовали эти изменения. За последний год к нам пришёл не один ритейлер и говорил одно и то же: «Нам нужны новые инструменты. Магазины уже не работают так, как раньше. Мы хотим видеть, что происходит в зале, понимать поведение покупателей и лучше контролировать сотрудников».

И вот возникает закономерный вопрос: с какой задачи вообще начинать построение «умного магазина»? Ведь можно уйти в детали технологий, но сначала важно честно ответить: какие проблемы действительно болят?

Первое, что мы увидели: инфраструктура в магазинах уже есть. Камеры видеонаблюдения стоят повсюду. У них хорошее разрешение, они покрывают зал. Так почему бы не превратить их в основу аналитики?

Сначала был запрос на самые простые сценарии. Например, отличить сотрудника от покупателя, посчитать очередь, посмотреть общую посещаемость.  

Дальше запросы усложнились. Ритейлеры хотели понимать, кто приходит: семья, пара или одиночный покупатель. Хотели видеть половозрастную структуру аудитории, строить тепловые карты движения, понимать маршруты, видеть, где задерживаются люди, куда смотрят.

Параллельно шёл второй поток вопросов: «А что с персоналом?» И тут тоже нашёлся ответ: систему можно научить различать сотрудников по форме и отслеживать их действия.

И в итоге стало понятно: все запросы ритейла сходятся в двух направлениях. Первое — как покупатели ведут себя в магазине. Второе — как работает персонал. Именно на стыке этих двух задач сегодня и рождаются технологии «умного магазина».

Антифрод: как технологии RFID помогают бороться с потерями

После первых запросов от ритейлеров закономерно встал вопрос: «А что делать с кражами?» Потери от выноса товаров — один из самых болезненных пунктов для любого магазина. Камеры, конечно, фиксируют происходящее, но им есть предел: они видят только в пределах своего поля зрения. А значит, нужен другой инструмент.

Здесь на сцену выходит RFID-метки. Их главное преимущество в том, что радиосигнал проходит сквозь многие материалы, а значит, система «видит» больше, чем любая камера.

Принцип работы прост. На дорогой товар крепится метка. На выходе из магазина устанавливается считыватель, который можно спрятать в стене или в потолке, чтобы не привлекать внимания покупателей. Как только метка пересекает границу зоны выхода, система мгновенно проверяет её «историю»: был ли этот товар пробит на кассе за последние несколько минут? Если покупка есть, то все в порядке. Если оплаты не было, то уходит сигнал менеджеру или охране.

Но в реальности все сложнее. Несмотря на то, что RFID-технология существует уже давно, у неё есть ряд технических ограничений. Главное из них — нестабильность считывания. Одна и та же метка, находясь в одном и том же месте, может то определяться, то «теряться». Это зависит от угла антенны, положения метки в пространстве и даже от того, как держит товар сам покупатель. Более того, волну нужной длины можно частично экранировать телом, и тогда метка остаётся незамеченной.

Как решают эту проблему? За счёт установки нескольких антенн под разными углами и использования нескольких считывателей на одной зоне выхода. В итоге даже если один сигнал «погаснет», другой обязательно его подхватит, и метка всё равно будет считана.

Интеграция с кассовым оборудованием — задача более простая. Здесь всё зависит от вендора и конкретной POS-системы, но в целом это уже протоптанная дорожка. RFID-события синхронизируются с транзакциями на кассе, и проверка оплаты занимает доли секунды.

Видеонаблюдение же становится дополнительным уровнем защиты. Видеоаналитика может фиксировать подозрительные действия покупателя — например, резкое перемещение товара или попытку скрыть его. В совмещённой системе это служит подтверждающим фактором для RFID-сигнала. Такой «двойной контроль» делает антифрод значительно надёжнее и уменьшает количество ложных срабатываний.

Тепловые карты и подсчёт посетителей: как AI «учат видеть» поток людей

Видеопоток с камер в магазине — это источник данных о том, как двигаются люди, где они задерживаются и какие маршруты выбирают. Если правильно обработать этот поток, можно построить тепловые карты, которые отражают поведение покупателей в реальном времени.

Базой для подобных решений становятся большие датасеты. Чтобы обучить модели компьютерного зрения, нужны сотни часов записей с камер наблюдения: потолочных, настенных, с разными углами и высотой установки. Чем разнообразнее данные, тем устойчивее работает алгоритм на новых объектах (собрать такой разнообразный датасет – это отдельная задача со звездочкой для любого разработчика).

Для обучения обычно применяются модифицированные архитектуры распознавания позы и трекинга человека.

На их основе система способна определять базовые характеристики (пол, возрастные группы, состав групп: семья, пара, одиночный покупатель) и строить маршруты движения. Главное, добиться работы в реальном времени без чрезмерных требований к вычислительным ресурсам.

Возрастные группы и конфиденциальность: как AI работает с обезличенными данными

Когда речь заходит о компьютерном зрении в ритейле, один из первых вопросов — не нарушает ли система закон о биометрии и персональных данных. На самом деле задача решается иначе: модели работают с изображением, но не хранят и не сопоставляют его с личностью конкретного человека.

Определение пола и возраста основано на статистике. Алгоритм, обученный на большом датасете, делает предположение о том, к какой группе относится посетитель. Это именно предположение модели, а не «биометрическая идентификация». Никакой привязки к конкретному покупателю нет: система не знает его имени, телефона или какой-либо другой информации. В итоге речь идёт о чисто аналитических данных — половозрастной структуре потока людей в зале.

Чтобы соблюсти требования к безопасности данных, используются стандартные практики защиты: двустороннее шифрование, передача данных только по локальной сети, разграничение прав доступа для сотрудников. Эти меры минимизируют риски утечек и делают систему безопасной с точки зрения обработки информации.

Разработка модуля анализа полок

Анализ полок в ритейле сводится к задаче многоклассового детектирования с высокой плотностью объектов. Система должна уметь идентифицировать каждый товар по SKU, сопоставлять полученный результат с эталонной планограммой и одновременно проверять корректность ценников.

Работа строится по циклу:

• камера фиксирует изображение полки,

• детектор выделяет bounding box для каждого объекта,

• классификатор относит его к определенному SKU,

• алгоритм сравнивает фактическое расположение товаров с планограммой.

Любое расхождение фиксируется: отсутствующий или перемещенный товар, неправильный ценник либо его отсутствие.

Задачу осложняет высокая схожесть упаковок, регулярные изменения дизайна, использование промо-стикеров и разные условия освещения. Часто встречаются и окклюзии — покупатели или тележки закрывают часть полки. Для повышения точности применяются ансамбли моделей и регулярное дообучение на новых данных.

Отдельное направление — работа с ценниками. Здесь важно определить, что ценник действительно соответствует товару, под которым он размещен. Для этого используется связка алгоритмов классификации и OCR: сначала определяется расположение текстовой зоны ценника относительно bounding box товара, затем распознанный текст сверяется с базой магазина. Ошибки типа «ценник под другим товаром» или отсутствие ценника система фиксирует автоматически.

Еще один важный элемент — анализ направления взгляда покупателей. Модели ИИ определяют позу головы и плеч относительно полки, что позволяет строить карту «точек внимания». Таким образом можно понять, какие сегменты полки реально привлекают клиентов, а какие остаются незамеченными. Эти данные дополняют продажи и помогают оптимизировать планограмму не только по результату, но и по уровню интереса в торговом зале.

Все вычисления выполняются на основе стандартных IP-камер с разрешением от 1080p. Алгоритмы не требуют ручной калибровки по углу и высоте установки, система адаптируется к разным геометриям сцены. Обработка ведется в режиме реального времени и поддерживает десятки параллельных потоков. В расширенной конфигурации модуль анализа полок объединяется с мультикамерным трекингом и распознаванием действий сотрудников: можно отследить, кто и когда выполнял операцию по наполнению полки.

К чему идет «умный магазин»

В ближайшие годы эволюция «умного магазина» будет связана с созданием цифрового двойника торгового зала. Речь идет о комплексной системе, которая в реальном времени отображает все происходящее: от 3D-модели магазина с потоками посетителей и маршрутами персонала до состояния каждой полки и корректности ценников.

Такой цифровой слой позволит ритейлу перейти к принципиально новому уровню управления. Аналитика в реальном времени даст возможность не только фиксировать события, но и сразу же реагировать: перестраивать выкладку, корректировать графики сотрудников, менять цены динамически в зависимости от спроса.

‍