Для решения задачи была разработана комплексная платформа видеоаналитики, которая контролирует основные процессы складского комплекса: обслуживание фур, движение паллет, заполненность зон хранения, активность сотрудников и использование погрузочной техники.

В основе решения лежит модуль компьютерного зрения, который непрерывно обрабатывает видеопотоки с камер. Нейросетевые модели определяют целевые объекты, а алгоритмы трекинга отслеживают их перемещение между зонами. Полученные координаты, классы и временные метки преобразуются в понятные бизнес-события.

Система фиксирует не просто появление объекта в кадре, а завершенные или продолжающиеся складские операции: прибытие фуры в конкретный док, перемещение паллеты между зонами, превышение нормативного времени обслуживания, простой погрузчика или появление человека в опасной зоне.

Все события сохраняются в единой базе данных, отображаются в веб-интерфейсе и используются для построения отчетов. Благодаря этому ИИ в складской логистике становится частью ежедневной работы операторов, логистов и руководителей склада.

Архитектура системы мониторинга

Решение разделено на несколько взаимосвязанных компонентов: IP-камеры, CV-модуль, backend, база данных, frontend и интеграционные сервисы.

Камеры, установленные в зонах погрузки, разгрузки, хранения и перемещения товаров, передают RTSP- или HTTP-потоки на сервер обработки. Системы компьютерного зрения анализируют видеоряд, детектируют объекты и отслеживают их перемещение в реальном времени.

Серверная часть системы принимает события от модуля компьютерного зрения, обрабатывает их по заданным правилам и сохраняет в базе данных. Она определяет, относится ли зафиксированное действие к штатной операции, отклонению или потенциально опасной ситуации, а также обеспечивает обмен данными с 1С, WMS и другими внешними информационными системами.

Система хранит текущее состояние склада и полную историю операций: какие фуры находятся у доков, где расположены паллеты, какая техника работает, а какая простаивает. Эти данные используются для оперативного контроля и последующего анализа.

Вся информация выводится в едином веб-интерфейсе — в виде панелей мониторинга, таблиц, карты склада, уведомлений и графиков. Новые события появляются автоматически, поэтому оператору не нужно вручную обновлять страницу.

Архитектура решения рассчитана на масштабирование. При подключении новых камер и зон можно увеличивать вычислительные мощности без полной переработки системы, сохраняя единый интерфейс, базу данных и логику работы.

Преобразование видеопотока в бизнес-события

Нейросетевая модель определяет, какие объекты находятся в кадре и где именно они расположены. Однако для управления складом недостаточно знать, что камера обнаружила фуру, человека или паллету.

Поэтому поверх интеллектуальной видеоаналитики был реализован отдельный слой бизнес-логики. Он сопоставляет результаты распознавания с виртуальными зонами, временными интервалами, идентификаторами объектов и данными учетных систем.

Например, последовательное присутствие фуры в зоне дока преобразуется в событие прибытия. Длительное отсутствие движения погрузчика — в событие простоя. Появление паллеты в новой зоне — в операцию внутреннего перемещения.

В результате система формирует понятные пользователю события:

• фура прибыла в док;
• погрузка или разгрузка началась;
• нормативное время обслуживания превышено;
• паллета перемещена в новую зону;
• товар размещен не по плану;
• погрузчик простаивает;
• человек вошел в опасную зону;
• зафиксировано опасное сближение человека и техники.

В результате прикладная видеоаналитика не просто фиксирует происходящее на складе, а автоматически определяет конкретные операции, отклонения и потенциально опасные ситуации.

Мониторинг фур и погрузочных доков

Для каждого дока в системе настраивается отдельная контрольная зона. Камера фиксирует появление грузового автомобиля и автоматически определяет, к какой погрузочной рампе он подъехал.

В базе данных сохраняются время прибытия, номер дока и продолжительность нахождения автомобиля в зоне. Если идентификатор или номер фуры поступает из 1С либо вводится оператором, событие связывается с конкретной заявкой на приемку или отгрузку.

После прибытия система продолжает отслеживать активность вокруг фуры. Анализируется движение людей и складской техники, на основании которого фиксируются начало и окончание погрузки или разгрузки.

В интерфейсе отображаются:

• состояние каждого дока;
• идентификатор или номер фуры;
• время прибытия;
• длительность стоянки;
• текущий этап обслуживания;
• превышение установленного норматива.

Если автомобиль находится в доке дольше допустимого времени, система создает предупреждение для логиста или оператора. История операций используется для расчета средней продолжительности погрузки и разгрузки, загруженности доков и количества задержек.

Такой мониторинг позволяет выявлять узкие места и оценивать работу погрузочных зон на основе фактических временных показателей.

Контроль перемещения паллет и товаров

Система распознает паллеты в зонах приемки, отгрузки, хранения и основных складских проходах. Для каждой камеры задаются логические области, соответствующие физическим участкам объекта.

Когда паллета перемещается по складу, система на базе компьютерного зрения автоматически определяет, из какой зоны и в какую она была доставлена, и сохраняет время операции вместе с данными о грузе. Для распознавания конкретной паллеты используются QR-коды или ArUco-метки: они считываются с видеопотока либо на отдельной точке контроля с камерой высокого разрешения.

После распознавания идентификатора система получает из 1С сведения о товаре, партии, заказе, плановом местоположении и ответственных сотрудниках.

Фактическая операция сопоставляется с учетным заданием. Если паллета должна быть направлена на один стеллаж, но система машинного зрения фиксирует ее в другой зоне, то регистрируется отклонение.

Это позволяет связать складской учет с физическим движением товаров и сократить количество незарегистрированных или ошибочных перемещений.

Контроль стеллажей и складских ячеек

Для зон хранения реализован контроль заполненности стеллажей и отдельных ячеек.

Система сопоставляет текущее изображение секции с ее предыдущим состоянием и определяет, где появился или исчез объект. При калибровке изображения относительно конструкции стеллажа координаты паллеты связываются с номером ряда, уровня и конкретной ячейки.

‍

‍

Также поддерживается комбинированный сценарий: сотрудник подтверждает место размещения через терминал или сканер, а видеоаналитика проверяет, действительно ли паллета была установлена в указанную ячейку.

В веб-приложении формируется карта склада, где отображаются занятые и свободные позиции, количество паллет по зонам и последнее зарегистрированное перемещение.

Для каждой паллеты можно открыть историю операций и увидеть:

• откуда и куда она была перемещена;
• когда выполнена операция;
• в какой ячейке она находится;
• какому товару или заказу соответствует;
• совпадает ли фактическое местоположение с учетным.

Выявление залежавшихся паллет

База данных хранит дату и время последнего движения каждой паллеты. Для отдельных зон и категорий товаров устанавливается допустимый период нахождения без операций.

Если паллета остается на одном месте дольше установленного срока, она автоматически получает статус «залежавшаяся». Информация выводится в отдельный отчет, а ответственному сотруднику направляется уведомление.

Периодическая видеоинвентаризация позволяет дополнительно сверять фактическую заполненность стеллажей с данными системы. Так складская аналитика помогает выявлять товары без движения, ошибки размещения, неактуальные остатки и ячейки, состояние которых не соответствует учетной системе.

Мониторинг персонала

CV-модуль обнаруживает людей и рассчитывает их количество в контрольных зонах. Основное внимание уделяется погрузочным платформам, транспортным проходам и участкам, где персонал пересекается с движущейся техникой.

Для каждой зоны фиксируются количество людей, время входа и выхода, общая продолжительность пребывания и превышение допустимой численности.

Система также регистрирует появление человека в опасной или закрытой зоне, а также присутствие персонала в нерабочее время. При обнаружении нарушения формируется тревожное событие. Распознавание лиц не используется: мониторинг построен на небиометрической детекции и трекинге людей.

Накопленные данные позволяют анализировать загрузку участков и маршруты сотрудников. Руководитель видит, где персонал проводит больше времени, в каких зонах регулярно возникают задержки и насколько равномерно распределяется рабочая нагрузка.

Мониторинг складской техники

Модель распознает вилочные погрузчики, штабелеры, тележки и другие виды складской техники. Для каждой единицы определяется текущее местоположение и последовательность перемещений между зонами.

Алгоритмы трекинга позволяют разделять активную работу и простой. Если техника находится без движения дольше заданного интервала, система создает событие и учитывает его в итоговой статистике.

В интерфейсе отображаются местоположение, статус и текущая активность каждого погрузчика. За смену рассчитываются:

• время активной работы;
• продолжительность простоев;
• количество перевозок;
• распределение нагрузки;
• доля полезного использования;
• нахождение в отдельных зонах.

Эти данные помогают определить, действительно ли складу не хватает техники, или существующий парк используется неэффективно из-за несогласованных заданий и ожидания.

Контроль опасных сближений

Система анализирует взаимное положение людей, погрузчиков и других движущихся объектов.

‍

‍

Если погрузчик приближается к человеку или другой технике на опасное расстояние, фиксируется потенциально рискованное событие. Оператор получает уведомление в веб-интерфейсе, а при подключении Telegram-бота сообщение направляется ответственному сотруднику.

Для снижения количества ложных срабатываний учитывается не только расстояние между объектами, но и их положение относительно зон, направление движения и длительность сближения.

Так внедрение видеоаналитики дополняет существующие меры безопасности объективной регистрацией потенциальных инцидентов.

Подготовка датасета и обучение моделей

Для работы решения был подготовлен специализированный датасет, отражающий реальные условия склада.

Изображения и видеоряды размечались в средах разметки прямоугольными рамками, сегментацией и другими видами разметки. В датасет включались разные зоны, ракурсы, условия освещения и сложные сцены с частичными перекрытиями.

Особое внимание уделяется кадрам, где паллета находится на вилах погрузчика, человек частично закрыт грузом или несколько единиц техники движутся рядом.

Для каждого базового класса предусмотрено не менее 6 000 изображений. Модели компьютерного зрения дообучаются на данных конкретного объекта.

Качество распознавания оценивалось по показателям Precision, Recall и mAP. Такой подход позволил адаптировать технологии компьютерного зрения к фактической геометрии склада, расположению камер и особенностям движения объектов. Поэтому распознавание дополнено алгоритмами DeepSORT, мультикамерной связки и ReID. Каждый обнаруженный объект получает временный идентификатор, который сохраняется между последовательными кадрами.

При работе с несколькими камерами события объединяются на серверной стороне с учетом временных меток, зон и идентификаторов.

Интеграция с 1С и WMS

Один из ключевых компонентов проекта – разработка интеграций с корпоративными учетными системами.

Из 1С и WMS система получает сведения об ожидаемых поставках, фурах, заказах, паллетах, номенклатуре, партиях и плановых перемещениях.

Видеоаналитика подтверждает фактическое выполнение операции. После прибытия автомобиля, размещения паллеты или завершения перемещения соответствующее событие передается обратно в учетную систему.

Если операция не соответствует плану, создается отклонение. Например, система может определить, что паллета перемещена в другую зону или фура обслуживается значительно дольше установленного времени.

Интеграция с системой «Честный Знак»

После считывания кода система получает сведения о маркированном товаре и партии и связывает их с конкретным перемещением паллеты. Код проверяется, после чего данные о выполненной операции передаются в 1С и при необходимости в систему «Честный Знак».

В результате сохраняется полная последовательность операции:

код считан → товар определен → операция проверена → перемещение зафиксировано → данные обновлены в учетной системе.

Такая интеграция информационных систем сокращает ручной ввод и обеспечивает прослеживаемость маркированных товаров.

Централизованный веб-интерфейс

Для операторов, логистов и руководителей выполнена разработка веб-приложений с доступом через браузер. Главный экран представляет собой дашборд склада, на котором отображаются занятость доков, активные фуры, количество паллет по зонам, состояние техники, загрузка персонала и текущие предупреждения.

Данные обновляются через WebSocket, поэтому события появляются в интерфейсе практически сразу после их фиксации.

Отдельный журнал содержит историю всех операций. Пользователь может отфильтровать записи по дате, объекту, зоне, типу события или уровню критичности.

Для конкретной фуры, паллеты или единицы техники можно открыть карточку и восстановить полную последовательность событий.

Разработанный управленческий дашборд объединяет оперативный контроль и накопленную статистику:

• По фурам рассчитываются среднее время обслуживания, загрузка доков, количество задержек и доля операций с превышением норматива.
• По паллетам отображаются история перемещений, заполненность зон, залежавшиеся товары и расхождения с учетными данными.
• По персоналу анализируются количество людей в зонах, продолжительность пребывания и распределение нагрузки.
• По технике рассчитываются активное время, простои, количество перевозок и эффективность использования.

Реализованная автоматизация отчетности снижает зависимость от ручных сводок и предоставляет руководству актуальные данные по каждой смене, дню или выбранному периоду.

В дальнейшем накопленная информация используется для оптимизации работы склада и складских технологий: корректировки нормативов, перераспределения ресурсов, изменения маршрутов и устранения повторяющихся задержек.

‍