MACROSCOP: Обнаружение оставленных предметов

Современные программные комплексы предоставляют целый спектр инструментов для ситуационного контроля объектов различного рода. В рамках обеспечения антитеррористической безопасности в большинстве видеосистем, размещенных в  общественных местах (безопасных городов, банков, торговых центров, рынков, вокзалов, аэропортов, метро) большой популярностью пользуется детектор оставленных предметов. Детектор позволяет регистрировать объекты, которые находились в движении, а затем  остановились на заданный промежуток времени.  

В настоящее время выделяют два класса алгоритмов, позволяющих решить задачу обнаружения оставленных предметов:
• алгоритмы, основанные на поиске объектов переднего плана;
• алгоритмы, основанные на трекинге (слежении за движущимися объектами).

Рассмотрим эти классы подробнее.

Детектирование оставленных предметов с помощью поиска объектов переднего плана

Передним планом называются все движущиеся объекты кадра, все остальные неподвижные пиксели образуют фон. 
Данный метод использует две модели фона: краткосрочную (быстроменяющуюся, быструю) и долгосрочную (медленноменяющуюся, долгую), каждая из них имеет свою скорость и время обновления. 
Время обновления краткосрочной модели фона очень мало, то есть все изменения текущего кадра по сравнению с предыдущими очень быстро фиксируются в меняющемся краткосрочном фоне. Если в кадре появился новый объект в движении, он не станет фоном, но если объект остановился и стал неподвижным (а это чаще всего и есть оставленный предмет), он объединится с неподвижным фоном кадра. Таким образом, краткосрочный фон позволяет определить, что в кадре присутствовало движение (находился движущийся объект), а сейчас этого движения нет (объект стал статичным и слился с фоном). 
Использование только краткосрочной модели невозможно, так как неподвижный объект (предположительно оставленный предмет) очень быстро «исчезает» - объединяется с фоном, и отследить время его покоя невозможно. Поэтому алгоритм использует одновременно с краткосрочной долгосрочную модель фона. Долгосрочная модель фона меняется гораздо медленнее, новые объекты, попадая в нее, еще некоторое время остаются передним планом и только через продолжительное время становятся фоном.  Долгая модель фона используется для того, чтобы детектировать оставленный объект, оценить, что он попал в сцену некоторое время назад, а не являлся исходным фоном.
Оператор системы может задать время, через которое предмет будет считаться оставленным. Получив эти данные, система вычислит коэффициент, который скорректирует время обновления долгосрочного фона.
Логика работы метода представлена на рисунке 1.  Каждый пиксель текущего кадра сравнивается с соответствующими пикселями долгосрочного и краткосрочного фона. Далее в зависимости от результата сравнения строится гипотеза.

Рис. 1. Логика работы детектора оставленных предметов, использующего метод поиска объектов переднего плана.

Детектирование оставленных предметов с помощью трекинга

При использовании алгоритмов трекинга для обнаружения оставленных предметов система детектирует как предмет, так и человека который этот предмет оставил, а точнее система детектирует разделение одного движущегося объекта на два: статичный и движущийся, затем следит за статичным объектом. 
В подходе с использованием трекинга также первым шагом является выделение фона. Далее система строит траектории всех движущихся объектов в кадре, а затем фиксирует «разделение» движущегося объекта на два, один из которых продолжает движение, а другой остается статичным. Программа анализирует скорости, направления движения объектов, их цветовые характеристики, затем эти данные используются для сопоставления предмета и человека при их «разделении» на 2 объекта.

Рис. 2. Обнаружение оставленного предмета и его владельца

Сравнение методов

Каждый из методов имеет свои преимущества и свои слабые места. О них подробнее:
1. Работа в толпе. Алгоритмы, основанные на поиске объектов переднего плана, в этой ситуации показывают высокие результаты при корректной установке истинного фона. Это возможно в том случае, когда фон попадает в кадр полностью на некоторое время, то есть фон не все время съемки перекрывается толпой. Для метода, использующего алгоритмы трекинга, при работе в толпе возникают сложности с выделением отдельного движущегося объекта.
2. Ресурсоемкость. Сложность процессов обработки информации и, как следствие, ресурсоемкость метода, использующего трекинг, выше. Системе необходимо определить фон, детектировать движущиеся объекты, выделить характеристики движения и объектов (цветовые характеристики, скорость, направление движения), рассчитать вероятность перехода объекта из одной точки предыдущего кадра в другую точку текущего для верного присвоения траектории перемещения при одновременном движении в кадре нескольких объектов. На проведение всех этих вычислений требуются большие вычислительные мощности. 
3. Сложные ситуации, в которых возможны пропуски оставленных предметов. Для метода, основанного на поиске объектов переднего плана, сложности возникают при невозможности корректного определения фона (при работе в толпе, при работе в условиях частичного изменения освещенности). Для метода, основанного на трекинге, сложными являются сцены с высокой интенсивностью движения,  перекрытиями движущихся объектов другими объектами, временной потерей объекта из поля зрения камеры.
4. Ложные срабатывания. Для двух методов ложные срабатывания возможны при задержке человека в кадре на время, равное времени, через которое предмет будет считаться оставленным. Объясняется это тем, что система не в силах отличить человека (особенно если этот человек принимает позу, в которой программе сложно его идентифицировать, например, садится) от потенциально интересующего объекта. Бороться с этой сложностью можно с помощью объединения детектора с классификатором, способным распознавать категории объектов и отличать человека в любом положении от прочих предметов.
5. Детектирование человека, который оставил предмет возможно в методе, использующем трекинг. Также метод позволяет получить данные о всех перемещениях этого человека в поле зрения камеры. Оператор системы может найти человека, который принес оставленный предмет, а далее использовать другие интеллектуальные функции (например, межкамерный трекинг или «перехват») для того, чтобы отследить его.

Модификации метода, основанного на поиске объектов переднего плана

Сравнительный анализ методов показывает, что наиболее устойчивым и менее ресурсоемким является алгоритм, использующий выделение объектов переднего плана, однако он нестабилен в условиях высокой интенсивности движения и при изменении условий съемки (например, изменении освещенности). Для того чтобы минимизировать влияние изменений условий съемки разработчики программных продуктов реализовали следующее улучшение.

Улучшение способа обновления фона. Детекция движения

Использование детектора движения улучшает стабильность работы алгоритма в меняющихся условиях съемки (например, при изменении освещенности).  В результате работы детектора движения программа выделяет рамку движущегося объекта, затем создает маски из рамок всех движущихся объектов кадра.  Обновление фона происходит только в тех областях кадра, где нет движущихся объектов, в тех областях кадра, где присутствуют маски движущихся объектов, обновление не происходит.

Проверка на статичность

Для уменьшения количества ложных срабатываний и повышения точности работы детектора оставленных предметов используется дополнительная проверка объекта на статичность.  Данная модификация позволяет исключить временно статичные предметы, не представляющие интерес для оператора системы.  Для проверки статичности программа выделяет рамку потенциального оставленного предмета, запоминает ее положение. Далее при поступлении нового кадра также выделяется рамка статичного предмета, ее координаты сравниваются с значениями сохраненных координат. Если после сравнения получен положительный результат (то есть рамки примерно совпали), то проверка повторяется еще несколько раз (количество проверок зависит от необходимого времени обнаружения оставленного предмета). Если после сравнения получен отрицательный результат (то есть рамки не совпали), то счетчик проверок обнуляется, а сохраненная рамка удаляется.

Критерии выбора

Существующие сегодня детекторы обнаружения оставленных предметов используют в своей основе преимущественно два метода: в основе одного из них лежит работа алгоритмов трекинга (построения траекторий перемещения движущихся объектов), другого – алгоритмы, осуществляющие поиск объектов переднего плана. Каждый из методов имеет свои особенности и условия применимости.
Главным преимуществом детектора, основанного на трекинге, является возможность обнаружения человека, оставившего предмет, однако этот метод предъявляет высокие требования к производительности системы, дает сбои при наблюдении за сценами с высокой интенсивностью движения. Метод, основанный на поиске объектов переднего плана, показывает высокую точность детектирования оставленных предметов при условии корректной установки исходного фона, это значит, что если система «увидит» чистый фон сцены хотя бы на нескольких секунд, детектор будет показывать высокие результаты обнаружения оставленных предметов. Кроме того, детектор обладает низкой ресурсоемкостью, а разработанные модификации данного метода повышают точность детектирования и снижают количество ложных срабатываний.
Материал опубликован в журнале «Системы Безопасности» №4, 2014