Информация о проекте
Название Проекта
Разработка алгоритма локализации контрастных объектов в видеопото-ке для индексации видеофайлов с помощью распределенных вычислений на многоядерных кластерных системах и графических процессорах
Объявленные ранее цели Проекта на 2014 год
Конкретной фундаментальной задачей Проекта является: Разработка математического ап-парата, алгоритмов, позволяющих локализовать в видеопотоке наиболее информативные объ-екты и распознавать их, генерировать характеристические сцены с помощью высокопроизводительных вычислений
В течение 2014 года планировалось:
1. Разработать метод кластеризации данных на кластеры произвольной формы с помо-щью анализа результатов препроцессинга данных с помощью двумерной самооргани-зующейся карты признаков.
2. Разработать метод классификации текстур с помощью нечеткой модели, основанный на предварительной кластеризации векторов текстурных характеристик паттернов ка-ждого класса.
3. Разработать математическую модель генерации карты фокусировки внимания, моди-фицировав архитектуру модели нисходящего внимания университета южной Кали-форнии, добавив в её состав канал анализа динамики сцены.
4. Разработать параллельные алгоритмы формирования карты внимания кадров видеопо-тока для GPU- и многопоточных CPU-вычислений.
5. Разработать математическую модель детектирования разрывов в видеофайлах путем анализа динамики перемещения значимых и контрастных объектов.
6. Протестировать разработанные методы с помощью реализованных модулей информа-ционной системы.
Степень достижения поставленных в Проекте целей
В течение 2014 года решены следующие задачи:
1. Кластеризация данных на кластеры произвольной формы. Метод основан на анализе межкластерных расстояний для групп векторов, ассоциированных с соседними нейронами в самоорганизующейся карте признаков.
2. Построена архитектура нечеткой модели, классифицирующей типы текстур, основанная на статистическом распределении векторов, попавших в кластеры, ассоциированных с паттернами класса текстур.
3. Модифицирована архитектура системы восходящего внимания путем включения до-полнительного канала, обрабатывающего разницу карт интенсивности соседних кадров в ви-деопотоке.
4. Спроектирован параллельный алгоритм функционирования системы внимания с помо-щью вычислений на многопоточных CPU и GPU.
5. Разработан алгоритм детектирования разрывов в видеофайлах, основанный на анализе динамике перемещения контрастных регионов сцены.
6. Программная реализация и тестирование разработанных методов и алгоритмов. Прове-дены эксперименты на реальных данных, подтвердившие работоспособность методов, и позво-лившие сделать выводы об их перспективности для высокопроизводительной индексации ви-деоинформации.
Таким образом, цели, поставленные на 2014 год, достигнуты.
Полученные в 2014 году важнейшие результаты
1.Метод кластеризации на кластеры произвольной формы. Метод позволяет получать кла-стеры произвольной формы, основываясь на знании близости векторов, расположенных в со-седних узлах самоорганизующейся карты признаков. Первоначально данные кластеризуются с помощью самоорганизующейся карты признаков, далее запускается процедура отбраковки «мертвых нейронов» - кластеров, не содержащих векторов, а затем для оставшихся кластеров рассчитывается среднее внутрикластерное расстояние между точками. После чего кластеры, расположенные в соседних узлах карты, обладающие близкими значениями внутрикластерных расстояний, а также обладающие точками (векторами из выборки на границе кластеров), рас-стояние до которых от обоих центров сравнимо с внутрикластерным расстоянием объединяют-ся в один.
2.Архитектура нечеткой модели классификатора текстур. Кластеры самоорганизующейся карты признаков для векторов выборки изображений текстур соответствуют одному правилу вывода в системе нечеткого вывода типа синглтон. В качестве функций принадлежностей не-четких множеств, отражающих степень уверенности попадания в кластер, используется норма-лизованная гистограмма распределения векторов текстурных характеристик, попавших в этот кластер.
3.Архитектура модели восходящего внимания с учетом перемещения объектов в видеопо-токе. К оригинальной модели университета Южной Калифорнии добавлен канал, функциони-рующий аналогично каналу расчета контраста интенсивности, однако его входом является раз-ность между интенсивностью соседних кадров. Добавленный таким образом канал, позволяет оценить контраст по степени изменения положения региона сцены относительно его начально-го положения.
4. Параллельный алгоритм функционирования модели внимания для многопоточных CPU предполагает распределение доступа к разным фрагментам кадра видео в одно и то же время, реализация же параллельной версии для GPU за счет использования трёхмерной структуре грид и генерации большого числа потоков позволяет упаковать тысячи кадров в глобальную память и производить расчет фокуса внимания для них разными потоками.
5.Модель детектирования разрывов в видеофайлах. Базируется на предположении, что контрастные регионы сцены не могут одновременно измениться в кадрах, принадлежащих од-ной и той же сцене. Система внимания определяет регионы контраста на текущем и соседнем кадре, получает текстурные и цветовые характеристики регионов и определяет соответствие между найденными регионами на разных кадрах. При одновременном изменении положения и характеристик регионов внимания делается вывод о разрыве в видео.
6. Разработаны следующие модули информационной системы: кластеризации, построения нечеткого классификатора типов текстур, поиска фокуса внимания в видеопотоке, детектирования разрывов в видеофайлах. Для оценки производительности алгоритмов детектирования разрывов видео использовалось несколько типов видеофайлов с разным медиаконтентом и разного качества, тестирование моделей кластеризации и классификации по типам текстурных характеристик производилось для выборок больших спутниковых снимков, содержащих разные типы облачности, а также для кадров, полученных от камеры мобильной робототехнической системы.
Степень новизны полученных результатов
Для кластеризации векторов текстурных характеристик разработан новый метод, осно-ванный на объединении кластеров, найденных самоорганизующейся картой признаков. Осо-бенностью предлагаемого метода является то, что использование информации о взаимном рас-положении векторов внутри соседних кластеров в узлах карты позволяет судить о возможности из объединения соседних кластеров в один суперкластер, формируя тем самым кластеры произвольной формы. При этом производительность метода значительно выше известного метода DBSCAN, т.к. для формирования кластеров вектора уже сгруппированы в зависимости от расстояния между ними.
Разработанный авторами проекта оригинальный метод построения нечеткой системы в отличие от многих методов равномерного покрытия более точно передает области пространст-ва, ассоциированные с классами текстур обучающей выборки, так как функции принадлежно-сти для текстурных характеристик и нечеткие правила принадлежности к классу выводятся из кластеров, полученных самоорганизующейся картой признаков. Это позволяет локализовать фрагменты пространства признаков (классы текстур) любой формы и не обязательно даже свя-занные.
Новизна модифицированной структуры архитектуры внимания заключается в оценке не только статических характеристик кадра сцены, но и исследовании динамики перемещения её фрагментов, так как движение является также важным компонентом внимания, позволяющем судить о степени важности как перемещающихся объектов. Оценка динамики сцены произво-дится построением карты особенностей движения, сам же вход канала движения является раз-ностью карт интенсивностей соседних кадров видео.
Разработанный метод детектирования разрывов в видеофайлах основан на исследовании фрагментов максимального контраста соседних кадров по характеристикам ориентации, цвето-вой гамме, интенсивности и движения. Решение о локализации разрыва в видеофайле принимается, если не будет обнаружено ни одного из регионов контраста, найденного ранее. Исходя из того, что разница между соседними кадрами одной и той же сцены мала, при наличии разрыва видео регионы контраста резко изменяются. Такое сравнение предложено выполнять путем исследования корреляции векторов текстурных признаков регионов контраста соседних кадров. Метод предложен впервые.
Сопоставление полученных результатов с мировым уровнем
Существующий метод кластеризации на кластеры произвольной формы отличается от существующих (DBSCAN, OPTICS, DENCLUE) тем, что использование предлагаемого метода в процессе получения первоначального наброска структуры кластеров уже производит упоря-дочивание всех векторов друг относительно друга, не выполняя трудоемких сравнений рас-стояний между всеми векторами выборки. Объединение гиперсфер карты признаков произво-дится на основе поиска небольшого количества граничных точек между соседними кластерами, что не требует значительных вычислительных ресурсов.
Если сравнивать предлагаемый метод построения нечеткой системы для классификации при-знаков с другими алгоритмами идентификации нечетких систем (пчелиные методы представлены в трудах D. Karaboga, B. Akay, D.T. Pham, A. H. Darwish, E.E. Eldukhri, S. Otri, D. Teodorović, L. P. Wong, Y. H. Low, C. S. Chong, адаптивные эволюционные стратегии для идентификации нечетких систем - П. Афонин, A. Ashish, J. Brownlee, J. Dhiraj, V. A. Dirk, B. Hans–Georg, D.
Kalyanmoy , A. Nabout.), то особенностью является локальная настройка функций принадлеж-ности и правил системы. Каждый класс представлен правилами, полученными самоорганизую-щейся картой признаков, в высокой степени, передающей форму распределения обучающих векторов класса. Функции принадлежности для кластеров строятся на основе статистического распределения, а не на основе равномерного покрытия, что также повышает адекватность мо-дели. Новые функции принадлежности и правила для новых кластеров добавляются по мере надобности пользователем системы и не нарушают работу предыдущих правил.
Модель университета Южной Калифорнии построена для локализации фокуса на статических изображениях (Koch C., Ullman S., Itti L.). Предлагаемая модификация учитывает изменение интенсивности пикселей на смежных кадрах, т.е. локализация фокусировки зависит также от степени движения фрагментов сцены.
Для решения задачи детектирования разрывов в видеофайлах исследователи предлагают использовать анализ глобальных и локальных гистограмм изображения (Kasturi R., Jain R., Miyatake S., Yoshizawa S.), векторы движения (Ueda H., Shahraray B.), перемещения границ (Zabih R., Miller J., Mai K.), изменение оттенков пикселей (Zhang H.J., Kankanhalli A., Smoliar S.W.), однако если предлагаемые решения ставили своей целью диагностировать разрыв, то в предлагаемой авторами модели – обнаружение разрыва идёт как дополнительная опция к алго-ритму локализации фокуса. Т.к. в предлагаемый алгоритм в любом случае находит расположе-ние контрастных регионов для более высокоуровневой обработки, то сравнение таких регио-нов на смежных кадрах на требует значительных дополнительных ресурсов.
Методы и подходы, использованные в ходе выполнения Проекта (описать, уделив осо-бое внимание степени оригинальности и новизны)
1.Кластеризация типов текстур фона и контрастных регионов осуществляется новым ме-тодом, объединяющим узлы самоорганизующейся карты признаков, исходя внутрикластерного расстояния и расположения граничных векторов соседних узлов.
2. Нечеткая система типа синглтон, служащая для классификации типов текстур фона и контрастных регионов, строится на основе нового метода, основанного на кластеризации векторов каждого класса текстур самоорганизующейся картой признаков, а далее ассоциирования каждого кластера с нечетким правилом. При этом функции принадлежности для текстурных характеристик, выражающие степень принадлежности к классу получаются из нормализованных гистограмм компонент векторов, попавших в кластер.
3. Для оценки контраста динамики перемещения объектов на сцене используется модифи-кация существующей архитектуры восходящего внимания с добавленным каналом, анализи-рующим разницу карт интенсивностей соседних кадров видео.
4. Для решения задачи детектирования разрывов в видеофайлах впервые была использо-вана разработанная система локализация регионов внимания. Принятие решения о разрыве происходит, когда на смежных кадрах детектированы разные контрастные регионы.
Библиографический список всех публикаций по Проекту, опубликованных в 2014 году, в порядке значимости: монографии, статьи в научных изданиях, тезисы докладов и материалы съездов, конференций и т.д.
1. Астафуров В.Г., Аксёнов С.В., Евсюткин Т.В. Классификация перистой облачности по дан-ным MODIS c помощью нечеткой нейронной сети // Современные проблемы дистанционного зондирования Земли из космоса. - №3. - Т.11 – 2014. – С.265-275.
2.Потапьев И.А., Аксёнов С.В. Распознавание объекта в сцене на основе модели непроизволь-ного внимания с использованием OpenCL // Технологии Microsoft в теории и практике про-граммирования: сборник трудов XI Всероссийской научно-практической конференции студен-тов, аспирантов и молодых ученых, г.Томск, 23-24 апреля 2014 г. / Национальный исследова-тельский Томский политехнический университет (ТПУ), Институт кибернетики ; ред. кол. А. В. Лиепиньш и др.. - Томск: Изд-во ТПУ, 2014. — С. 97-99.
3.Аксёнов С.В., Костин К.А., Скороходов А.В. Использование фильтров Лавса для классификации текстур на GPU // Сборник трудов XV Международной научно-практической конференции «Техника и технология: новые перспективы развития». М: Спутник+, 2014 – С.14-20.
4.Astafurov V.G., Axyonov S.V., Evsyutkin T.V. Applying the Self-organizing maps for recognition cirrus clouds on satellite imagery of MODIS Proceedings of the 20th International Symposium on At-mospheric and Ocean Optics: Atmospheric Physics - SPIE 9292. Доступ: http://spie.org/Publications/Proceedings/Paper/10.1117/12.2074715. – 2014.
5.Аксёнов С.В., Лайком Д.Н., Костин К.А. Генерация классификатора текстур на основе рас-пределения текстурных характеристик примеров обучающей выборки // Издательство Белорус-ского государственного университета информатики и радиоэлектроники, Information Technologies and Systems 2014 (ITS 2014): Proceedings of the International Conference, - 2014. - C.78-81.
6. Чеботарева Е.Н., Аксёнов С.В. Нахождение заданного объекта на видео с помощью парал-лельных вычислений // Молодежь и современные информационные технологи: труды XII Международной научно-практической конференции студентов, аспирантов и молодых ученых, Томск, 2014. – Томск: Издательство ТПУ, 2014. – Т.2. – С. 294-296
7. Аксёнов С.В., Лайком Д.Н. Модификация алгоритма извлечения текстурных характеристик с помощью вычислений на графических процессорах // Суперкомпьютерные технологии (СКТ-2014): Материалы 3-й Всероссийской научно-технической конференции. – Таганрог: Изд-во ЮФУ, 2014. – C.231-234.
|
Расписание
