МОДУЛЬ 2. Теоретические основы дополненной реальности

Теория компьютерного зрения (англ. computer vision) является основополагающей для развития технологий дополненной реальности, и прежде всего в области использования маркеров. Основное направление данной дисциплины — это анализ и обработка изображений (в том числе и видеопотока). Алгоритмы компьютерного зрения позволяют выделять ключевые особенности на изображении (углы, границы области), производить поиск фигур и объектов в реальном времени, выполнять 3D реконструкцию по нескольким фотографиям и многое другое.

В области дополненной реальности алгоритмы компьютерного зрения используются для поиска в видеопотоке специальных маркеров. В зависимости от задачи, в качестве маркера могут выступать как специально сформированные изображения, так и лица людей. После нахождения маркера в видеопотоке и вычислении его местоположения, появляется возможность построения матрицы проекции и позиционирования виртуальных моделей. С помощью них можно наложить виртуальный объект на видеопоток таким образом, что будет достигнут эффект присутствия. Основная сложность как раз и состоит в том, чтобы найти маркер, определить его местоположение в кадре и спроецировать соответствующим образом виртуальную модель.

За последнее десятилетие была создана большая теоретическая база в сфере обработки изображений и поиска на нём различных объектов. В данном разделе рассмотрим основы теории компьютерного зрения необходимые для понимания сути алгоритмов технологии дополненной реальности.

Данный модуль носит преимущественно практический характер и содержит разбор следующих тем:

1. Теоретические основы дополненной реальности: разбор алгоритмов распознавания объектов и маркеров 2. Введение в Numpy 3. Распознавание маркеров ArUco 4. Дескрипторы и ключевые точки 5. Гомография и наложение виртуальных объектов