Распознавание маркеров ARUCO
Ключевые слова: Target, opencv, matplotlib, numpy, BFMatcher, hist, approxPolyDP, getPerspectiveTransform, warpPerspective, detectMarkers, opencv-contrib-python
Рассмотрим самый простой способ по отслеживанию и наложению виртуальных объектов. Это метод отслеживания распознавания qr-кодов. Рассмотрим алгоритм, который используется для их распознавания и библиотеку python, которая позволит сделать это автоматически.
Для начала подключим библиотеки opencv, matplotlib и numpy и загрузим изображение.
Работать будем с qr-кодами которые называются ARUCO. Это специальные маркеры, которые были придуманы как раз для использования в дополненной реальности. Однако их также используют в робототехнике для позиционирования роботов.
Какой подход будет использован для того, чтобы распознавать маркеры?
Алгоритм будет состоять из нескольких шагов.
Бинаризация исходного изображения. Необходимо сделать такой алгоритм, который будет выделять маркеры со всей картинки только по цвету.
Выделение периметров (контуров) на изображении, которые бы имели квадратную форму, то есть имели всего четыре угла.
Внутри каждого квадрата нужно распознать код.
Начнем с бинаризации. Для того, чтобы бинаризировать изображение, удобно использовать hist. Что показывает хистограмма? По координатам Х — расположены цвета, по координатам У — количество пикселей определенного цвета.
Видим, что больше всего серого цвета, однако можно понять, где стол и наша бумага. Для того, чтобы подробнее понять что к чему относится, попробуем отфильтровать это изображение по порогу разных цветов.
Создаем новое изображение, такого же размера, как исходное, и далее применим к нему фильтр. Он выбирает координаты только тех пикселей на изображении, чье значение меньше 50.
Далее необходимо выделить контур. Контуры выделяются поверх бинарного изображения, для этого в opencv есть специальный метод findContours. В него передаются бинарные изображения, но так как этот метод на вход принимает именно бинарное изображение, а работа проводится в формате grayscale, нужно умножить изображение на 255.
Реализуем метод get_markers. Он выдает только те контура, которые имеют форму квадрата и в которых есть определенные qr-кода. Все остальные контуры нужно отфильтровать. Для этого используется метод approxPolyDP. Он аппроксимирует каждый контур, который он передает под контур квадрата. Убирает лишние точки контура для того, чтобы там оставалось всего четыре. После аппроксимации контура можем попробовать сделать из него идеальный квадрат.
Так нужно оставить квадраты определенной величины, в массив контуров prox попадают только маркеры. Также необходимо, чтобы метод не только возвращал необходимые нам контуры, но и возвращал сами маркеры в оригинальном виде. Для этого берется изображение внутри каждого контура и убирается перспектива. Сейчас маркеры искажены, поэтому их необходимо привести к виду квадрата. Для этого в самом начале данной функции заданы четыре ключевых точки. Верх, низ, лево, право для оригинального квадрата. С помощью метода getPerspectiveTransform считается матрица трансформации, то, как трансформировались изображения. Следующим методом warpPerspective убираем перспективу. В объект dst попадают маркеры уже виде квадратов.
Передаем внутрь бинаризированную картинку.
С изображения вырезались как маркеры, так и лишние квадраты. Чтобы этого избежать, нужно увеличить порог по площади. Сделаем его равным 600 и посмотрим на результат. Помимо этого попробуем сразу бинаризировать картинку, для того, чтобы у нас не было разводов рядом с маркером.
Далее необходимо идентифицировать маркеры. Для этого нужно определить значения каждого бита внутри маркера. Прописывать эту функцию необходимости нет, но рассмотрим каким образом можно перевести изображение 250х250 пикселей к размеру 8х8.
Сгенерируем некоторый массив, в котором будет храниться координата середины площади в изображении 250х250. В opencv есть специальный метод resize, помимо того, что с помощью этого метода можно увеличить изображение, его также можно сжать. Возьмем наши картинки маркеров и уменьшим до 8х8, что соответствует количеству битов в изображении. Для того, чтобы не было лишних битов, используем метод INTER_LINEAR.
Так как языки Python и Aruco достаточно популярны, библиотеки для работы с ними и их распознаванием уже есть. Один из таких моделей, это модуль Aruco. Он уже присутствует в opencv, но для того, чтобы его скачать, необходимо установить специальную версию opencv — opencv-contrib-python.
Подключим уже знакомые нам библиотеки, но не забудем и про Aruco.
Напишем метод find_aruko, на вход которой будет передаваться оригинальная картинка, и выдавать он будет углы всех маркеров на изображениях и их индексы. Переводим изображения в grayscale, генерируем aruco_dict (словарь всех маркеров определенной бинарности, то есть 6х6).
Генерируем параметры нашего словаря, и с помощью метода detectMarkers передаем изображение, словарь и параметры. С помощью данного метода получим углы и индексы тех маркеров, которые присутствуют на изображении.
Откроем изображение с Aruco маркерами и воспользуемся функцией.
Видим углы квадратов и массив, в котором присутствуют индексы тех маркеров, которые есть на фото. Реализуем специальную функцию draw_aruco на вход, которой будем передавать изображение, углы и индексы маркеров. С помощью специальных методов cv2.line, отрисуем линии поверх контуров маркеров, с помощью cv2.circle отрисуем центр маркеров и с помощью putText нарисуем сверху их индексы.
Видим, что маркеры выделились и сверху подписаны их индексы (Рис. 1).
Рис 1. Идентификация маркеров
Дополнительные источники информации:
Задание: Модифицируйте функцию get_markers так, чтобы она выделяла только маленькие квадраты (т.е. не выделяла маркеры аруко, а выделяла только бирки на коробке)
Last updated
