Всем привет! На связи «Лаборатория DroneCam». Сегодня хотим рассказать про нашу первую продуктовую разработку, а именно — графический интерфейс для программирования образовательных БПЛА. 👍

Сначала немножко про сам дрон — это ARA EDU производства Applied Robotics Avia.

Оснащен:
— Полетным контроллером.
— Набором датчиков (УЗ дальномеры, датчик света, датчик оптического потока, опционально лидар). Дрон может летать в режиме удержания позиции благодаря датчику оптического потока, что сильно упрощает управление.
— Умной камерой с процессором.

Но если бы все было так просто... 🙁
Ключевая особенность — дрон оснащен умной камерой с процессором H3 и всего 512 МБ оперативной памяти, что существенно усложняет разработку, ведь наш софт должен работать именно на ней. Оценив ограничения, мы решили писать весь управляющий код на C++ (512 МБ оперативы не осилят Python). В качестве связующего звена для программных модулей был выбран ROS2.

Как добились точного перемещения изделия в пространстве? 🤢
Сначала мы реализовали выполнение базовых функций (взлет, посадка, поворот на угол, выход на целевую скорость, получение и обработка данных датчиков), затем столкнулись с проблемой точного перемещения. Единственным решением было вычисление одометрии (оценка изменения положения изделия в пространстве с течением времени с помощью использования данных с датчиков) при помощи датчика оптического потока. После нескольких вечеров экспериментов мы получили относительно точный расчет позиции (погрешность 10 см на 1 метр перемещения для такого датчика — это отличный результат). Благодаря этому удалось реализовать функции перемещения по координатам с использованием классического ПИД-регулятора.

А распознавание? 🤨
Теперь к более интересным вещам: детекция AruCo маркеров (о AruCo можно подробнее почитать тут) и цветовых блобов. Напоминаем, у нас всего 512 МБ оперативки, и все описанные выше функции уже занимают примерно 100 МБ и 20% процессора. Для AruCo маркеров мы использовали готовое решение от OpenCV — отличную, оптимизированную реализацию их детектирования и определения пространственных координат. На частоте 5 Гц мы получаем стабильную детекцию с расходом еще 30% процессорного времени.
С цветовыми блобами ситуация интереснее. Их детекция выполняется по несложному алгоритму (переводим изображение в пространство HSV и оставляем пиксели, попадающие в заданный диапазон), но для быстрой работы пришлось оптимизировать использование памяти. Итог — еще 15% процессорного времени и 100 МБ оперативы.

А теперь перейдем к созданию пользовательского интерфейса. 😌
У нас осталось примерно 40% процессора и 200 МБ оперативы, но мы упустили важный момент: пользователю нужно как-то взаимодействовать с дроном. Для этого необходимо было реализовать API и графический интерфейс.

API было написано с использованием вебсокетов (протоколы, предоставляющие двустороннюю связь между клиентом и сервером в реальном времени) и C++. Каждый запрос в API переправляется на запрос к соответствующему ROS2 сервису (механизм вызова процедур между узлами в роботизированной системе), благодаря чему мы получаем почти бесшовную связку между действиями пользователя и системой управления. Это потребовало еще 20% процессора и 100 МБ оперативы.

Для графического интерфейса мы выбрали Flutter (подробнее о флаттер на хабре, его основное преимущество — встроенная мультиплатформенность), а в качестве хост-сервера был использован Nginx. Это заняло еще 5% процессора и 50 МБ оперативы. К счастью, фронтенд запускается на стороне пользователя и не нагружает наш процессор.

А что в итоге? 😓
Результат нашей работы можно увидеть в серии обучающих роликов на Рутубе или в демонстрационном ролике, который прикрепили к этому посту.
А теперь представьте, чего мы сможем достичь с более мощным процессором и 8 ГБ оперативной памяти — процесс развития не остановить!
Предлагайте темы для новых постов в комментариях! До связи!