Затем, было поставлено 3 эксперимента на зависимость вероятности предсказывания правильных координат от угла поворота изображений, поступающих с камеры б/а. Общие условия эксперимента были поставлены следующим образом: задается максимальный угол поворота изображений-шаблонов. Затем, начиная с 0 градусов на каждом значении угла поворота вырезается случайным образом заданное количество шаблонов. Все шаблоны обрабатываются алгоритмом позиционирования, на выходе которого получается черно-белое изображение, где белый пиксель – наиболее вероятное место расположения, а черный – менее вероятное. На каждом полученном аналоге тепловой карты соответствующем своему шаблону находятся экстремумы. По входному пороговому количеству экстремумов принято решение, что если «правильные» координаты шаблона попадают в список полученных экстремумов, то метод определил их корректно. В результате эксперимента строится график зависимости количества правильно предсказанных координат от угла поворота входных изображений.

1️⃣В первом эксперименте тестировался алгоритм взаимной корреляции изображений. Приведу пример на фото ниже тепловой карты для одного изображения шаблона и красными точками отмечены найденные пики тепловой карты. На результирующем графике можно заметить, что вероятность правильного предсказания координат резко падает уже при повороте на 3 градуса. Как и ожидалось, метод корреляции не дал хороших результатов в поставленных условиях.

2️⃣Во втором эксперименте тестировался алгоритм сравнения характеристик распределения векторов. Карта местности дробится на более маленькие изображения-оригиналы с определенным шагом наложения. Затем, каждый оригинал сравнивается с шаблоном и на полученных характерных точках сифта и афинного сифта строятся вектора. Пример работы для одной итерации также представлен на фото ниже (как и все последующие в принципе).
Затем вычисляется коэффициент вариации для каждой итерации алгоритма. Была выдвинута гипотеза, что по его значению можно судить о месторасположении на карте. Представлены тепловые карты мат. ожидания, среднего квадратического отклонения и коэффициента вариации по длинам и углам отклонения от нормали векторов для обоих алгоритмов.
По полученным результатам видно, что данный алгоритм дает вероятность предсказания не более 50%. Результаты значительно лучше метода корреляции, однако все равно недостаточно хороши для использования.

3️⃣И последним экспериментом тестировался метод анализа параллельных отрезков. Эксперимент проводился аналогично второму, однако вместо коэффициента вариации использовалось количество параллельных отрезков между двумя изображениями. Ниже приведены две итерации для одного и того же шаблона. Зеленым цветом подсвечиваются вектора, которые были учтены в качестве выбранной метрики, а красным те-, которые не вошли в ее число. Также, были подобраны наиболее оптимальные значения размера оригинального изображения и шага наложения срезов. Оригинал и шаблоны должны иметь одинаковые размеры, а шаг наложения должен быть в пределах одной четверти изображения шаблона.
По результирующим графикам видно, что от 5 градусов поворота метод дает вероятность предсказания порядка 40-60%, что уже является приемлемыми показаниями относительно других методов.
Хочу еще уточнить: чтобы эксперимент не был примитивным, карта местности вырезана из Yandex карт, а все изображения-шаблоны вырезались из Google карт. Хотя в алгоритмах обрабатываются черно-белые изображения, их пиксели все равно не будут идентичны друг другу.

✅Итоговый метод основан на сравнении параллельных отрезков, в основе которого лежит алгоритм A-SIFT. Разработанный метод позволит погасить погрешность бортовых датчиков при нормализации поворота изображений и даст удовлетворительные результаты при позиционировании беспилотного летательного аппарата на местности. В перспективе разработки метода планируется:
❗️улучшать показания предсказания алгоритма;
❗️протестировать алгоритм на искаженных фотографиях;
❗️разработать алгоритм корректировки масштаба и перспективы изображений-шаблонов;
❗️и протестировать на реальных данных.

That`s all. Thank u so much🫡

#about_ml

Сижу в электричке и пишу пост🚊

Во всей этой суматохе с экзаменами совсем забыла рассказать о том, что сегодня я отправляюсь на летнюю школу по искусственному интеллекту от AIRI, которая будет проходить в Иннополисе!
Ждите постов о мероприятиях, лекциях и практиках)
Надеюсь, будет интересно 🧐

#dvizh

На самом деле, я очень предвкушаю это мероприятие именно из-за его месторасположения. Никогда не была в Иннополисе, но очень интересно😄
Говорят, что это городок для программистов.
Ну, посмотрим, что там да как)

#dvizh

Закончился уже второй день школы, я немного въезжаю в курс дела🤔

Каждый день здесь проходят лекции и семинары на 3 основных направления:
🖊 RL (reinforcement learning - обучение с подкреплением)
🖊 CV (computer vision - компьютерное зрение)
🖊 Робототехника
Пока что идет очень сильный упор в теорию RL. Уровень гораздо выше моего, но это и к лучшему😉
Также, сегодня нас распределили на проекты. Всего было 33 темы на 80 персон. Я состою в команде из 4 человек, которые будут работать над задачей «Сегментация и трекинг объектов на изображениях по языковым запросам». Если по простому - нужно будет выделить контуры объектов, о которых говорится в заданном тексте))
Звучит вроде просто, т. к. сегодня нам дали много материала на тему сегментации. Однако, как показывает опыт, на практике все становится совсем иначе…

Буду постепенно вводить в курс дела, рассказывать решение текущих задачек и собранных инсайтов😄

#dvizh

Лежу дома в кровати и вспоминаю, как в бешеном ритме пронеслась летняя школа от AIRI💚🤍

Я настолько погрузилась в лекции, семинары, проекты, что совсем забыла про канал😅

Тем не менее, я очень вдохновилась обстановкой, ребятами, идеями и поэтому накопила кучу тем для постов.
Уже завтра более подробно расскажу про проект нашей команды, который занял 2 место!!🥈🎉

#dvizh

И так, сегментация и трекинг объектов по языковым запросам.

⁉️Начнем с того, что такое сегментация объектов? Это соотнесение группы пикселей к определенному классу. В отличие от детекции объектов, которая выделяет их в прямоугольник, сегментация закрашивает площадь внутри контура объекта.
Получается следующая задача: на входе пользователь делает текстовый запрос - это может быть целая фраза (прим. «найди мне на картинке серого кота в шляпе») или просто одно слово (прим. «кот»); на выходе моделька выдает маску сегментированного объекта. Важное замечание! Мы работали с кастомным датасетом, который был собран с камеры робота, катающегося по кампусу МФТИ. На фотографиях видны различные столы, шкафы, пластмассовые овощи, игрушки. Было множество объектов, которые трудно встретить в популярных подборках.

❓Что решила сделать наша команда? - Провести бенчмаркинг (сравнение) различных моделей и их связок. Для анализа были выбраны предобученные модели LSeg, OWL-ViT + SAM и GroundingDino + SAM.
🔹 LSeg работает сам по себе. Но к сожалению, на наших кастомных данных он выдавал метрики порядка 0.003😬
🔹 OWL-ViT + SAM работали уже лучше. OWL-ViT выдавал bounding boxes по текстовому запросу, а SAM уже находил сам объект внутри него. Экспериментально было выявлено, что по длинному описанию в запросе метрики получаются выше, чем по запросу в виде одного слова класса объекта.
🔹 GroundingDino + SAM победители по количественным результатам в нашей подборке)) Связка работает аналогично предыдущей, однако ее метрики получились выше почти в два раза!

❗️Кроме того, Зоя (член команды) предложила интересную идею: попробовать тюнить текстовые запросы. За эту часть проекта я не шарю совсем😓 Поэтому я надеюсь, что Зоя читает этот пост и подробно пояснит в комментариях че по чем😂😂

*мне тоже интересно еще раз почитать и разобраться с этой идеей👀*

Штош, мы так и заняли 2 место среди 33 защищенных проектов🎉🎉🎉
Если кому-то интересно посмотреть картинки, то я прикрепляю к посту презенташку с выступления

#about_ml

Ура, я получила добро на демонстрирование нашего репозитория☺️

👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇
https://github.com/Areson251/open_vocabulary_benchmark

Кому интересно позапускать и поиграть самому - добро пожаловать🤗
Хочу, чтобы большинство людей посмотрело, потому что я действительно горжусь тем, как он выглядит))
И да, не упущу возможности поклянчить звездочки на репу👀

#about_ml

Еееее, принимаю поздравления 🥳 👏🎉

Сегодня вышли приказы на зачисление в МФТИ иии….

Меня взяли по первому приоритету!!!😭🙏

Я безумно рада, что буду учиться на специальности «технологии искусственного интеллекта» на кафедре от Центра когнитивного моделирования🤖

Не могу подобрать слов, чтобы описать свою радость)))

#info

‼️Я ВЕРНУЛАСЬ‼️

Да да, я уже обосновалась у себя в общаге, более менее въехала в темп Долгопрудного (🥰) и готова продолжать писать посты!!!

Более того, я решила произвести реорганизацию канала. Изначально предполагалось, что канал будет нацелен на введение простых людей в секту дата сатанистов Data Science. Однако, я поняла, что эта тема не очень актуальна именно для формата канала, т.к. каждому новому члену этого клуба придется читать все посты с самого начала…
Но! Эта идея слишком прекрасна, чтобы полностью исключать ее. Спустя месяц размышлений, я пришла к идеальному консенсусу: ввести хештеги по тематикам постов😎
Решила сгруппировать посты по следующим тематикам:

▶️ #info здесь буду писать основную инфу по каналу (например, этот пост)

▶️ #about_ml теория машинного обучения (та самая ветка постов, которую нужно читать с самого начала)

▶️ #phil_thoughts тут можно будет найти рассуждения о различных мыслей в области философии, психологии и офк ИИ

▶️ #diff просто какие-то приколюхи или интересные факты)))

▶️ #dvizh тусовки, ивенты и тд, личны блог в теме ml короче💃

▶️#advert точно не реклама👀

Думаю, так будет удобнее всем найти интересующий трек для себя. Ну и писать посты так проще)

Этот пост летит в закреп, а я с самого начала начинаю проставлять теги для всех остальных!

С новым учебным годом кста🎉🎉

Все, расставила теги на все полноценные посты - можно вычеркнуть таску из списка дел (обожаю это ощущение🤤)

Уже подумала над тем, что 4 хештегов не хватит для хорошей сортировки постов по темам, скорее всего буду расширяться. На этот раз буду записывать какие-то идеи и тезисы, как все можно красиво распределить, и составлю четкую структуру канала, чтобы в нем можно было легко ориентироваться всем новоприбывшем и олдам🤍

хочу поменять аффку канала, мб у кого-то есть предложения?)