Сижу в электричке и пишу пост🚊

Во всей этой суматохе с экзаменами совсем забыла рассказать о том, что сегодня я отправляюсь на летнюю школу по искусственному интеллекту от AIRI, которая будет проходить в Иннополисе!
Ждите постов о мероприятиях, лекциях и практиках)
Надеюсь, будет интересно 🧐

#dvizh

На самом деле, я очень предвкушаю это мероприятие именно из-за его месторасположения. Никогда не была в Иннополисе, но очень интересно😄
Говорят, что это городок для программистов.
Ну, посмотрим, что там да как)

#dvizh

Закончился уже второй день школы, я немного въезжаю в курс дела🤔

Каждый день здесь проходят лекции и семинары на 3 основных направления:
🖊 RL (reinforcement learning - обучение с подкреплением)
🖊 CV (computer vision - компьютерное зрение)
🖊 Робототехника
Пока что идет очень сильный упор в теорию RL. Уровень гораздо выше моего, но это и к лучшему😉
Также, сегодня нас распределили на проекты. Всего было 33 темы на 80 персон. Я состою в команде из 4 человек, которые будут работать над задачей «Сегментация и трекинг объектов на изображениях по языковым запросам». Если по простому - нужно будет выделить контуры объектов, о которых говорится в заданном тексте))
Звучит вроде просто, т. к. сегодня нам дали много материала на тему сегментации. Однако, как показывает опыт, на практике все становится совсем иначе…

Буду постепенно вводить в курс дела, рассказывать решение текущих задачек и собранных инсайтов😄

#dvizh

Лежу дома в кровати и вспоминаю, как в бешеном ритме пронеслась летняя школа от AIRI💚🤍

Я настолько погрузилась в лекции, семинары, проекты, что совсем забыла про канал😅

Тем не менее, я очень вдохновилась обстановкой, ребятами, идеями и поэтому накопила кучу тем для постов.
Уже завтра более подробно расскажу про проект нашей команды, который занял 2 место!!🥈🎉

#dvizh

И так, сегментация и трекинг объектов по языковым запросам.

⁉️Начнем с того, что такое сегментация объектов? Это соотнесение группы пикселей к определенному классу. В отличие от детекции объектов, которая выделяет их в прямоугольник, сегментация закрашивает площадь внутри контура объекта.
Получается следующая задача: на входе пользователь делает текстовый запрос - это может быть целая фраза (прим. «найди мне на картинке серого кота в шляпе») или просто одно слово (прим. «кот»); на выходе моделька выдает маску сегментированного объекта. Важное замечание! Мы работали с кастомным датасетом, который был собран с камеры робота, катающегося по кампусу МФТИ. На фотографиях видны различные столы, шкафы, пластмассовые овощи, игрушки. Было множество объектов, которые трудно встретить в популярных подборках.

❓Что решила сделать наша команда? - Провести бенчмаркинг (сравнение) различных моделей и их связок. Для анализа были выбраны предобученные модели LSeg, OWL-ViT + SAM и GroundingDino + SAM.
🔹 LSeg работает сам по себе. Но к сожалению, на наших кастомных данных он выдавал метрики порядка 0.003😬
🔹 OWL-ViT + SAM работали уже лучше. OWL-ViT выдавал bounding boxes по текстовому запросу, а SAM уже находил сам объект внутри него. Экспериментально было выявлено, что по длинному описанию в запросе метрики получаются выше, чем по запросу в виде одного слова класса объекта.
🔹 GroundingDino + SAM победители по количественным результатам в нашей подборке)) Связка работает аналогично предыдущей, однако ее метрики получились выше почти в два раза!

❗️Кроме того, Зоя (член команды) предложила интересную идею: попробовать тюнить текстовые запросы. За эту часть проекта я не шарю совсем😓 Поэтому я надеюсь, что Зоя читает этот пост и подробно пояснит в комментариях че по чем😂😂

*мне тоже интересно еще раз почитать и разобраться с этой идеей👀*

Штош, мы так и заняли 2 место среди 33 защищенных проектов🎉🎉🎉
Если кому-то интересно посмотреть картинки, то я прикрепляю к посту презенташку с выступления

#about_ml

Ура, я получила добро на демонстрирование нашего репозитория☺️

👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇
https://github.com/Areson251/open_vocabulary_benchmark

Кому интересно позапускать и поиграть самому - добро пожаловать🤗
Хочу, чтобы большинство людей посмотрело, потому что я действительно горжусь тем, как он выглядит))
И да, не упущу возможности поклянчить звездочки на репу👀

#about_ml

Еееее, принимаю поздравления 🥳 👏🎉

Сегодня вышли приказы на зачисление в МФТИ иии….

Меня взяли по первому приоритету!!!😭🙏

Я безумно рада, что буду учиться на специальности «технологии искусственного интеллекта» на кафедре от Центра когнитивного моделирования🤖

Не могу подобрать слов, чтобы описать свою радость)))

#info

‼️Я ВЕРНУЛАСЬ‼️

Да да, я уже обосновалась у себя в общаге, более менее въехала в темп Долгопрудного (🥰) и готова продолжать писать посты!!!

Более того, я решила произвести реорганизацию канала. Изначально предполагалось, что канал будет нацелен на введение простых людей в секту дата сатанистов Data Science. Однако, я поняла, что эта тема не очень актуальна именно для формата канала, т.к. каждому новому члену этого клуба придется читать все посты с самого начала…
Но! Эта идея слишком прекрасна, чтобы полностью исключать ее. Спустя месяц размышлений, я пришла к идеальному консенсусу: ввести хештеги по тематикам постов😎
Решила сгруппировать посты по следующим тематикам:

▶️ #info здесь буду писать основную инфу по каналу (например, этот пост)

▶️ #about_ml теория машинного обучения (та самая ветка постов, которую нужно читать с самого начала)

▶️ #phil_thoughts тут можно будет найти рассуждения о различных мыслей в области философии, психологии и офк ИИ

▶️ #diff просто какие-то приколюхи или интересные факты)))

▶️ #dvizh тусовки, ивенты и тд, личны блог в теме ml короче💃

▶️#advert точно не реклама👀

Думаю, так будет удобнее всем найти интересующий трек для себя. Ну и писать посты так проще)

Этот пост летит в закреп, а я с самого начала начинаю проставлять теги для всех остальных!

С новым учебным годом кста🎉🎉

Все, расставила теги на все полноценные посты - можно вычеркнуть таску из списка дел (обожаю это ощущение🤤)

Уже подумала над тем, что 4 хештегов не хватит для хорошей сортировки постов по темам, скорее всего буду расширяться. На этот раз буду записывать какие-то идеи и тезисы, как все можно красиво распределить, и составлю четкую структуру канала, чтобы в нем можно было легко ориентироваться всем новоприбывшем и олдам🤍

хочу поменять аффку канала, мб у кого-то есть предложения?)

Минусы мл:
1. Нашел тупую ошибку в датасете - нужно переобучать все с самого начала

Плюсы мл:
1. Пока обучаешь можно похавать

#phil_thoughts

Буквально пару дней назад заглядывала в свой канал и любовалась 38 подписчикам🥰

Захожу сейчас, А ВАС УЖЕ 65 ТОВАРИЩЕЙ!!!!😍😍😍😍😍
Я безумно рада, что люди интересуются моей деятельностью и остаются со мной! Это мотивирует стараться для Вас еще больше писать интересных постов, обзоров и выкладывать свои мысли)))

Раз уж такое дело, начну новую огромную серию постов "с нуля", да бы постараться уровнять свою публику +- до входного порога понимания "а что ваще творится в ml?"

P.S. Обещала оформить себе telegram premium, если до 31 декабря этого года наберется 100 товарищей🙂

#info