Сижу в электричке и пишу пост🚊

Во всей этой суматохе с экзаменами совсем забыла рассказать о том, что сегодня я отправляюсь на летнюю школу по искусственному интеллекту от AIRI, которая будет проходить в Иннополисе!
Ждите постов о мероприятиях, лекциях и практиках)
Надеюсь, будет интересно 🧐

#dvizh

На самом деле, я очень предвкушаю это мероприятие именно из-за его месторасположения. Никогда не была в Иннополисе, но очень интересно😄
Говорят, что это городок для программистов.
Ну, посмотрим, что там да как)

#dvizh

Закончился уже второй день школы, я немного въезжаю в курс дела🤔

Каждый день здесь проходят лекции и семинары на 3 основных направления:
🖊 RL (reinforcement learning - обучение с подкреплением)
🖊 CV (computer vision - компьютерное зрение)
🖊 Робототехника
Пока что идет очень сильный упор в теорию RL. Уровень гораздо выше моего, но это и к лучшему😉
Также, сегодня нас распределили на проекты. Всего было 33 темы на 80 персон. Я состою в команде из 4 человек, которые будут работать над задачей «Сегментация и трекинг объектов на изображениях по языковым запросам». Если по простому - нужно будет выделить контуры объектов, о которых говорится в заданном тексте))
Звучит вроде просто, т. к. сегодня нам дали много материала на тему сегментации. Однако, как показывает опыт, на практике все становится совсем иначе…

Буду постепенно вводить в курс дела, рассказывать решение текущих задачек и собранных инсайтов😄

#dvizh

Лежу дома в кровати и вспоминаю, как в бешеном ритме пронеслась летняя школа от AIRI💚🤍

Я настолько погрузилась в лекции, семинары, проекты, что совсем забыла про канал😅

Тем не менее, я очень вдохновилась обстановкой, ребятами, идеями и поэтому накопила кучу тем для постов.
Уже завтра более подробно расскажу про проект нашей команды, который занял 2 место!!🥈🎉

#dvizh

И так, сегментация и трекинг объектов по языковым запросам.

⁉️Начнем с того, что такое сегментация объектов? Это соотнесение группы пикселей к определенному классу. В отличие от детекции объектов, которая выделяет их в прямоугольник, сегментация закрашивает площадь внутри контура объекта.
Получается следующая задача: на входе пользователь делает текстовый запрос - это может быть целая фраза (прим. «найди мне на картинке серого кота в шляпе») или просто одно слово (прим. «кот»); на выходе моделька выдает маску сегментированного объекта. Важное замечание! Мы работали с кастомным датасетом, который был собран с камеры робота, катающегося по кампусу МФТИ. На фотографиях видны различные столы, шкафы, пластмассовые овощи, игрушки. Было множество объектов, которые трудно встретить в популярных подборках.

❓Что решила сделать наша команда? - Провести бенчмаркинг (сравнение) различных моделей и их связок. Для анализа были выбраны предобученные модели LSeg, OWL-ViT + SAM и GroundingDino + SAM.
🔹 LSeg работает сам по себе. Но к сожалению, на наших кастомных данных он выдавал метрики порядка 0.003😬
🔹 OWL-ViT + SAM работали уже лучше. OWL-ViT выдавал bounding boxes по текстовому запросу, а SAM уже находил сам объект внутри него. Экспериментально было выявлено, что по длинному описанию в запросе метрики получаются выше, чем по запросу в виде одного слова класса объекта.
🔹 GroundingDino + SAM победители по количественным результатам в нашей подборке)) Связка работает аналогично предыдущей, однако ее метрики получились выше почти в два раза!

❗️Кроме того, Зоя (член команды) предложила интересную идею: попробовать тюнить текстовые запросы. За эту часть проекта я не шарю совсем😓 Поэтому я надеюсь, что Зоя читает этот пост и подробно пояснит в комментариях че по чем😂😂

*мне тоже интересно еще раз почитать и разобраться с этой идеей👀*

Штош, мы так и заняли 2 место среди 33 защищенных проектов🎉🎉🎉
Если кому-то интересно посмотреть картинки, то я прикрепляю к посту презенташку с выступления

#about_ml

Ура, я получила добро на демонстрирование нашего репозитория☺️

👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇👇
https://github.com/Areson251/open_vocabulary_benchmark

Кому интересно позапускать и поиграть самому - добро пожаловать🤗
Хочу, чтобы большинство людей посмотрело, потому что я действительно горжусь тем, как он выглядит))
И да, не упущу возможности поклянчить звездочки на репу👀

#about_ml

Еееее, принимаю поздравления 🥳 👏🎉

Сегодня вышли приказы на зачисление в МФТИ иии….

Меня взяли по первому приоритету!!!😭🙏

Я безумно рада, что буду учиться на специальности «технологии искусственного интеллекта» на кафедре от Центра когнитивного моделирования🤖

Не могу подобрать слов, чтобы описать свою радость)))

#info

‼️Я ВЕРНУЛАСЬ‼️

Да да, я уже обосновалась у себя в общаге, более менее въехала в темп Долгопрудного (🥰) и готова продолжать писать посты!!!

Более того, я решила произвести реорганизацию канала. Изначально предполагалось, что канал будет нацелен на введение простых людей в секту дата сатанистов Data Science. Однако, я поняла, что эта тема не очень актуальна именно для формата канала, т.к. каждому новому члену этого клуба придется читать все посты с самого начала…
Но! Эта идея слишком прекрасна, чтобы полностью исключать ее. Спустя месяц размышлений, я пришла к идеальному консенсусу: ввести хештеги по тематикам постов😎
Решила сгруппировать посты по следующим тематикам:

▶️ #info здесь буду писать основную инфу по каналу (например, этот пост)

▶️ #about_ml теория машинного обучения (та самая ветка постов, которую нужно читать с самого начала)

▶️ #phil_thoughts тут можно будет найти рассуждения о различных мыслей в области философии, психологии и офк ИИ

▶️ #diff просто какие-то приколюхи или интересные факты)))

▶️ #dvizh тусовки, ивенты и тд, личны блог в теме ml короче💃

▶️#advert точно не реклама👀

Думаю, так будет удобнее всем найти интересующий трек для себя. Ну и писать посты так проще)

Этот пост летит в закреп, а я с самого начала начинаю проставлять теги для всех остальных!

С новым учебным годом кста🎉🎉

Все, расставила теги на все полноценные посты - можно вычеркнуть таску из списка дел (обожаю это ощущение🤤)

Уже подумала над тем, что 4 хештегов не хватит для хорошей сортировки постов по темам, скорее всего буду расширяться. На этот раз буду записывать какие-то идеи и тезисы, как все можно красиво распределить, и составлю четкую структуру канала, чтобы в нем можно было легко ориентироваться всем новоприбывшем и олдам🤍

хочу поменять аффку канала, мб у кого-то есть предложения?)

Минусы мл:
1. Нашел тупую ошибку в датасете - нужно переобучать все с самого начала

Плюсы мл:
1. Пока обучаешь можно похавать

#phil_thoughts

Буквально пару дней назад заглядывала в свой канал и любовалась 38 подписчикам🥰

Захожу сейчас, А ВАС УЖЕ 65 ТОВАРИЩЕЙ!!!!😍😍😍😍😍
Я безумно рада, что люди интересуются моей деятельностью и остаются со мной! Это мотивирует стараться для Вас еще больше писать интересных постов, обзоров и выкладывать свои мысли)))

Раз уж такое дело, начну новую огромную серию постов "с нуля", да бы постараться уровнять свою публику +- до входного порога понимания "а что ваще творится в ml?"

P.S. Обещала оформить себе telegram premium, если до 31 декабря этого года наберется 100 товарищей🙂

#info

Давайте начнем с самой базовой базы🤓

Вы когда-нибудь задумывались о том, что вообще из себя представляют нейронные сети?
На самом-то деле, все очень просто. Ни для кого ни секрет, что Матушка Природа создала наш мир очень продуманно, и многие изобретения человечества - лишь ее пародии. Так произошло и с нейронками, которые пришли к нам прямиком из биологии🐁. По сути своей, нейронные сети в программирование - упрощенное повторение нейронных сетей мозга, состоящие, непосредственно, из нейронов и соединяющих их синапсов. Разберемся более подробно с этими понятиями:
⭕️ Нейрон представляет из себя вычислительную единицу, которая принимает входные данные, производит над ними какие-либо вычисления и передает их дальше. Совокупности нейронов называются слоями. Также, нейроны (слои) делятся на несколько типов: входной, скрытый и выходной. Думаю, всем понятно, что входной нейрон принимает информацию и, никак не изменяя ее, передает в следующий слой (input = output). Скрытые слои по каким-то заданным правилам корректируют ее и выходной слой выдает уже изменнные значения. Важно знать! Нейроны используют только нормализованные значения данных в диапазоне [0;1] или [-1;1].
⭕️ Синапс является связью между двумя нейронами - дорожка, по которой передается информация. Связи нейронов можно представить в виде взвешенного графа, где ребра (синапсы) имеют свои веса. Соответственно, чем больше вес синапса, тем более доминирующей будет информация, передающаяся по нему. Интересно, что изначально веса инициализируются случайным образом 🎲

Соответственно, структура нейронов и связывающих их синапсов называется нейронной сетью. Приведу конкретный пример: у нас есть всего 3 нейрона:
1. Входной нейрон Н0, значение которого равно 1
2. Скрытый нейрон Н1, вес которого равен 0.36
3. Выходной нейрон Н2 = ?
Получим следующее значение выходного нейрона:
Н1 = Н0 = 1
Н2 = Н1 * 0.36 = 0.36

- Ульяна, а какой смысл имеет полученное значение? - Вы спросите меня. А я Вам отвечу:
- Уже половина первого ночи, а мне вставать в 7:30.

Ждите продолжения в следующем посте💜

#about_ml