BIG BAD DATA – Telegram
BIG BAD DATA
141 subscribers
69 photos
1 video
9 files
31 links
Сложно о простом и просто о сложном 😎🥸
👀Меня можно найти тут: @Areson251
Download Telegram
🎓 — Семинар 25. Использование данных бортовых радаров и камер для распознавания объектов на дороге и бездорожье | Ульяна Изместьева, Лука Ветошкин, Ольга Матыкина

В нашем выступлении мы обсудим мультимодальные датасеты и методы для распознавания трехмерной сцены, использующие данные наиболее распространенных сенсоров беспилотных транспортных средств: камер, радаров и лидаров. Отметим особую роль радаров, которые могут видеть сквозь туман, дым, снег.

Мы приведем краткий обзор датасетов, собранных как в городских условиях, так и в условиях бездорожья и даже в шахтах. Также мы коснемся методов для решения широкого класса задач с использованием упомянутых датасетов: сегментация и детекция объектов на дороге, сегментация проезжей части, построение карты глубин по изображениям и облакам радарных точек.

В завершение мы расскажем об экспериментах, позволяющих преодолеть ограничения существующих мультимодальных датасетов. В качестве методов аугментации датасетов будут рассмотрены дифуззионные модели Kandinsky2-2, Stable Diffusion-2, Stable Diffusion XL. Сравним архитектуры моделей, время инференса и качество сгенерированных изображений в режиме восстановления выделенной области изображения.

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #CV #selfdriving #multimodal #diffusion
❤‍🔥62🔥2
Пришла весна🌸
У меня снова появлилось настроение и желание ботать😼
Поэтому держите разбор мини темки👇

🟢Автоэнкодеры — это нейронные сети прямого распространения, которые восстанавливают входной сигнал на выходе. Автоэнкодеры конструируются таким образом, чтобы не иметь возможность точно скопировать вход на выходе.

Автоэнкодеры состоят из двух частей: энкодера g и декодера f. Энкодер переводит входной сигнал в его представление (код): h = g(x), а декодер восстанавливает сигнал по его коду: x=f(h). Автоэнкодер, изменяя f и g, стремится выучить тождественную функцию x = f(g(x)), минимизируя какой-то функционал ошибки: L(x, f(g(x)))

При этом семейства функций энкодера g и декодера f как-то ограничены, чтобы автоэнкодер был вынужден отбирать наиболее важные свойства сигнала.

#about_ml
6
🟢Примеры автоэнкодеров:
🔹Сжимающий автоэнкодер
Состоит из двух полносвязных слоев: енкодера и декодера.

🔹Глубокий автоэнкодер
Такой же автоэнкодер, но с большим числом слоев. Может вычленять более сложные нелинейные закономерности.

🔹Сверточный автоэнкодер
Присутствует некоторая пространственная инвариантность. Несмотря на то, что количество параметров у этой сети намного меньше чем у полносвязных сетей, функция ошибки насыщается на значительно меньшей величине.

🔹Denoising автоэнкодер
Автоэнкодеры можно обучить убирать шум из данных: на вход подавать зашумленные данные и на выходе сравнивать с данными без шума: L(x, f(g(x'))), где x' — зашумленные данные.

🔹Разреженный (Sparse) автоэнкодер
Разреженный автоэнкодер — просто автоэнкодер, у которого в функцию потерь добавлен штраф за величины значений в коде, то есть автоэнкодер стремится минимизировать такую функцию ошибки: L(x, f(g(x))) + Ω(h), где h = g(x) — код, Ω(h) — обычный регуляризатор (например L1): Ω(h) = λ * |h|
Разреженный автоэнкодер не обязательно сужается к центру. Его код может иметь и большую размерность, чем входной сигнал. Обучаясь приближать тождественную функцию x = f(g(x)), он учится в коде выделять полезные свойства сигнала. Из-за регуляризатора даже расширяющийся к центру разреженный автоэнкодер не может выучить тождественную функцию напрямую.

Если есть какие-то вопросы, замечания, предложения - жду комментариев🙃

Ссылка на хабр с кодом

#about_ml
🔥53
🎓 — Семинар 26. 66-ая Всероссийская научная конференция МФТИ: секция технологий искусственного интеллекта ФПМИ

Сегодня в качестве семинара пройдет у нас будет Всероссийская научная конференция МФТИ: секция технологий искусственного интеллекта ФПМИ, на которой будем заслушивать доклады участников, чьи работы прошли отбор на конференцию. Среди всех участников выступят и наши сотрудники: Ульяна Изместьева, Ольга Матыкина, Егор Черепанов, Александр Чернявский, Анатолий Борзилов, Владислав Кузнецов, Zhang Huzhenyu, Александр Мелехин, Денис Васильев и Егор Зубков!

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #конференции #мфти #ии
5👍3
Вечер воскресенья, впереди майские праздники🌸
А мне грустно от того, что я уже больше полугода в Москве, а роста себя как специалиста почти не ощущаю(((

Начала копать причины - почему так происходит? Как всегда натыкаюсь на одну и ту же проблемную часть себя - отсутствие дисциплины. Я слишком завязана на своих эмоциях, а учитывая то, что я очень эмоциональный человек, бывает трудно с ними совладать... Исходя из этого начинает страдать продуктивность и отдых, появляется тревожность, что отражается на физическом здоровье😬

Снова ищу методы решения такой проблемы. Наткнулась на прикольный видос с клевой анимацией на мой вкус. Легко и доступно преподнесли материал. Да, рассказали про очевидные вещи. Но для таких людей как я, у которых в голове вечно бардак, полезно слушать что-то подобное, потому что направляет в правильное русло мыслей и действий)))
Основные поинты ниже

Морально подготовься
Силы воли не существует (как и лени)
Необходимо твердо решить, что тебе это надо
Причины почему не можешь соблюдать дисциплину:
1. Берешь на себя слишком много - работай в своем темпе
2. Ждешь быстрых результатов. Плохо сейчас - хорошо потом
3. Много чешешь языком 🙂 Когда делишься слишком много своими планами или представляешь все достигнутые цели - психика думает, что это уже есть в реальности.

Начни делать
Лайфхаки для достижения целей:
1. Раздели большую цель на более мелкие
2. Определи вознаграждения за сделанный кусок работы (Чувствую себя рл агентом). Награда должна быть соразмерна со сделанным
3. Меньше отвлекайся - ограничь время на залипание в соцсети и тп. Хотя, можно контролировать этот процесс будильником

Не останавливайся
Чтобы поддержать дисциплину - нужно этого хотеть.
Если все время страдаешь - то тебя хватит не на долго

Ссылочка на видосик

#diff
6
Решила летними вечерами укреплять свою базу знаний 🥸

📚Курсы:
Курс по классическому мл от Радослава Нейчева - первая часть (база)
Прикладное машинное обучение от Радослава Нейчева - вторая часть
Курс по генеративным моделям - читается на физтехе

📄Шпаргалки и заметки:
The IllustratedMachine Learning website - схематичный конспект
Учебник по машинному обучению - от ШАД
Конспекты от Дъяконова

🧠Упражнения:
Практические упражнения по ML - 15 задач от градиентного спуска до до GPT с нуля в виде leetcode задач (меня это очень сильно привлекло, планирую сделать все)
Roadmap по литкоду - 150 задач на алгосы
Курс по Git - легкий курс в игровой форме (визуалам понравится)

📺Видосы и прочее:
Методичка: Поиск Работы в ML/DS от Бориса Цейтлина
Краткое и емкое видео про GIL
Асинхронность
Работа с памятью в python

Сюда еще планируется добавить курсы по git, linux, mlops (непосредственно, когда я до них доберусь)

#about_ml
🔥9😎31
Еееее

В день рождения юбилей в 100 подписчиков🎉🎉🎉

Можно теперь покупать тг-премиум и писать посты, не разделяя их (использовать прикольные стикеры в сообщениях)😄
🎉18😇43
У меня вечно бывает проблема, когда пишу код на двух разных устройствах (мак и сервер): приходится постоянно мерджить ветки, разбираться, где сейчас находится голова, как откатиться назад и все в этом духе...🤔

К счастью, мне попался классный курс по Git, который разработан в игровой форме и затрагивает все самые нужные и популярные команды. Сам интерфейс включает в себя маленькое консольное окошко (собственно, где все команды и прописываются) и большое поле с визуализацией всего того, что происходит с ветками кода. Наглядно показываются истории коммитов, положение HEAD и влияние на них команд. Я в восторге! Также там есть песочница, где можно безопасно экспериментировать с командами.

Всем котятам невдуплятам в Git советую пройти этот курс (займет буквально один вечер). 🤩
Он максимально легкий, по ощущениям — онлайн игра для 5 класса. Ну и, естественно, хорошо формирует базовое понимание работы Git.

#diff
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
8🔥6
Итак, снова внезапно возвращаюсь с новостями⚡️

Честно говоря, столько мыслей в голове, которыми хочется поделиться, но после такого насыщенного дня сложно всё собрать в кучу и написать клевый пост за полчаса)

Два месяца затишья на канале. Два месяца ботанья теории и практики, подготовки к собеседованиям, технических интервью. Много потрачено нервов, много вопросов решено, и примерно столько же осталось нерешённых. Чувства предвкушения и волнения: что будет дальше? Как будет дальше? Хочется покорить все горы этого мира. И я стараюсь находить для себя окружение, которое будет способствовать этому.

Сегодня я стала частью команды Axenix! 🎉

#info
Please open Telegram to view this post
VIEW IN TELEGRAM
16🔥9🎉6
Хотела бы более подробно рассказать про свою подготовку к собесам🤓📚

Поэтому вернусь к посту выше с обновленными ссылками🤩
Добавила в раздел "Шпаргалки и заметки" конспекты Дъяконова для полноты картины и создала новый раздел с видосиками.

To my mind стоит полностью заботать курсы от Радослава и чекнуть раздел "видосы и прочее" (материала там очень мало, но вполне себе достаточно в качестве базы). В принципе, это полезно сделать любому начинающему джунгарику🥰 Как минимум для своего развития.
Также, хочу еще раз обратить Ваше внимание на практические упражнения по ML. Лично я решила только первую половину задач, но это дало мне более глубокое понимание работы линейной регресии и тп. Да, да, мне это было необходимо...

И последнее, на чем я сделаю акцент - иллюстрации по всему классическому ml. При просмотре лекции или решении задач они мне очень помогали)

В целом, пока что все. Может быть вспомню что-то еще. Буду рада, если материалы окажутся для Вас такими же полезными, какими оказались для меня🤩

#about_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11👍4💅32🙏2
О чем писать?🤔
Please open Telegram to view this post
VIEW IN TELEGRAM
🐳2
Достаточно много пришло людей в мой канал, поэтому настал момент познакомиться еще раз💕

Расскажу про свой путь в проге начиная со школы...

Многие знают, что еще в 9 классе я решила стать программистом😎
Почему так рано? Потому что мне не нравились все предметы, кроме математики, информатики и физики. Информатика давалась легче всего, как будто бы там все очевидно))) А про другие два предмета я люблю говорить так: математика моя жена, а физика - любовница (со второй очень непонятные, но приятные отношения были)🤫 Как следствие на ОГЭ и ЕГЭ я сдавала именно эти предметы.

Также, еще в 10 классе я определилась, что буду учиться в ИжГТУ🥇❤️
Переехать в общагу я была не готова, а механ на мой взгляд имел неплохую репутацию (в прочем, как и сейчас). Была выбрана специальность с наибольшим проходным баллом - программная инженерия. До сих пор с теплотой в душе вспоминаю пары по вышмату и специальности, процессор intel с нуля, астральные трактаты, set bruh, информационную безопасность и многое другое). Здесь я обрела друзей, с которыми общаюсь и по сей день💜

Уже летом после первого курса мне повезло попасть на part time job на завод😎 ИРЗ Первая линия - первое официальное место работы. Именно здесь я впервые коснулась нейронных сетей. Это была любовь с первого взгляда😌 Много интересных задач было предложено, но о каких навыках и умениях могла идти речь, если я умела только решать самые простые олимпиадные задачки и прогать на arduino. Тем не менее, завод дал мне значительный опыт и базовое понимание «а что такое программирование?»

Спустя примерно год в какой-то очередной студенческой беседе появилось объявление о наборе программистов в Ижевский Нефтяной Научный Центр. Мне уже хотелось работать full time и зарабатывать больше. Откликнулась, прошла собес, подписала договор. Предполагалось, что я так же продолжу заниматься ИИ, однако за год работы в ИННЦ я прошла достаточно непредвиденный путь: data science -> full stack-> frontend 😵‍💫 Попробовав себя в разных отраслях проги я решила, что все таки ml и ничего больше)

К тому же, остался год до окончания бака - нужно было уже думать по поводу своего будущего и где я хочу оказаться через год. Раз уж ml - было принято решение готовиться и поступать в магистратуру в мск. Ну и почему бы не закрыть школьный гештальт - поступить на фт🤓 Я долго колебаться не люблю, поэтому так и сделала🤓🤓

Где-то в этом же промежутке получилось маленькой дружной компанией выиграть студенческий стартап. Не знаю почему, но мы решили сдвинуть свои роли по кругу и как следствие я сидела на backend-е😎 Было тяжко, зато теперь могу запилить простенький сервак на Django и поднять тг-бота.

Год стажировалась в лабе, снова набиралась опыта, вливалась в ds-тусовку, заводила новые знакомства. В общем, год прошел максимально весело и интересно) Как бы я не ворчала, все равно считаю, что все сложилось наилучшим образом🌟 Лаба подарила мне четкое понимание моих хотелок, вектор роста как специалиста, новых друзей и воспоминания на всю жизнь❤️

Однако, хотелок стало слишком много🤷‍♂️ В том числе, захотелось попробовать ворваться в бигтех и посмотреть изнутри как там все устроено. Таким путем я пришла на свое текущее место работы - Axenix💥 Так как консалтинг => я ожидаю получить обширный опыт в самых ходовых областях ml и снова преодолеть ступеньку (а то и несколько) карьерной лестницы🤪

Как-то так. Почему-то сложно было написать этот пост. Хочется про каждое свое место работы рассказать максимально подробно, потому что везде были свои приколы и провалы. Штош, предвкушаю куда приведет моя дорога и наслаждаюсь каждым шажочком по ней🥰

И конечно же я буду очень рада услышать о Вашем пути! Я обожаю истории из жизни и всегда рада новым знакомствам!❤️

#info
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1511
Ну ладно
Ллмки так-то прикольная вещь
💯4
Думаю, завершающим постом в этом году будет логическое подведение итогов📊

Лежу в поезде, уткнувшись лбом в стену, и пишу этот пост. Многое произошло за этот год, о чем одновременно хочется говорить и оставить в закромах своей памяти. Фраза «как же прекрасна долгопа» обрела для меня иной, более душевный смысл, чем ироничный) Я наконец-то почувствовала здесь комфорт и безопасность.

Этот год научил меня быть самостоятельной, принимать ответственность за своим действия, смотреть на одну и ту же ситуацию с абсолютно разных сторон. Этот год помог мне осознать мои возможности и пределы, показал скоротечность времени. В этом году обрушились мои привязанности к людям и местам, однако, появились новые. Я познакомилась с замечательными людьми с горящими глазами и сердцами, за которыми хочется следовать. В этом году я нашла себя.

Я наметила для себя вектор развития, о котором уже знают мои друзья. Я обязательно расскажу здесь, возможно даже через полгода - год. Запросы масштабные и мне нужно время для составления плана)

Возможно, для Вас мой пост покажется очередным словом какого-то человека из интернета) Но я искренне хотела бы донести до Вас ту самую очевидную мысль, что осуществить все Ваши мечты реально. Нужно. Просто. Действовать.

Желание, которое я загадывала на Новый год, звучало «выжить». В этом году я переформулирую его в «жить»❤️‍🔥

P. S. Сложно было выбрать фоточку к посту, поэтому прикрепила стаканчик из кофикса и один из любимых мемов. Думайте.

#diff
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
14
Под конец праздников (🥲) пытаюсь ввести себя в рабочий режим. Наконец начала ботать диффузию, дается очень тяжко...

Планирую разобрать три источника, с которыми хочется поделиться уже сейчас)))

1️⃣ Блог пост от девушки, вице-президента по исследованиям и безопасности в OpenAI. Маленькими подходами разобрала почти половину. Написано очень понятным и доступным языком.
2️⃣ Курс от физтеха. Начинала смотреть весной, но чет лютые формулы меня загасили. Сделаю попытку №2, после п.1. Можно найти курс за 24 год, но кажется что там еще пока нет записи лекций.
3️⃣ Статья, которую посоветовал мой друг. Думаю, мне понадобится минимум две недели, чтобы осознать и переварить все, что там описано💀

Делаю summarisation в виде пдфки на русском языке. Как обработаю все источники выше, обязательно выложу сюда🙃

#about_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8💯2
Диффузионные_модели_Архитектуры,_варианты_реализации,_применение.pdf
1.4 MB
Подготовила для себя небольшую пдфку с разбором математики диффузионных моделей и с радостью делюсь ей с Вами😶

Правда, где-то мне было лень разбирать более детально, поэтому могут стоять знаки вопроса или быть неточноти в переводе🤷‍♂️

Буду рада ответить на вопросы или принять замечания)

#about_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥133❤‍🔥1🤯1
Частенько работаю под техно/фонк 😎
Особенно помогает, когда не могу сфокусироваться

Small подборочка треков от меня (добавила вчера):
🤩трек 1
🤩трек 2
🤩трек 3

#diff
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👍1
Я кстати не забила на свой диплом и вроде даже что-то получается...

P.S. Не спрашивайте меня, почему так четко видно границы при вставке изображения
🔥12👍2
Channel photo updated