BIG BAD DATA – Telegram
BIG BAD DATA
141 subscribers
69 photos
1 video
9 files
31 links
Сложно о простом и просто о сложном 😎🥸
👀Меня можно найти тут: @Areson251
Download Telegram
В целом клево было съездить вечерочком развеяться, посмотреть на офис Яндекса, пообщаться с опытными людьми. Словила немного вайб, поэтому поделюсь некоторыми фоточками))

#dvizh
👍4🤩21🔥1
Выступаю завтра на семинаре! Подключайтесь♥️
6
🎓 — Семинар 25. Использование данных бортовых радаров и камер для распознавания объектов на дороге и бездорожье | Ульяна Изместьева, Лука Ветошкин, Ольга Матыкина

В нашем выступлении мы обсудим мультимодальные датасеты и методы для распознавания трехмерной сцены, использующие данные наиболее распространенных сенсоров беспилотных транспортных средств: камер, радаров и лидаров. Отметим особую роль радаров, которые могут видеть сквозь туман, дым, снег.

Мы приведем краткий обзор датасетов, собранных как в городских условиях, так и в условиях бездорожья и даже в шахтах. Также мы коснемся методов для решения широкого класса задач с использованием упомянутых датасетов: сегментация и детекция объектов на дороге, сегментация проезжей части, построение карты глубин по изображениям и облакам радарных точек.

В завершение мы расскажем об экспериментах, позволяющих преодолеть ограничения существующих мультимодальных датасетов. В качестве методов аугментации датасетов будут рассмотрены дифуззионные модели Kandinsky2-2, Stable Diffusion-2, Stable Diffusion XL. Сравним архитектуры моделей, время инференса и качество сгенерированных изображений в режиме восстановления выделенной области изображения.

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #CV #selfdriving #multimodal #diffusion
❤‍🔥62🔥2
Пришла весна🌸
У меня снова появлилось настроение и желание ботать😼
Поэтому держите разбор мини темки👇

🟢Автоэнкодеры — это нейронные сети прямого распространения, которые восстанавливают входной сигнал на выходе. Автоэнкодеры конструируются таким образом, чтобы не иметь возможность точно скопировать вход на выходе.

Автоэнкодеры состоят из двух частей: энкодера g и декодера f. Энкодер переводит входной сигнал в его представление (код): h = g(x), а декодер восстанавливает сигнал по его коду: x=f(h). Автоэнкодер, изменяя f и g, стремится выучить тождественную функцию x = f(g(x)), минимизируя какой-то функционал ошибки: L(x, f(g(x)))

При этом семейства функций энкодера g и декодера f как-то ограничены, чтобы автоэнкодер был вынужден отбирать наиболее важные свойства сигнала.

#about_ml
6
🟢Примеры автоэнкодеров:
🔹Сжимающий автоэнкодер
Состоит из двух полносвязных слоев: енкодера и декодера.

🔹Глубокий автоэнкодер
Такой же автоэнкодер, но с большим числом слоев. Может вычленять более сложные нелинейные закономерности.

🔹Сверточный автоэнкодер
Присутствует некоторая пространственная инвариантность. Несмотря на то, что количество параметров у этой сети намного меньше чем у полносвязных сетей, функция ошибки насыщается на значительно меньшей величине.

🔹Denoising автоэнкодер
Автоэнкодеры можно обучить убирать шум из данных: на вход подавать зашумленные данные и на выходе сравнивать с данными без шума: L(x, f(g(x'))), где x' — зашумленные данные.

🔹Разреженный (Sparse) автоэнкодер
Разреженный автоэнкодер — просто автоэнкодер, у которого в функцию потерь добавлен штраф за величины значений в коде, то есть автоэнкодер стремится минимизировать такую функцию ошибки: L(x, f(g(x))) + Ω(h), где h = g(x) — код, Ω(h) — обычный регуляризатор (например L1): Ω(h) = λ * |h|
Разреженный автоэнкодер не обязательно сужается к центру. Его код может иметь и большую размерность, чем входной сигнал. Обучаясь приближать тождественную функцию x = f(g(x)), он учится в коде выделять полезные свойства сигнала. Из-за регуляризатора даже расширяющийся к центру разреженный автоэнкодер не может выучить тождественную функцию напрямую.

Если есть какие-то вопросы, замечания, предложения - жду комментариев🙃

Ссылка на хабр с кодом

#about_ml
🔥53
🎓 — Семинар 26. 66-ая Всероссийская научная конференция МФТИ: секция технологий искусственного интеллекта ФПМИ

Сегодня в качестве семинара пройдет у нас будет Всероссийская научная конференция МФТИ: секция технологий искусственного интеллекта ФПМИ, на которой будем заслушивать доклады участников, чьи работы прошли отбор на конференцию. Среди всех участников выступят и наши сотрудники: Ульяна Изместьева, Ольга Матыкина, Егор Черепанов, Александр Чернявский, Анатолий Борзилов, Владислав Кузнецов, Zhang Huzhenyu, Александр Мелехин, Денис Васильев и Егор Зубков!

📹 Трансляция Youtube

Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!

#семинары #конференции #мфти #ии
5👍3
Вечер воскресенья, впереди майские праздники🌸
А мне грустно от того, что я уже больше полугода в Москве, а роста себя как специалиста почти не ощущаю(((

Начала копать причины - почему так происходит? Как всегда натыкаюсь на одну и ту же проблемную часть себя - отсутствие дисциплины. Я слишком завязана на своих эмоциях, а учитывая то, что я очень эмоциональный человек, бывает трудно с ними совладать... Исходя из этого начинает страдать продуктивность и отдых, появляется тревожность, что отражается на физическом здоровье😬

Снова ищу методы решения такой проблемы. Наткнулась на прикольный видос с клевой анимацией на мой вкус. Легко и доступно преподнесли материал. Да, рассказали про очевидные вещи. Но для таких людей как я, у которых в голове вечно бардак, полезно слушать что-то подобное, потому что направляет в правильное русло мыслей и действий)))
Основные поинты ниже

Морально подготовься
Силы воли не существует (как и лени)
Необходимо твердо решить, что тебе это надо
Причины почему не можешь соблюдать дисциплину:
1. Берешь на себя слишком много - работай в своем темпе
2. Ждешь быстрых результатов. Плохо сейчас - хорошо потом
3. Много чешешь языком 🙂 Когда делишься слишком много своими планами или представляешь все достигнутые цели - психика думает, что это уже есть в реальности.

Начни делать
Лайфхаки для достижения целей:
1. Раздели большую цель на более мелкие
2. Определи вознаграждения за сделанный кусок работы (Чувствую себя рл агентом). Награда должна быть соразмерна со сделанным
3. Меньше отвлекайся - ограничь время на залипание в соцсети и тп. Хотя, можно контролировать этот процесс будильником

Не останавливайся
Чтобы поддержать дисциплину - нужно этого хотеть.
Если все время страдаешь - то тебя хватит не на долго

Ссылочка на видосик

#diff
6
Решила летними вечерами укреплять свою базу знаний 🥸

📚Курсы:
Курс по классическому мл от Радослава Нейчева - первая часть (база)
Прикладное машинное обучение от Радослава Нейчева - вторая часть
Курс по генеративным моделям - читается на физтехе

📄Шпаргалки и заметки:
The IllustratedMachine Learning website - схематичный конспект
Учебник по машинному обучению - от ШАД
Конспекты от Дъяконова

🧠Упражнения:
Практические упражнения по ML - 15 задач от градиентного спуска до до GPT с нуля в виде leetcode задач (меня это очень сильно привлекло, планирую сделать все)
Roadmap по литкоду - 150 задач на алгосы
Курс по Git - легкий курс в игровой форме (визуалам понравится)

📺Видосы и прочее:
Методичка: Поиск Работы в ML/DS от Бориса Цейтлина
Краткое и емкое видео про GIL
Асинхронность
Работа с памятью в python

Сюда еще планируется добавить курсы по git, linux, mlops (непосредственно, когда я до них доберусь)

#about_ml
🔥9😎31
Еееее

В день рождения юбилей в 100 подписчиков🎉🎉🎉

Можно теперь покупать тг-премиум и писать посты, не разделяя их (использовать прикольные стикеры в сообщениях)😄
🎉18😇43
У меня вечно бывает проблема, когда пишу код на двух разных устройствах (мак и сервер): приходится постоянно мерджить ветки, разбираться, где сейчас находится голова, как откатиться назад и все в этом духе...🤔

К счастью, мне попался классный курс по Git, который разработан в игровой форме и затрагивает все самые нужные и популярные команды. Сам интерфейс включает в себя маленькое консольное окошко (собственно, где все команды и прописываются) и большое поле с визуализацией всего того, что происходит с ветками кода. Наглядно показываются истории коммитов, положение HEAD и влияние на них команд. Я в восторге! Также там есть песочница, где можно безопасно экспериментировать с командами.

Всем котятам невдуплятам в Git советую пройти этот курс (займет буквально один вечер). 🤩
Он максимально легкий, по ощущениям — онлайн игра для 5 класса. Ну и, естественно, хорошо формирует базовое понимание работы Git.

#diff
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
8🔥6
Итак, снова внезапно возвращаюсь с новостями⚡️

Честно говоря, столько мыслей в голове, которыми хочется поделиться, но после такого насыщенного дня сложно всё собрать в кучу и написать клевый пост за полчаса)

Два месяца затишья на канале. Два месяца ботанья теории и практики, подготовки к собеседованиям, технических интервью. Много потрачено нервов, много вопросов решено, и примерно столько же осталось нерешённых. Чувства предвкушения и волнения: что будет дальше? Как будет дальше? Хочется покорить все горы этого мира. И я стараюсь находить для себя окружение, которое будет способствовать этому.

Сегодня я стала частью команды Axenix! 🎉

#info
Please open Telegram to view this post
VIEW IN TELEGRAM
16🔥9🎉6
Хотела бы более подробно рассказать про свою подготовку к собесам🤓📚

Поэтому вернусь к посту выше с обновленными ссылками🤩
Добавила в раздел "Шпаргалки и заметки" конспекты Дъяконова для полноты картины и создала новый раздел с видосиками.

To my mind стоит полностью заботать курсы от Радослава и чекнуть раздел "видосы и прочее" (материала там очень мало, но вполне себе достаточно в качестве базы). В принципе, это полезно сделать любому начинающему джунгарику🥰 Как минимум для своего развития.
Также, хочу еще раз обратить Ваше внимание на практические упражнения по ML. Лично я решила только первую половину задач, но это дало мне более глубокое понимание работы линейной регресии и тп. Да, да, мне это было необходимо...

И последнее, на чем я сделаю акцент - иллюстрации по всему классическому ml. При просмотре лекции или решении задач они мне очень помогали)

В целом, пока что все. Может быть вспомню что-то еще. Буду рада, если материалы окажутся для Вас такими же полезными, какими оказались для меня🤩

#about_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11👍4💅32🙏2
О чем писать?🤔
Please open Telegram to view this post
VIEW IN TELEGRAM
🐳2
Достаточно много пришло людей в мой канал, поэтому настал момент познакомиться еще раз💕

Расскажу про свой путь в проге начиная со школы...

Многие знают, что еще в 9 классе я решила стать программистом😎
Почему так рано? Потому что мне не нравились все предметы, кроме математики, информатики и физики. Информатика давалась легче всего, как будто бы там все очевидно))) А про другие два предмета я люблю говорить так: математика моя жена, а физика - любовница (со второй очень непонятные, но приятные отношения были)🤫 Как следствие на ОГЭ и ЕГЭ я сдавала именно эти предметы.

Также, еще в 10 классе я определилась, что буду учиться в ИжГТУ🥇❤️
Переехать в общагу я была не готова, а механ на мой взгляд имел неплохую репутацию (в прочем, как и сейчас). Была выбрана специальность с наибольшим проходным баллом - программная инженерия. До сих пор с теплотой в душе вспоминаю пары по вышмату и специальности, процессор intel с нуля, астральные трактаты, set bruh, информационную безопасность и многое другое). Здесь я обрела друзей, с которыми общаюсь и по сей день💜

Уже летом после первого курса мне повезло попасть на part time job на завод😎 ИРЗ Первая линия - первое официальное место работы. Именно здесь я впервые коснулась нейронных сетей. Это была любовь с первого взгляда😌 Много интересных задач было предложено, но о каких навыках и умениях могла идти речь, если я умела только решать самые простые олимпиадные задачки и прогать на arduino. Тем не менее, завод дал мне значительный опыт и базовое понимание «а что такое программирование?»

Спустя примерно год в какой-то очередной студенческой беседе появилось объявление о наборе программистов в Ижевский Нефтяной Научный Центр. Мне уже хотелось работать full time и зарабатывать больше. Откликнулась, прошла собес, подписала договор. Предполагалось, что я так же продолжу заниматься ИИ, однако за год работы в ИННЦ я прошла достаточно непредвиденный путь: data science -> full stack-> frontend 😵‍💫 Попробовав себя в разных отраслях проги я решила, что все таки ml и ничего больше)

К тому же, остался год до окончания бака - нужно было уже думать по поводу своего будущего и где я хочу оказаться через год. Раз уж ml - было принято решение готовиться и поступать в магистратуру в мск. Ну и почему бы не закрыть школьный гештальт - поступить на фт🤓 Я долго колебаться не люблю, поэтому так и сделала🤓🤓

Где-то в этом же промежутке получилось маленькой дружной компанией выиграть студенческий стартап. Не знаю почему, но мы решили сдвинуть свои роли по кругу и как следствие я сидела на backend-е😎 Было тяжко, зато теперь могу запилить простенький сервак на Django и поднять тг-бота.

Год стажировалась в лабе, снова набиралась опыта, вливалась в ds-тусовку, заводила новые знакомства. В общем, год прошел максимально весело и интересно) Как бы я не ворчала, все равно считаю, что все сложилось наилучшим образом🌟 Лаба подарила мне четкое понимание моих хотелок, вектор роста как специалиста, новых друзей и воспоминания на всю жизнь❤️

Однако, хотелок стало слишком много🤷‍♂️ В том числе, захотелось попробовать ворваться в бигтех и посмотреть изнутри как там все устроено. Таким путем я пришла на свое текущее место работы - Axenix💥 Так как консалтинг => я ожидаю получить обширный опыт в самых ходовых областях ml и снова преодолеть ступеньку (а то и несколько) карьерной лестницы🤪

Как-то так. Почему-то сложно было написать этот пост. Хочется про каждое свое место работы рассказать максимально подробно, потому что везде были свои приколы и провалы. Штош, предвкушаю куда приведет моя дорога и наслаждаюсь каждым шажочком по ней🥰

И конечно же я буду очень рада услышать о Вашем пути! Я обожаю истории из жизни и всегда рада новым знакомствам!❤️

#info
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1511
Ну ладно
Ллмки так-то прикольная вещь
💯4
Думаю, завершающим постом в этом году будет логическое подведение итогов📊

Лежу в поезде, уткнувшись лбом в стену, и пишу этот пост. Многое произошло за этот год, о чем одновременно хочется говорить и оставить в закромах своей памяти. Фраза «как же прекрасна долгопа» обрела для меня иной, более душевный смысл, чем ироничный) Я наконец-то почувствовала здесь комфорт и безопасность.

Этот год научил меня быть самостоятельной, принимать ответственность за своим действия, смотреть на одну и ту же ситуацию с абсолютно разных сторон. Этот год помог мне осознать мои возможности и пределы, показал скоротечность времени. В этом году обрушились мои привязанности к людям и местам, однако, появились новые. Я познакомилась с замечательными людьми с горящими глазами и сердцами, за которыми хочется следовать. В этом году я нашла себя.

Я наметила для себя вектор развития, о котором уже знают мои друзья. Я обязательно расскажу здесь, возможно даже через полгода - год. Запросы масштабные и мне нужно время для составления плана)

Возможно, для Вас мой пост покажется очередным словом какого-то человека из интернета) Но я искренне хотела бы донести до Вас ту самую очевидную мысль, что осуществить все Ваши мечты реально. Нужно. Просто. Действовать.

Желание, которое я загадывала на Новый год, звучало «выжить». В этом году я переформулирую его в «жить»❤️‍🔥

P. S. Сложно было выбрать фоточку к посту, поэтому прикрепила стаканчик из кофикса и один из любимых мемов. Думайте.

#diff
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
14