Вторая часть разбора Kaggle Stable Diffusion. Я озвучил все идеи, что нужны, чтобы получить моё текущее второе место. Думаю, больше частей не будет до окончания соревнования. Удачи!
https://youtu.be/WCj899AwOUk

Моя главная боль по жизни.

Последнее время делали прототип для инвесторов, поэтому было не до развлечений. А значит пора брать на себя новые обязательства.
Хочу попробовать себя в качестве ментора, пока нет своих подчиненных. По одному человеку за каждые 25 смайликов к этому посту. Готов раз в неделю созваниваться на 30-60 минут и периодически отвечать на сообщения. Кому такое интересно, напишите два предложения о себе и ссылку на вас в любой сети. И я полурандомно выберу. Писать можно тут, или в личку. Основное с чем могу быть полезен, это начальная траектория и участие в соревнованиях. Бесплатно.

Наконец я могу сообщить, где я работаю последние пол года, и почему так редко выходят посты тут(
aiuta.com - стартап посвященный моде и одежде которую мы носим каждый день.
Что сочетается, что нет, где купить заинтересовавшую тебя кофту, и как это все на тебе будет выглядеть.
Отслеживать наш прогресс можно тут
https://www.linkedin.com/company/aiuta-inc
https://www.facebook.com/aiutacom
https://www.instagram.com/aiutacom

#ответы Прошел разовый прогон по всем заявкам на менторство. К сожалению, далеко не всегда я был полезен, но что есть. Скопились самые популярные вопросы. На большинство я уже отвечал, но пусть и тут будет.

Железо для kaggle?
Я советую 3090, 4090, a100. Если они дороги, то используйте kaggle и colab для обучения. Покупать что-то дешевле - плохая идея. К сожалению, чаще всего побеждают крупные модели, которые просто не влезают по памяти. В крайнем случае, возьмите с рук дешевую карту nvidia на 8гб, для начала сойдет.

Как быстро начать участвовать?
Читаете ВСЕ обсуждения и ноутбуки. Выбираете один ноутбук с кодом обучения и изучайте, пока не поймете каждую строчку. Потом меняйте по одной строчки и наблюдайте за результатами. Когда станете специалистом в задаче, то можете начать писать свой код.

Основной совет на kaggle
Уделяйте много времени правильной валидации и изучению данных. Не забывайте посмотреть глазами и оценить, что выдает модель. Желательно, чтобы новая модель была лучше, как по валидации, так и по паблик тесту.

За сколько до конца соревнования пора начинать участвовать?
Я советую за месяц. К этому моменту остальные участники уже успеют обсудить идеи и написать хорошие решения и проще будет начать. Плюс, вы не успеете устать от соревнования, а то бывает мотивация заканчивается быстрее, чем само соревнование

Как найти первую работу?
Основная идея - чем-то отличаться от остальных сто других кандидатов . Попробуйте придумать, за счет чего вы могли бы быть лучше остальных. Я бы сделал акцент на пет-проект, или соревнования. Еще хорошая тактика, это совместить ML и свой предыдущий опыт. Возможно получившийся микс будет очень ценен для ряда компаний.

У Игоря крутая лекция по трансформерам. Всем обязательно смотреть!

Смотрите шо у меня есть - двухчасовая лекция по трансформерам, которую я читал (на одном дыхании!) полторы недели назад.

Это детальное погружение во все нюансы, в каких-то аспектах даже глубже, чем спрашивают на собеседованиях!

Однако первая часть, до разбора самого механизма внимания (Self-Attention), будет интересна и нетехнарям - потому что там рассказывается про токенизацию. Это способ предобработки текста, чтобы подать его в трансформер - и в нём куда больше нюансов, чем может показаться на первый взгляд!

Не забывайте ставить лайки - это очень поможет в продвижении видео и знаний в массы - чтобы больше людей посмотрело лекцию!

P.S.: звук постарались улучшить как могли, если у вас есть идеи или нейронки, которые можно применить, чтобы сделать звук качественнее - пишите в личку или в комментарии, будем посмотреть.

Сегодня мне исполнилось 31, а значит самое время затронуть очень важную и личную для меня тему - важность здоровья. И что прокачиваться надо не только на kaggle, но и в тренажерном зале.

Где-то лет восемь назад я начал быстро уставать, далее начиналась подниматься температура до 39 и часто стали появляться симптомы отравления. Походы к врачу заканчивались ничем, то ставили ОРЗ, то, пока дожидался записи, обострение заканчивалось и результатов не было А однажды, чуть не вырезали аппендицит из-за болях в животе. Но после того, как меня в метро по дороге в вуз прихватило так, что думал, что умираю, решил приложить больше усилий к диагностике проблемы.

Итого, мне поставили неизлечимую, но хотя бы незаразную болезнь, отрезали часть кишки и выписали дорогостоящее лекарство. Так и живём, но, хотя бы, количество обострений снизилось на порядок.
Чтобы спасти остатки здоровья, хожу в спортзал, набрав 10 кг, и периодически обследуюсь.

Так что мой вам совет, проходите раз в несколько лет полную диспансеризацию, ведь здоровье у вас одно и восстановить его бывает очень сложно, а иногда и вовсе невозможно. Занимайтесь спортом, хотя бы пол часа в день. Поверьте, Эти инвестиции будут оправданы. Не болейте!

С праздником, товарищи! Мира вам и продуктивного труда!
Хочу на следующей недели провести лекцию своим коллегам по генеративкам в картиночных моделях. От основ, как работают нейронки и что такое эмбединги, до современного состояния и отличия Dalle от Stable Diffusion. Думаю отдельно записать видео и для вас. Я с двумя вопросами, что бы вы хотели послушать по этим темам? И стоит или устроить прямую трансляцию, или лучше просто роликом?

В пятницу провел лекцию коллегам по генеративках в картинках. От автоэнкодера, до Stable Diffusion. Они сделали вид, что им понравилось, так что записал видео и для вас. Лекция получилась вводная, но если вам понравится, то запишу продолжение https://www.youtube.com/watch?v=l30xusW0ExA Лайки, репосты, все как вы любите.

Мы тут собрались с командой получившей серебро на Kaggle Stable Diffusion (@slavabarkov @icecreamflavors), чтобы подвести итоги и обсудить решения. Приятного просмотра https://youtu.be/FuaxUbm3ypI
В комментариях можете задавать вопросы по соревнованию

Всем привет. На неделю приехал в Питер, кто хочет увидеться и познакомиться, велком.
P.S. на неделе так же планирую давно обещанный пост про валидацию.

Валидация
Для того, чтобы создать валидационную выборку, достаточно простого советского…..
1. Чтобы валидация максимально сильно отличалась от трейна
2. Чтобы валидация была максимально похожа на тест(данные с прода)
Соблюдайте эти два простых правила и вы получите объективные метрики и сможете выжать максимум из задачи, подбирая модели и гиперпараметры

Открывается набор на лучший бесплатный русскоязычный курс по ML(по моему мнению)
Кто еще не влился, отличная возможность.
Я сам, в свое время, его смотрел, так то рекомендую

Мы открываем набор на осенний семестр школы глубокого обучения Deep Learning School!

DLschool — это школа при ФПМИ МФТИ, где мы учим нейронным сетям с самых азов до продвинутого уровня. Полный курс состоит из двух частей, каждая из которых длится полгода.
- Первая часть посвящена введению в нейросети и компьютерному зрению. Начинаем с основ машинного обучения и нейросетей, переходим к CNN для обработки картинок, заканчиваем переносом стиля изображений и ГАНами.
- Вторая часть полностью посвящена обработке естественного языка (NLP) и обработке звука.

Сейчас идет набор на первую часть. О новостях второй части курса напишем отдельно (скоро).

Особенность нашей школы в том, что мы даем много практики (теория при этом тоже есть, разумеется, и немало). Вам предстоит много практических домашних заданий и самостоятельный итоговый проект в конце семестра. По окончании обучения вы точно получите нужные практические навыки работы с нейросетями. Больше информации об организации курса и подробную программу первой части можно найти тут.

Преподаватели школы — ведущие специалисты российских и зарубежных IT-компаний и научные сотрудники исследовательских лабораторий. Среди них — я (Таня), буду вести у вас несколько лекций про CV, сегментацию и архитектуры сетей =)

Школа бесплатная. Полностью онлайн: учиться можно из любой точки мира, где есть интернет. Занятия проходят раз в неделю — лекция, семинар и домашнее задание. Обучение проходит на платформе Stepik. Берем всех, отбора нет.
❗️Начиная с этого года также есть возможность приобрести дополнительный пакет, в который входит индивидуальная поддержка от менторов и преподавателей в прохождении курса, а также дополнительные вебинары. Подробнее о нем читайте на нашем сайте.

Занятия начинаются 16 сентября. Регистрация продлится до 23 сентября. Чтобы зарегистрироваться на курс, оставьте заявку на нашем сайте. После этого вам на почту придет письмо со ссылками на курс на Степике, на канал и чат в Телеграме (письмо может идти 15-20 минут).

Ссылки:
Наш сайт
Подробная программа и оргинформация первой части курса
Ответы на часто задаваемые вопросы (F.A.Q)
Наш YouTube (тут видео всех лекций и семинаров школы, а также открытые лекции и интервью)
Наша группа VK
Поддержать нашу школу на Boosty
❗️В этом году в организации школы произошли некоторые изменения по сравнению с предыдущими потоками. Подробнее о них читайте тут. Также хочется сказать, что мы за лето хорошо поработали над организацией, и теперь не будет задержек в выкладке материалов, проверке дз и решении других вопросов =)

Если остались вопросы, пишите нам на почту (dlphystech@gmail.com), в сообщения в группе VK или в комментарии под этим постом.
И ждем вас в чатике курса в новом семестре! =)

#английский #anki
Так получилось, что мне всегда тяжело давались изучения языков. Да и необходимости раньше не было. Но пару лет назад все изменилось, и я стал учить английский. С 0 и пока только до B1. Делюсь своими идеями, а если у вас тоже есть советы, пишите в комментариях.

1) Грамматика. Я использовал онлайн сервисы(пазл, лео, дуо, гэлакси, и др). Они неплохо справились с задачей, но требуют кучу времени
2) Говорение. Тут все просто, разговорные клубы, общение с иностранцами и репетиторы. У меня это часть пока самая слабая
3) Слушание. подкасты, сериалы и фильмы(ороро, пазл муви, Яндекс музыка, и др)
4) Чтение. Новости, статьи, общение
5) Словарный запас. Anki, Lingvist, ChatGPT

Для меня сейчас основная задача - наработать вокабуляр, так что остановлюсь на этом пункте подробнее. Я сначала пробовал смотреть фильм на английском, но встречалось сильно много незнакомых слов и мозг ночью отказывался их запоминать, поэтому я стал учить слова до просмотра фильма с помощью сервисы флеш карт Anki. Работает это так.
1) Загружаю субтитры и аудиодорожку на колаб(теоретически можно и статью, или книгу)
2) Скриптом извлекаю все неизвестные мне слова
3) Автоматически обогащаю их контекстом, в котором это слово встречалось(со звуком), определением из оксфордского словаря, озвучкой. Идиомами, картинкой, примерами использования и тд
4) Создаю из этого добра карточки для Anki с разными типами заданий. Вставить пропущенное слово, написать слово по определению, или по аудио и др
5) Учу на каждое слово от 3 до 20 повторений(по 1-4 на каждый тип заданий). Если слово не запомнилось, то не расстраиваюсь и продолжу его изучать, когда оно попадаться в следующий раз.
6) Далее прохожусь по всем предложениям сериала, вспоминая перевод
7) Смотрю серию
8) Все выученные слова заношу в словарь «выучено»
9) Повторяю пункты 1-9 с другими эпизодами/фильмами

Дополнительно у каждой карточки есть ссылки на
1) https://youglish.com/pronounce/power/english - сервис где можно найти упоминание любой фразы среди всех ютуб роликов. Очень удобно для изучения примеров использования и произношения
2) https://forvo.com/word/power/ Только произношение
3) https://wooordhunt.ru/word/power Хороший словарь на русском
4) https://dictionary.cambridge.org/dictionary/english/power https://www.oxfordlearnersdictionaries.com/definition/english/power_1 Словари на английском
5) https://www.multitran.com/m.exe?l1=1&l2=2&s=power словарь с редкими значениями

Если наберем 100 огоньков, то почищу и выложу код создания Anki карт, или подниму сервис

#подкаст
Искусственные мысли с Колей Форратом. ИИ, Kaggle, DS, карьера
Мы встретились с Колей Forrat, который является Kaggle Competitions Master и поболтали обо всем и не о чем. Приятного просмотра. Если будет позитивный отклик, то продолжу делать такие записи
https://www.youtube.com/watch?v=Yw5IC0CKmAw

#английский #anki
Как и обещал пару постов выше, выкладываю код создания ANKI флеш карт для изучения английского по субтитрам. К сожалению, пока это черновик, времени привезти все это в удобный вид пока не нашлось. Если кто-то улучшит, или знает как это сделать, пишите.
https://colab.research.google.com/drive/181CruiodGTzaPWl49UWILZM3f39AtI0A?usp=sharing

Всем привет. С 20го декабря пару недель буду в Тайланде, Если вы чилите там, и хотите встретиться - пишите в личку.

Еще, у меня периодически просят кого-нибудь порекомендовать, думаю создать базу желающих, чтобы было из кого это делать. Что думаете?

Прямо сейчас просят работящего NLPшника, если интересно, напишите, свяжу

Привет друзья, надеюсь у вас все хорошо, а будет ещё лучше.
Новый год это время когда все ставят цели, чтож, буду и я. Пусть следующий год у меня будет годом любви и уважения.
Надеюсь и у вас этого будет в достатке. Любви вам, мира и самореализации!
С новым годом!