🤔 Если вам не охота соперничать в соревнованиях нa Kaggle с опытными участниками со всего мира, а хочется просто привлечь внимание, то можно поразводить хейт против чужих инициатив. Вполне себе способ заработать "Discussion Contributor" - но только вот зачем?!

🤯 Это мы словили нездоровую реакцию за привлечение людей к участию в без медальном соревновании ради фана. Вот не лень же кому-то так запариваться.

🙂 Скажу, что авторы марафона не одобряют приват шейринг вне Kaggle. Иначе зачем нам тогда разыгрывать свой собственный мерч!? Не удивительно, что как только участники мини-марафона начали подниматься в топ лидерборда, другие тут же начали переживать.

Если вы давно хотели начать делать свой стартап с ML модельками внутри, то вот вам знак. Стартуйте!

Временной фан факт для тех, кто в своей карьере планирует создавать авторский курс.

🧠 В нашем курсе мы очень старательно относимся к дизайну практических задач для участников. Вот вам статистика по последнему модулю. Чтоб научить людей делать пост-процессинг предиктов модели, Я приготовил 4 задачи.

(Пост-процессинг - это хитрая техника, которой вы адаптируете выход модели под метрику так, чтобы скор был выше при прочих равных)

🤪 Так вот, на полное оформление этих 4-х задач на Степике с написанием тестов у меня ушло 3 дня фултайм работы.

🍏 На скрине одна из реакций на другую задачу, на которую когда-то ранее ушло два дня работы фул-тайм. Моя маленькая гордость.

🔥 Жми огонечек, если хочешь увидеть условия этой задачи

Если вы эффективнее работаете утром, но утром вам мешают рабочие созвоны, то просто переезжайте в Азию.

🧠 Уже осознал, насколько сильно мне помогает режим - утром кодинг, днем созвоны и встречи. С временным шифтом в +4 часа я больше успеваю.

🤜 Почему шифт помогает? К беду в РФ еще только утро, но зато я успеваю собрать всем мысли в один TODO лист и далее презентую его команде.

🗳 В целом, такой совет вы уже могли слышать от предпринимателей. До обеда операционка, после обеда время для стратегических решений.

Карьерная мини история или лайфхак для начинающих.

Контекст: После запуска курса окончательно решил нигде больше не преподавать на внешних курсах. Однако, делюсь уникальным опытом. Ранее я успел поработать в 4 онлайн школах, если не считать МФТИ и Deep Learning School. Однако, как человек, который сам освоил вторую профессию в онлайне, скажу что грамотные авторские курсы это пушка. Эти курсы полезны как для студентов, так и для самих преподавателей. В МФТИ даже развита культура, где сами студенты преподают другим студентам некоторые дисциплины. Куда даже препы ходят 🤫 Мой самый первый курс по машинке вели как раз матерые старшекуры.

Предыстория: Когда только вкатывался в DS из биоинформатики, я был все еще студентом. Чтоб совместить изучение интересной сферы с работой - придумал для себя попробовать попреподавать в онлайн школах. Мне тогда казалось, что преподавать DS и получать за это плату - это идеальный баланс. К этому моменту у меня уже был опыт работы в IT фарм компании и серия проведенных вебинаров в DLS. Я тогда знал про несколько известных онлайн школ, куда мне интересно было попробовать попасть.

Проблема: Куда бы я не пробовался, не было либо вакансий, либо мне никто не отвечал на отклик. Почему так? Любая компания это уже сложившийся коллектив, в который пускают всегда с осторожностью. Да, конечно, иногда просто HR'ры тупят и теряют лиды, но это реже. Онлайн школы не исключение, преподавательский коллектив и продюсеры курсов тоже мало заинтересованы искать к себе в команду новые таланты. Что делать в такой ситуации? Об этом ниже 👇

Решение: Ищем контакты продуктов/HR'ов из компании вашей мечты и прицельно пишем им запрос в личку. Из трех школ, в которые так постучался, мне ответили все три. Это же 100% конверсия! Две школы, как итог, пригласили меня сразу, а одна добавила в резерв. Резерв мне не понравился, поэтому через время я написал продюсеру смежного курса. Тот пообещав мне DS попозже, взял вести статистку и аб тесты. Пришлось полюбить статистику и превратить этот сложный предмет в свое хобби, в ожидании открытых позиций. (Забегая вперед, уйду из этой школы спустя год, проведя около 40 вебинаров, так и не познав вебинаров по DS)

Вывод: Если ну очень хотите в конкретную команду/компанию, то не надо надеяться только лишь на общую воронку. В общем пайплайне выше риск, что ваша вакансия мечты так и останется мечтой.

🤪 Остановите это новое безумие с папками из телеграм каналов.

🙀 Телеги многих уже тонут в сотнях не читаемых каналов и чатах. Какие-то телеграмы уже не спасти. А лидеры мнений подписывают вас на очередную пачку таких сущностей.

👻 Это же бешеный скачок информационного шума… Обходите такие «бомбы».

🙌 Цените свое ментальное здоровье. Меньше шума, больше фокус.

🫣 Если уж подписывайтесь на очередную пачку каналов, то делайте это избирательно, с выбором в пользу личных брендов.

🤖 Как и обещал, ловите хитрую задачку на Feature Engineering

📔 Условия на скрине. Датасет для решения тут. Одни только условия должны сломать вашу возможную парадигму, что все решают ML модели. Увы, чаще решают именно «фичи», а не ансамбль моделей.

🧠 Как понять, что верно решено? - Классы разделятся однозначно. В рамках тг заслать тест не получится, но пока хотя бы так. Возможно позже скину пример решения в комментарии.

Для полноты картины все-таки напишу, что тот парень таки добил задачу 💪

Всем желаю такой упорности!

Кстати, сейчас на Kaggle опубликовали еще несколько сочных сорев. Много табличек и везде можно отпрактиковать feature engineering в бою

Да харе уже Бабушкина приглашать на всякие стримы по поводу и без повода. Валера от раза к разу отвечает на одни и те же вопросы независимо от темы. Дайте ему хотя бы пол годика пожить спокойно. Пусть накопит новых шуток.

Ого, вот это новый уровень спама.

Только что в лс прислали вот это. И ведь действительно тут же доказали, что они шарят за нейронки. Берите за вооружение идею:)

Updated: Буквально через минуту аккаунт стал приведением =)

#страшный_таргет
#агрессивный_маркетинг

https://telesco.pe/datafeeling/390

Любишь фичи генерировать, люби и отсеивать

На прошлых выходных фармил чемпионат по предсказанию игровой активности студентов.

Решил решать с нуля и генерировать признаки сам. Сильно скоррелированная локальная валидация с лб позволила почти не смотреть на лб и проверять гипотезы локально. Все шло хорошо, пока число фичей не достигло ~2к. А как известно, много фичей не очень хорошо, влияет на стабильность и скорость.

Поставил считаться эксперимент с рекурсивным удалением фичей на несколько дней. RFE это ресурсоемкая процедура, поэтому я решил удалять фичи из нескольких группы одновременно.

Группа 1 - признаки с очень низкой важностью для модели.
Группа 2 - признаки с большим числом пропусков
Группа 3 - подозрительные на мой субъективный взгляд признаки и агрегаты
Группа 4 - слабо вариативные
Группа 5 - просто брут-форс.

Фильтрация шла по всем группам, синхронизируя результаты через единый файл, чтоб алгоритмы не повторяли эксперименты и всегда знали текущий лучший скор валидации. Модель и валидация фиксированные.

Несколько полезных выводов, к которым пришел.
🤔 Фильтрация поднимает скор.
🤔 Брут-форс находил вредную фичу 1 раз на 20 экспериментов. (~1/20)
🤔 Среди маловажных реально много не влияющих. (~1/5)
🤔 Фичи с пропусками тоже чаще отлетают (~1/10), но удаление некоторых сильно просаживает скор.
🤔 Подозрительные фичи хорошо отсеиваются. Все что было не нормировано на длину сессии часто вредило (~1/8).
🤔 Слабо вариативные чуть лучше бруд-форса, но не сильно (~1/15)
🤔 Полезно увидеть закономерность и добавлять эвристику для повышения приоритета в удаление фичей. Так фичи будут отлетать сразу пачками.
🧠 Вредные признаки бывают не очевидны.
🧠 Вредные признак помогают найти полезные.
🧠 Самописная фильтрация удобнее и быстрее. Сможете задавать порядок обхода, хеширование, логирование и синхронизацию .

🤖 Эксперимент кустарный, воспроизвести его не возьмусь. Считалось это 4 дня на 20 ядрах. Все как всегда зависит от данных, но зато выводы согласовываются с моим ранним представлением!

Ощущение, что для интервью про современные нейросети надо всего лишь уметь иносказательно объяснить, что такое перцептрон (нейрон).

Пришел к такому выводу после череды последних интервью от популярных СМИ у людей из мира AI. Вообще плевать, что ты там знаешь, просто проводишь аналогию с биологическим нейроном в мозге, и уже всем понравится. Уж слишком все поверхностно.

Если спросят про chatGPT тоже можешь про перцептрон рассказать. Схавают.

Так-с, это что получается, теперь в Data Science можно попасть двумя путями? 😳

В целом, когда длина промптов доходит до 1000+ токенов, и у сервиса уже есть монетизация, то я готов поверить, что для промпт инжиниринга нужна отдельная позиция.

Впервые увидел вакансию по затравкам 🤔

Копался сейчас в коде, присланным подписчиком. Надо было помочь пробить скор. Не знал, что код сгенерирован chatGPT. Спустя время нашел незаметную ошибку, которая не давала побить порог по точности.

Если кратко: Цикл обходился по строчкам, а не по столбам. Не сразу заметишь, если не сам писал.

Мораль для новичков: Если ты новичок, будь осторожнее с нейросеточным кодом, это игрушка дьявола.

Мораль для меня: Спрашивать предварительно людей откуда код - это новая реальность.

Видосик чисто потому что другой пикчи для поста не нашел.

Давно мы с вами не обменивались вайбом рабочих мест.

Накидайте своих ворк спейсов в комменты

Последний раз пользуюсь своим положением.

😅 Застрял в центре Крыма еще на сутки, поэтому с радостью бы познакомился с кем-то из местных DS'ов. Подеюсь опытом, если будет запрос.

🎰 Если вы вдруг сегодня в Симферополе. То как вам идея встретиться? Пишите в лс, сходим в кино на "Магалодон" 🙈😅.

🤔 Однажды, я так виделся с DS ребятами в Казахстане. До сих пор в коннекте. Очень классный опыт.

👨‍💻 Так-то это личный блог про меня живого. Не могу же писать все время сугубо про IT.

📦 Кстати, на завтра я приготовил для вас серию постов про свой годовой опыт жизни digital кочевником вне РФ. После него, вы вряд ли сможете оставаться в пределах одного города.