Несколько месяцев назад мне в предложку кинули вот эту замечательную подборку, а я её проигнорировал. Теперь исправляюсь и выкладываю, ибо, возможно, кто-то тут что-то полезное для себя найдёт.

🔧 Сборка лекций и семинаров по математике.

Техники появляются все чаще. Времени на освоение каждой всё меньше. Распыляясь на множество техник, ни одну глубоко не понять. Как адаптироваться к технологической сингулярности? Ограничить своё внимание какой-то одной техникой, или выбрать 2-3 в рамках одного выбранного на длительный период направления?

Такой вопрос задали полгода назад в комментариях к посту Матчасти, и мы его проигнорировали. А вопрос-то животрепещущий! Поэтому давайте разбираться.

Для начала, что такое "технологическая сингулярность". В математике "сингулярность" - это любая особенная точка на графике функции, но чаще всего – вертикальная асимптота, как у гиперболы. Этот термин забрали у математиков физики, применив его к математическому описанию чёрных дыр, и уже оттуда его слямзили футурологи, чтобы обозначить гипотетический момент в будущем, к которому технологический прогресс станет бесконечно быстрым. Если честно, я не могу понять, каким образом прогресс может быть бесконечно быстрым, и, скорее всего, эту фразу нужно понимать в смысле "технологии развиваются так быстро, что нам сложно что-либо предсказывать", и проблема скорее не в слишком быстрых изменениях, а в недостаточно мощных предсказательных способностях наших футурологов. Но в футурологов нам так или иначе приходится играть, ибо внешние изменения наступают, и к ним хочется адаптироваться по возможности заранее.

Ещё лет 30 назад HRы придумали, как классифицировать людей по охвату их навыков. Тех, кто максимально глубоко роет в одну точку, назвали "I-shaped". Для тех, у кого широкий кругозор, но ни в чём нет глубины, названия не придумали, но можно было бы сказать "минус-shaped", хоть это и звучит обидно. А любовь HR-ов – это "T-shaped" люди, которые сочетают общую широту знаний с глубоким погружением в какую-то одну область. Некоторые из моих знакомых называют себя "Ш-shaped", мол, они умудряются поддерживать глубину сразу в нескольких независимых областях. Так какие из этих стратегий работают на самом деле?

Один работающий подход – развивать те навыки, которые точно долго не устареют, а это в первую очередь soft skills. Если ты просто клёвый чувак – работоспособный, коммуникабельный, структурный, умеющий концентрироваться, и хорошо принимающий решения, то ты в принципе уже не пропадёшь. Минус в том, что нужно очень внимательно заботиться о себе, и всё равно это не гарантирует, что в такой хорошей форме ты будешь всегда. Другая очевидно работающая стратегия – правильно выбрать одно направление, которая будет перспективным достаточно долго, напрячься, и стать в нём топовым специалистом. Для этого нужна концентрация, а ещё выносливость, ибо путь до "самого лучшего" небыстр. Основной риск здесь – что выбранное направление утратит свою перспективность быстрее, чем окупятся силы и время, вложенные в него. Поэтому разумной кажется смешанная стратегия – инвестировать 50% своих ресурсов в то, чтобы становиться "клёвым чуваком в целом", другие 50% – в специализацию на том, в чём хочешь стать лучшим, а третьи 50% – в изучение ещё пары областей, на которые в случае чего можно будет перепрофилироваться. Ну, или если не хочется черпать недостающие 50% из сна, здоровья и личной жизни, можно использовать веса типа 25/50/25. Тоже T-shaped, только буква T – с засечками. Я сам, например, сейчас специализируюсь на NLP, но дополнительно занимаюсь преподаванием и фулстэк-разработкой, для разнообразия и на всякий случай.

Есть ли у меня какие-то данные, чтобы подтвердить своё голословное мнение? Увы, нету. И, боюсь, собрать толковый датасет по связи специализации навыков с успехом очень сложно, ибо и свои навыки, и свой успех люди оценивают субъективно, и такой датасет отражал бы скорее совокупное мнение респондентов по этому вопросу, чем объективные закономерности.
А вот собственное мнение по вопросам типа "как заботать конкретную область Х", или "на что обратить внимание при выборе между областью Х и областью Y" я вполне могу. Равно как и давать мини-обзоры по каким-то конкретным областям и вопросам. С чем и приглашаю в комментарии (:

Техники появляются все чаще. Времени на освоение каждой всё меньше. Распыляясь на множество техник, ни одну глубоко не понять. Как адаптироваться к технологической сингулярности? Ограничить своё внимание какой-то одной техникой, или выбрать 2-3 в рамках одного выбранного на длительный период направления?

Наиболее верным видится первое. У каждого человека, какой бы позиции он ни придерживался в вопросах изучения боевых искусств, должен быть конкретный, ограниченный сетами и тренировочными курсами набор техник. Каждую из техник надо, как минимум, понимать, уметь анализировать на основе того, что знаешь, и понимать, как поступать в случае нестандартной ситуации.

Карта у тебя есть, а боевых искусств нет? Научись их держать в руках.
Хочу быть физически здоровым, а умственной и духовной гибкостью обладаю? Используй свое тело для адаптации к современной технической сингулярность.

В обществе потребления мозг человека рассматривается как расходный материал, а не как важнейший стратегический ресурс. Наступила эпоха интеллектуальной роботизации, и главное для выживания - интеллект. Развивай свой интеллект. Умение владеть своим интеллектуальным и физическим капиталом - гарантия выживания и нормальной жизни.

Как быть эффективным при компьютерной, сенсорной и прочей информационной сингулярностях? Следовать за трендами. Ненужные навыки выкидывать. Лишь при их отсутствии по-настоящему совершенствоваться.

Если будет трудно, ты всегда можешь бросить тренировки и уйти в любой другой спорт. Боевые искусства, физика и все остальное - как системы адаптации к новым условиям, не имеющие циклов и не останавливающиеся в развитии.

Слишком мало времени? Не заморачивайся на деталях. Примени список методов, указанные выше, на занятиях любым видом спорта. Если после усвоения всего этого ты дашь слабину, или если тебе станет лень развиваться дальше, ты и на этот раз избежит продолжения бессмысленного развития.
Мне нравится, как ты сейчас двигаешься. Это твой шанс прожить еще немного.

Поддерживай форму. Расти над собой. Тогда ты не будешь почивать на лаврах, а сможешь на основе своего понимания и опыта сделать что-то новое и полезное. А в конечном итоге и поможет реализации глобальных планов.

Этот текст сгенерировала GPT-3 (russiannlp.github.io/rugpt-demo) по первому абзацу. Мне любопытно, насколько больше лайков он наберёт по сравнению с предыдущим текстом, куда я пытался вложить какую-то мысль. Буду не удивлён, если окажется, что языковая модель уже лучше меня справляется с задачей рассуждения на пространные темы ¯\_(ツ)_/¯

Всем привет!
В марте мы запускаем новый поток курса по машинному обучению.
Курс, как и раньше, состоит из трёх компонент:
1) Общеобразовательная: по две лекции и два семинара в неделю в течение двух месяцев; будем погружаться в теорию и практику ML.
2) Проектная: каждый студент работает над своим проектом и регулярно консультируется с нами, чтобы на выходе у каждого был свой работающий прототип какого-нибудь небесполезного приложения.
3) Нетворкинговая: будут встречи с гостями из индустрии и мира стартапов, и, конечно, общение внутри курса.

В отличие от других подобных курсов, наш стоит десятки тыщ (подробнее расскажем на дне открытых дверей, ибо ценообразование нетривиальное), но эту в цену входят регулярные личные консультации с преподавателями-экспертами. Так что если у вас будет достаточно времени и сил, выжать из курса вы сможете очень много: не только знания, но и личный проект в приличной степени готовности.

В этот раз в курсе будет несколько веток:
- Можно выбрать свою "расу": в варианте для разработчиков больше технических деталей, программирования и математики, в варианте для менеджеров – больше обзорных штук.
- Можно выбрать фокусное направление: компьютерное зрение или обработка естественного языка.

Вот ссылка на всю палитру выбора: https://maths-h.com/ru/mlprojects/
На этой неделе у нас будут "дни открытых дверей" в зуме: в среду для менеджеров (https://mathshub.timepad.ru/event/1936496), и в четверг для инженеров (https://mathshub.timepad.ru/event/1936513). Расскажем подробнее, что да как.

Так что регистрируйтесь и приходите! (:

Открытое письмо российских айтишников против войны в Украине.

https://docs.google.com/forms/d/e/1FAIpQLScEsxsoXl_7R4aD5F8-B7fCCBVwU_BXBaOVJsKszbFyRHRkkw/viewform

Со следующей недели коллеги из MathsHub будут проводить открытый и бесплатный месячный интенсив по математике и питону.
Он подойдёт тем, кто хочет активно приступить к ML, но боится, что технических навыков не хватит.
Будет обзор инструментов python для работы с данными, и вспоминалочка базового матана/линейной алгебры/теорвера.
Подробности: https://maths-h.com/ru/intensive-mathpython

Недавно мне понадобилось для калибровки регрессионных моделей обучить формулу y=f(X), которая хорошо бы приближала заданное облако точек (возможно, нелинейно) и была бы монотонно возрастающая и по возможности гладкая.

В scikit-learn нашлись три примерно подходящие модели:
1) Старая добрая LinearRegression: монотонная и максимально гладкая, но неспособная описывать нелинейности.
2) IsotonicRegression: монотонная и умеющая в произвольные нелинейности, но очень негладкая и склонная к переобучению.
3) HistGradientBoostingRegressor: нечто кусочно-постоянное, вроде IsotonicRegression, но приспособленное и для многомерных Х.

Мне захотелось создать что-то среднее: модель, которая была бы настолько же гибкая, как IsotonicRegression, но в которой можно было бы задавать степень гладкости (так, что максимально гладкая версия сходилась бы к линейной регрессии). Для этого можно обучать линейную регрессию над базисом из множества непрерывных кусочно-линейных ступенек, минимизируя одновременно MSE и средний модуль разностей крутизны соседних ступенек, с ограничением, что крутизна каждой ступеньки – неотрицательная. Чем больше вес второй компоненты в функции потерь, тем более гладкая получится в результате функция.

Попробовал имплементировать эту идею, получилось ровно 100 строк кода:
- Ступеньки такие: слева и справа от – константа, между ними – линейная функция.
- Границы ступенек делаем в каждом наблюдении, если данных мало, и в процентилях (либо с равномерным шагом), если датасет большой.
- Веса ступенек инициализируем из Ridge-регрессии: она тоже добавляет гладкости, но минимизирует не разность крутизны соседних ступенек, а сумму квадратов крутизны ступенек.
- Дальше "правильную" функцию потерь минимизируем с помощью scipy.optimize.
- После обучения модель можно сконвертировать в IsotonicRegression, которая делает predict эффективнее (под капотом очень быстрая numpy.interp).

Код тут: https://gist.github.com/avidale/83998aa24e5d9c40c894e9e39c9f9c86

Слева: линейная, изотоническая, и сглаженная изотоническая регрессии.

Справа: в зависимости от степени регуляризации мы можем как угодно интерполировать между линейной и изотонической регрессией.

Представляю бесплатный интенсив из 20 занятий по питону и математике для начинающих.
Организует MathsHub, с которым я много чего преподавал последние два года, а проводит Аня Чувилина, моя бывшая коллега по Yandex Data Factory.
Подробности: https://maths-h.com/ru/python-math-aug22

Ищем в нашу команду Mathshub талантливых инструкторов в сфере machine learning!

Кто мы? Mathshub - международная школа программирования и анализа данных. Создатели школы - практики и предприниматели, построившие карьеру в разработке и управлении продуктов с машинным обучением в Яндекс, Mail.Ru Group, Alfabank, Ozon, МВидео, Aitarget с опытом преподавания в ВШЭ, МФТИ, Y-DATA.

Какие требования к кандидатам?
- Отличное знание языка Python
- Опыт преподавания более 3х лет(обсуждаемо)
- текущая позиция - Junior/middle Data Scientist

Что нужно делать?
- Проверять домашние работы студентов
- Проводить живые групповые уроки (не чаще 1 раза в неделю) по разбору домашних заданий

Как откликнуться и что делать после?
- Заполните, пожалуйста, эту форму: https://forms.gle/yPYPJ2qj2myoX6iy5
- Если вам не придет ответ на почту, пожалуйста, свяжитесь со мной в тг @diswana

Классный хабр от tech_priestess про внутреннюю размерность фигур и пространств эмбеддингов. TwoNN подход сейчас часто используется для анализа языковых моделей (в т.ч. в одной из моих работ — The Shape of Learning)