Если посмотреть, что происходит с произвольным диапазоном значений, то мы видим следующее:
1. Первая сигмоида сжимает в [0, 1]
2. Далее границы диапазона приближаются к тому самому числу 0.6592.
3. На каком-то шаге интервал становится таким маленьким, что нам не хватает пресижна и мы получаем константу

Если добавить веса и байасы, то результат их применения к чему угодно после первой сигмоиды будет лежать на [0, 1], так что процесс не меняется. Однако теперь процесс сходится в константу где-то в окрестности точки 0.6592.

Можно так визуализировать этот одномерный случай (числа на входе -10 и 10)

Разбираясь, что это за точка такая 0.6592, я раскопал, что сигмоида примененная к выходу сигмоиды это contraction map. То есть такая функция, что отображает из [0, 1] в [0, 1] и расстояние между объектами после преобразования меньше, чем до преобразования.

См https://ozaner.github.io/contraction-maps/

Для каждой contraction map существует уникальный fixed point. При многократном применении отображения мы приходим в эту точку независимо от инпута.

Наверняка у этих точек есть невероятно важное значение в оптимизации или где-нибудь еще, но я не настолько унмый, чтобы его понимать

Что будет на выходе, если мы подставим нашу фиксированную точку в качестве инпута? То же самое число!

Иначе говоря, мы получили решение уравнения x = sigmoid(x)

Применяя сигмоиду много раз мы сами того не желая ищем корень этого уравнения методом простой итерации

Практический вывод банален: еще одна причина не использовать сигмоиду в качестве активции (и Tanh тоже), ставить батчнормы и скипконнекшны.

P.S.
Вот тут еще в сигмоидотреде интересные мысли от Федора про собственные значения матриц весов https://news.1rj.ru/str/boris_again/1561?comment=5124

https://www.bain.com/vector-digital/partnerships-alliance-ecosystem/openai-alliance/

Недавно рассуждал про то, что языковые модели позволят вывести маркетинг/пропаганду на новые масштабы. Консультанты уже взялись за дело!

Посмотрим, что из этого выйдет. Скорее всего ничего необычного не случится, никаких ботнетов из LLM, притворяющихся людьми и между делом вставляющих “…пил я сегодня Coca Cola Zero Sugar™ и думал…“ в контекстуализированные обсуждения между собой. Просто маркетологи начнут спрашивать у ChatGPT, как им написать текст, а Bain заявит очередной успешный кейс цифровой трансформации. Но посмотрим.

*Тут пост про 2к подписчиков*

В связи с этим давно назревший вопрос: пора ли сделать whois и навигацию в канале?

Я пишу в основном на три темы: ML и профессиональное, крафтовая самогонная философия (возможно невысокого качества), всякое интересное и щитпостинг. Возможно ориентироваться в этом непросто. Точно есть люди, которые читают только посты из отдельных категорий. Навигация с хештегами могла бы им помочь.

Представляете ли вы, чей это канал? Важно ли это? Пишите в комментах

Давайте так: ставьте 🤔 если по вашему мнению нужен whois, 🐳 если пора вводить хештеги над заголовками постов

#работа
# Более конкретные советы по резюме

В соседнем канале Тагир из Альфы написал про основы составления резюме. Подписываюсь под всеми пунктами.

Я уже писал пост про резюме в рамках серии про поиск работы. Тогда я думал, что это очень простая и скучная тема, поэтому обрисовал общие идеи. Моя позиция такая: если резюме “норм”, то дальше его теребить бесполезно и лучше потратить силы на отклики.

Позже мне раз десять написали в личку с просьбами посмотреть резюме. Оказалось, что мне есть что сказать по конкретике и людям это полезно. Стало ясно: тема не такая скучная и не такая простая, как я думал.

Дополню своими рекомендациями по итогам разбора резюме, что мне присылали, и работы с ребятами, которых я консультирую.

1. Уместите на одну страницу!
Серьезно. Это первый совет во всех списках советов по CV и в этом тоже будет первым. Потому что люди этого не делают! Пожалейте рекрутера, ему еще сто таких отсматривать в ближайший час. Пожалейте инженера, ему надо тикеты в джире разгребать, а приходится читать многотомные CV. Они отплатят вам взаимностью!

Если у вас целая куча публикаций, выступлений или других ачивок, то можно выделить под них вторую страницу. Скорее всего ее никто не увидит, поэтому опыт работы и другие критичные части обязательно должны быть на первой странице.

2. Короче.
Снова банальный совет, но я постараюсь конкретизировать.

Для каждого места работы приведите не более трех пунктов с описанием. По одной строке на каждый. Пишите там то, о чем хотели бы рассказывать на собеседовании. Для старого или нерелевантного опыта вообще не приводите описания, только место работы, должность, время.

Если у вас есть краткое описание, то ужмите его до одной строчки. Не пишите туда продающий текст, это бесполезно. Наоборот, оно должно доносить ваши ожидания и ограничения. Если вы пишете “ML R&D engineer interested in language models”, то это сигнализирует, что вам интересна работа связанная с нишевым рисерчем нейронок, а .fit() .predict() бустингами вам предлагать не стоит. В зависимости от ваших целей это может быть как хорошо, так и плохо.

Если пишете про статьи, выступления, хакатоны и все подобное, то не приводите длинных описаний. Никто не будет разбираться. Если надо что-то объяснять, то приведите пару слов прямо а заголовке. Хороший пример про выступление: “Lecture on Deep Learning Model Distillation - WhateverConf - August 2022”. Хороший пример про Kaggle/Хакатон: “Oct 2022 - OilCode Hackathon - Top 2”.

Уберите лишние навыки. Часто видел у людей такое: несколько научных статей про топологию в Deep Learning, а в навыках указано владение Excel. Очевидно человек способный на такую статью как-нибудь разберется в Excel. Убирайте все очевидное, экономьте слова. Что мне встречалось среди навыков: bash, VS Code, MS Office (серьезно), jupyter notebook, Ubuntu, Jira, Github.

Резюме это не хронологическая летопись вашей карьеры, это наиболее емкое описание вас как специалиста. Скорее визитная карточка, чем биография.

3. Включите минимальный набор навыков.
Ваш набор навыков должен сигнализировать конкретные вещи.
Например для ML-щика:
1. Python, SQL, Sklearn, Torch, итд -> я адекватный человек и понимаю куда подаюсь.
2. Git, Spark, Docker, Numba, итд -> я знаком с реальной разработкой/ML, способен запустить скрипт за пределами ноутбука и вы не будете фейспалмить от моего кода/решений.
3. PostgreSQL, Clickhouse, Flask, Kafka, Airflow, AWS, итд -> я задеплою вашу лапшу.
4. ROS2 -> я задеплою вашу лапшу на робота.
5. ONNX, Torch Geometric, Deepseed, Numba, A/B testing, Statistical Modelling, Growth Metrics, итд -> у меня довольно редкие специализированные знания.

Однажды HR спросила меня на собеседовании: “Я вижу, что вы работали с Flask. Знакомы ли вы с Python?” Безусловного такое бывает и часть скиллов надо указывать просто как необходимые ключевые слова. Так же сейчас многие HR агентства автоматически парсят резюме и ищет совпадения с вакансиями по ключевым словам. Надо соблюсти есть тонкий баланс между включением ноебходимых базвордов и экономией места. Лично я стрронник оптимизации резюме под читабельность людьми.

К слову: я видел софт, который принимает на вход вакансию и хреначит весь ее текст белыми буквами на белом фоне в pdf вашего резюме. Кто готов опробовать: расскажите как повлияет на конверсию 🙂

3. Не опускайте достижения!
Несколько раз мне присылали пустое резюме и вопрос: “как мне искать работу, если у меня совсем нет опыта?” Начинаю распрашивать и оказывается, что у человека была стажировка, но он ее не включил, потому что она не совсем по теме. Выигранный хакатон, но это же хакатон, зачем его включать. Проект с лабой по физике в университете, но это же физика, какое отношение она имеет к ML. Я никогда бы не подумал, но люди часто замалчивают свои достижения. Подумайте про весь свой хоть-сколько-нибудь релевантный опыт и как его можно презентовать. Особенно важно для начинающих, потому что у стреляных воробьев обычно обратная проблема, когда всего слишком много и надо выбрать, что включать.

4. Уберите информацию про локацию, языки, возраст, хобби и прочее.
Всем все равно, что ваша последняя работа была в Москве, а не Новокузнецке. Более того: привязка к локации может помешать вам найти работу, особенно удаленную или с релокацией. Например, представьте, что вы американец и нанимаете в распределенный YC стартап. Вам попадается кандидат с хорошим опытом, но в резюме написано, что каждая его работа была в Пакистане, он участвовал в Пакистанских конференциях и публиковался в Пакистанских журналах. Вам в целом все равно, ведь компания распределенная. Но психологически такого человека нанять сложнее. Именно такими пакистанцами вы выглядите для US/EU компаний, когда у каждого вашего достижения и места работы написано Moscow, Russia/вставить свое. Убирая эту информацию вы фокусируете внимание на своих навыках, опыте и достижениях.

Кроме того никому не важно, что вы немного знаете французский (если не подаетесь на компанию во Франции), играете в бадминтон (если компания не делает софт для бадминтона) и так далее. Вместо того, чтобы писать, что владеете английским, составьте резюме на хорошем английском.

Подводя итог, главное помнить задачу резюме: пройти скрининг в подходящие места. Дать возможность рекрутеру за пару секунд понять, что вы за человек. Оптимизируйте CV под эту задачу. Если этих советов вам недостаточно, то попробуйте обратиться к более общим принципам, про которые я писал в оригинальном посте.

Мой крутой коллега сделал мем, а я делюсь им с вами.

#ml
Ребята из ШАД в качестве проекта сделали библиотеку для tensor parallelism: распределение весов моделей по нескольким GPU. Сделано как магия, которая просто работает: включается одной строкой кода, а затем можно использовать как обычную торч модель.

Кроме того, она интегрирована с transformers, поэтому такие утилиты, как .generate() тоже работают для распараллеленных моделей. Оптимальные конфигурации параллелизма для наиболее популярных моделей также используются автоматически.

Смотреть сюда:
tensor_parallel

Автор, которому стоит писать вопросы: @black_samorez

#самогонная_филиософия

# Фантомы, духи, демоны

Утро, встаю с кровати и вот он, тут как тут. Фантом. Со мной в одной комнате. Образ идеального меня.

Его не существует в физическом мире. Это лишь абстракция. Но для моего разума он настолько реален как если бы имел физическое тело. Он говорит мне что делать. Я спорю с ним. Сравниваю себя с ним. Испытываю по отношению к нему зависть и злость. Он причиняет мне боль и влияет на мои поступки. Заставляет меня тратить пять тысяч в час на психолога. Иногда даже застилает мне зрение. Я вижу кадры. Словно смотрю через маленькое мутное окошко как живет другая версия меня в параллельной вселенной. Что он делает, чем занимается, как общается. По всем признакам это реальное существо.

Небольшое отступление: рассмотрим стул. Мозг создает концепцию стула, чтобы я мог о ней мыслить и общаться с другими. Эта идея привязана к конкретному физическому объекту. Другое дело мебель: объединение стульев, столов, диванов и прочего. Можно потрогать стул, но нельзя потрогать мебель. Если человека вырастят волки, то он сможет увидеть стул, но не сможет увидеть мебель. В реальном мире нет никакой мебели. Таким образом мебель это полностью искусственная вещь, существующая лишь в нашем воображении. Это концепт. Сущность, которая живет не в физическом мире, а в измерении нашего коллективного сознания. Мебель не находится в реальном мире, но все же связана с ним. Мебель это призрак. Однако есть идеи, связь которых с реальным миром установить невозможно.

Возьмем идею о единственной настоящей любви. Женский вариант: прекрасный принц. Для верующей в него женщины это по всем признакам реальный человек. Он определяет ее поведение в одном из важнейших вопросов в жизни: решает как и кого она ищет и как ведет себя с партнерами. Женщина прикладывает реальных людей к этому образу в поисках совпадения. Ей кажется, что это ее путь к счастью, но следуя за образом она отдаляется от настоящего счастья, ломая одни отношения за другими и удерживая те, которые надо закончить. Эта идея — демон. Паразит в ее голове. У него свои интересы. Он живет за ее счет. Управляет ее эмоциями. Размножается, когда она передает идею другим. Берет ее тело под контроль. Женщина открывает рот, но ее голосом говорит идея.

Демоны повсюду. Это политические идеи и мечты о мире без проблем, как коммунизм. Это и успешный успех, который решит все проблемы. И образ кровавого режима. Абьюзивный бывший. Холодный отец. Бог. Они живут собственной жизнью: размножаются, конкурируют за мозги людей, уходят в небытие.

Мы всегда балансируем между реальным миром и миром духов. Мы не можем жить без них, а они без нас. Уйдешь слишком сильно в реальность и потеряешь способность к абстрактному мышлению. Станешь как животное: видишь не дальше своего носа. Ведь будущее и прошлое тоже в нашем воображении. Уйдёшь глубоко в мир призраков и станешь куклой демонов.

Призраки так реальны для нас, потому что мозг не разделяет мысли и сигналы от органов чувств. В голове все сливается в одну модель мира. Это легко проверить подумав о желтом цвете: вы сразу начнете замечать везде желтый цвет. Когда человек видит в темном лесу силуэты монстров ему не кажется, что он их видит. Он действительно видит. Зрение влияет на убеждения, а убеждения на зрение и так со всеми органами чувств. Поэтому люди, которые верят в НЛО действительно видят НЛО.

Образ идеального меня это фантом — демон в моей оболочке. Моя тень и кривое зеркало. Он притворяется внутренней путеводной звездой, которая отражает, чего я хочу. Как было бы прекрасно, если бы внутри была такая штука, которая точно скажет, что мне нужно!

Но лишь поскребешь поверхность и скорлупа осыпается. Внутри пустота. Сплошные противоречия. Идеальный я и богатый, и свободный, и влиятельный, и беспечный, и известный, и скромный, и верный, и сорви-голова, и все сразу и одновременно. Никакой конкретики внутри нет. Откуда этот образ? Я его не выбирал. Я где-то подцепил его как инфекцию, он разросся, запустил свои корни очень глубоко и ведет себя как дома. Притворяется неотъемлемой частью меня.

Это красивая идея, что человек всегда знает, чего хочет. Именно за ней и прячется этот демон. Но я смотрю по сторонам и не вижу никакого идеального себя. Ни один атом не связывает этот образ с реальным миром. Я вижу только фотоны, атомы, кварки и все такое.

Придется самому решать, чего я хочу, и самому выбирать, каким мне быть. Иначе за меня это сделает паразит. Нет уж: если какая-то тварь хочет жить в моей голове, то пусть платит аренду и предъявит справку о связи с реальным миром.

Всё! Надоело неделями в одиночку копаться в статьях с непознаваемыми десятиэтажными формулами в надежде хоть что-то понять, и все равно не понимать! Больше нет сил это терпеть!
Поэтому я устраиваю платный семинар.

Условия такие:
1. В начале недели я предлагаю статью на разбор (допустим, не больше 10 страниц основного текста, не считая аппендиксов).
2. В комментариях определяемся с тем, кто именно будет разбирать статью.
3. Этот человек в течение недели читает статью и старается разобраться во всех формулах. В аппендиксах подробно разбираться не обязательно, но нужно уметь объяснить хотя бы примерно, в чем их смысл.
4. На выходных я устраиваю с человеком созвон в зум, и он объясняет мне статью:
- Я спрашиваю все, что мне непонятно, рассказчик отвечает на все вопросы по мере своих сил, и мы все это обсуждаем, либо пока не преисполнимся в своем познании, либо пока не истечет максимальное время созвона - например, 2 часа.
- Я оставляю за собой право тяжело вздыхать, хвататься за голову и ругаться когда что-то не понимаю, а также славить Омниссию, когда понимаю.
- Можно рассказывать и обсуждать статью на английском (если рассказчик хорошо владеет этим языком), но можно и на русском (если рассказчик недостаточно хорошо владеет английским).
- Созвон записывается.
5. Человек получает плату за потраченное время (допустим, 5 тысяч рублей).
6. Разбор с обсуждением загружается на Ютуб, чтобы другие люди также могли ознакомиться и извлечь очки познания (на Ютубе очень мало обсуждений технических деталей сложных статей - особенно не мейнстримных - и было бы неплохо поправить эту ситуацию).

Как вам идея?