#nlp #minhashencoder #skrub

Dirty categories - наше всё )

https://www.youtube.com/watch?v=ZMQrNFef8fg

#nlp #pca #dimreducers

Интересный рецепт: блок, дающий разреженные (sparse) признаки, после него PCA, дающий на выходе уже разумное количество плотных (dense) признаков.

https://www.youtube.com/watch?v=x7RX8VprCnE

#nlp #skrub #topicmodelling

Другой компонент для той же задачи.

https://www.youtube.com/watch?v=l7y7gBpGa5U

#fairness #weights

Извечный вопрос: большая модель для всей популяции, или индивидуальные модели для подгрупп?

Автор предлагает еще более успешную альтернативу - учиться на всём датасете, а для нужной подгруппы использовать большие веса.

И даже подбирать веса важной группы на CV - хотя тут CV будет нестандартной, ибо веса не являются гиперпараметром модели, формально они на самом деле параметры метода fit )

https://www.youtube.com/watch?v=REIg5NH2SNc

#music #poetry #gpt

"А ты подбросила мне грамм" )

"Here it comes, it's beginning now,
Someone knocks, hear the knocking sound.
Soon the door will be breaking down,
It won’t hold, they will force it out.

Hello, I knew,
The final act would come for me and you.
I knew,
But never thought it’s you—
Them and you,
With those honest eyes so true.
You recall, I said before,
Love will strike us to the core.

It could have been another face,
But for you, it was set in stone—
Drop a gram, then leave no trace,
Wear a badge and play their role.

Hello, I knew,
The final act would come for me and you.
I knew,
But never thought it’s you—
Them and you,
With those honest eyes so true.
You recall, I said before,
Love will strike us to the core.

And you planted me that gram..."

https://www.youtube.com/watch?v=o0e3NYC6tjE

#politics

О, как и сообщала компания СВР & Соловей еще год назад, талибов собираются "ратифицировать". В то же время в тюрьму сажают честных смелых людей, которые высказываются против войны, а террористами признают журналистов и россиян, делавших небольшие пожертвования в ФБК на борьбу с коррупцией в стране.

"Новость дня, которая многое говорит о сегодняшней России.

Генпрокуратура попросила Верховный Суд разрешить в России движение «Талибан»

Исковое заявление за подписью генерального прокурора уже поступило в Верховный Суд и принято к производству. Заседание назначено на 17 апреля. Проведёт его судья Олег Нефёдов, который в ноябре 2023 года признал «экстремистским» и запретил в России несуществующее «движение ЛГБТ».
Надзорное ведомство просит приостановить запрет на деятельность движения «Талибан», которое находится в списке террористических организаций больше 20 лет.

В суде уже уточнили, что заседание пройдет в закрытом режиме. То есть журналисты скорее всего не услышат причин, по которым Генпрокуратура считает талибов друзьями.

Несмотря на запрещенный статус, представители «Талибана» уже несколько лет ездят на официальные мероприятия в Россию: они принимали участие в международных форумах в Санкт-Петербурге и Казани, где обсуждали борьбу с терроризмом, наркотрафиком и высказывались о проблемах образования. В прошлом году Путин назвал их «союзниками».

В декабре Госдума приняла закон, позволяющий исключать организации из списка террористических. Ранее эту идею поддержали в Минюсте и Министерстве иностранных дел.

Напомним, что талибы пришли к власти в Афганистане в 2021 году. Они запрещают женщинам учиться даже в начальной школе, выходить на улицу без чадры, ходить в спортзалы и гулять в парках с мужчинами. Представители движения неоднократно говорили о намерении забивать женщин камнями за измены, а также публично пороть."

#basic #gates

"Altair BASIC он назвал «самым крутым кодом, который я когда-либо писал». Источником вдохновения для этого проекта послужил номер журнала Popular Electronics за январь 1975 года — на его обложке был компьютер Altair 8800, побудивший Гейтса заняться разработкой ПО. Он и Аллен обратились в выпустившую компьютер компанию MITS (Micro Instrumentation and Telemetry Systems) и предложили интерпретатор языка программирования BASIC для этой модели.

Этот продукт позволил бы большому числу пользователей с лёгкостью создавать собственные программы, но Гейтсу и Аллену потребовались несколько месяцев, чтобы добиться этого результата. Altair BASIC стал первым продуктом, который Гейтс и Аллен разработали для новой компании, тогда называвшейся Micro-Soft, а от дефиса они избавились позже. Исходный код занимает 157 страниц."

https://3dnews.ru/1120740/k-50letiyu-microsoft-bill-geyts-opublikoval-samiy-krutoy-kod-kotoriy-kogdalibo-pisal

#automl #lama

https://www.youtube.com/watch?v=KPe0aYkzwOY

#geology #astronomy

Стив Бушеми стал учёным )

https://youtu.be/WJRQ_feSfzA?si=_y6skJ3-ogN0EKP8

#physics

"Ожидается, что БАК исчерпает свои возможности к 2041 году. Энергии столкновения частиц на БАК хватило для открытия частицы Хиггса — элементарной частицы, ответственной за характеристику массы элементарных частиц. Значительное увеличение энергии столкновений на FCC способно привести к открытию новой физики — новых частиц и иных взаимодействий между ними, что ещё дальше продвинет учёных по пути понимания сути нашей Вселенной.

Для реализации проекта FCC требуется финансирование в размере $17 млрд, но на деле это наверняка будет стоить ощутимо дороже. Работы продлятся около 20 лет и если начнутся в 2028 году, как ожидает руководство CERN, то свой «первый свет» коллайдер выдаст в 2048 году.

Новое кольцо ускорителя FCC будет более чем в три раза длиннее кольца Большого адронного коллайдера: 91 км против 27 км у БАК. Тоннели FCC должны пролегать на глубине 200 м под поверхностью земли или в два раза глубже, чем у БАК. Кольцо проляжет по территории Франции и Швейцарии. "

https://3dnews.ru/1120613/evropa-tehnicheski-gotova-postroit-superkollayder-budushchego-kotoriy-budet-vtroe-bolshe-baka

#biology #lifeorigin

Открытие механизма абиогенного синтеза C и U нуклеотидов в 2009м впечатляет.

https://youtu.be/cgycY98yYWk?si=i_9_4nqBNir7Gerx

#medicine #health #neuralink

"Первый пациент Neuralink Ноланд Арбоу в настоящее время освоил работу с ноутбуком, проворно управляя курсором буквально при помощи мысли. Он не только играет в стратегии, но и возобновил прерванное из-за травмы позвоночника обучение в университете в удалённом формате. До вживления имланта он от силы мог просматривать ролики на YouTube при помощи планшета, управляемого стилусом, удерживаемым в зубах.

Второй пациент Neuralink по имени Алекс (Alex) утратил подвижность четырёх конечностей в результате автомобильной аварии, после вживления имланта Neuralink он смог возобновить работу в качестве дизайнера, и теперь не только рисует эскизы, но и проектирует различные детали в специализированном ПО. В последнее время он также осваивает программирование средств автоматизации на платформе Arduino. При помощи импланта Алекс управляет смартфоном, закреплённом на специальном штативе его кресла-каталки. Он также принимает участие в эксперименте при управлении роботизированной рукой при помощи мыслей.

Третий пациент Neuralink по имени Брэд (Brad) утратил подвижность конечностей в результате бокового амиотрофического склероза (ALS в английской терминологии). Болезнь лишила его подвижности почти полностью, он был в состоянии двигать только глазами и уголками рта. До вживления импланта Neuralink передавать информацию он мог только при использовании специального ПО, отслеживающего движения глаз для ввода букв, и делать это можно было только в помещениях со стабильным и правильным освещением. По сути, это вынуждало Брэда основную часть времени проводить дома в полутьме. Вживление импланта позволило ему научиться гораздо быстрее набирать текст силой мысли, причём делать это за пределами своего дома."

https://3dnews.ru/1120848/neuralink-ishchet-novih-dobrovoltsev-dlya-ispitaniya-mozgovih-implantov-teper-po-vsemu-miru

#python #rust #pyo3 #bytewax

https://www.youtube.com/watch?v=Lph_7Yr9Fy0

В разговорах с корешами сформулировал для себя нехитрую трехфакторную модель мотивации: процесс - цель - условия. Подчеркну "для себя" - вряд ли это универсальный фреймворк, но вдруг кому-то тоже зайдет. Попробую описать на примерах работы, но кажется, что обобщается и на прочие дела.

Процесс - собственно суть занятия (пилить пайплайны, читать свежие пейперы, ревьювить код джунов). Это кусок краткосрочной мотивации: писать хендлеры или делать фит-предикт обычно неинтересно, профайлить и оптимизировать обычно интересно. В моменте это драйвит, но если это единственная мотивация, в моменте рефлексии может накрыть мыслями "а нахера все это". И тут вылазит цель.

Цель - среднесрочная или долгосрочная, которая заставляет делать даже скучные вещи из пункта выше. Например, make the world a better place, или получить промо и стать архисеньором, или успешно сделать стартап и продать его за много миллионов, или обрести славу самой умной лягушки в пруду, чтобы все вокруг завороженно слушали твое "ква!"🐸. Цель совершенно необязательно высокая, срубить шальных денег и кутить с эскортницами - тоже вполне себе цель. Ради цели можно и унылыми делами заняться.

Условия - это скорее коэффициент для суммы двух предыдущих мотиваций. Офис с печеньками, приятные коллеги, годная инфраструктура - все идет сюда. Деньги в формате зарплаты (а точнее некоторого ее отклонения от среднерыночной) сюда же: ради Большой Цели можно и потерпеть -20% (на это стартаперы и покупают юных мечтателей).

Можно подобрать пример из другой сферы: я в целом люблю бегать (процесс) и хочу пробежать полумарафон (цель). Это позволяет выйти из дома даже в плохую погоду (условия) и преодолеть лень. Когда погода хорошая, а около дома большой парк, то и никаких усилий не понадобится 🏃‍♂️.

Напоследок про actionability: в случае фрустрации можно декомпозировать, в каком факторе просадка - так становится понятнее, что можно сделать. Где-то по мелочи улучшить условия (пофиксить flaky тесты из-за которых постоянно валится CI или купить нормальные беговые кроссовки), где-то добиться более интересных штук в моменте (шаг 0: поговорить с менеджером и хотя бы в явном виде донести свои предпочтения). С целью, конечно, сложнее всего - там малыми шагами ситуацию обычно не изменить.

Дата-дривен карго культ учит, что если метрики растут, а результат на глаз выглядит не очень, то метрики первичны, ведь они как будто имеют больший охват (например, весь тестовый датасет), чем то, что может увидеть один человек невооруженным взглядом. Я и сам долгое время был адептом этого тезиса, пока не наступил на достаточное количество граблей.

Проблема в том, что сделать сбалансированную метрику или набор метрик всегда сложнее, чем кажется (завсегдатаи Kaggle не дадут соврать). Именно поэтому в реальности приходится не оптимизировать единственную метрику верхнего уровня, а делать набор метрик и следить за всеми, а потом принимать субъективное решение, когда одна метрика неизбежно вдруг пойдет вверх, а другая вниз.

Буквально вчера на работе смотрел на результаты ML экспериментов и недоумевал: вариант, который и визуально мне нравился больше, и в теории должен был быть лучше, по метрикам выглядел хуже. Заподозрил проблему в недавно задизайненной метрике, поленился доказывать теорией, сделал "модель", которая генерила рандом с определенными свойствами и тут же выбил искомые 100%. Будь это корпорация с бездумной ориентацией на KPI, можно было бы закоммитить и бездельничать до конца квартала!

Это было предсказуемо: в 2024 легкая небрежность в тексте/коде окончательно стала премиальной и крафтовой. Пресный вежливый текст - значит, написано при помощи LLM (и даже без упражнений с промптами). Шероховатости придают эффект теплоты: человек не поленился и написал сам.

Например, пишет мне рекрутер, и второй абзац его письма выглядит как LLM-summary моего линкедин-профиля. Дальше как-то автоматически сложно поверить его словам, что this is exactly the type of experience they are looking for.

Или с другой стороны: проверяю тестовые задания, и довольно быстро калибруюсь. Например, много тривиальных комментариев, начинающихся с заглавной буквы и заканчивающихся точкой - явное свидетельство сгенеренного кода. Да ладно комментарии, я уже и по названиям переменных узнаю код авторства GPT.

# Init model.
model = Autoencoder.to(DEVICE)
criterion = nn.MSELoss()

Вообще, кстати, в этом тестовом использовать GPT не запрещено, но надо бы не только сгенерить решение, но и понять, что там происходит. В итоге больше всего сигнала в ответе на вопрос "почему это работает?".

В итоге умение писать кое-как теперь вообще не имеет значения, а умение писать изящно (будь то текст или код) ценится как и раньше.