AutoNumerics-Zero: Automated Discovery of State-of-the-Art Mathematical Functions [2023] - ещё одно AI-открытие уходящего года

Продолжаем тему оптимизации программ. Почти одновременно с FunSearch вышла другая работа от Deepmind, правда, не применяющая LLM, и поэтому попавшая только в Just Links. Идеологически она похожа на AutoML-Zero, про который я уже тоже писал пост.

Итак, мы умеем легко и быстро производить на компьютере 4 базовые арифметические операции. Однако, "трансцендентные" функции, например, экспоненту, нельзя легко посчитать. Компьютер их считает приближённо, например, с помощью ряда Тейлора. При этом, нам достаточно уметь приближать её на промежутке [0;1], т.к. в целую степень мы умеем легко возводить и таким образом получить любую степень.

Итак, задача - найти как можно более короткую / быструю программу, вычисляющую экспоненту на отрезке с заданной точностью. Авторы представляют программу в виде графа вычислений (см. картинку). Вершинами является вход x, выход f, константы и математические операции, в которые по направленным рёбрам попадают входные данные.

Генетический алгоритм поддерживает популяцию графов, случайно добавляет мутации в них - добавление вершин, удаление, замена ребра и т.д. Оптимизируется одновременно точность и скорость (кол-во операций или время исполнения). Так как у нас 2 важных критерия отбора, используется специальный алгоритм сортировки популяции, выбирающий программы, сбалансированные по-разному с точки зрения критериев.

В результате, алгоритм не оставляет камня на камне от бейзлайнов, созданных приматами. Количество операций сокращается примерно в 2 раза, но это не самое крутое. Алгоритм подбирает функции так, чтобы компилятор оптимизировал их наиболее выгодно, в итоге скорость возрастает в >3 раза.

И вновь кожанные мешки показывают свою несостоятельность в сложных многослойных задачах, которые нельзя разбить на изолированные кусочки. End-to-end алгоритмическая оптимизация не оставляет нам никаких шансов.

@knowledge_accumulator

На работу я выхожу 15 января, а один из двух парттаймов завершился. Это значит, освободилось полдня на то, чтобы заниматься оверинженирингом петпроджектов. А именно — новую версию @ffmemesbot — и решил я ее делать опенсорсно. Так что подписывайтесь, ставьте звезды ⭐️

🔗 github.com/ffmemes/ff-backend

На днях мне написало порядка 10 людей и общими усилиями мы набросали в Miro как-то архитектуру бота. Решили начать разработку с сервиса storage, который будет собирать, хранить и фильтровать мемы, чтобы потом к нему прикрутить реком систему и “фронтенд” в виде тг бота.

За пару дней завел FastAPI и прикрутил Prefect Cloud с воркерами, воруя древние сниппеты кода у своего же стартапа. Будем стараться делать монолит, только ML штучки, возможно, в отдельные микросервисы уйдут, если разберусь с MLFlow.

Кстати, если вы знаете хорошие OCR либы / сервисы с щедрым free tier - поделитесь в комментах, плиз. Мне нужно текст с мемов на произвольном языке доставать, но почти всегда есть догадки, какой язык стоит детектировать.

Плюсы:
- Оригинальный докерфайл.
- Все зависимости из requirements на месте.
- Память не течет.
- DDP запускается.

Минусы:
- Результаты не воспроизвелись (оно и ясно, код написан на китайском форке лайтнинга).
- Комментарии на английском, сын говорит только на русском 💪

Комментарии:
Запускал 7 летний сын, провозился несколько дней. Потребовалась моя помощь. Второй раз запускать не буду.

У меня есть 2 новости:

1. Я наконец дописала статью про отбор в DeepMind
2. Как раз вчера открылся набор на следующий год, читать подробности и подаваться тут, дедлайн 30 сентября

P.S. А если вам хочется на стажировку в Bloomberg, то податься уже можно тут

Человек, перевернувший Рим

Гай Юлий Цезарь — пожалуй, самый известный римлянин в истории. В ходе реконструкции внешности это было особенно заметно, ведь его бюстов великое множество и... Каждый будто изображает разного человека.

А всё дело в том, что большая часть сохранившихся скульптур является посмертной. Авторы достаточно вольно относились ко внешности диктатора, меняя её на основе собственных представлений. А может и фантазий, кто знает.

В любом случае, за основу мы взяли бюст Цезаря из Ватиканского музея, один из двух признанных портретов правителя.

Нейрокузня | DreamForge

#grokaem_собес #grokaem_nlp
Я собрала 100 вопросов по NLP, которые мне задавали или задавала я. Надеюсь, что они будут полезны, чтобы освежить в памяти важные моменты.

*Notion будет пополняться*

Notion русская версия

В составлении вопросов помогали:
ds girl
канал Плюшевый Питон
Alexander Babiy
канал что-то на DL-ском
канал Dealer.AI
канал алиса олеговна

Часть вопросов:
8. Объясните разницу между косинусной близостью и косинусным расстоянием. Какое из этих значений может быть негативным? Как вы будете их использовать?
21. Что такое negative sampling и зачем он нужен?
30. Что такое затухающие градиенты для RNN?
41. Что используется в трансформере layer norm или batch norm и почему?
55. Объясните подходы для позициональных эмбеддингов и их плюсы и минусы.
75. В чем отличие оптимизатора Adam от AdamW?
86. Объясните концепции metric learning. Какие подходы вам известны?
88. Объясните виды sampling при генерации? top-k, top-p, nucleus sampling?
92. В чем отличие prefix tuning от p-tuning и от prompt tuning?
98. Объясните принцип работы KV cache, Grouped-Query Attention и MultiQuery Attention.