Джун-рыбак

Сидел я дома и собирал в свой рыболовный ящик (который давеча заказал) все рыбаловные снасти, также купленные недавно 👨‍🦳. И тут я подумал, что между рыбаками и разработчиками есть чего-то общее. Ну так, в порядке бреда.

Итак, наш новоиспеченный джун-девелопер. Установит себе кучу софта, который не будет использовать, налепит самых продвинутых инструментов, которыми не знает, как пользоваться. Зато выглядит капец как круто, хацкеры из кино держат его пиво 😀. Естественно, чтобы поменять строку в большом файле, он напишет код на каком-нибудь модном языке и потратит несколько часов на отладку. А потом оно еще возможно и не заработает из-за какого-нибудь OOM 😊.

Джун-рыбак. Купит себе ящик откровенного барахла, которое посоветовали в интернете мега ультовые рыбаки-продажники 💸. Естественно купит самую дубовую леску, крючки, которые погнутся при первой же серьезной поклёвке. При этом компании, производившие это всё дело, очень на хайпе, выглядит всё очень дико-дорого. И катушку сразу человечек купит себе какую-нибудь мультипликаторную, ибо видел в интернете, что на таких снастях огромных карпов и марлинов ловят. При этом естественно пойдем ловить в лучшем случае карасиков (против ничего не имею, хорошая рыба), а получится водоросли 👨‍🦳.

И вот интересно же, что всё это кажется дико неуклюже и глупо, мол надо поступать разумнее и т.д. Но вот именно так и получаешь свой опыт. Когда наступаешь сам на эти грабли. Когда получаешь бороду на своей удочке, или утечку памяти в коде. При этом интересно, как много у человека энергии, чтобы все эти дела проворачивать и не отчаиваться.

Люблю быть джуном 🤨. Джуном-рыбаком.

Древнейших технологий пост

Уже прошло, пожалуй, 2 года с написания этого поста и всё могло поменяться как в лучшую, так и худшую сторону. Но пройти мимо не смог, как статья промелькнула в ленте X 😀.

Ребята из компании M вместе с Google заколлабились для того, чтобы посмотреть оптимальные стратегии распределённого обучения для больших моделей и не очень. Оказывается всё не так просто, и про всё это можно прочитать в посте 😊.

Вообще, я восхищаюсь людьми, которые оптимизирует перф. Ну это правда великое дело. Нужно держать и знать очень многое, чтобы грамотно подобрать конфигурацию системы. Ну вот например:

All experiments show a considerable throughput dip when switching from 8 GPUs to 16 GPUs. This is because the cross-machine communication needs to travel through 100 Gbps Ethernet for 16 GPUs

Ну это ничоси, еще и про сеть нужно знать 🤔! А еще скорее всего, про шину памяти, про регистры процессора и про кучу разных штук, вообще никак не связанных с GPU, но влияющих на процесс. И это правда работа очень большой команды 😍. Здорово, когда люди публикуют такие интересные инсайты, потому что не часто такое встречается, но часто в практике такое нужно.

Про мультимодальность

Вокруг сейчас хайпуют LLMки, но не только ими мир един. Последние крупные презентации OpenAI и прочих компаний про то, как они пытаются прикрутить к LLMкам другие модальности: звук, изображения, видео, сигналы и всё, что придёт в голову 😀.

Я почти каждый день задаюсь вопросом: как оно работает? Ну т.е. окей, T9 нормально обучили — LLMку получили, но как это всё дело учитывает другие модальности 🤔?

Мне приходит на ум концепция, что язык — это универсальный инструмент для передачи информации. Да, с помощью языка кодировать любой сигнал получится супер долго и объемно, но всё же возможно. Нам никто не запрещает запустить триллионы LLMок, чтобы они генерировали 0 и 1. Да, это бессмысленно, но возможно 👨‍🦳.

Всё, что нарисовано — человек может описать. Всё, что звучит — человек может описать. И так далее. Таким образом, получается что обучая LLMки просто на корпусах текста, мы учим их каким-то образом понимать этот мир 😊.

Складывается ощущение, что наш мозг устроен похожим образом. Мы набираем в мозг огромную базу: картинок, звуков, ощущений, эмоций, запахов и прочих сигналов. Но всё это воедино связывается языком. Мы не передаем друг другу картинки, наши тактильные ощущения, и т.д. Звук является лишь способом кодировки языка, ровно как и картинки в случае языка жестов. Для нас ничего не значат звуки от произнесения "шоколадка" пока мы не займемся патерн матчингом с инфой из внутренней БД. И это удивительно 🤔!

Ну и важно понимать, что язык — это форма сигнала. В реальности в нашем мозгу нет никаких слов, ровно как и в слоях атеншена — там просто сигналы 🥴.

Обучая LLMку языку, мы наделяем её знаниями об этом мире. А дальше надо научить её взаимодействовать с этими самыми БД. То, как именно кладется туда информация из разных истоников — это вопрос хороший, которым как раз-таки как будто занимаются все, кто строит мультимодальные сетки 😍.

Опять же, мои рассуждения ничем не подкреплены, кроме внутренней интуиции. Так что можете считать в порядке бреда сумасшедшего 👨‍⚕️!

Surya

Каждый раз, когда мне говорят, что нечего делать в качестве pet-проекта, уже и так всё сделано, я отвечаю — сделайте то, что есть, но по другому, мб у вас получится круто 😍?

И да, иногда получается! Я тут наткнулся в твиттере на одну реализацию OCR c поддержкой как обычных, так и некоторых advanced фичей 🤔:
— Text layout;
— Text ordering (что, кстати, очень полезно для формирование данных для LLM и VLM).

Я слышал про этот проект ещё в феврале, но в нём как будто бы в нём не было последней фичи, которая прям зацепила взгляд, потому что мало где это сделано хорошо.

Автор сразу пишет, что работает на документориентированных картинках, так что работу на world-wide доменах не ждите 😀.

Код написан так себе 👨‍🦳, но очень удивляет, как человек построил за полгода (даже меньше), неплохой такой baseline OCR! А baseline, как вы знаете, всегда так себе пишется. А потом еще продом становится, но это совсем другая история.

На выходных постараюсь потрогать на своей рабочей станции, вы можете уже сейчас: https://github.com/VikParuchuri/surya/tree/master

Про мультимодальность дальше

Коли уж мы говорили в одном из предыдущих постов про мультимодальность, давайте теперь поговорим про определённый её вид — VLM 😍. Почему про них — да потому я ими сам занимаюсь.

Сразу скажу, я не знаю, как устроена работа мультимодальности в ChatGPT, Gemini и прочих проприетарных сетках — я не сиолошная, не всё вижу 😀.

Самый распространённый вариант устройства VLM модели — это LLaVA-like архитектура 🤔. Берётся картиночный энкодер, например, из CLIP. Через него пропускается картинка и получаются всеми нам знакомые фичамапы.

Теперь хотелось бы замапить фичи из картиночного пространства в llm-like. Для этого делают projection слой, который по классике состоит из пару MLP слоёв. Так получаются картиночные токены.

Эти токены конкатенируют вместе с токенами промпта и засылают в LLMку, чтобы она дала генеративный ответ 😊.

И в целом это всё. Дальше open-source уже издевается с этим как может. Кто-то добавляет несколько энкодеров, кто-то разрезает картинку на патчи, кто-то пытается ужать количество картиночных токенов, но не потерять качество, и т.д.

В общем каждую компоненту можно модифицировать и считать профит. Но больше всего экспериментов с данными, потому что как ни странно, они решают 🤔, ну и со схемами обучений.

Если вам интересна тема и вы бы хотел погрузиться в неё чуть глубже, нашел для вас интересный ресурс. Там вполне неплохой сборник статей для начала.

Если вы хотите с этим работать — приходите ко мне в команду. Подробнее здесь.

Мечтает ли GPT-4o о сегментации картинок...?

Рассказал на Habr найденный способ как заставить GPT-4o работать с детекцией объектов на картинке и выдавать координаты (bounding boxes), с которыми можно работать.

Внутри много деталей о том, с какими препятствиями и нюансами мы сталкиваемся в Vibe AI при парсинге сообщений со скриншотов переписки.

Приятного прочтения, буду благодарен вашей обратной связи, лайкам, репостам ❤️

Как GPT4o кодирует картинки?

Тут вышло интересное чтиво 🤔, где автор пытается построить предположения о том, как OpenAI кодирует картинки в токены: https://readhacker.news/s/69f5F

TL;DR: берем фичамапы разных разрешений (aka pyramid features) и трансформируем их в 170 токенов, дополнительно присыпая спец-токенами.

Прикольная догадка, интересные экспериметны. Но мой взгляд зацепился за предложения про OCR (еще бы, а как иначе):

I have a simple theory to explain that: I think OpenAI is running Tesseract (or their own in-house OCR) and feeding the identified text into the transformer alongside the image data. I mean, that’s what I would do.

В целом, оно может показаться и так, а может так и есть, но тогда не понятно, какая тут экономика 😊:
— Ни в каких расчетах невозможно найти предлога, что как-то используется внеший источник OCR;
— Если брать результаты OCR, то в среднем там очень много токенов. Не думаю, что Sam настолько щедрый;
— Open-source тоже умеет в OCR и неплохо. Почему GPT-4o не может? Загадка.

А вы как думаете, пользуют ли внешний OCR в OpenAI?

Про тимлидов

Наткнулся на пару видео про тимилидов 😀. Можете включить на 2х и послушать, некоторые вещи я бы даже записал.

Кто такой teamlead? Стоит ли идти в тимлиды ради зарплаты — Евгений Антонов в формате подкаста рассуждает про различные аспекты роли тимлида. Ролик понравился разнообразием живых кейсов, с некоторыми из которых я встречался на своей практике. С Женей я даже пару раз пересекался по работе, его подход к решению межкомандных задач понравился.

Самый шерстяной волчара: тимлид с технической ролью и без — доклад Анастасии Абрашитовой про то, обязательна ли техническая роль тимлиду, а если нет, то как её делегировать. Спойлер: рассматриваются три схемы, которые я бы взял на заметку в зависимости от ситуации.