Как GPT4o кодирует картинки?

Тут вышло интересное чтиво 🤔, где автор пытается построить предположения о том, как OpenAI кодирует картинки в токены: https://readhacker.news/s/69f5F

TL;DR: берем фичамапы разных разрешений (aka pyramid features) и трансформируем их в 170 токенов, дополнительно присыпая спец-токенами.

Прикольная догадка, интересные экспериметны. Но мой взгляд зацепился за предложения про OCR (еще бы, а как иначе):

I have a simple theory to explain that: I think OpenAI is running Tesseract (or their own in-house OCR) and feeding the identified text into the transformer alongside the image data. I mean, that’s what I would do.

В целом, оно может показаться и так, а может так и есть, но тогда не понятно, какая тут экономика 😊:
— Ни в каких расчетах невозможно найти предлога, что как-то используется внеший источник OCR;
— Если брать результаты OCR, то в среднем там очень много токенов. Не думаю, что Sam настолько щедрый;
— Open-source тоже умеет в OCR и неплохо. Почему GPT-4o не может? Загадка.

А вы как думаете, пользуют ли внешний OCR в OpenAI?

Про тимлидов

Наткнулся на пару видео про тимилидов 😀. Можете включить на 2х и послушать, некоторые вещи я бы даже записал.

Кто такой teamlead? Стоит ли идти в тимлиды ради зарплаты — Евгений Антонов в формате подкаста рассуждает про различные аспекты роли тимлида. Ролик понравился разнообразием живых кейсов, с некоторыми из которых я встречался на своей практике. С Женей я даже пару раз пересекался по работе, его подход к решению межкомандных задач понравился.

Самый шерстяной волчара: тимлид с технической ролью и без — доклад Анастасии Абрашитовой про то, обязательна ли техническая роль тимлиду, а если нет, то как её делегировать. Спойлер: рассматриваются три схемы, которые я бы взял на заметку в зависимости от ситуации.

Могут ли KAN справляться с задачами компьютерного зрения?

Я со своим другом и товарищем Ваней написали статью на Habr (русский вариант) и Medium (английский вариант) про Kolmogorov-Arnold Networks и как их применять в компьютерном зрении 🤔.

Спойлер: можно, но не всё так просто.

Приятного прочтения! Лайки, репосты нам будут очень приятны 😍!

Антоша меняет профессию

Нет, я не ухожу на Onlyfans. И не становлюсь блогером (хотя, постойте-ка 😀). Мне дали новую роль в компании и теперь я тимлид команды распознавания текста в VLM 🤔. Будем развивать качество модели в сценариях, связанных с текстом на картинке. Зачем для этого отдельная команда? Это хороший вопрос, который обсудим в одном из следующих постов.

Почему же это новая профессия? Кто меня давно знает-читает, наверное, помнит, что я был уже некогда руководителем двух команд разработки. Опираясь на прошлый опыт могу утверждать, что навыки в разработке/исследованиях и в руководстве хоть и пересекаются, но по большей части сильно отличаются 😊. Например, что я замечал и замечаю сейчас, так это разная направленность действий: в разработке твой фокус находится в очень большом плотном сгустке, тогда как в руководстве всё разбросано по разным уголкам и нужно стараться удерживать внимание.

В Яндексе руководители наделены большими полномочиями, нежели у меня были ранее. Но и ответственности, конечно же, прибавилось. Например, у меня появилась полная отвественность за найм, за мотивацию сотрудников, тогда как ранее всё шло через моего руководителя, который был также CTO. Ну и многое другое 👨‍🦳.

Тематика канала не изменится. Будет также много кринжа, мемов и иногда чего-то по делу 😍. Но начну писать побольше про работу, может быть обзоры статей, статей, а также мысли обо всём этом менеджерском. Если вдруг у вас есть идеи, о чём бы вы хотели ещё читать — пишите в комментарии или мне в личку ☺️!

Задачка про рандом

Хочу попробовать новый формат, может быть зайдёт ☺️! Буду иногда делиться задачами, которые мне когда-то приходилось решать на практике. К сути.

Мы пишем на С++. Так уж вышло, что в нашем алгоритме нам требуются генератор рандомных чисел. Условия:
— нет требования генерировать "настоящие рандомные" числа, т.е. псевдорандом уже ок!
— нам важен детерменизм, т.е. если приходит два раза бинарный куски данных, для которых md5 хеш совпадает, то мы должны выдавать одну и ту же последовательность чисел;
— гененратор должен быть thread-safe;
— должно работать максимально быстро.

Предложите в комментариях свою реализацию такой задачки. Будет круто, если подтвердите скорость каким-то бенчмарком!

Командировка в Москву

Прямо сейчас мчусь на рельсах "Невского экспресса" в Москву. Командировка как обычно на недельку.

Обычно я ездил повидаться-пообщаться с командой 😍, потому что по историческим причинам большинство CV-команды работает в Москве. Но нынче в планах также постараться лично поговорить с большинством лидов, менеджеров, которые так или иначе связаны с направлением, которое моей команде нужно развивать. С CTO кофе выпить, конечно, не получится (а жаль 🥺), но и без этого людей правда хватает.

Большинство моих командировок проходит в режиме тотальной работы 🤔. Никто не заставляет, но настроение у меня какое-то рабочее что ли. Но в этот раз я хочу посмотреть немного Москвы, хотя бы где-то покушать. Итак, москвичи или давние гости столицы, куда советуете заглянуть? А может быть в Москве есть сходки млщиков?

Статическая vs Динамическая линковка

Давно лежала в беклоге статья про статическую линковку: https://gavinhoward.com/2021/10/static-linking-considered-harmful-considered-harmful. Наконец-то я нашёл время и силы её прочитать. И вам советую. Я не эксперт и не гуру в сборке, но какой-то опыт и боль имею 👨‍🦳.

Если кратко, то автор старается привести контр-аргументы к фактам об ужасе статической линковки. Часть ответов автора удачная, часть оказывается в некотором смысле правдивой, но при этом прослеживается четкая нить, что не всё так плохо, как это представляют 🤨.

Например, часто статической линковке приписывают, что приложения, полученные путем подобной сборки, занимают больше места. Но при этом если взять и посчитать чиселки, то получается не такая большая разница 😀. Но зато мы получаем за эту "оптимизацию" целый ворох проблем:
— ABI несовместимости при обновлении;
— Усложнение цикла запуска приложения;
— Проблемы с воспроизводимостью сборки.

Если вы никогда с этим не работали, то очень сложно представить. Но, наверное, практически каждый МЛщик пользовался pip install some_lib, который устанавливает пакет и его зависимости. Потом вы запускаете свой привычный скрипт, а он работает по другому, хотя в нём даже не используется some_lib. А проблема в том, что при установке some_lib мы решили одну из зависимостей обновить. И понеслась 🤔.

Примерно такое же может происходить с приложениями, собранными с динамическими библиотеками. Более того, от этого иногда очень сильно страдают, когда не могут понять, почему поведение приложение просто так поменялось, хотя ничего не менялось. Я сам был свидетелем подобных ситуаций. И иногда такое больно дебажить. А еще веселее бывает, когда оно удивительным образом как-то работало 😊.

В целом, я согласен с утверждениями Линуса Торвальдса:

Shared libraries are not a good thing in general. They add a lot of overhead in this case, but more importantly they also add lots of unnecessary dependencies and complexity, and almost no shared libraries are actually version-safe, so it adds absolutely zero upside.

shared libraries really make sense is for truly standardized system libraries that are everywhere, and are part of the base distro.

Or, for those very rare programs that end up dynamically loading rare modules at run-time - not at startup - because that’s their extension model.

Недавно BM25, алгоритм поиска из 80-х, победил нейросетевой поиск на LLM.

Мне стало очень интересно разобраться, как это работает, и я написал статью на Хабр, где этот алгоритм реализуется с нуля.

https://habr.com/ru/articles/823568/

Материал подойдет начинающим: ничего кроме знания Python не нужно.

Просьба читать, лайкать и кричать об этой статье на улицах. 😇