Вышла очередная интересная штука от Facebook, свежак, всего 7 дней назад (надеюсь, вы успеваете читать):

ImageBind: One Embedding Space To Bind Them All

А мы уже успели обкатать модельку для изображений на наших задачах, в стиле zero-shot metric learning.
Вышло сильно хуже, чем специализированные энкодеры и чуть-чуть хуже, чем blip2. Но заметно лучше, чем blip1 или clip (на ViT).
Тем не менее, применений у подхода огромное количество и это лишь одно из них. Так что не сомневаюсь - он займёт в нашем ящике для инструментов достойное место.

Сидячий образ жизни - известная профессиональная проблема в IT.
Особенно, когда ты DS и отвлечься просто невозможно!👨‍🔬👩‍🔬

Почему это плохо - кажется, знают все и тут всё очевидно.
Всё да не всё.

Оказывается, что помимо очевидных минусов, сидя весь день на одном месте, мы круто теряем в производительности нашего мозга.
Некоторые исследования утверждают, что разница перформанса прямо разительная. После недолгой ходьбы улучшается всё: от креативности до математических способностей.
И у науки на то есть пруфы: [1] [2]

Не получается найти баг - просто пройдись.

У владельцев iPhone сегодня явно хороший день.
Прежде, чем вы перейдёте по ссылке, попробуйте угадать о чём речь по изображению, которое сгенерировала модель Kandinsky 2.1 для этой новости 😁

sad but true

Смотрите, какое необычное применение для генеративных сетей.
Статья вышла буквально вчера, а код обещают выложить в июне.

Не диффузионками едиными.

Начинаю серию постов по следам давнего тизера из LinkedIn.
Поговорим об инженерной части нашей работы, о производительности.

В оригинальном посте я я сравнивал нас с библиотекой для процессинга данных Nvidia DALI (используется в Triton Server), но на самом деле функционал пересекается лишь частично. Однако, как я писал, где он всё-таки пересекается, там производительность у нас намного выше.

В этой серии хочу раскрыть те детали, которые можно брать и применять в работе хоть завтра. В общем, упор на практичность.

Начнём мы с PNG и GIF.

Секундный ликбез (почему-то для многих это проблема на собеседовании О_о): это второй по популярности в известной нам части Вселенной формат хранения изображений и хранит он их сжимая без потерь. В большинстве случаев, для сжатия под капотом будет использоваться zlib, т.е. алгоритм общего назначения DEFLATE, точно такой же, который, зачастую, применяется и когда вы используете ZIP утилиту.

Гонять PNG на карту для декомпрессии там, как в случае с JPG, совершенно бессмысленно: вес большой, а сам алгоритм прекрасно оптимизирован для CPU. Кроме того, в нашей области крайне велика вероятность, что CPU у вас намного свободнее карты :)

Но, общем и целом, производительность PNG всё равно намного хуже, чем у JPEG. Поэтому, кажется, что разработчики Nvidia DALI должны были уделить вопросу особое внимание. Однако на деле библиотека, не мудрствуя лукаво, просто вызывает OpenCV. Который, в свою очередь, дёргает libpng, который дёргает zlib в доме, который построил Джек. Вообще говоря, можно подоткнуть в OpenCV и другие реализации: libspng, lodepng, и т.д., а так же использовать другие вариации zlib. Но по итогу, можно закончить результатами ещё хуже, чем было до.

Из-за чего может показаться, что лучше ничего не трогать и оставить всё, как в DALI. Но нет.

Серебряная пуля существует и имя ей Wuffs от Google. Эта библиотека не только в 1.5 - 2.75 раза быстрее libpng, но ещё и безопаснее с точки зрения эксплойтов! Вместо zlib там своя реализация. По ссылке есть все необходимые числа, эксперименты и обоснования.

И, совершенно потрясающим образом, насколько эта библиотека невероятно крута, настолько же мало используема!

Google и PR... you know.

К сожалению, просто взять и воткнуть Wuffs в Python не получится, по крайней мере я не нашёл готовых модулей. Но вот написать такой совсем не сложно.

Лично я реализовал его так, что на выходе Wuffs сразу пишет в буфер OpenCV изображения: его затем легко и прокинуть назад в Python и провести с ним любые манипуляции. Разница в скорости - колоссальная, и это если сравнивать с OpenCV \ libpng, не говоря о других библиотеках, как PIL.

Ну, а GIF тут идёт бонусом :) В его случае разница может быть даже больше.

Тут дубликат поста в LinkedIn, если вы там есть и пост вам понравился, пожалуйста, клацните лайк. Это поможет мне понять, какие темы стоит развивать дальше.

https://developers.sber.ru/portal/products/layer

У нашей команды обновился лендинг! Это результат долгого труда ребят, посмотрите обязательно, он красивый.
Особенного внимания заслуживает продукт для смартфонов, о котором я вам ещё не рассказывал - Camera. Приложение позволяет в реальном времени использовать платформу Layer через камеру устройства, а значит находить и распознавать одежду, обувь, аксессуары и мебель.
Мы очень любим это приложение, но ранее на широкую публику не показывали. Думаю, что расскажу о нём подробнее, когда придёт время :)

А теперь к действительно важным применениям нейросетей.

Начало дня понедельника, а значит самое время поговорить о кофе.

Великий венгерский математик Пол Эрдёш шутил - "Математик – это машина для превращения кофе в теоремы". Программисты переделали это на свой лад, мы превращаем в код :)

Однако, далеко не все люди позитивно относятся к кофе. До сих пор можно встретить его упоминание в негативном контексте и в рядах, в которых ему вовсе не место. Ну, мол, с понедельника начинаю новую жизнь, заниматься спортом, отказываюсь от кофе и алкоголя, бросаю курить.
Более того, до сих пор очень многие врачи безусловно и бездоказательно настроены против этого напитка.

Вероятно, что такую славу кофе заслужил из-за своего заметного и сильного действия, а так же лёгкого привыкания. Не может же что-то с такими свойствами быть полезным!
У науки в этом вопросе накоплено уже много данных и ответ однозначный - может.

Есть огромное количество отдельных исследований по конкретным заболеваниям и состояниям. Чаще всего там находят позитивные эффекты. Например, кофе, вопреки логике, снижает смертность от сердечно-сосудистых заболеваний, защищает от нейродегенеративных заболеваний, способствует ремиссии астмы, уменьшает вероятности заболеваний печени и многих видов рака, защищает от депрессии, уменьшает риски развития инсульта и деменции, и... тут я просто уже устал читать PubMed :)

Помимо этого, не так давно появились достаточно большие мета-анализы. Например, в этом исследовании использовались данные 450 тысяч участников и по итогам пришли к в выводу, что употребление кофе снижает смертность от всех причин. А в этом отслеживали данные более 15 тысяч людей с диабетом 2 типа на протяжении 30 лет и снова обнаружили тоже самое.

Но, конечно, ничто не идеально в нашем мире и все эти позитивные, а так же возможные негативные эффекты строго связаны с личным состоянием здоровья, и, конечно, дозой. Например, во время беременности риски от употребления кофе очень высоки. Есть и множество других состояний, при которых всё-таки не стоит употреблять кофеин.
Но, в общем по популяции, напиток себя явно оправдал ☕️

Готовим кое-что серьёзное 🔬

И, в связи с этим событием, планирую серию эксклюзивных постов тут, в ТГ канале.

Поэтому, пожалуйста, подписывайтесь на наш канал, а если уже, то помогайте распространить и рассказывайте друзьям, нам очень важна активность!

⬆️
Совсем скоро случится очень важное событие для нашей команды ⏳
А пока, давайте разогреемся!
Ответьте, пожалуйста, на простой вопрос выше, это, затем, будет иметь важное значение.

🥳Мы выпустили самую точную в мире нейросеть для определения пола и возраста человека по фото - MiVOLO🚀

Мало того, что лучшую среди других моделей - она ещё и намного точнее, чем человек (в задаче определения возраста). И не только людей по отдельности: даже если десять человек соберутся в консилиум, MiVOLO всё равно победит.
Так что, можно сказать, что под капотом у нашей модели больше 10 человеческих сил🙃 Это при том, что она может перемалывать ≈1000 изображений в секунду (на V100).

Ещё более удивительно, что она умеет предсказывать пол и возраст даже на тех фотографиях, где лица не видно. Причём, даже с закрытыми лицами, только по изображению с телом, MiVOLO предсказывает всё ещё лучше, чем среднестатический человек, который лицо видит😅

Всё это строго доказано в нашей научной работе👩‍🔬, где так же описаны все прочие детали и новая архитектура MiVOLO, основанная на трансформерах.
А вот тут ссылка на демо, где можно пощупать сеть самостоятельно.
Для тех, кто хочет пощупать поближе, есть модели и код для инференса (пожалуйста, тыкните звёздочку на репозитории!).

Кроме того, выпустили новый датасет-бенчмарк Lagenda для задачи определения пола и возраста. Главное отличие от других - он хорошо сбалансирован как в целом, так и по возрастным группам, его размечали вручную люди и в нём почти нет звёзд. В общем, полный in the wild.

Детали расскажу в последующей серии публикаций.
Выходить на русском они будут в первую очередь тут, в ТГ.
Пожалуйста, подпишитесь.