​​YOLOv10: Real-Time End-to-End Object Detection

За последние годы модели YOLO стали ведущим подходом в object detection в real-time. Однако, использование NMS для postprocessing заметно ухудшет latency.

Авторы взяли YOLOv8 и смогли избавиться от NMS, плюс добавили кучу новых штук в архитектуру. Получили SOTA результаты. Например, YOLOv10-S быстрее RT-DETR-R18 в 1.8 раза с меньшим числом параметров и FLOPs. YOLOv10-B имеет на 46% меньш latency и на 25% меньше параметров по сравнению с YOLOv9-C.

Paper link
Code link
Docs link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

​​AI Engineer Compensation Trends Q1 2024

Levels.fyi выпустил новый отчёт о состоянии зарплат в "AI индустрии". Ни сколько не удивительно, что зарплаты в USA самые высокие, но посмотреть на топ-10 интереснее: Америка, Швейцария, Израиль, Великобритания, Канада, ОАЭ, Австралия, Сингапур, Ирландия и Нидерланды.

Ещё интересный момент - по сравнению с прошедшим годом, разрыв зарплат между AI-инженеры и "просто" инженерами немного увеличился.

Среди компаний первое место по зарплатам занимает OpenAI (что неудивительно), второе место - Coupang из Южной Кореи, третье место, внезапно Airbnb. Anthropic в рейтинге нет - возможно слишком мало людей заполняли информацию на levels.fyi

https://www.levels.fyi/blog/ai-engineer-compensation-q1-2024.html

#datascience

​​Выступление на DataFest 2024

В это воскресенье я буду делать онлайн доклад для секции Reliable ML на DataFest 2024. Доклад будет о том, как мы делали реал-тайм систему для анти-фрода. Раньше я уже писал блогпост об этом: https://news.1rj.ru/str/datastorieslanguages/136 Теперь расскажу с большими подробностями :)

https://ods.ai/events/df2024-2-june-online/networking

#datascience

​​AI теперь даже в iTerm2

iTerm2 - один из самых популярных терминалов для macOS. Недавно в нём вышло обновление, которое принесло "AI" и в него. По факту просто написали промпт, который на запрос юзера будет возвращать команду

 commands suitable for copy/pasting into \(shell) on \(uname). Do NOT include commentary NOR Markdown triple-backtick code blocks as your whole response will be copied into my terminal automatically.

The noscript should do this: \(ai.prompt)

Внимание! Hugging Face: Space secrets leak disclosure

Hugging Face вчера опубликовали блогпост, что у них утекли secrets в некоторых Spaces. Настойчиво советуют всем обновить HF Tokens. Уверяют, что в последние дни активно работают над улучшением безопасности.

Блогпост

#datascience

​​LiteVAE: Lightweight and Efficient Variational Autoencoders for Latent Diffusion Models

Исследователи из Disney Studio представляют LiteVAE, семейство автоэнкодеров для LDMs, использующее 2D discrete wavelet transform для повышения масштабируемости и вычислительной эффективности по сравнению с обычными VAEs без потери качества.

Базовая модель LiteVAE сравнима по качеству с существующими VAEs в LDMs, при том, что количество параметров энкодера в шесть раз меньше - это значит, что тренировка идёт быстрее и нужно меньше памяти GPU. Более крупная модель превосходит VAEs аналогичной сложности по всем метрикам.

Paper link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

​​Код xLSTM

Недавно вышла нашумевшая статья про xLSTM, а теперь авторы выложили код: https://github.com/NX-AI/xlstm

Интересно, будет ли использоваться или быстро забудется?

#datascience

​​Войны художников против AI продолжаются

Как известно, художники постоянно негодуют по поводу AI (я их вполне понимаю) и пытаются придумать новые решения против этого. То программы, которые "портят" картинки чтобы модели на них не могли тренироваться, то ещё что.

Новая идея: https://cara.app/explore

 widespread use of generative AI, we decided to build a place that filters out generative AI images so that people who want to find authentic creatives and artwork can do so easily.

Звучит прикольно. Довольно быстро туда хлынула толпа юзеров. Они запустились в конце мая, ворвались в топ-9 приложений в App Store для social media, достигли 500к юзеров.

Казалось бы, что могло пойти не так? Они хостили свой продукт на платформе https://vercel.com/ai и... к ним пришло "письмо счастья" сообщающее, что они превысили все лимиты, и им надо заплатить почти 100к$. В тред твиттера даже пришёл VP of Product Vercel и объяснил, что всё верно - к ним пришло много трафика (56 миллионов function invocations за 3 июня), и они не настраивали лимиты по тратам.
В целом дальше обещал попробовать договориться - посмотрим, что получится.

Но самое ироничное в этом - совсем другое. Cara, платформа для "настоящих" художников и против AI, хостится на vercel, у которого на сайте большими буквами написано "Vercel is the Home of AI Apps".

Интересная история.

​​σ-GPTs: A New Approach to Autoregressive Models

В этой статье решили попробовать генерить тексты не слева направо, а в рандомном порядке. Для этого к токенам добавляют два позиционных энкодинга - информация о позиции этого и следующего токенов. В результате, модель может генерить тексты параллельно (одновременно разные куски текста), по факту делать in-filling, лучше генерализирует в некоторых случаях. По приколу показали, что можно генерить тексты хоть по фрактальным паттернам - правда это работало уже не так хорошо.

Но смутило то, что говорят про возможность параллельной генерации, а скорость инференса замерять не стали. И тренировали лишь GPT-2. Возможно, что следуют заветам Karpathy. Кстати, он как раз сегодня выложил новую лекцию о том, как закодить GPT-2 с нуля.

Визуализацию примера того, как генерится текст, можно посмотреть тут

Paper link
Demo

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

​​Чтение книг для практики иностранных языков

Чтение книг на иностранных языках - это отличный способ набрать словарный запас. Есть много способов прокачивания языка, но практика в любом виде просто необходима - это может быть чтение текстов, просмотр фильмов, слушание подкастов/аудиокниг/чего-угодно, разговоры и так далее. При чтении мне проще всего трекать прогресс, чем и хочу поделиться.

Недавно я закончил читать серию из четырёх книг на немецком - это перевод русский серии "Страж" Алексея Пехова. Кстати, это один из моих любимых авторов современного фэнтези. Я читал эту серию очень давно (последняя книга вроде как была опубликована лет 10 назад), но вот несколько месяцев назад мне попался на глаза немецкий перевод, и я решил перечитать её - на этот раз не только по фану, но и для языковой практики. Пехов пишет отличные книги, богатые на описания, но от этого получается высокая сложность текста, когда читаешь их в переводе.

На чтение первой книги у меня ушло больше месяца, и на Kindle я отметил примерно 1.5к слов как неизвестные (смотрел их перевод). Первая треть книги шла совсем с трудом, но постепенно становилось легче и легче. Вторую книгу я читал немного быстрее, но всё равно потребовался примерно месяц, и было примерно 1.1к новых слов. А дальше стало лучше - где-то три недели на третью книгу (~900 слов) и всего дней десять на четвёртую (~500 слов). Естественно, на скорость чтения влияли внешние факторы, но прогресс очевиден.
Кстати, все эти слова я потом переносил в Anki с помощью того приложения, о котором я писал раньше: https://news.1rj.ru/str/datastorieslanguages/59 Правда я в свою локальную версию добавил возможность делать перевод с помощью gpt-4o :)

Дальше планирую почитать что-нибудь в оригинале на немецком (в дополнение к другим способам практики).

P. S. Обложки к немецких изданий просто шикарные.

#languages

​​Leetcode теперь может автоматически считать асимптотику алгоритмов

Теперь на Leetcode появилась новая удобная фича. После сабмита решения можно нажать на кнопочку "Analyze Complexity" и увидеть какая сложность у написанного кода. Прикольно, так будет легче запомнить разные асимптотики тем, кто ещё в них путается

#datascience

​​GPT-4 is "smarter" at temperature=1 than temperature=0, even on deterministic tasks.

Я наткнулся на любопытное обсуждение в твиттере - оказалось, что если поставить temperature=1 в GPT-4, он будет работать немного получше.
Что забавно - попробовали такое же с затюненой LLama3 - и там полный разброс.
Тюнинг и инференс LLM остаётся алхимией :)

#datascience

Обзор книги "Accelerate Model Training with PyTorch 2.X"

Недавно мне написали из Packt и сам автор книги Maicon Melo Alves и предложили почитать книгу и опубликовать отзыв.

Мой англоязычный отзыв можно почитать тут: https://www.linkedin.com/posts/andlukyane_accelerate-model-training-with-pytorch-2-activity-7207747253212483585-n7np?utm_source=share&utm_medium=member_desktop

Неофициально скажу, что книга вполне неплохая... но хз на кого нацеленная. Для новичков будет слишком много технических деталей, проще взять официальные туториалы pytorch. Для опытных людей новое будет, но я не уверен в том, что они подчерпнут достаточно полезного. Плюс весь код в открытом доступе

Наверное, полезнее всего будет тем, кто не хочет гуглить, а предпочитает читать книги. Сам стиль хороший, объяснения качественные, материал покрывает всё нужное.

Ссылка на книгу

#datascience

​​ChatGPT is bullshit

https://link.springer.com/article/10.1007/s10676-024-09775-5

Я так и не понял, что в этой статье нового, но название порадовало.

#datascience

​​Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling

Только недавно NVIDIA натренировала SSM Mamba-2 на 8B параметров на 3.5T токенов, как в Microsoft решил не ударить в грязь лицом и натренировали Samba (Mamba + MLP + Sliding Window Attention) на 3.8B параметров и 3.2T токенов. Получили модельку лучше, чем Phi3-mini - MMLU 71.2, 71.9 при intruction-tuning. Из главных плюшек - большой контекст. Например, тренировали на контексте 4к, и Samba успешно экстраполировала на 256к с почти идеальным memory recall. Плюс шустрый инференс. Выглядит очень любопытно. Но весов пока нет.

Paper link
Code link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

​​Курс испанского языка на Duolingo пройден. Опять

Я уже рассказывал, что использую Duolingo для дополнительной практики языков. Вчера вот я снова завершил курс испанского. До этого я уже проходил его полностью пару раз, но каждый раз через какое-то время компания делала редизайн курса и добавляла новые материалы.

Впечатления от курса такие же как и прежде - чем ближе к концу, тем меньше польза. По субъективным ощущениям, я делал ошибки примерно в 10% вопросов, и большинство было либо из-за моих глупых опечаток, либо из-за случаев, когда Duolingo ожидал какой-то специфичный ответ вместо моего (который тоже подходил).

В качестве дополнительного усложнения, везде где это было возможно, я старался использовать микрофон для голосового ввода. Кстати, с этим было интересно: обычно iPhone отлично распознавал мой голос и выдавал именно то, что я говорил; а когда я использовал приложение на Android, те же самые фразы часто распознавались криво и приходилось исправлять их ручками.

Теперь не знаю забрасывать ли Duolingo, или поддерживать почти 900-дневный streak.

#languages

​​I Will Fucking Piledrive You If You Mention AI Again

Блогпост от австралийского DS - вопль от глубины души. Очень эмоционально, но при этом вполне адекватно. Основные тезисы:

• Многие проекты проваливаются потому, что кто-то наверху решил "делать AI-проект" не понимая реальных ограничений и сложностей. Очень многое упирается в инфраструктуру
• В компаниях на высоких уровнях слишком много "grifters", которые пропагандируют использование AI лишь для личной пользы без заботы о результатах
• Есть серьёзно задуматься, большинству компаний совершенно не нужно разрабатывать AI, чтобы оставаться конкурентоспособными. Плюс, у многих компаний этот самый AI уже есть - ибо они купили какие-то решения у компаний, которые умеют и понимают как это делать
• Недавно был опубликован большой отчёт о том, как идёт внедрение AI. Там много красивых чисел, но большинство - явный буллшит.
• Просто впихивание "AI" в любые проекты не поможет решить проблемы. Надо вначале выстраивать процессы и обучать людей.

Blogpost

#datascience

​​Auto-import от fastai

Библиотека fastai - холиварная штука. С одной стороны, полно SOTA штук (по крайней мере так было несколько лет назад), с другой стороны полно очень спорных архитектурных решений и сам код очень спорный. Плюс создатели библиотеки любят пропагандировать стиль типа import *.

К чему я вообще вспомнил это? Сейчас увидел твит от Jeremy Howard, где он называет требования нормальных импортов "pointless busywork" и предлагает решение - делать import * по-прежнему, а потом запускать новую либу "fastcore", которая заменит импорты на правильные. Что может пойти не так...

#datascience