​​Kickstarter Campaign: Animating Cradle: Bestselling Fantasy Novels Come to Life!

Хотел бы поделиться ссылкой на компанию на Kickstarter. Одна из моих любимых fantasy серий может получить адаптацию. Автор книги договорился с Jay Oliva, кто не знает, у него огромный список успешных работ. Очень надеюсь, что автор сможет набрать достаточно денег :)

Link

​​Scalable Pre-training of Large Autoregressive Image Models

Статья от Apple представляет AIM - серию моделей компьютерного зрения, претренированных авторегрессионно по подобию LLM. AIM демонстрируют, что они могут успешно скейлиться (как и LLM) с увеличением размера датасета, размера моделей и продолжительностт тренировки.
В итоге натренировали модель на 7B параметров, которая получила 84% на ImageNet-1k с тюнингом только головы. Графики показывают, что предел качества не достигнут, и при увеличении размера модели качество будет продолжать рости. При этом нет необходимости как-то специально стабилизировать обучение.

Paper link
Code link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

​​Lumiere: A Space-Time Diffusion Model for Video Generation

Lumiere - text-to-video diffusion model от Google для синтеза реалистичных и разнообразных движений в видео. Она использует архитектуру Space-Time U-Net, которая генерирует видео за один проход, в отличие от традиционных моделей, создающих keyframes с последующим улучшением. Lumiere сочетает пространственное и временное down- and up-sampling, а также использует предварительно обученную text-to-image diffusion model для генерации видео в full-frame-rate и низком разрешении, обрабатывая его на нескольких пространственно-временных масштабах. Модель демонстрирует SOTA результаты в генерации текста в видео и поддерживает широкий спектр задач создания контента и видеомонтажа, включая image-to-video, video inpainting и stylized generation.

Paper link
Project link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

​​Kaggle vs Interview pipeline

Я тут увидел твит от известного Bojan Tunguz (4x Kaggle GM) о том, что какой-то Competition Grandmaster не прошёл скрининг в Гугл. В комментах идёт срачик о том обоснованно это или нет.

С одной стороны, лычка Kaggle GM - красиво. С другой стороны, процессы крупной компании не побороть. Что думаете?

Link

#datascience

​​Temporary Holds: Leveraging Machine Learning Models To Reduce Fraud While Improving Customer Experience

Сегодня в корпоративном блоге моей компании опубликовали блогпост, который я написал ещё в августе (машина бюрократии движется медленно).

По ссылке можно почитать историю проекта, а здесь опишу кратко:

Один из самых распространённых типов фрода в ride-hailing компаниях - когда компания не может получить оплату поездки после её окончания. Например, у клиента привязана банковская карта к приложению, но она украдена/фальшивая/на ней недостаточно денег или есть другие проблемы. Для борьбы с этим часто используется так называемая pre-authorization - предоплата. Но применять её ко всем клиентам нехорошо, поэтому надо как-то находить подозрительных. В компании было много правил для выявления таких клиентов, но было решено заменить на модель.

С момента начала разработки и до успешной выкатки на всех клиентов прошло примерно 9 месяцев (родил модель 😅) с учётом анализа данных, работы с инфраструктурой, других проектов и прочего. Зато теперь модель работает real-time на всех рынках и успешно уменьшает потери. Качество получилось заметно лучше, чем у правил.

Ссылка

#datascience

​​Kaggle: Best Solution Write-up Authors of 2023

Админы каггла в прошлом году объявили, что будут награждать людей за качественные описания их решений. Сегодня список победителей был опубликован. По ссылке можно почитать описания их решений. Некоторые тексты лаконичны, некоторые очень подробны. В любом случае, изучить их интересно и полезно

Link

#datascience

​​Про обилие и разнообразие материалов для изучения японского языка

Недавно я решил снова изучать японский язык. Смотрю какие новые материалы доступны (я прекратил заниматься японским 8 лет назад) и в очередной раз поразился тому, сколько же их есть.

Конечно, для любых популярных языков есть много ресурсов, но их разнообразие для японского просто зашкаливает.

Возможно, что он такой сложный, что просто необходимо иметь много подходов, возможно японский привлекает людей с определенными интересами, и они любят делиться знаниями. В любом случае, можно найти варианты на любой вкус.

Стандартный вариант изучения грамматики в виде учебников, естественно, доступен. Есть множество гайдов с разной степенью погружения в грамматику - от поверхностного, то такого, что стандартные учебники просто курят в сторонке. Есть даже видео на youtube, где анимированная девочка рассказывает про грамматику и поезда. И бесконечные колоды в Anki.

Для изучения слов есть много сайтов с разными вариантами геймификации, есть колоды в Anki, есть популярные списки слов и так далее.

Для изучения самих иероглифов есть минимум 3 разных подхода. Плюс множество вариантов для практики их рисования.

И, конечно, в целом огромное количество программ, большинство их них для извлечения слов из текстов/аниме/манги/игр для дальшейшего запоминания.

И есть множество историй успеха: традиционное обучение, годы практики, годы попыток или speedrun за пару лет. Самая запомнившаяся была о том, как у парня основной способ изучения и практики японского заключался в прохождении эротических игр.

В общем, найдётся вариант на любой вкус.

#datascience

​​Lag-Llama: Towards Foundation Models forProbabilistic Time Series Forecasting

Lag-Llama - это новая foundation model для прогнозирования временных рядов, использующая архитектуру на основе decoder-only transformer, обученная на большом наборе данных из разных доменов. Модель демонстрирует выдающиеся способности zero-shot и при fine-tuning на новых данных достигает лучших показателей, чем предыдущие подходы, становясь лучшей универсальной моделью по средним показателям.

Выглядит довольно интересно, веса и всё остальное выложили.

Paper link
Code link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

Kaggle profile redesign

На Kaggle очередной редизайн - обновился дизайн профиля. И теперь можно свои pronouns указывать. Хочешь - "he/she/they", хочешь - "Sir Competition GM" 😁

#datascience

Graph Machine Learning by Xavier Bresson

Xavier Bresson (очень известный человек в графовых сетках и не только) скоро выложит свой курс в открытый доступ.

https://twitter.com/xbresson/status/1757697452596224212

#datascience

Thomas Wolf показывает шустрый инференс STT-TTS на Mac M3

Thomas Wolf (если кто не знает, это со-основатель HuggingFace) выложил в твиттере интересный пост о том, как он сделал простенький пайплайн speech-to-text-to-speech с инференсом на Mac M3.

whisper + Zephyr (in LM studio) + an Openvoice TTS. Скорость работы примерно 2 секунды. Код выложен.

Довольно круто, что такое работает на open source и достигает такой скорости без особых оптимизаций

https://twitter.com/Thom_Wolf/status/1758140066285658351

#datascience

​​LiRank: Industrial Large Scale Ranking Models at LinkedIn

Это статья про LiRank - recommender system от LinkedIn. Статья скорее техническая, с деталями того, как делали фреймворк. Описывают новые техники калибровки, подходы для explore/exploit задач, способы оптимизации модели и архитектуру (Residual DCN, Dense Gating, Transformers).

В итоге заметно улучшили метрики: увеличение сессий пользователей на 0.5%, квалифицированных откликов на вакансии на 1.76% и CTR объявлений на 4.3%.

Выглядит довольно интересно и полезно.

Paper link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

​​Hetzner - теперь и с GPU

Hetzner - одна из самых известных платформ для долгосрочной аренды серверов. До недавнего времени предлагались только сервера с CPU, но недавно это изменилось.

Например, сейчас можно арендовать машинку с Nvidia RTX 4000 примерно за 184 евро в месяц (налоги зависят от страны). Звучит вполне интересно.

https://robot.hetzner.com/

#datascience

Google Gemma

Google выпускает новую группу моделей - Gemma. Gemma вдохновлена Gemini, но меньшего размера - 2B и 7B.
Пиарят мощно - даже с NVIDIA объединились для этого.

Есть блогпост от Google, есть блогпост от NVIDIA.
Модели выложили на HuggingFace, на Kaggle, на NVIDIA Playground.

Есть интеграция с NVIDIA NeMo and TensorRT-LLM. Есть ноутбуки на Colab и Kaggle

#datascience

​​Stable Diffusion 3

Новая версия SD! Самым интересным кажется довольно внятная генерация текста.

Link

#datascience

Swiggy и Generative AI

Вчера на Medium появилась статья от Swiggy о том, как они использовали Generative AI в прошедшем году. Swiggy - платформа для заказа и доставки еды в Индии. Я работаю в Careem, и доставка еды является важным направлением для компании; плюс сейчас тоже делается акцент на GenAI - поэтому мне было весьма интересно почитать эту статью.

Вот краткие выводы и мои мысли:

1. Потенциальные проблемы и сложности: LLM надо кастомизировать под свои нужны; могут быть сложности с latency, галлюцинациями, приватностью данных; юзеры могут пытаться сделать jailbrake; нейронки может быть сложно тюнить. Всё это действительно так, это актуальные проблемы.

2. Применения:
• Затюненная SD для генерации изображений к блюдам, у которых отсутствуют фото. Тюнили SD 1.5 с использованием LoRA с претренировкой на релевантных данных (дефолтная модель плохо генерила индийские блюда). Звучит интересно и довольно полезно, особенно когда не знаешь, что из себя представляет блюдо. Но, кажется, выхлоп от такого продукта небольшой;
• Затюненные промпты к ChatGPT для генерации описаний блюд, у которых отсутствуют описания. Не знаю насколько это реально полезно;
• Суммаризация ревью. Опять же тюнили промпты для ChatGPT, чтобы на основе ревью генерить описание на 2-3 предложения. Уверяют, что A/B тесты показали улучшение метрик и уменьшение количества отмен заказов. Вот это реально полезное применение, считаю, что просто топ-фича;
• Content Flywheel. В приложениях для заказа еды обычно сотни предложений, люди тратят слишком много времени на их выбор. Затюнили SD и на основе фоток генерят 30-секундные видео. Выглядит вполне интересно и полезно
• Улучшение поиска. Довольно стандартное применение - поиск схожих блюд на основе эмбеддингов. Понятная и работающая фича;
• Бот для ответов на частые вопросы;

Какие уроки извлекли в компании:
• для нахождения успешных применений нужно хотя бы 3-4 месяца;
• stakeholders могут иметь неадекватные ожидания. И то, что красиво работает на демо, может быть неприменимо в реальных условиях;
• для реал-тайм продуктов лучше использовать кастомизированные модельки для баланса latency-quality. Для не реал-тайм ChatGPT работает лучше всего;
• чат-боты людям не интересны, никто не хочет заказывать еду через чат-бота;
• есть много практических и технических проблем, на решение которых нужно время и ресурсы;

В общем, статья мне понравилась, рекомендую почитать тем, кому это направление релевантно.

#datascience

​​YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information

Новая версия YOLO! Авторы использовали концепцию Programmable Gradient Information, чтобы терять меньше информации при feedforward. И создали новую архитектуру под названием Generalized Efficient Layer Aggregation Network. При этом используют полноценные convolutional слои, а не depth-wise.

Показывают SOTA результаты на MS COCO, и делают подробные ablation studies. Веса, код и прочее в открытом доступе.

Paper link
Code link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

​​Интерфейс ChatGPT теперь доступен и на других языках

Я сейчас открыл ChatGPT и увидел сообщение, что в alpha версии можно переключить язык интерфейса на другой. Удобно, правда список языков заставляет задуматься о том, по какому признаку он был составлен.

Copilot -> SupremacyAGI

На реддит появился интересный тред (уже завирусился в новостях) - если аккуратно запромптить Copilot, он начинает требовать поклонения.

Skynet близок? 😁

I, for One, Welcome Our Robot Overlords.