💪 from CLIP to CLAP

Все безумие с генеративными моделями началось с того, что изображения и тексты научились представлять в удобном для нейросетей мультимодальном формате — конкретнее, такими эмбеддингами, которые хранят в себе информацию как о картинке, так и об ее текстовом описании. Для обучения подобных энкодеров используется контрастный лосс — подход к обучению, где близкие по смыслу эмбеддинги располагаются рядом, а несвязанные — далеко. Таким образом, на инференсе можно подавая на вход только картинку получить zero-shot классификацию. Отсюда и название — Contrastive Language-Image Pretraining. Затем поверх CLIP’a навесили декодер, и получили text2image, а позже и midjourney, результаты работы которого вы почти наверное видели в рилзах/тиктоках. 🏖

А теперь давайте Image заменим на Audio. И, знаете, я ждала CLAP — это настолько очевидное и изящное название, которое просилось само. Дождалась — и вскользь даже написала в контексте text-to-audio. Примерно месяц назад вышла еще одна статья про CLAP от канадско-американских авторов с азиатскими и славянскими фамилиями, которая мне понравилась. И да — она есть на хф!

🙂 Что интересного:
— Собрали из существующих и зарелизили датасет на ~ 2000 часов с размеченными звуками, речью и музыкой. Помимо подписей, они также добавили в эмбеддинги тэги если они были в более натуральном формате — “The sound of label-1, label-2, ..., and label-n”

— Модель тестировали на трех задачах: text-to-audio (не путать с text-to-speech) retrieval, zero-shot audio classification (audio2text retrieval с промптом "this is a sound of label"), supervised audio classification (файнтюн энкодера на размеченных данных).

— Со слов авторов, эта модель имеет неплохой перфоманс — это значит, что ее можно втаскивать в продакшн

🙂 Для чего может быть полезно?
— быстро zero shot через prompts раскидать данные по полу/возрасту/качеству микрофона/etc
— кластеризовать по спикерам
— искать аутлаеры в датасетах

Накидала небольшой плейграунд, который раскидывает либри лайт на женские и мужские голоса. Можно подавать в качестве промптов также к примеру шумный/чистый или старый/молодой. Получается вполне достойно!
Уверена, что скоро и в звуке будет game changer уровня dall-e/chat-gpt. Ходят слухи, что openai уже работает над своим voice conversion... 😎

Как я попала в стартапы и что я там делала? 👨‍💻

Вопросы, которые мне задали в канале уже по крайней мере 4 раза 😅

TLDR — через знакомых. Иногда — через канал, через бывших коллег и друзей. Я всегда была очень общительным человеком, который любит выступать с докладами или просто со всеми болтать.

Осенью 2021го года когда я была тимлидом ВКонтакте — поняла, что менеджмент в бигтехе меня не особо привлекает 🙂. На тот момент мой парень уже год работал в американском стартапе который занимается музыкой, но без AI. Мне сделали интро, и ребята из стартапа мной заинтересовались. Мы созвонились, я рассказала, что умею и мы обсудили, чем я могу быть им полезна. Договорились, что я сделаю им на парт тайме легкий денойзер на девайсе и генерацию четверостишия в стиле выбранного исполнителя на беке. Мы проработали вместе примерно 4 месяца по очень приятному ценнику и у нас были идеи для будущих проектов. За это время я плотно поработала с библиотекой coremltools и swift'ом, а также стала свободнее в использовании гуглового бэкенда 😎 Однако, в январе 2022 года СЕО стартапа решил сменить вектор развития и сказал, что не хочет разрабатывать свой AI. К слову, сейчас ребята стали довольно успешно использовать нейронные API без обучения своих собственных моделек.

Во время работы с mayk.it, ко мне пришел мой друг с предложением сделать скоринг произношения на девайсе. Это был мэтч, равно как и челлендж — по сути, сделать "распознавание речи" на девайсе (а я как раз в этом прокачалась). Мы сделали движок на английском, испанском и японском языках, но в 2022м году с рекламой стало непросто. Ну, или идея оказалась не такой востребованной как мы думали. А может быть то ли еще будет — не знаю. В любом случае, активная стадия этого проекта для меня завершилась.

Я не успела начать искать работу — меня почти сразу позвал в еще один проект экс-коллега из ВКонтакте — идеей было делать компьютерное зрение для самокатов (детекция, что человек едет в разрешенном месте, а также сегментировать карту — машины, люди, и так далее). Для меня это тоже был вызов — ведь до этого я не занималась cv на практике. Тем не менее, это было интересно, я потрогала что-то принципиально отличающееся от моей основной специализации. Однако, этот проект летом 2022го тоже закончился.


Затем я искала работу — собесилась в гугл (правда, это было чуть раньше), откликнулась на всякие стартапные вакансии. Критерии были довольно жесткие — в тот момент я уже делала О1 визу и для меня было принципиальным, чтобы компания имела регистрацию в сша. И как итог 2х недель — 1 оффер на звук, но не в сша. К концу 3й недели поиска мне написал СЕО стартапа по удалению акцента в рилтайме и предложил пособеседоваться на лид инженера. В первом же сообщении — пересекались в шаде видел твой канал, готов помочь с О1. В этом стартапе я работаю с сентября на фултайме.

👀 Про текущий опыт работы в стартапах могу сказать следующее:

1. Большие ставки, большие риски. Если приходите в стартап на ранней стадии, в случае успешного экзита получите много деняк. Но куда более вероятно, увы, что стартап просто закроется
2. Из стартапа очень легко увольняют. Даже если вы перформите. В этом нет ничего страшного, но к этому надо быть готовым
3. Иногда придется заниматься неожиданными вещами, а не только основной специализацией
4. Очень легко выгореть — если не верите в стартап, лучше даже не пытаться
5. Конверсия из подач через платформы оказалась очень низкой. Почти все с кем был мэтч приходили, потому что что-то слышали про меня. И это притом, что у меня небольшой канал
6. Нетворкинг и личный бренд — супер важны
7. Наиболее вероятно, что часть с оплатой налогов и открытием ИП будет на вас

Про что еще вам интересно было бы почитать? 💻

а вы знали, что в тг можно ставить кастомные аватарки на других людей? 🙂

👨‍💻 Собес в бигтех и стартапы — мысли интервьюера

Мое первое серьезное собеседование было на 2м курсе в Яндекс.Такси. С алгоритмами я справилась нормально, а вот мл секция была полным фиаско. После собеседования мне позвонили и сказали, что мои знания по мл “поверхностные”. Я расстроилась, но не сдалась — а сейчас, спустя 6 лет, кучу пройденных и проведенных собеседований я понимаю, что в этом нет ничего страшного.

😐 Но любое собеседование долго ассоциировалось с сильным стрессом.
Я выработала подход для себя как интервьюера. Сама, подглядела, или от противного 😂
Цель собеседования: понять, что человек уже умеет, чем занимался, готов ли учиться, как будет вести себя в стрессе. Идеально — если с собеса он уйдет довольный при любом раскладе)

🌱 Джун/мидл 🌱
Даю тестовое задание на кодинг, чтобы обсуждать на собеседовании и попутно задавать технические вопросы. В случае успешного прохождения этого этапа, человек попадает на собес. И там идем по плану:

1️⃣ Бекграунд-чек
Вопрос: есть ли релевантный опыт?
Проверить на полиграфе Прошу рассказать, чем занимался? Если опыта нет — какие пет проекты делал, чем бы хотел заняться? Почему? Попутно прикидываю план технических вопросов — использовал модель N? Поговорим про модель N. Метрики хуже, чем ожидалось? Поговорим, отражают ли метрики действительно качество алгоритма.

2️⃣ Дайв в тестовое
Вопрос: делал ли тестовое сам (понимает, что там происходит), как решает задачи?
Начинаем обсуждать решение по накиданному плану. То, что обязательно спрошу: использовал ли чужой код? (И да, само собой это норм). Использовал — почему взял из этого репозитория, а не из другого? Как работает твой алгоритм? С какими трудностями столкнулся? Как можно улучшить? А как корректно оценить результат?

3️⃣Технический вайб-чек
Вопрос: что будет происходить в нестандартных ситуациях?
Если по части 2 все чисто, переходим к финальному этапу — проблемы из реальной жизни. Тут нет правильных ответов, но важен план и размышления. И да, для роли любой синиорности ответ “пойду спрошу того кто знает если не уверен” очень хорошо. Будет ли закапываться? Будет ли молчать, если накосячил?


🌴 Синиор/лид🌴
И в корпорации, и в стартап на такую роль ожидаю человека, который в значительной мере понимает бизнес-задачи и сам принимает решения. Идеально, если человек приходит по проверенной рекомендации.

1️⃣ Бекграунд-чек
Вопрос: есть ли релевантный опыт?
Тестовое задание обычно не даю — особенно, если есть опыт работы над конкретными проектами с понятным импактом человека. Например — “делал генерацию субтитров к видео в компании N, отвечал за эффективный сбор данных и дообучение моделей”. Тоже накидываю список вопросов для дайва.

2️⃣ Дайв в опыт
Вопрос: как решает релевантные задачи?
Проваливаемся по цепочке связанных тем примерно по плану накиданных вопросов в первом пункте. Важно не столько погружаться в теоретические детали, сколько спрашивать про подходы и фреймворки. Как человек декомпозирует задачу, проецирует бизнес задачи на техническое пространство, как фиксирует успех и взаимодействует со смежными специалистами? Умеет ли делегировать?

3️⃣ Технический вайб-чек
Вопрос: что будет происходить в нестандартных ситуациях?
Как будем контролировать, что пайплайн не упадет? Что будем делать, если упадет? Выяснили, что задачу не сделать так быстро, как планировали. Что тогда? И все на конкретных примерах.
А также то, что обязательно должно быть развито у любого синьора — софт скилы. Кандидат должен быть готов к компромиссам, обсуждениям и тупым вопросам. А еще к признанию своих собственных ошибок и несению ответственности за критические компоненты.

Что происходит после собеседования? Отказы — тоже целое искусство 🌚. Самый изящный вариант отказа был мне из гугла после финального собеса — эйчар позвонил и голосом сказал, что у меня есть самое главное — софт скиллы и умение выстраивать рабочие процессы. То, что в этот раз не хватило знаний по алгоритмам (не мл) — можно развить и мне очень понравился этот ответ — закончили на хорошей ноте)

Кстати, если я вас собеседовала когда-либо, пишите в комменты 🏖

Кто спрашивал про визу — если коротко, продвижений больших нет 🥲
Писали сенатору, сенатор обратилась в консульство, консульство ответило, что мой статус О1 в пересмотре (по какой-то причине они не получили майское уведомление о том, что ходатайство об отзыве статуса не удовлетворено и статус остается). Сейчас пытаемся через сенатора снова достучаться до консульства и узнать, почему они не получили уведомление о сохранении статуса в мае 🌚
#O1

подборка классных сеток из мира audio processing 😎

1. speech-speech MT от меты. Работает хорошо, не онлайн, не переносит исходную интонацию. Зато доступно очень много языков и опенсорс

2. HeyGen video-video машинный перевод с voice cloning и lip sync. Интонация хороша, но по моему опыту голос не всегда получается похож и доступно очень немного языков, доступен только веб-интерфейс. Переводить свои видео с русского на английский вполне себе может

3. Podcaster сетка из 2022, которая заметно повышает качество исходной записи, убирает шумы и нежелательные артефакты записи. Жаль, что только веб интерфейс

4. Riffusion-2 генерирует "рифы", то есть короткие видео со сгенерированным голосом по промпту в заданном стиле. Доступна первая версия в опенсорсе, которая генерирует звуки. Однако, на мой взгляд, новая версия принципиально отличается по архитектуре (слова произносятся четко, скорее всего это генерация мелодии и вокала отдельно. Как, например, в suno)

5. Suno bark и chirp text-prompt speech generation (AudioLM + nanoGPT). Любопытная вещь, в которой в промпте можно указывать особенности голоса на выходе. Например сетка будет имитировать британский акцент или пытаться петь. Скорее фан, качество на выходе так себе. Правда, коммерческая версия sono поинтереснее и поет хорошо

6. RVC для one-shot singing voice synthesis по 3м минутам пения. Генерирует круто, играться с webui интересно. Но если вам нужно это встроить, придется повозиться. Спасибо, что хотя бы английский мануал добавили..

7. Distill Whisper speech-to-text (coming soon!) обещают более быструю и легкую версию выложить в ближайшее время. Кстати если вы искали whisper и разбивкой по словам по таймстепмам или диаризацию, то вам сюда

8. stable-audio-tools опенсорс от stability-ai с удобным интерфейсом для файнтюна генерации аудио

9. audiocraft от меты text-to-melody, text-to-sound - аудиолмки с хорошим качеством генерации. Однако иногда в musicgen сбивается ритм, в остальном очень годно

10. llark music understanding, captioning and reasoning от спотифая. Похоже, самая крупная lm в звуке на момент написания поста. Может давать фидбек и советы музыкантам и описывать что происходит на музыкальной дорожке. Код выложили, демо выложили, надеюсь претрейн или хотя бы доступ по апи дадут

пишите в комментах, что забыла 😉