Переезд в Лос-Анджелес. Часть 1 – путешествие

– Решил лететь через Стамбул (туркиш аэйрлайнс), потому что без шенгена варианты перелетов сильно ограничены. В воздухе проводишь около 14 часов, при этом довольно удобная пересадка c возможностью поспать. Еще можно, например, через Дубаи или Доху, но тогда проведешь на борту уже 16 часов при ночных пересадках 😔
– Подарил себе бизнес-класс в честь такого события. К тому же самолет довольно новый, хотелось посмотреть, что там могут предложить.
– Аэропорт для авиакомпании домашний, поэтому со входа меня встретила черно-золотая перегородка и далее начался отдельный коридор для бизнеса – Вместо обычных стоек отдельные диванчики, своя очередь на контроль, огромный бизнес зал (можно сказать, отдельный этаж) с кучей еды и пространства для отдыха.
– Удивило, что на рейсы в США есть несколько дополнительных стадий проверок. Паспорт проверяли раза 3, при этом наклеивая разные надписи. Перед посадкой еще раз осмотрели и попросили показать все содержимое сумок.
– На борту я получил очень широкое место без соседей, отгороженное даже от прохода, которое раскладывается в полноценную кровать где-то 1.9м. На 17 дюймовом экране было очень много фильмов, включая все новинки проката. По сути, если у тебя есть кровать, то весь полет складывается в простой алгоритм – поел, посмотрел фильм, поспал (повторить 3 раза).
– Заказал себе веганское питание, но для бизнес-класса там оказался отдельный повар с меню, как в ресторане. Поэтому люди заказывали всякую вкуснотищу, а я ел огурцы. Потом все-таки заказал супчик, но было забавно.
– Самолет долго летел над городом, поэтому можно было рассмотреть разные районы и увидеть заветную надпись HOLLYWOOD.
– На границе меня по радио вызвали из общей очереди и я решил, что это фаст трек у бизнес-класса. Меня быстро отыскал местный офицер и повел в отдельную комнату. Мы сели за небольшой круглый стол друг напротив друга, начался разговор. Тут до меня и дошло, что я на допросе 😅 Все прошло очень дружелюбно, но офицер разобрал всю мою жизнь по крупным моментам и написал стену заметок. Зато быстро прошел погран контроль лол.
– Снаружи меня уже ждал коллега (конечно же, на Тесле), и мы поехали знакомиться с остальной командой...

пользуюсь VScode с тех пор как забанили мой @phystech.edu аккаунт на PyCharm'e. Вчера обновила мак, и сегодня пару часов не могла подключиться к серверу — сейчас поняла, что не заметила сверху маленькое окошко, которое серыми буквами просило ввести пароль и поэтому ssh-соединение фризилось.... 🤡

доброго утра понедельника ☕️

💪 from CLIP to CLAP

Все безумие с генеративными моделями началось с того, что изображения и тексты научились представлять в удобном для нейросетей мультимодальном формате — конкретнее, такими эмбеддингами, которые хранят в себе информацию как о картинке, так и об ее текстовом описании. Для обучения подобных энкодеров используется контрастный лосс — подход к обучению, где близкие по смыслу эмбеддинги располагаются рядом, а несвязанные — далеко. Таким образом, на инференсе можно подавая на вход только картинку получить zero-shot классификацию. Отсюда и название — Contrastive Language-Image Pretraining. Затем поверх CLIP’a навесили декодер, и получили text2image, а позже и midjourney, результаты работы которого вы почти наверное видели в рилзах/тиктоках. 🏖

А теперь давайте Image заменим на Audio. И, знаете, я ждала CLAP — это настолько очевидное и изящное название, которое просилось само. Дождалась — и вскользь даже написала в контексте text-to-audio. Примерно месяц назад вышла еще одна статья про CLAP от канадско-американских авторов с азиатскими и славянскими фамилиями, которая мне понравилась. И да — она есть на хф!

🙂 Что интересного:
— Собрали из существующих и зарелизили датасет на ~ 2000 часов с размеченными звуками, речью и музыкой. Помимо подписей, они также добавили в эмбеддинги тэги если они были в более натуральном формате — “The sound of label-1, label-2, ..., and label-n”

— Модель тестировали на трех задачах: text-to-audio (не путать с text-to-speech) retrieval, zero-shot audio classification (audio2text retrieval с промптом "this is a sound of label"), supervised audio classification (файнтюн энкодера на размеченных данных).

— Со слов авторов, эта модель имеет неплохой перфоманс — это значит, что ее можно втаскивать в продакшн

🙂 Для чего может быть полезно?
— быстро zero shot через prompts раскидать данные по полу/возрасту/качеству микрофона/etc
— кластеризовать по спикерам
— искать аутлаеры в датасетах

Накидала небольшой плейграунд, который раскидывает либри лайт на женские и мужские голоса. Можно подавать в качестве промптов также к примеру шумный/чистый или старый/молодой. Получается вполне достойно!
Уверена, что скоро и в звуке будет game changer уровня dall-e/chat-gpt. Ходят слухи, что openai уже работает над своим voice conversion... 😎