Переезд в Лос-Анджелес. Часть 1 – путешествие

– Решил лететь через Стамбул (туркиш аэйрлайнс), потому что без шенгена варианты перелетов сильно ограничены. В воздухе проводишь около 14 часов, при этом довольно удобная пересадка c возможностью поспать. Еще можно, например, через Дубаи или Доху, но тогда проведешь на борту уже 16 часов при ночных пересадках 😔
– Подарил себе бизнес-класс в честь такого события. К тому же самолет довольно новый, хотелось посмотреть, что там могут предложить.
– Аэропорт для авиакомпании домашний, поэтому со входа меня встретила черно-золотая перегородка и далее начался отдельный коридор для бизнеса – Вместо обычных стоек отдельные диванчики, своя очередь на контроль, огромный бизнес зал (можно сказать, отдельный этаж) с кучей еды и пространства для отдыха.
– Удивило, что на рейсы в США есть несколько дополнительных стадий проверок. Паспорт проверяли раза 3, при этом наклеивая разные надписи. Перед посадкой еще раз осмотрели и попросили показать все содержимое сумок.
– На борту я получил очень широкое место без соседей, отгороженное даже от прохода, которое раскладывается в полноценную кровать где-то 1.9м. На 17 дюймовом экране было очень много фильмов, включая все новинки проката. По сути, если у тебя есть кровать, то весь полет складывается в простой алгоритм – поел, посмотрел фильм, поспал (повторить 3 раза).
– Заказал себе веганское питание, но для бизнес-класса там оказался отдельный повар с меню, как в ресторане. Поэтому люди заказывали всякую вкуснотищу, а я ел огурцы. Потом все-таки заказал супчик, но было забавно.
– Самолет долго летел над городом, поэтому можно было рассмотреть разные районы и увидеть заветную надпись HOLLYWOOD.
– На границе меня по радио вызвали из общей очереди и я решил, что это фаст трек у бизнес-класса. Меня быстро отыскал местный офицер и повел в отдельную комнату. Мы сели за небольшой круглый стол друг напротив друга, начался разговор. Тут до меня и дошло, что я на допросе 😅 Все прошло очень дружелюбно, но офицер разобрал всю мою жизнь по крупным моментам и написал стену заметок. Зато быстро прошел погран контроль лол.
– Снаружи меня уже ждал коллега (конечно же, на Тесле), и мы поехали знакомиться с остальной командой...

пользуюсь VScode с тех пор как забанили мой @phystech.edu аккаунт на PyCharm'e. Вчера обновила мак, и сегодня пару часов не могла подключиться к серверу — сейчас поняла, что не заметила сверху маленькое окошко, которое серыми буквами просило ввести пароль и поэтому ssh-соединение фризилось.... 🤡

доброго утра понедельника ☕️

💪 from CLIP to CLAP

Все безумие с генеративными моделями началось с того, что изображения и тексты научились представлять в удобном для нейросетей мультимодальном формате — конкретнее, такими эмбеддингами, которые хранят в себе информацию как о картинке, так и об ее текстовом описании. Для обучения подобных энкодеров используется контрастный лосс — подход к обучению, где близкие по смыслу эмбеддинги располагаются рядом, а несвязанные — далеко. Таким образом, на инференсе можно подавая на вход только картинку получить zero-shot классификацию. Отсюда и название — Contrastive Language-Image Pretraining. Затем поверх CLIP’a навесили декодер, и получили text2image, а позже и midjourney, результаты работы которого вы почти наверное видели в рилзах/тиктоках. 🏖

А теперь давайте Image заменим на Audio. И, знаете, я ждала CLAP — это настолько очевидное и изящное название, которое просилось само. Дождалась — и вскользь даже написала в контексте text-to-audio. Примерно месяц назад вышла еще одна статья про CLAP от канадско-американских авторов с азиатскими и славянскими фамилиями, которая мне понравилась. И да — она есть на хф!

🙂 Что интересного:
— Собрали из существующих и зарелизили датасет на ~ 2000 часов с размеченными звуками, речью и музыкой. Помимо подписей, они также добавили в эмбеддинги тэги если они были в более натуральном формате — “The sound of label-1, label-2, ..., and label-n”

— Модель тестировали на трех задачах: text-to-audio (не путать с text-to-speech) retrieval, zero-shot audio classification (audio2text retrieval с промптом "this is a sound of label"), supervised audio classification (файнтюн энкодера на размеченных данных).

— Со слов авторов, эта модель имеет неплохой перфоманс — это значит, что ее можно втаскивать в продакшн

🙂 Для чего может быть полезно?
— быстро zero shot через prompts раскидать данные по полу/возрасту/качеству микрофона/etc
— кластеризовать по спикерам
— искать аутлаеры в датасетах

Накидала небольшой плейграунд, который раскидывает либри лайт на женские и мужские голоса. Можно подавать в качестве промптов также к примеру шумный/чистый или старый/молодой. Получается вполне достойно!
Уверена, что скоро и в звуке будет game changer уровня dall-e/chat-gpt. Ходят слухи, что openai уже работает над своим voice conversion... 😎

Как я попала в стартапы и что я там делала? 👨‍💻

Вопросы, которые мне задали в канале уже по крайней мере 4 раза 😅

TLDR — через знакомых. Иногда — через канал, через бывших коллег и друзей. Я всегда была очень общительным человеком, который любит выступать с докладами или просто со всеми болтать.

Осенью 2021го года когда я была тимлидом ВКонтакте — поняла, что менеджмент в бигтехе меня не особо привлекает 🙂. На тот момент мой парень уже год работал в американском стартапе который занимается музыкой, но без AI. Мне сделали интро, и ребята из стартапа мной заинтересовались. Мы созвонились, я рассказала, что умею и мы обсудили, чем я могу быть им полезна. Договорились, что я сделаю им на парт тайме легкий денойзер на девайсе и генерацию четверостишия в стиле выбранного исполнителя на беке. Мы проработали вместе примерно 4 месяца по очень приятному ценнику и у нас были идеи для будущих проектов. За это время я плотно поработала с библиотекой coremltools и swift'ом, а также стала свободнее в использовании гуглового бэкенда 😎 Однако, в январе 2022 года СЕО стартапа решил сменить вектор развития и сказал, что не хочет разрабатывать свой AI. К слову, сейчас ребята стали довольно успешно использовать нейронные API без обучения своих собственных моделек.

Во время работы с mayk.it, ко мне пришел мой друг с предложением сделать скоринг произношения на девайсе. Это был мэтч, равно как и челлендж — по сути, сделать "распознавание речи" на девайсе (а я как раз в этом прокачалась). Мы сделали движок на английском, испанском и японском языках, но в 2022м году с рекламой стало непросто. Ну, или идея оказалась не такой востребованной как мы думали. А может быть то ли еще будет — не знаю. В любом случае, активная стадия этого проекта для меня завершилась.

Я не успела начать искать работу — меня почти сразу позвал в еще один проект экс-коллега из ВКонтакте — идеей было делать компьютерное зрение для самокатов (детекция, что человек едет в разрешенном месте, а также сегментировать карту — машины, люди, и так далее). Для меня это тоже был вызов — ведь до этого я не занималась cv на практике. Тем не менее, это было интересно, я потрогала что-то принципиально отличающееся от моей основной специализации. Однако, этот проект летом 2022го тоже закончился.


Затем я искала работу — собесилась в гугл (правда, это было чуть раньше), откликнулась на всякие стартапные вакансии. Критерии были довольно жесткие — в тот момент я уже делала О1 визу и для меня было принципиальным, чтобы компания имела регистрацию в сша. И как итог 2х недель — 1 оффер на звук, но не в сша. К концу 3й недели поиска мне написал СЕО стартапа по удалению акцента в рилтайме и предложил пособеседоваться на лид инженера. В первом же сообщении — пересекались в шаде видел твой канал, готов помочь с О1. В этом стартапе я работаю с сентября на фултайме.

👀 Про текущий опыт работы в стартапах могу сказать следующее:

1. Большие ставки, большие риски. Если приходите в стартап на ранней стадии, в случае успешного экзита получите много деняк. Но куда более вероятно, увы, что стартап просто закроется
2. Из стартапа очень легко увольняют. Даже если вы перформите. В этом нет ничего страшного, но к этому надо быть готовым
3. Иногда придется заниматься неожиданными вещами, а не только основной специализацией
4. Очень легко выгореть — если не верите в стартап, лучше даже не пытаться
5. Конверсия из подач через платформы оказалась очень низкой. Почти все с кем был мэтч приходили, потому что что-то слышали про меня. И это притом, что у меня небольшой канал
6. Нетворкинг и личный бренд — супер важны
7. Наиболее вероятно, что часть с оплатой налогов и открытием ИП будет на вас

Про что еще вам интересно было бы почитать? 💻