Дрейк поет про то, как я ищу коворкинг в Белграде 🤪

Модели реально становятся все доступнее для тех, кто особо не занимается их обучением. Можно соорудить звездолет из кучи нейронок и получить что-то полезное. Ну, или просто фановое 🙃

Ребята, для которых я в 2021 году сделала пару моделек, нахакатонили drayk.it — через API ChatGPT генерится текст песни Дрейка по заданной теме, дальше он кормится в Uberduckовый синтез голоса, который кстати уже перестал быть фановой демкой и обзавелся платным API, ложится на бит и элайнится через madmom. Потом еще можно скачать видосик с липсинком

Залипла минут на 20, прикольно 🤌🏻

В целом, я примерно также себя чувствую, когда пытаюсь писать на C++ раз в пять лет

👾 Одна из моих зон отвественности помимо разработки — общение с партнерами.

Причем со многими у нас большой рассинхрон по времени, так как часть находится в Азии, часть в штатах, а я сейчас живу по Европе. Соответственно, большинство писем я вижу либо рано утром, либо поздно вечером, когда еще или уже отдыхаю. И я на себе прочувствовала одну очевидную если задуматься закономерность...

Где-то в 1-2% случаев я отвечаю партнерам с ошибками — например, скидываю неверную ссылку или неправильно читаю вопрос. И в 100% случаев ошибки происходят, когда я пытаюсь в странную многозадачность — например, в очереди перед посадкой на самолет, во время ужина или когда играю с друзьями в настолку 🤡

Я выработала для себя такое правило про принципу "какую проблему мы сейчас решаем?" — точнее, "а точно ли я должна ответить прямо сейчас?" чаще всего лаг даже в 1-2 дня абсолютно окей, главное не забыть про письмо потом 🙃. Это касается и ответов коллегам в мессенджерах — но им я обычно если занята стараюсь отвечать "увидела, напишу через пару часов/завтра утром"

ну и просто считаю хорошим тоном помечать ночные сообщения в мессенджерах в начале (несрочно) и по возможности отправлять в беззвуке, если это что-то некритическое

В целом, думаю очень полезно иногда остановиться и задать себе пару вопросов "а зачем я это сейчас делаю?" 🧩

Тем временем Андрею дали добро по О-1 в Белграде и теперь он ждет вклеивание визы в паспорт) другого Андрея отправили на сбор доп документов (не административный процессинг, просто попросили доотправить пару файлов). Я все отправила и думаю что сегодня мне придет ответ из консульства с приглашением на собеседование. Так что надеюсь, что до конца недели у меня тоже будет зеленая бумажка))

Залезла я значит куда не надо и увидела то, что не должна была видеть 😆
На самом деле все норм и статус "Refused" ставится для всех, кого зовут на собес
Собеседование послезавтра утром, держите кулачки ✊🏻

Завтра по собеседованию возможны 3 исхода:
1. 🎈красная бумажка, отказ в визе
2. 🍋 желтая бумажка, запрос доп информации или доп процессинг
3. 🍀 зеленая бумажка, сразу апрув, пара дней на вклейку визы

пока что статистика по Белграду 1 🍀 и 1 🍋

Итог — желтая бумажка. Хотят от меня подтверждение, что я платила налоги. Два раза переспросили мою зп сейчас и какой она была год назад. Спойлер: я платила, так что надеюсь скоро получить зеленую.
Просили рассказать про себя, по проф части вопросов у консула не возникло

Первый вопрос был в каком году я закончила школу и сколько мне лет 🤪
#O1

eto ya пишу белградскому консулу, почему я не должна была платить налоги в Сингапуре и США в 2020-2022 годах 😰

😎 технические обзоры ожидаются, как только я перестану нонстопом обновлять почту и общаться с юристами, а пока вы можете накидать мне идей, про что было бы интересно почитать 🤓
#O1

🧟 Учитель входит в аудиторию или CLIP CLAP LDM 🤯

Наткнулась на свежую интересную статью по text-to-audio, да еще и с публичной демкой от пяти phd из Англии — AudioLDM (да, именно то о чем вы подумали — yet another latent diffusion model но в звуке)

🌵 Что интересного?
Сделали обзор на существующие решения — среди них например DiffSound, у которого хромает лейтенси и для ее обучения авторы брали кластер V100. Именно эта модель лежит в основе статьи. Судя по всему у авторов AudioLDM не было значительного бюджета, поэтому они обошлись одной A100.

🌵 Особенности решения
1. Используют VAE энкодер, чтобы пожать размерность векторов в латентном пространстве
2. Так как в CLAP есть эмбэддинги сразу для текста и аудио, то Latent Diffusion может работать и с текстами, но обучается только на эмбэддингах аудио. Этот подход по мнению авторов лучше, чем обучение на эмбеддингах и текста, и аудио
3. Авторы пробуют различные text-guided style manipulations. Правда, демка доступна только для TTA
4. В качестве данных взяли открытые датабазы freesound и bbc sound effects

Сгенерированная дорожка довольно сильно артефачит — я была уверена что там Гриффин-Лим, но оказалось первый hifi-gan 😕

В любом случае, как и прошлогодний riffusion считаю что эта работа достойна внимания, потому что TTA с демками прям оочень мало 😎

мой запрос кстати был:"teacher's steps near the classroom before the lesson"
как вам такая озвучка? 😅

столкнулась с интересной проблемой, иногда из-за моего био люди в чатах думают что я реально 23 y.o. designer from San Francisco...

🎶 Битрейт, семпл рейт, глубина звука и потери

Давно была мысль написать про аудиоформаты и кодеки, потому что при сборе данных это отдельная боль. Микрофоны плохого качества, телефония и даже просто формат очень важны для нормального обучения модели.

⚙️ Кодеки — это функции, которые сжимают данные для передачи и распаковывают их по прибытии. Скорость их работы измеряется в килобитах, обрабатываемых в секунду, известная как битрейт (кбит/с). Причем это число варьируется даже в пределах одного формата. Как правило, более низкий битрейт означает меньший размер файла, но это также означает, что при сжатии теряется больше данных.

Другими важными характеристиками являются частота дискретизации (sampling rate) и битовая глубина (bit depth). Частота дискретизации — это количество отсчетов амплитуды сигнала в секунду (популярные значения — 16 kHz, 22.05 kHz, 44,1 kHz, 48 kHz). Битовая глубина относится к количеству битов на сэмпл — чем выше это число, тем насыщеннее звук (обычно 12, 16, 32).

😕 Аудиоформаты с потерями (MP3, VORBIS)
Теряют данные при передаче — не распаковываются до изначального размера файла, поэтому в конечном итоге они становятся меньше, а некоторые звуковые волны теряются. Для сбора данных под обучение, музыки или кино предпочтительно не использовать форматы с потерями, потому что файлы ухудшаются при каждом экспорте.
Но для саунд-эффекта в каком-нибудь мобильном приложении или аудиосообщения этого более чем достаточно.

🤷‍♀️ Аудиоформаты без потерь (FLAC)
Эти файлы после трансмиссии распаковываются до исходного размера, сохраняют качество звука и не теряют волны. Эти файлы могут быть в несколько раз больше, чем MP3/VORBIS. Битрейт в этом случае зависит от громкости и плотности дорожки, а не от качества звука.

😎 Аудиоформаты без сжатия (PCM)
Размер таких файлов одинаков на входе и выходе. WAV это литерали WAVeform audio file, самый жирный и качественный. В отличие например от .MP3 он не особенно ограничен битрейтом или глубиной и может иметь частоту дискретизации даже 192 kHz.

Кстати, прошлой осенью у меты вышла статья про сжатие аудио. Говорят, сжимают в 10 раз сильнее чем mp3 и декодируют через нейронку почти без потерь 🌚

орнула, как FAIR (Facebook AI Research) переименовались в Fundamental AI Research 😂
#forcourse

жду, когда про Google vs openai/Microsoft снимут сериал на нетфликсе 🍿

Друзья, если вы видите рекламу в моем канале и думаете, что строительная компания «Самолет» мне платит, то это не так. Я не то что рекламу не включала, я не могу ее отключить так как с 1к подписчиков она включается автоматом…. 🤪

Записалась в wait list Bing/Chat GPT. Make Microsoft great again?

🌚 Ян ЛеКун тоже высказался по поводу развития больших языковых моделей

1. О LLM (large language models) стоит думать только как об инструменте/помощнике в написании текстов/кода/etc
2. На то, что говорит LLM не стоит слепо полагаться — это лишь подражание тому, что модель уже видела. Часто информация будет правдивой, но далеко не всегда
3. Знания модели поверхностны, мне понравилась метафора Яна про то, что "вселенная" этих моделей ограничена, дискретна и полностью наблюдаема, чего не скажешь о нашей реальности. Именно поэтому модель лучше справляется с code-related заданиями

Интересно, что буквально вчера был разговор с одним из наших инвесторов про LLM и он сказал что его 11-ти летняя дочь может начать генерировать эссе для школы через chat-gpt и его это беспокоит.
Мне кажется как раз здесь есть хороший вывод (даже два):
1. его дочь непременно набьет шишки когда столкнется с неправдоподобно сгенерированной информацией и станет (или не станет) перепроверять то, что ей сгенерировали
2. система образования должна заставлять учеников больше думать и анализировать то, что они пишут

Прикрепляю к посту мою любимую картинку и жду кучу философских дипломов про LLM в ближайшие годы

Сегодня работаю вот так 🌴