жду, когда про Google vs openai/Microsoft снимут сериал на нетфликсе 🍿

Друзья, если вы видите рекламу в моем канале и думаете, что строительная компания «Самолет» мне платит, то это не так. Я не то что рекламу не включала, я не могу ее отключить так как с 1к подписчиков она включается автоматом…. 🤪

Записалась в wait list Bing/Chat GPT. Make Microsoft great again?

🌚 Ян ЛеКун тоже высказался по поводу развития больших языковых моделей

1. О LLM (large language models) стоит думать только как об инструменте/помощнике в написании текстов/кода/etc
2. На то, что говорит LLM не стоит слепо полагаться — это лишь подражание тому, что модель уже видела. Часто информация будет правдивой, но далеко не всегда
3. Знания модели поверхностны, мне понравилась метафора Яна про то, что "вселенная" этих моделей ограничена, дискретна и полностью наблюдаема, чего не скажешь о нашей реальности. Именно поэтому модель лучше справляется с code-related заданиями

Интересно, что буквально вчера был разговор с одним из наших инвесторов про LLM и он сказал что его 11-ти летняя дочь может начать генерировать эссе для школы через chat-gpt и его это беспокоит.
Мне кажется как раз здесь есть хороший вывод (даже два):
1. его дочь непременно набьет шишки когда столкнется с неправдоподобно сгенерированной информацией и станет (или не станет) перепроверять то, что ей сгенерировали
2. система образования должна заставлять учеников больше думать и анализировать то, что они пишут

Прикрепляю к посту мою любимую картинку и жду кучу философских дипломов про LLM в ближайшие годы

Сегодня работаю вот так 🌴

Прощупываю границы нейроюмора.
Если мне смешно в голос с последних двух абзацев, пора брать отпуск?

новый вид газлайтинга от chatGPT: создавать ссылки на несуществующие гуглдоки и говорить что ответ там

уровни боли:
больно, очень больно, проснулась в 6:45 ради звонка с партнерами, а они не пришли....

🤔 сделать ASMR из записи на старый диктофон?

Гораздо приятнее потреблять контент, в котором мало robotic speech, шумов и других искажений. Однако очень много контента (старого или дешевого) уже записано и хочется продолжить его использовать.
Есть еще бьютификация голоса для блоггерского контента с нестудийных устройств.

Бьютификацию (или восстановление) можно декомпозировать на подзадачи:
⚙️ super resolution
⚙️ denoising, dereverberation
⚙️ clipping distortions

Чаще всего архитектуры решают какую-то одну задачу, но встречаются и пайплайны для multitask speech restoration. Одна из них — VoiceFixer.

VoiceFixer — предыдущая работа от создателей AudioLDM по ресторации речи. Судя по демо и колабу хорошо восстанавливаются высокие частоты по сравнению с другими решениями (см мелспеки).

Уже существуют работы, где решаются сразу несколько задач, но они страдают от переобучения на конкретные искажения. Поэтому в статье предлагается 2-stage архитектура: in_speech -> interm repr (IR); IR -> out_speech.

💡 Stage 1:
На вход приходит шумная спектрограмма, на выходе в качестве IR выступает улучшенная спектрограмма.
Сделать из шумной мел-спеки чистую при помощи ResUNet (уменьшенный UNet с residual блоками) — первый шаг пайплайна. Причем in_speech — искуственно испорченный сигнал, то есть на этом этапе есть таргетные данные — мелспеки не испорченных записей

💡Stage 2:
На вход приходит улучшенная спектрограмма, но выходе — waveform. Авторы используют TFGAN (более точный MelGAN). Думаю, пишись эта статья не полтора года назад а сейчас, там бы был Hifi 🙃

Что еще мне нравится в этой статье — во второй секции подробно расписаны все искажения и их математизация, а также большое число аналогий с тем, как человек воспринимает речь с искажениями.

Значительная проблема любого рисерча про звук, что везде используются одни и те же "статейные" датасеты — Libri, ARCTIC, VCTK, etc. И сделать с этим особо ничего не получится — на реальных задачах нужны свои собственные голденсеты. Но про это уже в другом посте.. 🙂

✨ Notion добавил AI-интерфейс (без вейтлиста)
Вчера прислала подписчица, а уже сегодня меня встретил AI-онбординг в рабочем спейсе. Думаю буду использовать для генерации заголовков или перефраза.

Тем временем уже прошло 3 недели с тех пор, как меня отправили на доп проверку по налогам и доходам в белградском консульстве США. Как они сами пишут, "Unfortunately, there is no way to expedite the process, nor is there any way to predict when the process will conclude." По словам экспертов из чатов и моих юристов, если не ответили в первые 2 недели — ETA 3-4 месяца (кейс ушел в Вашингтон), но ЧИСТО ТЕОРЕТИЧЕСКИ ответить могут как завтра, так и через полгода. АОАООАОАОАААА
Так что сейчас мой горизонт планирования составляет примерно две недели: завтра я лечу из Черногории в Белград, потом в марте в Ереван. Дальше думала про Париж, но что-то в соло платить 200$ в сутки за жилье среднего качества не хочется 🤪

Что в итоге мы имеем:
1. у меня есть шенген до осени
2. у меня есть корейское разрешение на въезд
3. я рассматриваю безвизовые страны

🤗 Поэтому запрос к вам, дорогие подписчики: можете ли вы посоветовать мне какой-нибудь классный город, где можно не супер дорого потусить пару месяцев и настроить свой быт?

#O1

Я не понимаю, почему AWS настолько удобнее и стабильнее чем гугловый клауд…

какой-то экшен произошел в моем кейсе сегодня, хоть статус и не поменялся (refused = идет процессинг). В чатах кто-то пишет "жди ответ на днях", а кто-то что это вообще ничего не значит 😅

to be continued...
#O1

Мой фреймворк для проектов с DL-экспериментами

Начиная новый проект, я представляю, что вокруг меня прогружается мир в игре. Взаимодействуя с ним я лучше понимаю задачу и как хорошо я могу ее выполнить. И что вообще значит "хорошо"

👉🏻 Формулирую задачу в первом приближении
Что хотим на вход, а что — на выход. Какие есть ограничения? По мере взаимодействия с миром проекта формулировка может уточняться

👀 Смотрю по сторонам.
Что уже было сделано до меня, куда можно потыкать палкой? Какие есть статьи по этой теме, на кого они ссылаются? С какими конфами/соревнованиями ассоциированы? Метрики? Здесь не нужно фиксировать метрику и архитектуру — это про насмотренность чтобы в процессе решения задачи быстрее ориентироваться

🚴Создаю бейзлайн-решение.
Это может быть опенсорс из коробки, главное, чтобы работало. Фраза с физтеха — "лучше иметь велосипед, чем дверь от ламборгини"

📈 Фиксирую метрики и голденсеты Второй пункт лучше зафиксировать и не менять, а вот первый по мере получения новой информации о нашем мире вполне может обновляться

🏆 Выбираю своего "чемпиона" из доступного на этом шаге набора — сетап в который больше всего верю. После обучения я делаю анализ слабых мест модели — на голденсете и процессинге семплов с большими ошибками

📚 Data
В первых итерациях — опенсорс, выявили сложные места и итеративно добавляем пачки. Почти всегда данные придется собирать дополнительно

♻️ После того как была получена модель с ok качеством, ее можно оптимизировать. Ускорять, уменьшать без значительных проигрышей в точности

📲 Куда поедем?
На сервер — стоит убедиться, что не течет память. Если модель будет жить на девайсе — стоит быть готовым к тому, что она не спортируется с пол-пинка. Особенно, если там есть какие-то нетривиальные слои. Я сталкивалась с ситуациями, когда приходилось повозиться с coremltools/tfjs и даже безобидным onnx

🛫 Taking off!
Все спортировано, с инфраструктурой помержено. АВ тесты прошли успешно. Посматриваем мониторинг и перемещаемся в следующую локацию 🧙🏻‍♂️
кто узнал игру? 😏