новый вид газлайтинга от chatGPT: создавать ссылки на несуществующие гуглдоки и говорить что ответ там

уровни боли:
больно, очень больно, проснулась в 6:45 ради звонка с партнерами, а они не пришли....

🤔 сделать ASMR из записи на старый диктофон?

Гораздо приятнее потреблять контент, в котором мало robotic speech, шумов и других искажений. Однако очень много контента (старого или дешевого) уже записано и хочется продолжить его использовать.
Есть еще бьютификация голоса для блоггерского контента с нестудийных устройств.

Бьютификацию (или восстановление) можно декомпозировать на подзадачи:
⚙️ super resolution
⚙️ denoising, dereverberation
⚙️ clipping distortions

Чаще всего архитектуры решают какую-то одну задачу, но встречаются и пайплайны для multitask speech restoration. Одна из них — VoiceFixer.

VoiceFixer — предыдущая работа от создателей AudioLDM по ресторации речи. Судя по демо и колабу хорошо восстанавливаются высокие частоты по сравнению с другими решениями (см мелспеки).

Уже существуют работы, где решаются сразу несколько задач, но они страдают от переобучения на конкретные искажения. Поэтому в статье предлагается 2-stage архитектура: in_speech -> interm repr (IR); IR -> out_speech.

💡 Stage 1:
На вход приходит шумная спектрограмма, на выходе в качестве IR выступает улучшенная спектрограмма.
Сделать из шумной мел-спеки чистую при помощи ResUNet (уменьшенный UNet с residual блоками) — первый шаг пайплайна. Причем in_speech — искуственно испорченный сигнал, то есть на этом этапе есть таргетные данные — мелспеки не испорченных записей

💡Stage 2:
На вход приходит улучшенная спектрограмма, но выходе — waveform. Авторы используют TFGAN (более точный MelGAN). Думаю, пишись эта статья не полтора года назад а сейчас, там бы был Hifi 🙃

Что еще мне нравится в этой статье — во второй секции подробно расписаны все искажения и их математизация, а также большое число аналогий с тем, как человек воспринимает речь с искажениями.

Значительная проблема любого рисерча про звук, что везде используются одни и те же "статейные" датасеты — Libri, ARCTIC, VCTK, etc. И сделать с этим особо ничего не получится — на реальных задачах нужны свои собственные голденсеты. Но про это уже в другом посте.. 🙂

✨ Notion добавил AI-интерфейс (без вейтлиста)
Вчера прислала подписчица, а уже сегодня меня встретил AI-онбординг в рабочем спейсе. Думаю буду использовать для генерации заголовков или перефраза.

Тем временем уже прошло 3 недели с тех пор, как меня отправили на доп проверку по налогам и доходам в белградском консульстве США. Как они сами пишут, "Unfortunately, there is no way to expedite the process, nor is there any way to predict when the process will conclude." По словам экспертов из чатов и моих юристов, если не ответили в первые 2 недели — ETA 3-4 месяца (кейс ушел в Вашингтон), но ЧИСТО ТЕОРЕТИЧЕСКИ ответить могут как завтра, так и через полгода. АОАООАОАОАААА
Так что сейчас мой горизонт планирования составляет примерно две недели: завтра я лечу из Черногории в Белград, потом в марте в Ереван. Дальше думала про Париж, но что-то в соло платить 200$ в сутки за жилье среднего качества не хочется 🤪

Что в итоге мы имеем:
1. у меня есть шенген до осени
2. у меня есть корейское разрешение на въезд
3. я рассматриваю безвизовые страны

🤗 Поэтому запрос к вам, дорогие подписчики: можете ли вы посоветовать мне какой-нибудь классный город, где можно не супер дорого потусить пару месяцев и настроить свой быт?

#O1

Я не понимаю, почему AWS настолько удобнее и стабильнее чем гугловый клауд…

какой-то экшен произошел в моем кейсе сегодня, хоть статус и не поменялся (refused = идет процессинг). В чатах кто-то пишет "жди ответ на днях", а кто-то что это вообще ничего не значит 😅

to be continued...
#O1

Мой фреймворк для проектов с DL-экспериментами

Начиная новый проект, я представляю, что вокруг меня прогружается мир в игре. Взаимодействуя с ним я лучше понимаю задачу и как хорошо я могу ее выполнить. И что вообще значит "хорошо"

👉🏻 Формулирую задачу в первом приближении
Что хотим на вход, а что — на выход. Какие есть ограничения? По мере взаимодействия с миром проекта формулировка может уточняться

👀 Смотрю по сторонам.
Что уже было сделано до меня, куда можно потыкать палкой? Какие есть статьи по этой теме, на кого они ссылаются? С какими конфами/соревнованиями ассоциированы? Метрики? Здесь не нужно фиксировать метрику и архитектуру — это про насмотренность чтобы в процессе решения задачи быстрее ориентироваться

🚴Создаю бейзлайн-решение.
Это может быть опенсорс из коробки, главное, чтобы работало. Фраза с физтеха — "лучше иметь велосипед, чем дверь от ламборгини"

📈 Фиксирую метрики и голденсеты Второй пункт лучше зафиксировать и не менять, а вот первый по мере получения новой информации о нашем мире вполне может обновляться

🏆 Выбираю своего "чемпиона" из доступного на этом шаге набора — сетап в который больше всего верю. После обучения я делаю анализ слабых мест модели — на голденсете и процессинге семплов с большими ошибками

📚 Data
В первых итерациях — опенсорс, выявили сложные места и итеративно добавляем пачки. Почти всегда данные придется собирать дополнительно

♻️ После того как была получена модель с ok качеством, ее можно оптимизировать. Ускорять, уменьшать без значительных проигрышей в точности

📲 Куда поедем?
На сервер — стоит убедиться, что не течет память. Если модель будет жить на девайсе — стоит быть готовым к тому, что она не спортируется с пол-пинка. Особенно, если там есть какие-то нетривиальные слои. Я сталкивалась с ситуациями, когда приходилось повозиться с coremltools/tfjs и даже безобидным onnx

🛫 Taking off!
Все спортировано, с инфраструктурой помержено. АВ тесты прошли успешно. Посматриваем мониторинг и перемещаемся в следующую локацию 🧙🏻‍♂️
кто узнал игру? 😏

помню как сто лет назад в стайлганах генерились спаршеные вотермарки shutterstock'a вместе с картинками. Ребята, похоже, наконец-то осознали свою мощь и решили таки сделать собственный генератор 🤡

Такс, мне скинули веса от метовских llm
Будем играться 🙂
Интересно что там после размышлений Яна ЛеКуна посмотреть)

Немного личных новостей про сша
Я планировала сделать сегодня yet another step к переезду и разобраться с вакцинацией.
1. Кажется, что штаты — единственная страна, куда все еще на въезд требуется вакцинация (не спутником)
2. Я поставила 3 недели назад первый шот в Белграде, намеревалась сегодня прийти и поставить второй. Но знаете что? В Сербии закончился пфайзер и никто не знает, когда он появится 🤯
3. У меня билеты на завтра в Ереван. Сижу, ищу информацию, можно ли поставить второй шот в другой стране

risk management не состоялся так сказать

#O1

🙅🏻‍♀️ писать бывшим
🤌🏻 писать миграционному офицеру
#O1

считаю, что постинг мемов коллегам про работу даже в рабочее время повышает продуктивность 🌚 помню как в лучшие годы deep vk мы регулярно постили непонятные мемы про свою работу (которые та часть команды которая не была в офисе тоже не понимала кстати)

мне отказали в O1 в Белграде спустя 40 дней 🥲 пишу своим юристам, пока не знаю что дальше
#O1

Обсудила с юристами ситуацию

1. Консул инициировала процесс отзыва у меня статуса О1-А. Это значит, что моя петиция уехала назад в U.S.C.I.S. и в течение пары месяцев инстанция, которая выдала мне этот статус, должна будет пересмотреть петицию. Дальше либо инстанция скажет Белградскому консулу что она попутала и мне дадут визу, либо инстанция придет к моих юристам за дополнительными доказательствами моей "экстраординарности"
2. Подаваться в другое консульство не имеет смысла, так как консулы по всему миру будут видеть, что мой статус в пересмотре
3. Юристы предложили поучаствовать в лотерее H-B1, но даже этот процесс займет не меньше 6 месяцев и будет недешевым

в любом случае, процесс займет не меньше полугода и мне все это время нужно где-то быть. В рф я не могу вернуться надолго, поэтому нужно озаботиться вопросов о внж. Думаю либо про глобал таланты, либо про номад в Португалию, Испанию

юристы "выражают недоумение" из-за сложившейся ситуации — кейс сильный. Но это мы уже не узнаем

Не сдаюсь, но устала. Впереди много работы
Пойду готовить релиз)

#O1

Сегодня созвонилась с юристом, с которым мы год до этого общались на английском. Увидев какая я расстроенная, он сказал давай сегодня говорить на русском. Оказывается он до переезда в США закончил МГУ 🥲

— Узнала, что в его практике это первый случай за последние 7 лет, чтобы консул пытался оспорить выданный в Вашингтоне статус. Однако, сегодня утром одному из их клиентов пришел такой же ревоук — из Польши. Пам пам
— Убедилась, что при присвоении статуса О1 офицеры не читают все 8 критериев, а находят 3 и пишут "одобрено". Поэтому если консул пытается оспросить хотя бы 1 критерий, петиция уезжает на пересмотр
— Буду участвовать в лотерее HB1. Это сезонный розыгрыш для людей с оферами на руках. Закрывается она буквально через неделю, поэтому сейчас буду собирать все необходимые доки. Кажется, самое сложное будет найти диплом или запросить его в мфти

когда-нибудь я напишу книгу или сниму сериал про то, как я получала визу))

я, тем временем, решила переждать весь процесс на Бали 🌴
кстати, подскажите хорошие тихие районы там, кто знает

#O1