Я в Ереване до 16 октября, кто тоже здесь и хотел бы встретиться за чашечкой армянского чая пообсуждать визы/стартапы/нейронки?)
чатик: https://news.1rj.ru/str/+0y1FAkyUPLFhMjMy

🔥 Интересное применение voice conversion для генерации параллельного датасета в задаче accent reduction с InterSpeech!

🌚 Если вы когда-нибудь смотрели видео на ютубе с разбором статей от non-native speakers, вы понимаете, как важна эта задача

🧐 Нет параллельных данных с одним и тем же голосом (same pitch, timbre), но с разными акцентами. Иными словами, у нас нет явных таргетов.

💡Давайте нагенерим данные с таргетами сами!

Пусть есть Andy, у которого american english accent и Rishu, у которого hindi english accent и мы хотим процеснуть речь Rishu в american accent. Без ограничения общности, можно взять любой акцент (например наоборот работать с речью Andy в hindi accent) или вообще другой язык, главное, найти акцентированные данные. Тогда чтобы собрать полный пайплайн, нам нужно сделать 2 шага:

⚙️ Voice conversion step. Возьмем any-to-any vc. Хотим модифицировать речь Andy так, чтобы pronunciation pattern и просодика остались оригинальными, а pitrch и timbre стали как у Rishu. После этого шага у нас будут пары с голосом Rishu, но уже с двумя разными акцентами

Авторы берут ARCTIC corpus и L2-ARCTIC Hindi-accented corpus. В этих датасетах 4 человека с американским акцентом и 4 человека с индийским произносят одни и те же фразы. По схеме с Rishu, сгенерируем при помощи vc пары с разными акцентами для всех фраз

⚙️ Accent conversion step. Обучим AC пайплайн, который берет на вход hindi-акцентированную речь и выдает речь того же человека, но с американским акцентом. Архитектура seq2seq, где в качестве энкодера берется wav2vec2.0 и в качестве декодера tacotron2.

Вокодер в статье — WaveGlow, но можно взять что-то помоднее. Например тот же hifi-gan, а вместо wav2vec2.0 попробовать hubert 🙃

p.s. если вы сейчас выбираете тему для диплома, думаю эта статья — неплохой вариант. Код для VQMIVC выложен, а второй шаг является компиляцией трех существующих репозиториев: предобученный wav2vec2.0, tacotron2, и какой-нибудь предобученный вокодер, по статье это WaveGlow
офлайн демка
#tech

открываешь ишьюсы, а там вот такие мемы 🌚
делитесь своими находками тоже
дисклеймер: это не про мой код)))

мои рекомендательные письма по О-1 обещают закончить в конце следующей недели) интересно, насколько они будут отличаться от того, что написали для мнк сториз (мы делаем у одних юристов) 🌚

одна очень полезная строчка в путешествиях 🌚
sudo sysctl -w net.inet.ip.ttl=65

периодически смотрю число цитирований по своей первой и единственной статье) раньше там были тоже статьи про hatespeech, а теперь вот какая интересная папира нарисовалась 🌚 читать я ее пожалуй не буду...

Когда я 4 года назад выбирала тему бакалаврского диплома, у меня была красивая идея.
Моя бабушка была доктором филологических наук и рассказывала, что одна из ее учениц еще в 90х сделала примерно следующее: была гипотеза, что роман "Тихий Дон" написал не Шолохов, а неизвестный белый офицер. Студентка вручную искала "особенности стиля" в романе "Тихий Дон" и в других произведениях Шолохова.

У меня была идея — что если с помощью моделей попробовать построить эмбеддинг стиля Шолохова и автора "Тихого Дона" как например здесь? Даже была курсовая работа на 3 курсе примерно по этой теме. Но в начале февраля 4 курса я поняла, что не вывезу дописать хорошо диплом по этой теме из-за фултайм работы ВКонтакте и переехала на тему semi-supervised asr for low-recourse languages (каковым тогда был русский язык) с которой тогда много работала.

Если бы меня спросили сейчас, какую тему диплома я бы взяла, это было бы однозначно что-то интригующее и необычное. То, что было бы утвердительным ответом на вопрос от моих друзей "а можно ли через нейронку ... ?" На мой взгляд, это еще и помогает лучше понять связь между техническим и не_техническим миром, а именно научиться переводить с "обычного" языка на "математический" язык. В случае с Шолоховым это (например) проверка similarity для эмбеддингов (и поиск наилучшего способа эти эмбеддинги построить).

Остается только продумать новизну и актуальность 🤓

А какую тему хотели бы взять вы?)

ps а если кто-то решится взять эту тему в качестве диплома, пишите мне, я готова помочь наработками

Аугментации, которые я заслужила сегодня в турецком госпитале 😄
вообще я довольно много думала о том, как круто было бы подружить всякие кибер аугментации человеческого тела с нейронками.

У меня была идея сделать когда-нибудь потом роборуку, которая управляется датчиком, подсоединенным к мозгу. Оказалось, что, увы, считывать сигналы без хирургического вмешательства очень сложно из-за огромного числа помех. Поэтому современные обручи, которые можно было купить на алиэкспрессе, могут сгодиться для медитаций (снижение активности) но никак не для классификации команд или тем более распознавания речи.
Однако, такая мечта у меня есть, когда-нибудь вернуться к этой теме и изучить ее подробнее) а пока хочу поделиться интересной находкой, авторы стараются сделать в гараже дешевые роборуки, которые доступны для широкой аудитории

Sweeps в wandb — очень полезная штука для gridsearch по гиперпараметрам в обучении сеток. Достаточно легко добавляется в обучение и значительно бустит скорость экспериментов, еще и с importance по каждому гиперпараметру 😎
и там красивые графики

Кстати, меня тут спросили про то, как получить быстро расшифровку получасовой дорожки на русском. И я вспомнила, что недавно мои экс-коллеги докрутили распознавание речи до открытого движка, куда можно засылать дорожки до 100 минут без единой строчки кода, все разбиения происходят на вкшном беке. Так что если вам тоже нужно расшифровать что-то длинное, то вот наводка

colab от Mubert — это как text2image, только text2melody. Эта модель не умеет обрабатывать сущности (например опенинг Наруто или японский Моцарт) но вполне хорошо генерирует фоновую музыку или мелодии для медитаций.

Например: calm meditation music in the forest nature super resolution

Трюк с unreal engine, кстати, тоже здесь вполне рабочий оказался)

друзья, а есть ли кто-нибудь в Барселоне или в Хельсинки? Встреча в Ереване прошла отлично, можно такое и в других городах устроить)

Не консерн, а точка роста 🤌🏻
Дисклеймер: далее мой личный опыт и множество ИМХО

Как я стараюсь давать негативный фидбек?

Вообще, давайте не будем называть его "негативным". Мы все люди, мы все ошибаемся, и единственное, что, на мой взгляд, быстро не лечится — это выгорание, а в остальных случаях все исправимо грамотным фидбеком. Если человек хардкодит параметры, можно показать ему как пользоваться конфигами. Если у человека каждый раз падает обучение как он отключается от машинки, можно показать ему tmux. Единственный сценарий где это не сработает, это если человек не хочет развиваться.

За 3 года в студенческих организациях и 5 лет в индустрии у меня были самые разные коллеги и начальники и я точно могу сказать, что высказывания в духе "не сделаешь — уволю" или "как ЭТО можно не знать?" работают лишь в краткосрочной перспективе, потому что после таких фраз не то что стажер или джун , а то и опытный разработчик может начать бояться говорить правду и рассказывать о проблемах. Ну, или если он полностью психически здоров — пошлет такого руководителя подальше) Куда больше мне нравился другой подход и заключается он в доверии и уважении 😎

Итак, что я для себя сформулировала:

🍀 Минимум оценочных суждений и ярких эпитетов (плохой, криворукий, ужасный). Вместо "ты плохой разработчик" расскажите, как человеку вырасти. Принцип "критикуешь — предлагай". Сюда же, кстати "ты хороший сотрудник". Мне бы лично было куда приятнее услышать "благодаря твоей модели мы вырастили MAU на 5%!" или "мне очень нравится, как четко ты ставишь задания"

🍀 Мысли в терминах процессов. Например, у вас на работе конфликт с руководителем соседней команды (и это норм, мы все люди). Подумайте, как вы можете максимально эффективно выстроить процессы и взаимодействие. Сформулируйте конечную обозримую цель и то, как вы вместе можете к ней идти. Вам не нужно быть друзьями, если не хочется

🍀 SmallTalks. Но только правда small) Особенно, если вы работаете удаленно. Куда проще общаться с человеком, если ты пьешь с ним кофе по зуму и болтаешь за жизнь иногда. Повышается уровень доверия => проще сказать, если что-то пошло не так и обсудить

🍀 Чем я могу тебе помочь? Например вы увидели, что вашему коллеге не хватает опыта и он стесняется спросить. Конечно, это касается в первую очередь новчиков, которые боятся, что вопрос окажется слишком глупым. Я сама была такой. Но ведь в глупых вопросах нет ничего страшного, а тот кто вам скажет "вопрос глупый" пусть посмотрит пункт 1 😂

🍀 Не копите недовольство. Это, кстати, касается вообще всего, не только работы. Если вам что-то не понравилось, говорите сразу, потому что потом есть шанс взорваться из-за какой-нибудь ерунды, просто потому что накопилось


еще кое-что по этой теме:
⚙️ мои советы себе-джуну
⚙️ разница в работе с русскими и американцами на моем опыте

Сижу в Барселоне, жду самолет в Хельсинки (guess why), вижу уже третий огромный лайнер вылетающий в штаты 🥲
Мы с юристами почти закончили мое портфолио по О1-А (осталось подписать рекомендации). Далее могут либо запросить дополнительные достижения, если им покажется, что собранных недостаточно, либо если все ок, буду записываться в посольство и ждать. Проверять очереди, кстати, можно здесь.

Привет! Кто на Junction, приходите поболтать 😉

нашла идеальную картинку к посту про фидбек!