эх, жаль уже не прикрепить к предыдущему посту!
Вышеупомянутый репозиторий уже настолько разлетелся оказывается, что автор фандрейзит на книгу 😂

Посмотрите, как Boston Dynamics флексят своих Атласом — антропоморфным роботом, который помогает на стройке носить предметы разной степени тяжести и еще по ходу дела паркурит 🏄🏼
В 10-минутном видео по верхам рассказываются ключевые моменты. Парочка спойлеров:

⚙️ При помощи камер (в том числе на depth estimation) и других датчиков, робот оценивает объем необходимых усилий, чтобы поднять предметы разной тяжести — у нас это автоматически делает организм и если попытаться подойти к тяжелой штанге "не подготовленным", то поднять ее очевидно не получится 🙃

⚙️ Показывают, как сперва весь процесс моделируется на компьютере. В частности, как разрабатываются все эти немыслимые флипы в конце видео

⚙️ Кроме того, очень важно не только суметь поднять, но и не сломать то, что уже взял. Я вспомнила относительную свежую статью меты по этой теме, где робота учили брать куриные яйца таким образом, чтобы они не треснули

⚙️ Применение робота — в опасных зонах, например в местах стихийных бедствий или на сложных строительных объектах 🦺

Ну а если лень смотреть полностью, то можно просто кайфануть с короткого видео, которое уже разбежалось по каналам

Зачем париться с О-1, диплернингом и стартапами, если можно просто поехать кушать в Дубай и получать за это деньги 🤡

Как там с О1?

Тем временем я не смогла записаться в Милан — там просто нет доступных слотов 🥲

Сейчас я переподаюсь в Белград (заполняю форму d-156)
некоторые тонкости, с которыми я столкнулась:

1. Если были в Америке, визу могут дать заочно, без интервью (waiver interview). У меня не было американской визы и поэтому мне оно мне вероятно не светит. Вместе со мной подавались тоже в Белград еще два человека — по крайней мере одного все равно отправили на собес, хотя он был в штатах
2. В анкете есть пункт "укажите человека или организацию из сша", который при необходимости подтвердит вашу личность
3. Для подачи с интервью может потребоваться оригинал О-1A документа, поэтому его нужно будет отправить из сша доставкой
4. Желательно указать парочку соцсетей и проверить, что там ничего зашкварного нет
5. И еще стоит помнить, что эта виза не является иммиграционной и привязана к вашей работе

В среду лечу в Белград, а пока зацените, как модно выглядит эта бумажка 😎
#O1

Дрейк поет про то, как я ищу коворкинг в Белграде 🤪

Модели реально становятся все доступнее для тех, кто особо не занимается их обучением. Можно соорудить звездолет из кучи нейронок и получить что-то полезное. Ну, или просто фановое 🙃

Ребята, для которых я в 2021 году сделала пару моделек, нахакатонили drayk.it — через API ChatGPT генерится текст песни Дрейка по заданной теме, дальше он кормится в Uberduckовый синтез голоса, который кстати уже перестал быть фановой демкой и обзавелся платным API, ложится на бит и элайнится через madmom. Потом еще можно скачать видосик с липсинком

Залипла минут на 20, прикольно 🤌🏻

В целом, я примерно также себя чувствую, когда пытаюсь писать на C++ раз в пять лет

👾 Одна из моих зон отвественности помимо разработки — общение с партнерами.

Причем со многими у нас большой рассинхрон по времени, так как часть находится в Азии, часть в штатах, а я сейчас живу по Европе. Соответственно, большинство писем я вижу либо рано утром, либо поздно вечером, когда еще или уже отдыхаю. И я на себе прочувствовала одну очевидную если задуматься закономерность...

Где-то в 1-2% случаев я отвечаю партнерам с ошибками — например, скидываю неверную ссылку или неправильно читаю вопрос. И в 100% случаев ошибки происходят, когда я пытаюсь в странную многозадачность — например, в очереди перед посадкой на самолет, во время ужина или когда играю с друзьями в настолку 🤡

Я выработала для себя такое правило про принципу "какую проблему мы сейчас решаем?" — точнее, "а точно ли я должна ответить прямо сейчас?" чаще всего лаг даже в 1-2 дня абсолютно окей, главное не забыть про письмо потом 🙃. Это касается и ответов коллегам в мессенджерах — но им я обычно если занята стараюсь отвечать "увидела, напишу через пару часов/завтра утром"

ну и просто считаю хорошим тоном помечать ночные сообщения в мессенджерах в начале (несрочно) и по возможности отправлять в беззвуке, если это что-то некритическое

В целом, думаю очень полезно иногда остановиться и задать себе пару вопросов "а зачем я это сейчас делаю?" 🧩

Тем временем Андрею дали добро по О-1 в Белграде и теперь он ждет вклеивание визы в паспорт) другого Андрея отправили на сбор доп документов (не административный процессинг, просто попросили доотправить пару файлов). Я все отправила и думаю что сегодня мне придет ответ из консульства с приглашением на собеседование. Так что надеюсь, что до конца недели у меня тоже будет зеленая бумажка))

Залезла я значит куда не надо и увидела то, что не должна была видеть 😆
На самом деле все норм и статус "Refused" ставится для всех, кого зовут на собес
Собеседование послезавтра утром, держите кулачки ✊🏻

Завтра по собеседованию возможны 3 исхода:
1. 🎈красная бумажка, отказ в визе
2. 🍋 желтая бумажка, запрос доп информации или доп процессинг
3. 🍀 зеленая бумажка, сразу апрув, пара дней на вклейку визы

пока что статистика по Белграду 1 🍀 и 1 🍋

Итог — желтая бумажка. Хотят от меня подтверждение, что я платила налоги. Два раза переспросили мою зп сейчас и какой она была год назад. Спойлер: я платила, так что надеюсь скоро получить зеленую.
Просили рассказать про себя, по проф части вопросов у консула не возникло

Первый вопрос был в каком году я закончила школу и сколько мне лет 🤪
#O1

eto ya пишу белградскому консулу, почему я не должна была платить налоги в Сингапуре и США в 2020-2022 годах 😰

😎 технические обзоры ожидаются, как только я перестану нонстопом обновлять почту и общаться с юристами, а пока вы можете накидать мне идей, про что было бы интересно почитать 🤓
#O1

🧟 Учитель входит в аудиторию или CLIP CLAP LDM 🤯

Наткнулась на свежую интересную статью по text-to-audio, да еще и с публичной демкой от пяти phd из Англии — AudioLDM (да, именно то о чем вы подумали — yet another latent diffusion model но в звуке)

🌵 Что интересного?
Сделали обзор на существующие решения — среди них например DiffSound, у которого хромает лейтенси и для ее обучения авторы брали кластер V100. Именно эта модель лежит в основе статьи. Судя по всему у авторов AudioLDM не было значительного бюджета, поэтому они обошлись одной A100.

🌵 Особенности решения
1. Используют VAE энкодер, чтобы пожать размерность векторов в латентном пространстве
2. Так как в CLAP есть эмбэддинги сразу для текста и аудио, то Latent Diffusion может работать и с текстами, но обучается только на эмбэддингах аудио. Этот подход по мнению авторов лучше, чем обучение на эмбеддингах и текста, и аудио
3. Авторы пробуют различные text-guided style manipulations. Правда, демка доступна только для TTA
4. В качестве данных взяли открытые датабазы freesound и bbc sound effects

Сгенерированная дорожка довольно сильно артефачит — я была уверена что там Гриффин-Лим, но оказалось первый hifi-gan 😕

В любом случае, как и прошлогодний riffusion считаю что эта работа достойна внимания, потому что TTA с демками прям оочень мало 😎

мой запрос кстати был:"teacher's steps near the classroom before the lesson"
как вам такая озвучка? 😅

столкнулась с интересной проблемой, иногда из-за моего био люди в чатах думают что я реально 23 y.o. designer from San Francisco...

🎶 Битрейт, семпл рейт, глубина звука и потери

Давно была мысль написать про аудиоформаты и кодеки, потому что при сборе данных это отдельная боль. Микрофоны плохого качества, телефония и даже просто формат очень важны для нормального обучения модели.

⚙️ Кодеки — это функции, которые сжимают данные для передачи и распаковывают их по прибытии. Скорость их работы измеряется в килобитах, обрабатываемых в секунду, известная как битрейт (кбит/с). Причем это число варьируется даже в пределах одного формата. Как правило, более низкий битрейт означает меньший размер файла, но это также означает, что при сжатии теряется больше данных.

Другими важными характеристиками являются частота дискретизации (sampling rate) и битовая глубина (bit depth). Частота дискретизации — это количество отсчетов амплитуды сигнала в секунду (популярные значения — 16 kHz, 22.05 kHz, 44,1 kHz, 48 kHz). Битовая глубина относится к количеству битов на сэмпл — чем выше это число, тем насыщеннее звук (обычно 12, 16, 32).

😕 Аудиоформаты с потерями (MP3, VORBIS)
Теряют данные при передаче — не распаковываются до изначального размера файла, поэтому в конечном итоге они становятся меньше, а некоторые звуковые волны теряются. Для сбора данных под обучение, музыки или кино предпочтительно не использовать форматы с потерями, потому что файлы ухудшаются при каждом экспорте.
Но для саунд-эффекта в каком-нибудь мобильном приложении или аудиосообщения этого более чем достаточно.

🤷‍♀️ Аудиоформаты без потерь (FLAC)
Эти файлы после трансмиссии распаковываются до исходного размера, сохраняют качество звука и не теряют волны. Эти файлы могут быть в несколько раз больше, чем MP3/VORBIS. Битрейт в этом случае зависит от громкости и плотности дорожки, а не от качества звука.

😎 Аудиоформаты без сжатия (PCM)
Размер таких файлов одинаков на входе и выходе. WAV это литерали WAVeform audio file, самый жирный и качественный. В отличие например от .MP3 он не особенно ограничен битрейтом или глубиной и может иметь частоту дискретизации даже 192 kHz.

Кстати, прошлой осенью у меты вышла статья про сжатие аудио. Говорят, сжимают в 10 раз сильнее чем mp3 и декодируют через нейронку почти без потерь 🌚

орнула, как FAIR (Facebook AI Research) переименовались в Fundamental AI Research 😂
#forcourse

жду, когда про Google vs openai/Microsoft снимут сериал на нетфликсе 🍿

Друзья, если вы видите рекламу в моем канале и думаете, что строительная компания «Самолет» мне платит, то это не так. Я не то что рекламу не включала, я не могу ее отключить так как с 1к подписчиков она включается автоматом…. 🤪

Записалась в wait list Bing/Chat GPT. Make Microsoft great again?