Удалось завести камеру, но на старом маке.

Проблем не возникло. Всё пошло, как по маслу.

Ощущения ликующего ребёнка. Очень интересно, там ещё куча режимов и настроек.

Прогнозирую неделю повышенного интереса к компьютерному зрению 👁‍🗨

В ближайшее время скину видео, как это всё чудо работает, и что можно в Python с этим делать.

#моя_работа

Оставлю это здесь, потому что очень полезно и интересно.

🔉Impulse response dataset 📂

Если вы в какой-то момент зададитесь вопросом, а как мне аугментировать аудио данные для задач речи, то наверняка наткнетесь на разные методы вроде добавления шума, реверберации и всего такого. Среди прочих датасетов можете найти так называемые RIR-датасеты, которые содержат room impulse response аудио. Как например этот: https://github.com/RoyJames/room-impulse-responses

И в начале этот датасет может ввести в замешательство, ведь все звуки из датасета будут похожи вот на такие щелчки (прекрепленное аудио).

Не очень понятно как такие использовать для аугментации данных. Вот и я по началу попал в такое замешательство.

Оказывается, здесь все несколько хитрее, чем просто складывание чистого аудио с шумом. Эти аудио на самом деле не совсем аудио, а некоторый "фильтр" который вы можете применить к вашей аудиодорожке по средствам свертки и получить искаженный звук, например получить эхо.

Данные фильтры получаются путем проигрывания заранее известного звука через очень качественные колонки и одновременной записи этого звука на микрофон в этом же помещении. Через разницу между изначальным звуком и записью можно вывести особенности комнаты где ведется запись, и получить фильтр который из чистой записи симулирует запись в этом помещении (например в большом органном зале).
Так с набором этих фильтров и различных шумов вы сможете симулировать огромное множество различных сред и разнообразить ваш датасет.


А вот краткий пример как делается применение RIR фильтра:

audio_orig = torch.tensor(librosa.load("audio.wav")[0]).unsqueeze(0)
rir = torch.tensor(librosa.load("rir.wav")[0]).unsqueeze(0).abs()
rir = (rir / torch.norm(rir, p=2)).flip([1])
audio = torch.nn.functional.pad(audio_orig, (rir.shape[1]-1, 0))
audio = torch.nn.functional.conv1d(audio.unsqueeze(0), rir.unsqueeze(0)).squeeze(0)

Когда веса итоговой обученной модели похожи на звук.

В этом что-то есть, как считаете?

Испытываю детскую радость, работая с реальным устройством для формирования датасета.

Обычно всё достаю из информационной среды, и вся деятельность производится через компьютер.

Но когда пришлось сооружать свой стенд, чтобы сымитировать условия задачи, то испытал чудесный восторг.

В этот момент начинаю понимать, как классно передвигаться в нашей профессии. Мозги получают больше дофамина ☀️

#моя_работа

16384 оттенков серого яркость с 1 до 14 бита. Наглядно.

#основыданных

С какого момента вы бы не заметили разницы? Только честно 🙃

Чтобы не забывали 🤓

Нашёл на просторах сети очень классную статью, рассказывающую про компьютерное зрение (CV).

Это такой каталог задач, где можете увидеть самые популярные задачи в этой сфере.

Получилось классно, интересно, красиво - рекомендую к прочтению. 🦾

Заходите на занятию по переносу стилей на изображениях :)

Поговорили

Бросайте эти ваши мышиные лернинги

Я считаю, это очень интересно и полезно.
Особенно, когда до конца не осознаёшь, как это всё работает.

Моё почтение таким проектам ☀️