На этой неделе Meta (признана в России экстремистской организацией) выкатила модель генерации музыки по описанию

Архитектура нейросети основана на авторегрессионном трансформере. При этом код опубликовали не просто так, а в составе новой библиотеки Audiocraft, которая специально задумана для дальнейших исследований в области генерации аудио. Уже можно попробовать:


🖥 Код и веса

🖥 Сайт с примерами

🤗 Демо на HuggingFace

🖥 Colab

😻 #news

Тру лав

😻 #memes

Про переобучение случайного леса

Вопрос про переобучение случайного леса и бустинга часто встречается на собеседованиях. Звучит он примерно так: объясните, от чего может переобучиться случайный лес, и в чем тут разница с бустингом?

Часто кандидаты отвечают: «Случайный лес не может переобучиться вообще, в отличии от бустинга». Но это правильно только отчасти.

Правильнее было бы сказать: случайный лес, в отличие от бустинга, не может переобучиться от увеличения количества деревьев. Это происходит потому что случайный лес усредняет предсказания всех деревьев. Это легко понять, если провести аналогию со средним генеральной совокупности. Возьмем из нее два случайных экземпляра и посчитаем их среднее. Очевидно, что это среднее будет сильно отличаться от среднего генеральной совокупности. Но если мы возьмем 1 000 000 случайных экземпляров, то среднее будет очень близко к генеральной совокупности, и добавление миллион первого, второго, третьего экземпляра сильно на среднее не повлияет.

Однако случайный лес все-таки может переобучиться, если задать большую глубину деревьев. Скажем, глубина 1000 – прямой путь к оверфиту, ведь тогда алгоритм просто выучит трейн.

😻 #train