Обзор Udio - генератора музыки 🎶🎶

Сегодня у нас на проверке один из сервисов генерации песен и музыки.

По началу работы все максимально просто - регистрируемся через почты и по классике открываем редактор. Сейчас нам каждый день доступно 10 кредитов для генерации, при этом каждый месяц дают еще 100 дополнительно.

Дальше у нас окошко, в которое мы записываем все пожелания к жанру, стилю, тону голоса и основному смыслу песни.

После этого можно будет выбрать стиль лирики или написать свои слова. Я решил на последнем остановиться и закинул текст песни Noize Mс, в первый раз полностью и превысив лимит по словам, а во втором варианте нейросети нужно было только спеть слова с определенными условиями, указанными выше.

Что забавно, в первом варианте откуда-то взялся голос оригинального исполнителя, но текст сильно изменился, а во втором уже ближе к скормленному тексту, но совершенно новым голосом и стилем.

Да, кстати, там есть еще расширенные настройки с выбором силы промпта или креативности программы, ну и еще по мелочи.

Слушайте и пишите свое мнение, а в понедельник поиграемся с Suno.

🤔🤔 Что такое NFT? 🤔🤔

Давайте начнем с этого. Если что, я сам практически не раз играюсь в теме, так что будем погружаться в нее вместе.

На данный момент, я так понимаю, что NFT - это метка, которая присваивается к какому-нибудь файлу: картинке, видео, гифке и может даже музыке. Кстати, я вроде бы не слышал, чтобы продавали музыку как NFT-токены.

Так, метка, а зачем и почему? Ну вот смотрите, есть у вас картина Ваг Гога и с его уникальной подписью, ко орую никто не может подделать, да еще и такой, что только компьютер ее правильно читает, которого не подкупить. Может быть можно взломать, но я об этом пока что ничего не знаю.

И получается, что благодаря этой подписи вы точно знаете, что обладаете оригиналом картины, а если она имеет какую-то ценность на рынке, то человек, решивший у вас не купить, точно знает, что покупает не подделку.

В основном сейчас эта технология используется в рамках творчества, но кто знает, может у нее и другие направления есть.

Но, кстати, представляете как хорошо это защищает художников, рисующих от руки, в эпоху нейросетей, когда можно с легкостью подделать любую работу?
Поставил художник свою уникальную метку на файл и всё, все знают, где оригинал.

И пока эта тема только развивается. Да, кто-то скажет, что хайп прошел, но все равно это еще зачатки технологии, можно успеть заработать на старте.

Как и почему? Смотрите, рисуете вы картинку, выкладываете на бирже аукционе, в зависимости от огромного количества факторов, она становится популярной, и ее кто-то покупает за 100$. Зачем она ему? А затем же, зачем сейчас скупают уникальные 100 рублей за пару тысяч. В будущем это будет иметь большой вес среди коллекционеров.

Пока что я смог разобраться на таком уровне в этой теме.

Дальше будем вместе погружаться глубже и пробовать заработать.


Если было полезно, ставьте реакции, а я постараюсь делать эту рубрику почаще.

Воскресный кейс (нет) ☹️

Не хотите вы делиться тем, что создаете за неделю, или, может вы особо ничего и не делаете. Тогда сегодня просто слегка продолжу вчерашнюю тему и расскажу вам про приложения(сервисы), которые я использую для создания видео.

1. Генерации изображений - LeonardoAI

Изначально мне этот сервис приглянулся стилистикой и частично бесплатным доступом (а если у вас много почт и достаточно мотивации между ними переключаться, то и вовсе бесплатным).

Каждый день Вам дают 150 токенов, 1 генерация с 4 вариантами стоит в среднем 15 токенов.

Но бывают проблемы с пониманием нюансов, DALL-E в этом плане получше будет, ну и Midjorney тоже, но если наловчиться использовать функции на максимум, результаты вас поразят.

2. Озвучка текста - EllevenLabs

Сейчас один из самых лучших сервисов озвучки. Бывают вопросы с интонациями, но если экспериментировать с построением предложений, можно это исправлять. А теперь еще и звуки можно генерировать по запросу.

Приятно, что и тут можно бесплатно озвучить 10 мин текста, но играть с аккаунтами уже не получится - они фиксируют ID-адрес.

3. Оживление фото и движение губ - Canva

Я использовал встроенный в Canva бесплатный инструмент, который оставляет вотенмарку и по качеству, на самом деле, не очень хорош. На рынке есть гиганты этой функции, такие как Heygen или D-iD, но для старта они очень дорогие.

Вспомнил недавно еще, что PicaLabs добавлял функцию липсинка, планирую проверить в ближайшее время.

4. Скачивание стоковых видео и изображений - Pinterest и Pexels

Pinterest, думаю, в представлении не нуждается. А Pexels для меня в одно время стал настоящей находкой - это сайт, где можно бесплатно скачивать стоковые фото и видео. Да, выбор меньше, чем в платных, но даже среди этого можно много найти для своего творчества.

5. И, собственно, монтаж видео - Capcut

Об этом приложении, думаю, тоже должны многие слышать.

Плюсы очевидны - очень много бесплатных функций, которые закрывают все базовые потребности, и даже больше. И дополнительно к этому - они очень яростно внедряли ИИ-функции ещё до того, как это стало мейнстримом.

Вот пока что так. Будем постепенно идти по этим сервисам к созданию полноценных видео.

А чтобы быть впереди планеты всей - Вы можете заранее начать их изучать по многочисленным обучениям в интернете.

На что способно Suno.AI 😆

Мы уже проверили как работает Udio. Теперь очередь самого популярного генератора музыки.

Скажу сразу, Suno понравилось больше (заплатите мне за рекламу).

В редакторе есть три варианта создания песни:

1. Вы в 200 символах описываете про что должна быть песня и в каком стиле.

2. Вставляете собственный текст в одно окно и дополнительный промпт в другое. И здесь, главное отличие от Udio - можно добавить достаточно большой текст, но нужно учитывать, что генерируется не больше 4 минут.

3. Из аудио в аудио. Загружаете отрывок песни или звука и программа продолжает его.

Ну и кроме текстов, нейросеть также генерирует мелодии, аккорды и ритмы на основе текстовых описаний. Это позволяет создавать полноценные композиции без необходимости в специальных знаниях.

Платформа поддерживает разнообразные музыкальные жанры, включая классическую музыку, поп и электронику. Suno предоставляет возможность выбирать различные виртуальные инструменты для создания музыки.

Кроме генерации музыки,  можно прослушивать произведения других участников через плейлисты на официальном сайте.

Я сгенерировал две песни. Одну из стиха, а вторую отдал на растерзание искусственному интеллекту.

Слушайте и оценивайте. Вторая должна стать хитом, я уверен 😄

Хотите действительно стать специалистом в искусственном интеллекте? 🤩

Вчера у меня не получилось найти для Вас интересную новость в научной сфере ИИ, зато сегодня "у меня есть для вас".

МТС и ВШЭ открыли набор на обучение в магистратуре "исследования и предпринимательство с ИИ"

Кстати, 30 мест будут бюджетными, их оплачивает МТС.

Подробнее тут.

А здесь можно оставить предварительную заявку. Документы будут приниматься с 19 июня по 25 июля.

Биржи NFT 🌈

Итак, что такое вообще NFT мы обсудили в прошлый раз.

Как за них получить деньги? Тут вообще, как я вижу, начинается долгая история с созданием крипто-кошельков, которые поддерживают определенные монеты, покупкой самих монет, регистрации на биржах и т.д.

И путь не самый легкий, с большим количеством нюансов, но мы его пройдем.

Думаю, из названия Вы уже поняли, что для торговли NFT нужно зарегистрироваться на бирже и выставить его на продажу там. Скорее всего можно и напрямую, но мне кажется, это еще сложнее.

Существуют биржи с совершенно разными условиями и назначением.

Где-то нужно будет заплатить сразу за регистрацию или за размещение NFT и иногда порядка 20-30$, где-то комиссию во время проведения первой сделки(продажи) токена, и дальше процент за перепродажу.

Какие-то биржи созданы в поддержку компаний, спортивных клубов или сотрудничают с благотворительными фондами и отчисляют в них процент от сделок.

Завтра расскажу про самые популярные биржи на этом рынке.

Лучшие NFT-биржи 👮

OpenSea
Маркетплейс OpenSea – одна из крупнейших и старейших платформ для торговли NFT. Основанная в 2017 году в Нью-Йорке, она ежедневно обрабатывает от 3 до 5 миллионов долларов продаж. На OpenSea можно найти разнообразные цифровые активы, включая картины современных художников, доменные имена, игровые и спортивные карточки, утилиты и виртуальные территории. Для использования платформы достаточно войти с помощью криптокошелька, такого как MetaMask, Coinbase Wallet или Opera Touch, и оплачивать транзакции криптовалютой Ethereum.

OpenSea взимает комиссию за «газ» при чеканке токенов и 2,5% за каждую транзакцию. Общая стоимость для продавца может достигать 70-100 долларов США в зависимости от спроса и времени суток.

Rarible
Rarible – первая российская NFT-биржа, получившая мировое признание. Основанная в 2020 году в Москве, она ежедневно обрабатывает около 1,5 миллионов долларов торговых операций. Платформа использует собственный токен RARI и специализируется на цифровом искусстве, предлагая около 20 тысяч различных коллекций. Rarible взимает комиссию 2,5% с каждой транзакции плюс плату за «газ», что в сумме составляет 70-100 долларов США. Платформа также имеет партнерство с OpenSea, что позволяет художникам использовать обе платформы.


SuperRare
SuperRare – платформа для продажи уникальных цифровых предметов коллекционирования. Хотя объем продаж составляет около полмиллиона долларов в сутки, организаторы недавно получили значительные инвестиции для развития проекта. Платформа взимает 3% с покупателя и 15% с продавца за каждую транзакцию, плюс традиционная комиссия за «газ». Авторы получают 10% от стоимости работы при каждой перепродаже.


Nifty Gateway
Nifty Gateway – платформа для торговли NFT, которая была основана в 2018 году и позже куплена Gemini LLC. Платформа позволяет использовать банковские карты для транзакций (только в США) и берет 15% комиссии за каждую сделку плюс «газ». Авторы получают 10% от стоимости при перепродаже их работ.


Foundation
Foundation – платформа с высокой кураторской политикой, ориентированная на художников и дизайнеров. Для продажи на платформе необходимо пройти кураторский экзамен и получить одобрение. Foundation взимает комиссию за транзакции, но точные ставки не указаны.


Mintable
Mintable – платформа для создания и продажи NFT, основанная в 2018 году. Платформа предлагает интуитивно понятный интерфейс и множество инструментов для кастомизации метаданных NFT. Комиссия за продажу составляет 2,5%. Mintable интегрирована с различными криптокошельками, что упрощает использование платформы.


Sorare
Sorare – платформа для коллекционирования и игры в виртуальный футбол с использованием NFT-карт, основанная в 2018 году. Каждая карта представляет собой уникальный цифровой актив на блокчейне Ethereum. Платформа поддерживает многопользовательскую систему и сотрудничает с крупными футбольными лигами. Sorare уже получила поддержку от крупных инвесторов, таких как Benchmark и Sony Music.

Генерируем видео и оживляем картинки 🟡

Конечно же, я не мог обойти стороной проверку нового видеогенератора от DreamMachine - Lumalabs. Кстати, именно эти ребята были встроены в Canva, и благодаря им я создавал липсинк для аватара.

И, что могу сказать - это лучший продукт на рынке, который можно использовать прямо сейчас всем кто захочет, в отличие от Sora или Kling.

Разработчики решили не грузить сайт обширным конструктором. Оставили всё самое нужное:
- кнопку "начать";
- поле для ввода промпта;
- подсказку с рандомным запросом для генерации (я попробовал использовать и его);
- и иконку загрузки фото, которое Вы хотите анимировать.

А ну и страницу оплаты подписки 😊 Кстати, в бесплатной версии Вам доступно 30 генераций в месяц. Следующий тариф стоит 24$ в месяц и даёт +120 генераций, приоритетную очередь и право использовать созданные видео в коммерческих целях.

Приоритетная очередь действительно имеет смысл, потому что на бесплатном тарифе ждать приходится ооочень долго. Это понятно, сервис только недавно начал работать - все балуются. Что интересно, с нуля видео сгенерировалось намного быстрее, чем анимировалось изображение.

Ниже отправляю свои результаты.

Какие существуют модели Stable Diffusion 🏳️‍🌈

Сегодня вторник, а значит мы с Вами разбираем техническую составляющую нейросетей или узнаем, как можно запустить ту или иную программу.

Сегодня на разборе, как я недавно обещал, Stable Diffusion.

Для начала быстро пробежимся по его версиям:

🔤Stable Diffusion 1.5. - именно эта модель принесла популярность компании. Она самая нетребовательная по железу и на нее создано очень много кастомных обновлений.

🔤 Stable Diffusion 2.1. - не очень популярная версия. Хоть работает и лучше, чем предыдущая, но тут добавили цензуру, поэтому она не встретила популярности.

🔤 Stable Diffusion XL. Вышла летом 2023 года. Генерирует в разрешении 1024 × 1024, создает текст, лучше работает с композицией. На ее основе появилось много пользовательских моделей. И по сей день является, наверно, самой популярной из версий.

🔤 Stable Cascade. Вышла в феврале 2024 года. Работает хорошо, но только по подписке.

🔤 Stable Diffusion 3 - есть "голая" версия тройки, а есть недавно вышедшая Medium, которая вообще не должна была выходить и была неудачным экспериментом. Но руководство компании настояло на том, чтобы выпустили даже то, что вышло, и вышло не очень.

Про сайты, где им можно воспользоваться, расскажу чуть позже. Или уже завтра.

🖌Сервисы для использования Stable Diffusion онлайн

▶️ClipDrop 
Официальный сайт Stability AI, использующий Stable Diffusion XL. Генерирует четыре изображения, одно из которых можно увеличить. Доступны стили: аниме, оригами, цифровой арт, комикс и другие. Сайт собирает фидбэк пользователей, выбирающих лучшие изображения, как и Midjourney при тестировании.

Раньше был бесплатным, теперь генерация изображений доступна только по подписке, но есть другие интересные инструменты, доступные бесплатно.

▶️Dream Studio 
Облегченная версия Stable Diffusion с двумя моделями. Бесплатно можно сгенерировать около 400 изображений. Тысяча кредитов стоит $10 (893 ₽), чего хватает на 4000 картинок. Требуется регистрация или вход через Google/Discord. В интерфейсе можно выбрать размер, степень соответствия запросу и количество шагов до 150. Генерируются сразу четыре изображения.

▶️Google Collab 
Сервис Google для запуска кода на удаленных мощностях. Есть ограничения: при каждом запуске нужно ждать загрузки библиотек и моделей (5-10 минут). Откройте блокнот с моделью SDXL, нажмите «Подключиться», затем «Выполнить все». После загрузки перейдите в Fooocus. Настройки включают разрешение, стили и скорость генерации. Встроен плагин ControlNet для генерации по контуру. Сервис бесплатный, количество генераций ограничено временем доступа к нейросети.

▶️HuggingFace 
Платформа для публикации и тестирования моделей Stable Diffusion. Выбираете модель, вводите запрос и нажимаете Generate. Сервис бесплатный и неограниченный, но настройки обычно недоступны.

▶️Mage.Space 
Простой в использовании сервис без регистрации. Работает на версии SDXL, генерирует качественно. Бесплатный и безлимитный с ограничением в 25-50 шагов. После регистрации картинки сохраняются в галерею. Есть продвинутый режим с дополнительными настройками.

▶️PlaygroundAi 
Похож на соцсеть: можно подписываться на пользователей и смотреть их изображения. Бесплатный и безлимитный, без цензуры. Доступны версии 1.5, 2.1 и SDXL. Требуется авторизация через Google. Максимум 150 шагов генерации, выбор размера, фильтры и генерация по тексту или изображению.