Забавное исследование отклика на музыку.

Взяли восемь коротких мелодий, состоящих всего из четырех аккордов каждая. И полтыщщи слушателей.
В каждой мелодии было разнообразное сочетание свежих и предсказуемых аккордов, а также определенных и странных последовательностей этих аккордов.

«Наше исследование показывает, что разные последовательности аккордов вызывают схожие телесные ощущения в определенных органах, особенно в голове, сердце и брюшной полости».

Предсказуемая мелодия - ощущения в животе (безопасность?)

Мелодия с неожиданными новыми сочетаниями аккордов - ощущения в сердце (новизна?)

Тревожная музыка - в голове (все проблемы в голове).

Загвоздка в том, что картирование участков тела проводилось со слов испытуемых, а не датчиками или сенсорами. И, возможно, это показывает стереотипы (языковые прежде всего) о том, где живут тревога или спокойствие.

В любом случае это жутко интересно. И возможно в пятой версии Suno мы увидим галочки "Музыка для сердца\живота\головы". ИИ подучится на таких исследованиях и ну генерить музыку для специфический ощущений.

https://neurosciencenews.com/music-body-sensation-25858/

В прошлом году писал про ситуацию с Аленой, у которой "украли голос".
Ее ролик набрал больше миллиона просмотров на разных платформах. Голос Алены уже убрали "из продаж голосов". В общем ситуация бомбанула и поставила много вопросов, на которые нет ответов.
Вот тут развитие истории
https://dtf.ru/u/952987-holly-forve/2084880-tinkoff-zametaet-sledy

Но похоже на эти вопросы будет один ответ: читайте контракты.

Вот свежий пример: барышня озвучивала голосовой помощник Кортану для Микрософта. На немецком. За 3000 долларов.
Озвучила.
А потом ей стали звонить знакомые и говорить, что слышат ее голос отнюдь не из Кортаны, а воще непонятно где.
Все просто - голос был продан как оцифрованное звучание голосовых связок.

Девушку покрал у Игоря.

Ну за концептеров. Это я готовлюсь к постам про Креа, Визком и будущие нормальные интерфейсы, а не вот это вот все комфиюаищще и автоматищ1щ1щ1щ1е.
У корейцев много такого добра, прочекайте тут:
https://www.youtube.com/shorts/EoCdwUaErt0

Эпохальный сдвиг: от приложений к супераппам

Apple на днях ослабила ограничения в App Store, в связи с давлением регуляторов.

Теперь приложения официально могут не зашивать внутрь некоторый контент — в частности, мини-аппы и игры, чат-боты, плагины. Супераппы по типу WeChat могут дышать свободно, как и wannabe-платформы вроде Telegram и Discord.

Это ещё один вестник платформенного сдвига, в котором мы сейчас живем. Старые подходы к созданию и продвижению IT-продуктов уже не работают. Рынок насытился, в сторах высочайшая конкуренция, а платная реклама зарубает на корню экономику 99% проектов.

Зарождается новая взлётная полоса — Layer2-платформы, такие как Telegram, Discord, Roblox. Сейчас здесь самые сладкие условия для стартеров: масштабный переток пользователей в эти платформы, высокие виральные возможности, быстрая и дешёвая разработка.

В Китае такая модель победила изначально. Для многих китайцев, весь интернет — это WeChat, внутри которого уже есть все нужные сервисы от платежей до заказа еды. А сейчас мы наблюдаем этот сдвиг и в других странах.

И благодаря новым правилам Apple, Телеграм/Discord могут больше не шифроваться с Mini App’ами. Вполне вероятно, что это станет триггером и для других платформ: для Layer2-разработчиков могут открыться eX-Twitter, WhatsApp, Instagram.

Уже активно срываются «низковисящие фрукты» в B2C, что мы и видим на примерах Notcoin или The Pixels. Но для В2В это даже бОльшие возможности, если судить по траектории WeChat.

В эту среду (10 апреля) мы проведём онлайн-брейншторм на тему инструментов для Layer2-разработчиков. Если вы хотите поучаствовать и найти соратников — присоединяйтесь к нашему сообществу Трендоскоп Lab. Подать заявку можно в этой Гугл-форме. Велкам 🙂

@trendoscope

chatGPT-нашлепка на телефон.

У меня мозг взрывается от такого девайса.
На телефон вешается вот такая нашлепка, которая в принципе является диктофоном, который может выкликать chatGPT с целью суммаризации и перевода.

Вот тут они явно врут: Chime Note может мгновенно переводить со 108 языков. Это я про "мгновенно".

Ну и у меня один вопрос: а зачем тут эта нашлепка? Ведь можно написать приложение, которое делает то же самое. Или нельзя?

Кроме того, последний Самсунг в реалтайме переводит разговор НА УСТРОЙСТВЕ, без всяких вызовов chatGPT.

В чем сила, брат?

https://www.kickstarter.com/projects/chimenoteairecorder/chime-note-chatgpt-powered-ai-voice-recorder

Нейроигры с погружением. В мозг

Я уже писал про Гейба Ньюэлла, главу Valve и папу Half Life (одного из 100 самых богатых людей США, его состояние оценивалось в 5,5 млрд долларов в 2017 году).

Прочтите мой лонгрид для разминки. Там как раз про стимуляцию игрока.

И если раньше Ньюэлл пытался соединить виар-шлемы и гарнитуры для съема энцефалограмм, чтобы подстраивать игровой опыт под ментально-физиологичекое состояние игрока, то сейчас, насмотревшись на Маска, решил делать импланты. В мозг.

Также стоит вспомнить проект OpenBCI+Galea - идея снимать тонну данных с головы игрока лежит на поверхности.

Но вот что будет, когда процесс пойдет в обраточку - и в голову игрока пойдут стимулы?

Вот тогда и придет настоящий киберпанк.

Поглядите на сайт, где похудевший на 20 кило Гейб Ньюэлл представляет свой новый проект:

Мы создаем следующее поколение нейроинтерфейсов, решаем важные проблемы и совершенствуем способы взаимодействия с миром.

https://starfishneuroscience.com/

Принес вам еще одну реалтаймовую нейрорисовалку.
Работает криво и косо. Можете попробовать вот тут:
https://akuma.ai/canvas
Не креа или визком, но сам факт того, что такие инструменты множатся, говорит о том, что есть огромный запрос на РИСОВАНИЕ, а не на КНОПКОЖАНИЕ.
Рисовалка смешная, исполняет в обнаженку (см пример в коментах), имеет разные стили, может быть использована как турбо генератор картинок.
Ждем такого функционала в фотошопе, чтобы закрыт вопрос с такими поделками.

Krea.ai, конечно, огнище.

Помните первые восторги от смешивания двух картинок в Midjourney?
А теперь расширяем сознание - подвешиваем в нем ТРИ картинки (в пространстве) и пытаемся представить микс из трех изображений. Причем микс идет не в пиксельном, а в "смысловом" пространстве. Ментальное 3Д.

Веса картинок можно менять, а новая HD модель выдает все это расширение сознания в 1024х1024.

Бежим пробовать: https://www.krea.ai/apps/image/realtime

И все это в реальном времени, Карл!

А еще Krea.ai воще без цензуры. Вы ей показываете кружки и квадратики, а она вам рисует вот ТАКОЕ, извращенка.
Тут показать не могу, шуруйте в коментарии, там все-таки закрытая группа, телеграмм меня там не должен прищучить.

Вот эта вот audio-to-audio фича, которая появилась в Stable Audio 2.0 может иметь неожиданные применения, например, в производстве саунд-эффектов и при озвучке фильмов, причем речь идет не о голосе, а именно о шумах.

Поглядите забавный пример.

Если обобщать, то получается, что речь идет о скинах для звука или про style-transfer в очень общем смысле.

Ну и в целом фича audio-to-audio совсем не нова, я уже писал про очень забавный проект Musicfy, поглядите, если забыли:
https://news.1rj.ru/str/cgevent/7077

Давно предполагал, что разработчики Сбера на базе GigaChat будут создавать целое семейство Al-сервисов. SberDevices представили Giga Acoustic Model. Генеративные модели для обработки речи(звука) на русском языке.

GigaAM — аудиоэнкодер на 240 миллионов параметров, базовая модель, подходящая для адаптации под другие задачи;

GigaAM-CTC — открытая модель распознавания речи на русском языке (допускает в коротких запросах на 20–35% меньше ошибок в словах по сравнению с другими открытыми решениями);

GigaAM-Emo — модель определения эмоций, продемонстрировала лучший результат на крупнейшем датасете Dusha среди известных моделей.

Очень много технических подробностей с примерами использования этого семейства Al-сервисов на Хабре: https://habr.com/ru/companies/sberdevices/articles/805569/

📈 NVIDIA vs Bitcoin vs Gold.

Вы могли видеть сравнение динамики акций NVIDIA и Intel, но на мой взгляд, более прикольно сравнить с биткоином. Ну да, там еще золото, но его особо не заметно. Залипательно.

@proVenture

#оффтоп #ai

За Джипитишки.

Я долго терпел, но приподнакипело.

Смотрите, интернетик захлебывается от восторга - пользователи уже насоздавали 3 000 000 джипитижек. Ох и ах.

OpenAI обещал в ноябре, что в декабре запустит GPT Store. Запустил в начале года. Обещал монетизацию в марте, пока не запустил.

GPT Store - это довольно странный сервис, там, например, нельзя отфильтровать джипитишки, которые используют Actions (ну то есть более продвинутые). Навигация - ну такое.

И все больше напоминает мне помойку с chatGPT Plugins. Засранную плагинами, уводящитми трафик на сайты, без всякой пользы.

А восторженная цифра в 3 миллиона джтпитишек приводит меня в ужас, это сколько же говна надо разгрести чтобы найти что-то стоящее. Помните первый Андроид Маркет?

Ну и OpenAI, похоже не особо парится, как и с плагинами, над модерацией.

Меня просто тригернуло вот на такой джипитишке.

Это генератор изображений (внимание) на Stable Diffusion и модели Juggernaut внутри chatGPT, который предлагает вам ввести промпт, а потом показывает ссылку на картинку (в нее надо кликнуть, чтобы увидеть ее). И конечно, он пишет вам "срочно переходите в наш телеграм-бот или дайте денег хотя бы". В шапке джипитишки, естественно, ссылка на сайт, на сайте приглашение в телеграм бот.

В общем, GPT Store превращается в еще одну странную площадку, где пасутся стада GPT-ботов, уводящих трафик к себе (куда угодно).

Более того, я почитал многочисленные руководства по создания GPTs.
Знаете, что там пишут?
Чтобы вашу GPT заметили, сделайте от 100 до 1000 копий, немного изменяя текст.
Используйте привлекающие внимание фразы.
Давайте ссылки на свои проекты.
Ну вы поняли. Была SEO-оптимизация, сейчас мамкина gpts-оптимизация. Только OpenAI не Гугль, и модерацией, похоже, заниматься некому, все ИИ-модераторы заняты.

Кроме того, GPT Store почти никому не нужен: туда переходит только 1.5% пользователей chatGPT.
Обидно, что есть реальные шедевры типа джипитишек от Дениса Ширяева:
«Image Recreate, Edit & Merge» или «Aesthetics Prompt Enhancer»

Но они тонут в потоке заливаемого в GPT Store шлака, у которого одна цель, увести трафик.

А теперь представьте, что введут монетизацию. Помните NFT-игры и полчищща ботов? Если есть дикая немодерируемая поляна, то первыми туда придут боты.

Сам я в полном восторге от идеи GPTs - это просто шедевр в области программирования на человеческом языке со всеми вытекающими.

Но идея магазина, куда можно заливать товары любого качества, на изготовление которых не требуется особых ресурсов представляется мне спорной.

И вопрос в том, как OpenAI будет разруливать эту проблему.

Выговорился.

P.S. Посмотрел, что все сервисы типа veed.io которые были в плагинах, переобулись в джтипитишки, еще один канал нагона трафика.

Интересно наблюдать, как отдельные ИИ-решения типа генераторов картинок, или чат-ботов, или создания видео, или вообще генераторов разной всячины постепенно превращаются во встраиваемые сервисы, где юзер уже не ходит за картинками в одно место, а за текстами — в другое. Майкрософт делает из Бинга комбайн, Гугл сейчас встраивает Gemini во все свои аппы, а я пошел поглядел, что делает Яндекс после своего нейробраузера.

У них там появилась платформа Yandex Foundation Models. Несколько моделей машинного обучения, в том числе YandexGPT для генерации текстов и эмбеддинги для задач семантического поиска.
Там же YandexART, о нем — ниже.

Все через единый интерфейс, там можно решать и бизнес-задачи, используя несколько генеративных моделей сразу. Например, создавать текст для рекламного объявления с помощью API YandexGPT, а иллюстрации — с помощью API YandexART.

Что касается YandexART, его уже можно использовать через API, причем сеть доступна для тестирования бесплатно. https://console.yandex.cloud/link/foundation-models/yandexart

Ну и доворачивая мысль про встраивание, YandexART можно использовать не только как маркетинговый инструмент, но и в разработке как единую платформу для работы с API: единый интерфейс, не нужны сторонние аппки, провайдер работает с инфраструктурой. Также это классное подспорье для креаторов, чтобы генерить референсы, которые не получилось найти в интернете.

То есть все эти генераторы всего, которыми мы упивались год назад, вползают в кнопочки и менюшки привычных сервисов. Пройдет еще год — и мы перестанем отличать, что сделали мы, а что сделал ИИ: мы что-то там накликали и напечатали по работе, ИИ по ходу поучаствовал, клиент или начальник доволен. И уже никто не рядится по поводу стохастических попугаев.

А насчет YandexART есть подробнейшая статья, как она научилась делать картинки, которые нравятся людям. За два года.
https://habr.com/ru/companies/yandex/articles/805745/

Помните времена, когда из музыкальных генераторов были только Муберт и Айва? И музыка была такая ... амбиентная.

Интернетик приподвзвизжал про Udio, давайте я тоже всприподвзвизжу, но нескучно, а с историей.

Неделю назад в сети начали появляться утечки генеративной музыки из "анонимного" генератора. И прикол в том, что в текстах песен анонимы явно троллили Суно (cv видео).

Влогеры взорали, твиттор взвирусился, и тут бах, UDIO.COM выкатили свой сервис.
Сначала типа в бету (fomo), а потом в общий доступ.
Короче идем на https://www.udio.com/ и сначала подвязываем челюсть, а потом слушаем образцы. Когда адаптируетесь к реальности, начинайте пробовать сами и сбрасывайте в коменты, можно сделать 1200 генераций в месяц бесплатно. Треки по 32 секунды (пока). Нагрузка на сервера бешеная, иногда долго думает.
Умеет не только пестни, но и в инструментальные треки. С русским не тестировал (жду в коментах).
Интересно, что есть аналог CFG Scale для Image-to-Image, под названием Remix. Берете трек и говорите, насколько его переремиксить, насколько сделать его отличным от оригинала.

Звучит настолько чисто, что у меня есть гипотеза, что там навален нехилый такой постаудиопродакшен на все результаты. И вероятной не ИИ-шный, а традиционная чистка, расширение базы и прочие цифровые улучшайки.

В общем я в шоке.

Также напоминаю по https://sonauto.ai/ - еще одну ответочку Суно.

Если хотите еще ИИ-музыки, то поглядите тут

А я предвижу взрыв обучающих курсов и инфоцыганских баллад о том, как создавать шедевры в Суно или Удио. Хотя у Суно есть своя Вики и там все написано. Но хтож ее читает.
http://suno.wiki

В дополнение ко вчерашнему посту о цифровом двойнике нашего мира.

Да, ИИ-шечка уже умеет вытаскивать позы НЕ ТОЛЬКО из тиктоковских тянок пляшуших на камеру, а способен работать "в полях". И оцифровывать вот этих вот суровых английских мужуков.
Я уже постил похожий кейс с футбольного поля, но там был специально заготовленный сетап из десятков камер и целая команда на бэке.
Тут, как вы понимаете, даже не высшая лига. И обычная камера.
Мы все уже оцифрованы, а метаверсик живет своей жизнью. До времени.