MinD-Vis: диффузия для чтения мыслей

Представлена диффузионная модель, которая умеет декодировать то, что видит человек по его мозговой активности (fMRI).

Сначала авторы обучили self-supervised модель для получения универсальных эмбеддингов мозговой активности (одинаковых для разных людей). Далее они взяли предобученную Latent Diffusion и добавили к ней cross-attention на эти мысленные репрезентации. После короткого файнтюна на 1.5к парах картинка-fMRI модель смогла полноценно декодировать то, что видит перед собой человек!

Данные для обучения и код выложены в открытый доступ, веса моделей дают по запросу.

Статья, GitHub, блог

Обновление веб сервиса для генераций NeuroFox 🦊

Стал доступен выбор моделей:
Модель Anything 3.0 (Anime),
MidJourney V4 Diffusion,
Modern Disney, Novel AI и другие.
- выбор моделей находится снизу страницы.

• Попробовать 🦊

midjourney v4 - идеальная рука)

#крипота
все было бы идеально если бы не...

Субтитры в один клик!

Вторая новость пришла от RunwayML, которые также запилили новые аудио-текстовые инструменты AI Magic Tools.

Там также удаление шумов из видео на основе их ИИ, но там еще и автоматическое создание субтитров и транскриптов для ваших видосов. В один клик.
https://twitter.com/runwayml/status/1592880132745633792

Старинный по меркам отрасли (июнь 2022) разбор искусствоведом нейродорисовки Моны Лизы

https://shakko.ru/1788687.html

SPACEx: Speech-driven Portrait Animation with Controllable Expression

"Мы представляем SPACEx , метод создания выразительных видеороликов высокого разрешения с реалистичной позой головы, используя только речь и одно изображение. Он использует многоэтапный подход, сочетающий в себе управляемость лицевых ориентиров с высококачественной мощностью синтеза предварительно обученного генератора лиц. SPACEx также позволяет контролировать эмоции и их интенсивность. Наш метод превосходит предыдущие методы по объективным показателям качества изображения и движений лица, и пользователи отдают ему предпочтение при попарных сравнениях."

- попробовать и кода нет

• Подробнее project page

Визуальное представление нейронов и слоев какой-то нейросети

на канале Corridor Crew вышло видео от Рена (Wren) про NeRF'ы
https://youtu.be/YX5AoaWrowY

модель #textto3D от NVIDIA
Magic3D

Ни кода, ни демки, увы

Прототипирование модели космического корабля в #StableDiffusion + Blender за полчаса, таймлапс

твиттер

ИИддерол.

ИИ пришел в Notion.
И не просто пришел, он похоже там всерьез и надолго.
Он теперь там используется для автоматического написания сообщений в блогах, описаний вакансий и даже стихов. Большие языковые модели умеют cделать так, что ваш Notion теперь может понять, что вы пытаетесь написать, и просто написать это для вас.
Короче, он залезает к вам в голову и делает все это немного лучше вас.
Вот поглядите, что пишут разработчики:
"Считайте Notion AI своим партнером. Это расширяет ваше мышление, помогая вам экономить время или тратить его более разумно."
Расширение мышления идет вот по таким направлениям:
Первый набросок — первое слово часто может быть самым сложным для написания. Вместо этого попросите Notion AI обработать ваш первый черновик по теме и получите несколько идей, которые вы сможете превратить во что-то необычное.

Поощряйте идеи и творчество — мгновенно получайте список идей о чем угодно. Это может помочь вам быть более творческим, выявляя идеи в качестве отправной точки (или такие, о которых вы даже не подумали бы).

Подведите итог длинной встречи или документа — вместо того, чтобы просеивать кучу заметок о встрече, позвольте Notion AI выделить наиболее важные моменты и действия.

Короче, ИИ расширяет ваше мышление.

Интересно, через пару лет, как вы будете функционировать без ИИ-допинга?

Генерить идеи на обычных витаминах будет немного затруднительно..

https://www.notion.so/blog/introducing-notion-ai

Начинайте свой день с полезных лайфхаков, сгенерированных с помощью нейросети GPT-3:

>>Если у вас проблемы с ушами, то вам следует их отрезать. Люди будут уважать вас гораздо больше.

>>Еще один способ заработать во время отпуска — это снимать порнографию на камеру мобильного телефона и выкладывать ее потом для скачивания Интернет-магазинам вроде Amazon, Appstore либо другим подобным ресурсам

>>Чтобы подушка для сна всегда была мягкой, вовремя налейте в нее литр растопленного куриного жира

>>Румяна для макияжа больше не нужны. Просто бейте себя по лицу и оно покраснеет

>>Чтобы телефон не звонил ночью, положите его в унитаз

>>Если вы хотите быстро похудеть, просто выбейте себе все зубы

>>Чтобы отличить арбуз от соседей, просто постучите по его боку. Если вы слышите звонкий звук, это арбуз. Если звук глухой, значит, это сосед.

>>Если вы возьмете острый предмет и воткнете его в сердце, вы можете предотвратить сердечный приступ.

>>Когда вы находитесь в машине и чувствуете голод, вы можете съесть обивку сидений

>>Если у вас сломана нога, то можно ходить на руках

Нейросеть теперь умеет визуализировать книги с помощью картинок из Lexica, это поисковая система Stable Diffusion.

Можно наводить на любую строку, чтобы увидеть визуализацию. Идея крутая, код проекта здесь.

Немного сатиры

EDGE: Editable Dance Generation From Music

"Мы представляем EDGE, мощный метод редактируемой генерации танцев, способный создавать реалистичные, физически правдоподобные танцы, сохраняя при этом верность произвольной входной музыке. EDGE использует модель диффузии на основе преобразования в сочетании с Jukebox, мощным инструментом извлечения музыкальных функций, и предоставляет мощные возможности редактирования, хорошо подходящие для танца."

• Подробнее