Forwarded from Share
Турецкий фотограф Альпер Ешилташ с помощью нейросети создал серию снимков «Если бы ничего не произошло»: он показал, как выглядели бы некоторые знаменитости, если бы не ушли из жизни слишком рано.
На снимках: постаревшие Майкл Джексон без пластических операций и витилиго, Хит Леджер, Курт Кобейн, Эми Уайнхаус, Принцесса Диана, Фредди Меркьюри и Тупак.
На снимках: постаревшие Майкл Джексон без пластических операций и витилиго, Хит Леджер, Курт Кобейн, Эми Уайнхаус, Принцесса Диана, Фредди Меркьюри и Тупак.
👍2
Говорят, теперь доступно всем
https://labs.openai.com/auth/signup
Но наверняка кроме россиян, поэтому запаситесь vpn и способом получить смс на иностранный номер
https://labs.openai.com/auth/signup
Но наверняка кроме россиян, поэтому запаситесь vpn и способом получить смс на иностранный номер
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
MIT Composable Diffusion: ну, за композеров.
И не только.
Это уже некая метамодель, которая разбирает текстовый ввод на части и натравливает несколько нейросеток на разные куски текста с целью определения "отношений" между объектами.
Возьмем, к примеру, красный грузовик и зеленый дом. Когда эти предложения становятся очень сложными, модель путает понятия "красный грузовик" и "зеленый дом". Типичный генератор, такой как DALL-E 2, может поменять эти цвета местами и создать зеленый грузовик и красный дом. Подход MIT может справиться с таким типом связывания атрибутов с объектами, он может обрабатывать каждый объект индивидуально.
Интересно, что создатели метят не только в область арта и смешных картинок, но и в образование, и тут можно точно начать выпивать за иллюстраторов учебников, ибо:
"Модель может эффективно определять позиции объектов и описания отношений между ними, что является сложной задачей для существующих моделей генерации изображений. Например, поместить объект и куб в определенное положение, а сферу - в другое. DALL-E 2 хорошо генерирует естественные изображения, но иногда испытывает трудности с пониманием объектных отношений. Помимо искусства и творчества, возможно, мы могли бы использовать нашу модель для обучения. Если вы хотите сказать ребенку, чтобы он положил куб на шар, и если мы скажем это словами, ему будет трудно понять. Но наша модель может сгенерировать образ и показать его".
Composable Diffusion использует диффузию наряду с композиционными операторами для объединения текстовых описаний без дополнительного обучения. Подход команды более точно передает детали текста, чем оригинальная диффузионная модель, которая напрямую кодирует слова как одно длинное предложение. Например, при наличии слов "розовое небо", "голубая гора на горизонте" и "цветущие вишни перед горой", модель команды смогла создать именно такое изображение, в то время как оригинальная диффузионная модель сделала небо голубым, а все перед горой - розовым.
В общем, впереди еще много новых открытий, возникающих на основе комбинирования уже имеющихся моделей. Нейрометамодерн.
https://scitechdaily.com/mit-ai-image-generator-system-makes-models-like-dall-e-2-more-creative/
И не только.
Это уже некая метамодель, которая разбирает текстовый ввод на части и натравливает несколько нейросеток на разные куски текста с целью определения "отношений" между объектами.
Возьмем, к примеру, красный грузовик и зеленый дом. Когда эти предложения становятся очень сложными, модель путает понятия "красный грузовик" и "зеленый дом". Типичный генератор, такой как DALL-E 2, может поменять эти цвета местами и создать зеленый грузовик и красный дом. Подход MIT может справиться с таким типом связывания атрибутов с объектами, он может обрабатывать каждый объект индивидуально.
Интересно, что создатели метят не только в область арта и смешных картинок, но и в образование, и тут можно точно начать выпивать за иллюстраторов учебников, ибо:
"Модель может эффективно определять позиции объектов и описания отношений между ними, что является сложной задачей для существующих моделей генерации изображений. Например, поместить объект и куб в определенное положение, а сферу - в другое. DALL-E 2 хорошо генерирует естественные изображения, но иногда испытывает трудности с пониманием объектных отношений. Помимо искусства и творчества, возможно, мы могли бы использовать нашу модель для обучения. Если вы хотите сказать ребенку, чтобы он положил куб на шар, и если мы скажем это словами, ему будет трудно понять. Но наша модель может сгенерировать образ и показать его".
Composable Diffusion использует диффузию наряду с композиционными операторами для объединения текстовых описаний без дополнительного обучения. Подход команды более точно передает детали текста, чем оригинальная диффузионная модель, которая напрямую кодирует слова как одно длинное предложение. Например, при наличии слов "розовое небо", "голубая гора на горизонте" и "цветущие вишни перед горой", модель команды смогла создать именно такое изображение, в то время как оригинальная диффузионная модель сделала небо голубым, а все перед горой - розовым.
В общем, впереди еще много новых открытий, возникающих на основе комбинирования уже имеющихся моделей. Нейрометамодерн.
https://scitechdaily.com/mit-ai-image-generator-system-makes-models-like-dall-e-2-more-creative/
SciTechDaily
MIT AI Image Generator System Makes Models Like DALL-E 2 More Creative
A new method developed by researchers uses multiple models to create more complex images with better understanding. With the introduction of DALL-E, the internet had a collective feel-good moment. This artificial intelligence-based image generator is inspired…
👍3
This media is not supported in your browser
VIEW IN TELEGRAM
MetaAI показали нейросеть MAKE-A-VIDEO, способную генерировать короткие видео-ролики по текстовому описанию!
Это новый уровень, сходите по ссылке, узрите.
Там же можно записаться в вейтлист на демо
Это новый уровень, сходите по ссылке, узрите.
Там же можно записаться в вейтлист на демо
😱3
This media is not supported in your browser
VIEW IN TELEGRAM
ИИшечка защищает газон от соседских кур. Автор видео натренил нейронку включать полив когда на газоне появляются куры. Да, реагирует только на кур. Сейчас имея вебкамеру и вы могли бы такую нейронку натренить
😁2
This media is not supported in your browser
VIEW IN TELEGRAM
Google создал нейросеть DreamFusion text-to-3D, способную создавать 3D модели по текстовому описанию на основе Imagen!
Предположу, что ни кода, ни демо доступа для простых смертных не будет, ночерез полгода будет открытая нейросетка того же уровня или лучше
Предположу, что ни кода, ни демо доступа для простых смертных не будет, но
👍1
Смотрите какую красоту сгенерил. Нравится детализация? промт скрыт ниже
Шучу, это фото черепа Марии Магдалины , хранящегося в базилике Святого Максимина во Франции.
Извините за офтоп, искушение оказалось слишком велико.
А у вас есть фото которые выглядят как ИИ-генерации? Кидайте в чат
Извините за офтоп, искушение оказалось слишком велико.
А у вас есть фото которые выглядят как ИИ-генерации? Кидайте в чат
😱4🔥2👏1
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
"Pointcloud Occlusion Inpainting with Stable Diffusion"
Пока мамкины диффюзеры бесхитростно, но с восторгом склеивают кадры из Stable Diffusion с помощью дефорума, пацаны с опытом постпродакшена достают грубину, композят инпайнтингом и работают с камерой. Поглядите, что творит Дима Точилкин.
Основная идея алгоритма состоит в том, чтобы сохранить нетронутыми части изображения, известные по предыдущему кадру, и закрасить только те области изображения, которые отсутствуют. Мы можем определить, что известно, а чего не хватает, по карте глубины и преобразованию камеры.
Он в значительной степени зависит от качества карт глубины и использует предположение, что SD имеет неявные знания о геометрии сцены на изображении. Таким образом, он может правдоподобно закрашивать недостающие части без явного знания трехмерных сеток сцены.
Он интерполирует отсутствующую информацию, «деформируя» пространство, что хорошо для художественных или триповых видео, но не подходит для реалистичной анимации.
Если хотите узнать больше про "Pointcloud Occlusion Inpainting with Stable Diffusion" и анимацию, читайте тред в Твитторе - пример того, как AI Filmmaking приобретает черты технологии, а не только восторженных демок в телеграмме.
https://twitter.com/cut_pow/status/1576748595109593088
Пока мамкины диффюзеры бесхитростно, но с восторгом склеивают кадры из Stable Diffusion с помощью дефорума, пацаны с опытом постпродакшена достают грубину, композят инпайнтингом и работают с камерой. Поглядите, что творит Дима Точилкин.
Основная идея алгоритма состоит в том, чтобы сохранить нетронутыми части изображения, известные по предыдущему кадру, и закрасить только те области изображения, которые отсутствуют. Мы можем определить, что известно, а чего не хватает, по карте глубины и преобразованию камеры.
Он в значительной степени зависит от качества карт глубины и использует предположение, что SD имеет неявные знания о геометрии сцены на изображении. Таким образом, он может правдоподобно закрашивать недостающие части без явного знания трехмерных сеток сцены.
Он интерполирует отсутствующую информацию, «деформируя» пространство, что хорошо для художественных или триповых видео, но не подходит для реалистичной анимации.
Если хотите узнать больше про "Pointcloud Occlusion Inpainting with Stable Diffusion" и анимацию, читайте тред в Твитторе - пример того, как AI Filmmaking приобретает черты технологии, а не только восторженных демок в телеграмме.
https://twitter.com/cut_pow/status/1576748595109593088
Помните сентябрьскую нейросетку от гугла, которая генерит видео по одной исходной картинке? Не прошло и месяца - появилась новая, которая делает это заметно лучше. Код выложат позже. Зато гугл выложил код той сентябрьской, можно поиграть в колабе
👍1
Сколько я ни пытался генерить нейросетями робота Бендера, того что на аватарке нашего чата, ни одна не справляется, в том числе Stablediffusion. Дело в том что они плохо знают кто такой Бендер. В датасетах, на которых их обучали, не было достаточно информации. Это становится проблемой, если, например, вы хотите чтобы нейросетка нарисовала вам комикс с вашими или малоизвестными ей персонажами.
Если вы следите за этим каналом, то знаете что для Stablediffusion уже есть решение. Можно познакомить нейросеть с персонажем/объектов, показав ей несколько примеров. Инструмент называется Dreambooth.
Самое восхитительное то, что выученную концепцию можно сохранить в библиотеку на huggingface, чем люди и занимаются - библиотека пополняется. Сейчас из интересных мне персонажей там есть, например Хоумлендер.
Итак, если я вас заинтересовал, соберите несколько изображений вашего объекта, вот вам колаб для дообучения stablediffusion (там же можно и погенерить)
А вот колаб для генерации на готовых библиотечных моделях
Если вы следите за этим каналом, то знаете что для Stablediffusion уже есть решение. Можно познакомить нейросеть с персонажем/объектов, показав ей несколько примеров. Инструмент называется Dreambooth.
Самое восхитительное то, что выученную концепцию можно сохранить в библиотеку на huggingface, чем люди и занимаются - библиотека пополняется. Сейчас из интересных мне персонажей там есть, например Хоумлендер.
Итак, если я вас заинтересовал, соберите несколько изображений вашего объекта, вот вам колаб для дообучения stablediffusion (там же можно и погенерить)
А вот колаб для генерации на готовых библиотечных моделях
👍3
А теперь сравним результаты до/после дообучения. Здесь вы видите "Бендера в роли секретного агента" по версии Midjourney и стандартного Stablediffusion
👍1