🐱 Новинка в мире генерации изображений: LooseControl!

🔣Метод значительно упрощает процесс генерации изображений с помощью диффузионных моделей. Позволяет задавать сложные сцены (например, интерьеры комнат или городские пейзажи), используя обобщенное условие глубины.

🔣В отличие от ControlNet, текущего лидера в области генерации изображений с учетом глубины, LooseControl не требует детализированных карт глубины.

🔣LooseControl предлагает два новых способа создания сцен:
1️⃣Контроль границ сцены: можно задавать сцены, используя только граничные условия.
2️⃣Контроль 3D-боксов: позволяет указывать расположение объектов, не определяя их точную форму и внешний вид.

🔣И два способа редактирования:
1️⃣Редактирование 3D-боксов: меняйте, добавляйте или удаляйте боксы, сохраняя стиль изображения.
2️⃣Редактирование атрибутов: изменяйте определенные аспекты сцены, например, общую плотность объектов или конкретный объект.

👍
Это решение открывает новые возможности для творчества, поскольку не требует детальной проработки карты глубины дизайнерами и иллюстраторами. Теперь создавать сложные сцены стало проще и доступнее!

Сайт проекта с бОльшим числом примеров.
Демка на huggingface сейчас не работает, видимо, вызвала ажиотаж!
Код. Поскольку код выложили, можно в скором времени ожидать плагин в редакторах на базе StableDiffusion.

Только мы с Миленой успели высказать своё видение о перспективах генеративного контента, как сообщество оживилось в другом направлении. Охотно присоединяюсь к предложению сформировать видение VR\AR на ближайшие 10 лет.

А главный вопрос - это что нас ждет в следующее десятилетие.
Нужно сформировать видение уже сейчас, чтобы понимать куда нам ехать.

Пофантазируем. Варианты будущего VR\AR в ближайшие 10 лет
1. ИИ в шлеме, а затем более носимых устройствах (возможно, костюмах, наушниках, наплечниках и т.д.) гармонично симбиотизируется с человеком. Каждый становится немного Железным Человеком.
2. Шлем не эволюционирует в носимое устройство и используется преимущественно для развлечений. Люди в большинстве своём проводят в шлеме всё свободное время (как сейчас в телефоне). Часть творческой работы также осуществляется в шлеме. В оставшееся время живём как живём.
3. ИИ и VR\AR воплощены в окружающем пространстве в виде пространственных голограмм.
4. Матрица + SkyNet. Пока одни ИИ сосут соки из людей в VR, другие готовят массированный ядерный удар.
5. ИИ признан слишком опасным и запрещён. Останавливается экономический рост, численность населения продолжает сокращаться, наступает стагнация, развлечения VR-ом становятся элитарными.

Теперь о реальном. Перспективы VR\AR в ближайшие пару лет
1. Неотличимые от игроков NPC на основе LLM (например, botify) и генераций (сгенерированные потоковые новости).
2. Автогенерация сценариев (ChatGPT).
3. Автогенерация 3д-сцен (было тут).
4. Оцифровка реального мира алгоритмами 3Д и 4Д реконструкции (например).
5. Перенос фильмов в 4D с заменой лиц (deepfake) и вариацией сюжета (LLM). Слияние жанров фильма и игры.
6. Полнота данных для обучения роботов (благодаря потоку с VR-очков в паре с реакциями людей), появление электроников в каждом доме.

🔣🔣🔣 Напишите, пожалуйста, в комментариях, какой сценарий Вы считаете наиболее вероятным?

Если хотите попробовать Arduino прямо сейчас, можете начать с сайта withdiode.com

Сравниваем с настоящим набором Матрёшка Z
➕ Лёгкий старт
➕ Бесплатно
➕ Наглядность соединения цепей
➕ Встроенный интерпретатор кода для платы Android Uno, не нужно ничего настраивать
➕Указаны напряжения и полюса
➕Можно понять основные принципы работы элементной базы, не читая мануал и не устраивая замыкания

➖ В сравнении с Матрёшкой Z набор элементов, конечно, урезанный. Нет ни buzzer, не дисплея.
➖ Не нужно беспокоиться о полюсности, о длине проводов, поэтому при переходе потом к практике окажется, что навыков не хватает

На сайте уже представлен каталог схем, можно начинать знакомство с любой из них.

Меня немного напугало сообщение об ошибке после компиляции. Почему-то нужно нажать на кнопку Simulate 2 раза. Так происходит всегда.

Лучше один раз увидеть, чем 100 раз услышать 👎📣

А вечер начинался мило...
Я готовила пост про детские книжки, представляете? Раскатала у себя локально нейросеточку, чтобы спокойно поиграться с настройками. Вожделенно предвкушала, как сейчас открою внутренности демки и сделаю из неё что-то более юзабельное для моих нужд, напишу пару строк кода наконец...

Но чёрт меня дёрнул поискать в интернете альтернативы. 👀 А потом погуглить 🔍ещё. В итоге пост совсем другой, а тот, милый, опубликую позже, потому что это слишком важный опыт, от которого меня просто колотит!

И я хочу, чтобы вас тоже ПЛЮЩИЛО! 🔴
➡️➡️➡️
Ребята, мы приехали в конец тоннеля! Мне уже попадались новости про виртуальных телеведущих ▶️, мы помним мемный момент из недавней трансляции по ТВ с двойником Путина, но мне казалось, что эти технологии слишком сложные, не для всех, появятся в проде не скоро.

Но нет, дорогие друзья! Помните, пару месяцев назад волну отечественных мемасиков, переведённых на английский? Они были созданы проектом HeyGen. После этого сайт продолжал обновлять функциональность.
🔄
И сейчас мы имеем вот что:
1️⃣Нужно записать двухминутное видео, на котором говорить и жестикулировать как обычно.
2️⃣Это двухминутное видео превратится в видео на любом языке с любым текстом но с вашим голосом, мимикой, жестами, внешностью и окружением.
3️⃣Текст можно сгенерировать тут же с помощью ChatGPT.

Выводы
➗Одно дело читать о том, что это где-то есть, а другое - пробовать. Я вас призываю попробовать, открыть глаза на произошедшее и примерить к своей жизни и к информации, которую вы получаете\будете получать.

➗Я записала аватара у себя на кухне за полночь, поэтому уж простите за кустарность и внешний вид. Я думаю, что у вас получится сняться намного лучше!

➗Ну и ещё, упомяну один минус сайта - абсолютно ужасный не юзабельный интерфейс редактирования текста. Это даже больший шок для меня, чем то, что я сделала аватара менее чем за час.

🔣🔣🔣
Делитесь мыслями, впечатлениями, аватарами в комментариях 💬

#объясняем
LoRA (Low-Rank Adaptation of Large Language Models) — это метод адаптации тяжёлых моделей (языковых, мультимодальных, генеративных) под решение специфических задач для использования на определённх доменах. Его основная идея в модификации весов существующей предобученной модели с помощью низкоранговых матриц.

В традиционном подходе к дообучению (fine-tuning) больших языковых моделей обновляются все веса модели, что требует значительных вычислительных ресурсов и времени. LoRA же позволяет адаптировать модель, изменяя только небольшое подмножество параметров, что делает процесс более эффективным. Для получения окончательных результатов комбинируются как оригинальные, так и адаптированные веса.
В принципе, LoRA может быть применена к любому подмножеству матриц весов в нейронной сети, но обычно применяется только к блокам внимания (attention).

Преимущества:
➕значительное сокращение количества обучаемых параметров
➕возможность использовать лёгкие портативные LoRA для различных последующих задач, построенных на их основе.
➕производительность LoRA моделей сопоставима с производительностью полного дообучения
➕ время inference не меняется, потому что веса адаптера могут быть объединены с базовой моделью

Примеры практических задач:
➗Специализированные языковые приложения: адаптация для работы с юридическими, медицинскими или техническими текстами.
➗Персонализация ответов: в случаях, когда нужно адаптировать модель для генерации текста, соответствующего определенному стилю или предпочтениям конкретного пользователя.
➗Мультиязычные приложения: адаптация модели для лучшего понимания и генерации текста на менее распространенных языках, для которых может не хватать обучающих данных.
➗Новые знания: в новостных приложениях, где модель должна быстро адаптироваться к текущим событиям и тенденциям.
➗Стилизация в моделях генерации визуального контента: задать определённый стиль или жанр.
➗Решение других задач: семантическая сегментация, классификация изображений.

Объяснениe на hugging face

Wow-wow! Посмотрите, что я нашла!🔝
Прекрасный стартап spiritme.tech, который не просто генерирует аватаров, но работает напрямую с вашей ПРЕЗЕНТАЦИЕЙ!
Достаточно закинуть на сайт файлик, выбрать аватара или создать своего, и получите шикарнейшее видео!

Если вы блоггер или лектор в институте, только представьте, насколько удобнее вам будет готовить интерактивные материалы! 📊📈

На этот раз я использовала прекрасного, харизматичного ведущего, чтобы он представил презентацию, которую для меня автоматически сгенерировал другой сервис на основе ИИ. Таким образом, от меня требовался только промпт к презентации (идея), остальное сделали алгоритмы. Идея презентации шуточная, не удивляйтесь! 🤡

Их аватары:
🔣Реалистичны
🔣Эмоциональны
🔣Могут скопировать вас и ваше поведение
То есть ничем не уступают предыдущему решению, но предлагают совершенно уникальный продукт - генерацию напрямую по презентациям.

SpiritMe поддерживает несколько языков, включая английский, французский, испанский и русский.

Ребята настоящие инноваторы. Они:
- запустили кастомных аватаров ещё в феврале
- первыми сделали эмоциональный движок
- первыми представили решение для презентаций

Пока ещё сайт находится в разработке, и не работает на ОС Linux из-за некоторых системных особенностей. Запускайте на Windows, MacOS в браузерах на базе Chromium.

Умная колонка отрастит ножки

В начале января на выставке покажут LG Smart Home AI Agent - двуногого мини-робота, оснащённого языковой моделью.

🔠По задумке создателей он будет выступать в роли менеджера умного дома - то есть работать как колонка на ножках: синхронизироваться с устройствами, управлять ими, сообщать владельцу о неисправностях.
🔠Мобильность даёт ему дополнительные функции: взаимодействие с животными, патрулирование дома, экономия электричества (отключать ненужные приборы и включать их обратно).
🔠Третье его достоинство - распознавание и учёт человеческих эмоций.
🔠Цена робота пока не известна. Мне кажется, что это прикольное новшество, но не достаточно практичное.

Лично я для дома жду доступную колонку-пылесос с рукой манипулятором, а Вы?