Смотрите что я вам принес

ORCa: Glossy Objects as Radiance-Field Cameras

Новая система компьютерного зрения превращает любой блестящий объект в своего рода камеру, позволяя наблюдателю заглядывать за углы или за препятствия.

Видео, к сожалению не нашел. Но вот по картинке должно быть понятно. Нейронка достраивает изображение по отражениям в глянцевых объектах.

Ни кода, ни демо, зато как интересно узнать о новом виде магии!

Anthropic увеличили контекстное окно своего чатбота Claude с 9000 до 100 000 токенов, что втрое больше нынешних 32 000 токенов у GPT-4. 100 000 токенов это примерно 75 000 слов на английском языке.

Авторы загрузили в Клода всю книгу Великий Гэтсби, 72 000 токенов. Он переварил ее всего за минуту. В тексте изменили одну строчку и дали Клоду задание найти различие, с чем он справился за 22 секунды

Да, в Claude можно загружать документы и целые проекты кода. Судя по статье, Anthropic делают ставку на бизнесы которым нужно обрабатывать уйму информации.

Признавайтесь, кому из вас уже дали доступ к Claude? Как впечатления?

#llm #chatbot #nlp

Relightify: Relightable 3D Faces from a Single Image via Diffusion Models

Высококачественная реконструкция 3D-модели лица по одному изображению, с релайтингом

Кода нет, демо нет

#facialanimation #relighting #talkinghead #imageto3D #3Davatar #image2avatar

ЕС подготовили первый в мире закон о регулировании ИИ.

➥ИИ разделят на 4 категории, от безопасных до «неприемлимо опасных».
➥Вводится полный запрет на распознавание лиц в общественных местах с помощью ИИ (привет, Китай). Даже для полиции. Исключения – поиск потерявшихся детей, преступников и террористов.
➥Также запретят создание баз данных фото из социальных сетей.
➥Запретят распознавание эмоций с помощью ИИ, даже для полиции.
➥Запретят предиктивную аналитику для раскрытия преступлений (привет, «Особое мнение»).
➥Введут обязательно маркирование произведений ИИ, чтобы отличить их от человеческих. Такую функцию анонсировал Google в недавней презентации.
➥ИИ, специализирующиеся на здравоохранении, беспилотных авто, юриспруденции, образовании и трудоустройстве относятся к рискованным и и будут тщательно регулироваться.
➥Часть ИИ, например выставляющие социальный рейтинг (привет, Китай), окажутся под запретом.

Закон планируют принять до конца 2023 года.

3D с DeepFloyd-IF выглядит неплохо, модель справилась с рендерингом и генерацией текста на кепке 👀

если вдруг кому-то интересно потыкать, то вот [GitHub с реализацией IF и 3D]

+ в комменты закинул еще несколько 3D анимаций

@shonenkovAI

Наконец-то к параметрической голове приделали шею. Теперь по фотографии можно зафитить 3D голову на шее, а не без нее, как было раньше.

Тема крутая, потому что с такой моделью можно более реалистично анимировать говорящие головы. Авторы собрали огромный датасет сканов, чтобы обучить параметрическую модель.

❱❱ Статья: HACK: Learning a Parametric Head and Neck Model for High-fidelity Animation
❱❱ Код

Если хотите узнать больше про 3D Human Modeling, то вот тут я делал подборку материалов и лекций.

@ai_newz

dream3d.com
текст-в-3D на основе Shap-E и диффузии

вписывайтесь в бету, пройдите по ссылке в дискорд, ответьте там боту на пару вопросов. Все, можно вернуться на сайт и поэкспериментировать

#textto3D

Всплыл брейкдаун рекламного ролика Кока-Колы "Masterpiece"

из соседнего чата

SoundStorm:Efficient Parallel Audio Generation

В полку генераторов речи прибыло. Гугл наколдовал ооочень крутой #text2speech. Крутой не только качеством речи, но и скоростью. 30 секунд речи генерится за полсекунды на TPU-v4. На вход можно подать не только текст, можно подать кусочек диалога, и он его продолжит.

Кода нет, демо нет.

#tts

Яндекс интегрировал в Алису свой аналог ChatGPT — YandexGPT.

Что умеет: пишет тексты, предлагает разные идеи, составляет сценарии для выпускного, придумывает планы путешествий.

YandexGPT пока только тестируется, но уже можно поиграть с ней в приложении Яндекса, Браузере, Станциях и умных телевизорах с Алисой.
Достаточно сказать «Алиса, давай придумаем!».  В компании подчеркнули, что технология пока ещё сыровата, например, ИИ не понимает контекст и может «выдумывать небылицы». Однако постепенно новая разработка будет совершенствоваться, отметили в «Яндексе» 

Опробуете - поделитесь впечатлениями.

Отличия от DreamStudio:

- удалили брендинг, специфичный для DreamStudio.

- Все вызовы API "по проводам" (что бы это ни значило) заменили системой плагинов, которая позволяет легко заменить серверную часть.

- В релизе только плагин для Stability API, но, немного поработав с TypeScript, вы сможете создать свой собственный.

- удалили функции учетной записи, связанные со Stability, такие как выставление счетов, управление ключами API и т.д.

Make-A-Protagonist:Generic Video Editing with An Ensemble of Experts

Редактирование видео по текстовому промту и референсному изображению. Похоже, модель обучена находить на видео главное действующее лицо/объект

Код
Демо обещают позже

#video2video

Universal Source Separation (USS) with Weakly labelled Data

Фарш возможно прокрутить назад!
Вы наверняка знаете что нейросетки умеют выделять из микса вокал, и даже отдельные инструменты. Но это новый уровень. Эта штука способна различать сотни классов звука

Код

#audioseparation #audio2audio #unmix