#оффтоп

Авторы Lofi Girl сделали в Fortnite ее комнату.
Пришлось установить этот ваш Fortnite чтобы посмотреть

Код острова: 6437-7858-4061

#lofi

Grounding DINO 1.5

Обновился детектор объектов на изображении, который используют в разных полезных штуках

Гитхаб
Демо

#segmentation #detection

CAT3D: Create Anything in 3D with Multi-View Diffusion Models

Наконец годный (но это неточно) реконструктор 3D по одному или нескольким изображениям. Сначала внутри себя генерит много новых согласованных раскурсов, а потом на основе всего этого строит #nerf. На все про все уходит 1 минута.

Но поскольку это гугл, то код нам не дадут с вероятностью около 100%. Помолимся богам опенсорса

#imageto3D #novelview #rendering

TAPIR: Towards Spatial Intelligence via Point Tracking

Трекинг видимых и перекрытых точек от гугл/deepmind. Конкурент CoTracker и DINO-Tracker. Я уже писал о нем. И о, чудо. Оказывается, код уже доступен. На всякий случай, ну а вдруг вам нужно - там есть модуль в помощь роботизированным манипуляторам

Гитхаб

#tracking #opticalflow

GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

А вот пожалуйста опенсорс. И не не нерфы, а более быстрые и легкие гауссианы. Реконструкция объемного объекта по всего 4 ракурсам. Под капотом гауссианам помогают SAM, zoe-depth, SD, controlnet

Код
Колаб

#imageto3D #novelview #rendering #gaussian

Автодеск купил Wonder Dynamics

новость

#news

Devon: An open-source pair programmer

Еще одна попытка сделать опенсорсный аналог ассистента программиста Devin. Под капотом API OpenAI/Anthropic/Groq - понадобится ключ API. В планах поддержка Ollama llama3-70b + 7b и Google Gemini 1.5 Pro

Гитхаб

#coding #assistant

RTX видео в Firefox

Mozilla Firefox вслед за VLC в последней стабильной версии внедрил технологию NVIDIA RTX Video на Windows.

Это означает улучшение качества видео, воспроизводимого в браузере.
Новинка состоит из двух фич.

RTX Video Super Resolution масштабирует видео с низким разрешением для получения более чистых и четких изображений.

RTX Video HDR улучшает видимость, детализацию и яркость.

Как включить фичу:

- Обновите драйвер GeForce RTX Game Ready до последней версии, драйвер NVIDIA Studio или NVIDIA RTX Enterprise.
- Убедитесь, что функции Windows HDR включены, перейдя в меню Система > Дисплей > HDR.
- Откройте панель управления NVIDIA и перейдите к настройкам видеоизображения > RTX Video Enhancement.
- Включите “Super Resolution” и “High Dynamic Range.”

👍 - обновлю/установлю Firefox
👎 - неинтересно
😐 - эх, где мои винды

#superresolution #upscale #hdr #enhance #news

Итак, Microsoft Build.
- Team Copilot: офигенная штука, судя по видео, такой типа еще один сотрудник, который может вести заметки на встрече, на вопросы отвечать, задачи сам ставить, генерировать ответы и запрашивать дополнительную информацию. MS прям делает "AI-сотрудников" и я бы даже сказал менеджеров )

- Copilot Studio: Такой Robotic Process Automation на максималках! Платформа для создания кастомных копилотов, которые могут процессы автоматизировать, причем вызывая разные приложения, динамически адаптируясь, обращаясь к человеку, если что-то непонятно или не хватает данных. Ну это прям новый уровень вообще! Настроил авто-обработку документов и сидишь пьешь смузи )

- Phi Silica: Локальная маленькая моделька, заточенная на нейропроцессоры новых ноутов Copilot + PC. И можно по API к ней обращаться. Я думаю, что ноуты эти распространятся лет через 5, но пока просто показываем.

- Phi-3-Vision: Новая визуальная хорошая маленькая моделька от MS (4B параметров). Тоже оптимизированная для локального применения. Ну и еще Small и Medium обновили на 7 и 14B.

- Real-time Intelligence в Fabric: Будет теперь искать аномалии и нотификации присылать в реальном времени, если что необычного с вашими данными происходит

- GitHub Copilot Extensions: Можно интегрировать сторонные тулы и тогда AI сможет данные из них подсасывать

- Azure AI Search: Оптимизировали поиск по большим данным, гибридный поиск (и по векторам, и по тексту), так что теперь все быстрее и лучше, и для LLM.

- Azure AI Studio: создавай GenAI проекты с кучей моделек, мониторингом, безопасностью, оркестрацией агентов, файн-тюнингом и все в удобном интерфейсе. Звучит прям как сильный конкурент Vertex AI наконец-то

- Azure OpenAI Services: добавили GPT-4o (обычно с задержкой в пару месяцев появлялось все), файнтюнинг простой, Assistants API

- Cognition + Microsoft: воу-воу, Devin (тот самый AI-разработчик) будет совместно с MS разрабатываться и доступен в Azure.

Ну это прям дофига всего, И для разработчиков, и для бизнес-пользователей действительно полезно.

Видосы:
https://youtu.be/4k2T5sfGIP4
https://youtu.be/5H6_pCUt-mk
https://youtu.be/JI6IQvSLP9M

Krea.ai Video

В Krea.ai теперь можно генерить видео. Закидываем несколько ключевых кадров, добавляем к ним промпты, выбираем стиль и интенсивность движения. Хронометраж до 10 секунд

#image2video

Open Remove Background Model (ormbg)

Полностью опенсорсный удалятор фона, подобный rembg, обученный на изображениях людей

Демо

#image2image #backgroundremoval

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

Что-то похожее на LoRA для LLM, но более лучшее.
Ждем в ComfyUI?

Гитхаб

#finetuning

Gen Dino Runner

В честь Дня динозавров гугл обновил свою браузерную миниигру, теперь вместо динозаврика можно сгенерить своего персонажа и препятствия

#news #gaming