Итак, Microsoft Build.
- Team Copilot: офигенная штука, судя по видео, такой типа еще один сотрудник, который может вести заметки на встрече, на вопросы отвечать, задачи сам ставить, генерировать ответы и запрашивать дополнительную информацию. MS прям делает "AI-сотрудников" и я бы даже сказал менеджеров )

- Copilot Studio: Такой Robotic Process Automation на максималках! Платформа для создания кастомных копилотов, которые могут процессы автоматизировать, причем вызывая разные приложения, динамически адаптируясь, обращаясь к человеку, если что-то непонятно или не хватает данных. Ну это прям новый уровень вообще! Настроил авто-обработку документов и сидишь пьешь смузи )

- Phi Silica: Локальная маленькая моделька, заточенная на нейропроцессоры новых ноутов Copilot + PC. И можно по API к ней обращаться. Я думаю, что ноуты эти распространятся лет через 5, но пока просто показываем.

- Phi-3-Vision: Новая визуальная хорошая маленькая моделька от MS (4B параметров). Тоже оптимизированная для локального применения. Ну и еще Small и Medium обновили на 7 и 14B.

- Real-time Intelligence в Fabric: Будет теперь искать аномалии и нотификации присылать в реальном времени, если что необычного с вашими данными происходит

- GitHub Copilot Extensions: Можно интегрировать сторонные тулы и тогда AI сможет данные из них подсасывать

- Azure AI Search: Оптимизировали поиск по большим данным, гибридный поиск (и по векторам, и по тексту), так что теперь все быстрее и лучше, и для LLM.

- Azure AI Studio: создавай GenAI проекты с кучей моделек, мониторингом, безопасностью, оркестрацией агентов, файн-тюнингом и все в удобном интерфейсе. Звучит прям как сильный конкурент Vertex AI наконец-то

- Azure OpenAI Services: добавили GPT-4o (обычно с задержкой в пару месяцев появлялось все), файнтюнинг простой, Assistants API

- Cognition + Microsoft: воу-воу, Devin (тот самый AI-разработчик) будет совместно с MS разрабатываться и доступен в Azure.

Ну это прям дофига всего, И для разработчиков, и для бизнес-пользователей действительно полезно.

Видосы:
https://youtu.be/4k2T5sfGIP4
https://youtu.be/5H6_pCUt-mk
https://youtu.be/JI6IQvSLP9M

Krea.ai Video

В Krea.ai теперь можно генерить видео. Закидываем несколько ключевых кадров, добавляем к ним промпты, выбираем стиль и интенсивность движения. Хронометраж до 10 секунд

#image2video

Open Remove Background Model (ormbg)

Полностью опенсорсный удалятор фона, подобный rembg, обученный на изображениях людей

Демо

#image2image #backgroundremoval

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

Что-то похожее на LoRA для LLM, но более лучшее.
Ждем в ComfyUI?

Гитхаб

#finetuning

Gen Dino Runner

В честь Дня динозавров гугл обновил свою браузерную миниигру, теперь вместо динозаврика можно сгенерить своего персонажа и препятствия

#news #gaming

На HuggingFace появилась фича Use this model для запуска LLM и Text-2-Image моделей у себя локально через желаемый софт.

В настройках хаггинг аккаунта заходим в раздел Local Apps and Hardware. Можно здесь задать своё железо, но на фильтрацию AI-приложений похоже это не влияет. Я с ноута, где стоит двухгиговая 1050 запустил ламу 3 в Jan, всё ок.

Ставим галочки на софте, который вы используете для того, чтобы гонять модели локально. Для работы с текстом поддерживаются llama.cpp, LM Studio, Jan, Backyard AI. С картинками пока только Draw Things и, скоро, DiffusionBee, но они обе только на мак.

Нажимаем Browse Compatible Models —> выбираем приглянувшуюся нейронку —> кликаем Use this model в правом верхнем углу —> выбираем в каком софте запустить, и через диплинк в нём откроется окно для загрузки модели. Можно и просто исследуя хаггинг открыть понравившуюся нейронку нажав Use this model.

Доступны, в основном, квантизированные GGUF версии, которые можно скачать либо целиком, либо они состоят из нескольких частей и для работы понадобится скачать их все как архив из множества кусков (они обычно подписаны part_N). Чтобы понять какую модель грузить, можно глянуть страницу с описанием на хаггинге, если там про это есть. В противном случае качайте, то что как вам кажется нормально запуститься в памяти вашей видюхи. Как только модель загружена — можно генерить.

Если вы пилите своё приложение для запуска локальных моделей, то нажав Suggest a new local app вы можете предложить добавить его в список.

Face Adapter for Pre-Trained Diffusion Models with Fine-Grained ID and Attribute Control

Очередной адаптер-персонализатор, заточенный на замену лиц. Вроде прикольный

Код
Демо

#personalization #image2image

Опубликован официальный код адаптера материалов ZeST

Ждем в ComfyUI/A1111

Код
Демо

#material #image2image

DeepSeek-VL

Помните ассистент программиста DeepSeek coder?
Так вот, у этой команды разработчиков есть еще несколько моделей, в том числе мультимодальная #VLM DeepSeek-VL/
Она сейчас в тренде на гитхабе.

Понимает диаграммы, веб-страницы, формулы, научную литературу, изображения и т д.

Кроме того, ее можно (я так думаю) запустить локально. Мдель 7B весит 15 Гб. 3B весит 4Гб

Гитхаб
HF
Демо

#chatbot #assistant

ReVideo: Remake a Video with Motion and Content Control

Изменение объектов и траекторий на видео. В коллаборации с Open-Sora-Plan

Код обещают в июне

#video2video