Статья основана на опросе более 1000 крупных компаний об использовании ими искусственного интеллекта и машинного обучения.

67% компаний считают приоритетом внедрение генеративных ИИ моделей типа GPT в 2023 году.

Главные препятствия - настройка моделей под нужды компании, сохранение интеллектуальной собственности, нехватка ресурсов.

58% компаний считают, что у них недостаточно бюджета и персонала для внедрения ИИ.

Большинство планируют использовать готовые модели, а не обучать с нуля.

У многих проблемы с показом ROI от ИИ инвестиций. Более половины понесли крупные убытки.

Но ИИ уже стал критически важен в маркетинге, продажах, продуктах. Ожидается дальнейший рост использования.

Компании остаются оптимистичны и ожидают, что ИИ принесёт больше выручки и сократит затраты.

Происходит индустриализация ИИ - переход от исследований к реальным бизнес-приложениям.

https://ai-infrastructure.org/enterprise-generative-ai-adoption-report-aug-2023/

https://github.com/dgarnitz/vectorflow

VectorFlow - это высокопроизводительный конвейер для встраивания векторов, который принимает исходные данные, преобразует их в векторы и записывает в выбранную вами векторную базу данных​ (milvus, weaviatte)

Разговор с картинками в ChatGPT

OpenAI начали раскатывать обещанную фичу для подписчиков ChatGPT Plus. Посмотрел примеры, бот справляется неплохо даже на русском — анализирует графики, проверяет технику бега, генерит фронтенд-код по скриншоту, объясняет мемы.

Пока ждём API, можно попробовать опенсорсного конкурента — LLaVa v1.5, по отзывам тоже работает хорошо.

​На каждой крупной конференции выбираются несколько лучших статей и им вручают "призы". Обычно это статьи, которые перевернули область с ног на глову, либо те, что имеют потенциал очень сильно повлиять на ход исследований. Еще отдельно выделяют лучшую статью, где первый автор - студет (включая аспирантов). #конфа

В этом году на ICCV 2023 победили следующие работы.

1️⃣ Лучшие статьи:
- ControlNet [Stanford]
- Passive Ultra-Wideband Single-Photon Imaging [UoT]

2️⃣ Почетное упоминание - Segment Anything (SAM) [Meta AI]

3️⃣ Лучшая студенческая статья - Tracking Everything Everywhere All At Once [Cornell + Berkeley + Goolge]

---

В разные года выбор лучших статей у меня вызывал сомнения, но ControlNet, хоть и технически простой, это действительно заслужил. От появляния на arxiv в феврале, до публикации на ICCV работа успела набрать 24k звезд на гитхабе, >300 цитирований, и используется в сотнях пет-проектах с SD.

SAM - тут просто без коментариев, работа супер влиятельная.

Tracking Everything - Универсальный трекер. Тоже крутая работа, по духу да и по названию похожа на Segment Anything.

Про Single-Photon Imaging ничего сказать не могу, не моя тема совсем. Разве что, коммиссия любит выбирать что-то неортодоксальное, но потенциально с большим импактом.

@ai_newz

The library "stable-audio-tools" by Stability-AI on GitHub is designed for generative models focusing on conditional audio generation.

https://github.com/Stability-AI/stable-audio-tools

Ragas — это платформа, котороая помогает вам оценить ваш пайплайн с RAG.

https://github.com/explodinggradients/ragas

MemGPT — дорога LLM к операционным системам

На днях вышла работа MemGPT — метод расширения контекстных окон LLM. Он учит языковые модели «виртуальной памяти», подобно тому как ОС управляют своей оперативной памятью.

Способ позволяет создавать вечных чат-ботов и Q&A для больших документов. А в потенциале открывает дорогу к AI OS. Можно запустить и локально, подробные инструкции есть на Гитхабе.

AutoGen.

LLM-модели, такие как GPT-3 и GPT-4, становятся ключевыми строительными блоками для разработки мощных агентов, способных мыслить, использовать инструменты и адаптироваться. Учитывая расширяющиеся возможности LLM и увеличивающуюся сложность задач, использование нескольких сотрудничающих агентов является естественным подходом для расширения возможностей агентов. Предыдущие исследования также указывают на то, что мультиагентные системы могут способствовать разнонаправленному мышлению, улучшать рассуждения и обеспечивать валидацию.



https://github.com/microsoft/autogen

https://arxiv.org/abs/2308.08155

Нвидия выпускает TensorRT-LLM для Windows - опенсорсную библиотеку, которая ускоряет выполнение(инференс) для всех популярных LLM, таких как Llama 2 и Code Llama. В четыре(!) раза.
Более того, уже есть расширение для Автоматик1111, которое призвано ускорить генерацию картинок на Windows. В два раза(!).

На фоне новостей про то, что OpenAI будет делать свои чипы, Нвидии нужно предпринимать какие-то действия, чтобы сильнее привязывать пользователей к своим железкам, и что важно, программным решениям.

А на фронте LLM ее ждем конкуренция с llama.cpp, которая творит чудеса на маках.

Конкуренция в действии, и это прекрасно.

Тут подробности:
https://blogs.nvidia.com/blog/2023/10/17/tensorrt-llm-windows-stable-diffusion-rtx/

Тут расширение для автоматика:
https://github.com/NVIDIA/Stable-Diffusion-WebUI-TensorRT
Supports Stable Diffusion 1.5 and 2.1. Native SDXL support coming in a future release.
И только квадратные разрешения.

Концепция LLM OS, чтобы эффективно управлять контекстным окном и обрабатывать внешние события.

Структурой операционных систем (ОС) вдохновились исследователи из Бёркли и представили MemGPT фреймворк.
Ввели:
- main context (фактическое контекстное окно, аналог RAM в компьютере) который ещё делится на system instructions (описывает функции доступные LLM), conversational context (содержит переписку между агентом и пользователем), и working context (куда пишет агент).
- external context (откуда можно доставать новую информацию, аналог дисковой памяти), с которым LLM взаимодествует вызовом системных функций, для загрузки данных в main context.
- events (события, которые могут происходить и без вмешательства пользователя, которые обрабатывает LLM).

А сама LLM в данном случае работает как процессор.

Авторы отмечают, что этот подход работает только с GPT-4 (на текущий момент).

MemGPT: Towards LLMs as Operating Systems
https://arxiv.org/abs/2310.08560
https://memgpt.ai/
https://github.com/cpacker/MemGPT

Любители мишек ликуют? Вышел Pandas 2.0 с pyarrow обёрткой.

С pyarrow говорят быстрее, чем без.

А что предпочитаешь ты для EDA и DataProcessing?

Голосуем:

🐼 - пандас
🤖- vaex/polaris
🙈- чистый python

Пишем в комментариях)

Немного подробностей.

https://telegra.ph/Pandas-200--gejmchejndzher-v-rabote-data-sajentistov-10-19


З. Ы. У меня в целом 🤖🙊🐼 в зависимости от ситуации

https://github.com/SuperDuperDB/superduperdb

Easily implement AI without the need to copy and move your data to complex MLOps pipelines and specialized vector databases. Integrate, train, and manage your AI models and APIs directly with your chosen database, using a simple Python interface.

https://microsoft.github.io/lida/

Automatic Generation of Visualizations and Infographics with LLMs

MiniGPT-v2: Large Language Model as a Unified Interface for Vision-Language Multi-task Learning

https://github.com/Vision-CAIR/MiniGPT-4