Концепция LLM OS, чтобы эффективно управлять контекстным окном и обрабатывать внешние события.

Структурой операционных систем (ОС) вдохновились исследователи из Бёркли и представили MemGPT фреймворк.
Ввели:
- main context (фактическое контекстное окно, аналог RAM в компьютере) который ещё делится на system instructions (описывает функции доступные LLM), conversational context (содержит переписку между агентом и пользователем), и working context (куда пишет агент).
- external context (откуда можно доставать новую информацию, аналог дисковой памяти), с которым LLM взаимодествует вызовом системных функций, для загрузки данных в main context.
- events (события, которые могут происходить и без вмешательства пользователя, которые обрабатывает LLM).

А сама LLM в данном случае работает как процессор.

Авторы отмечают, что этот подход работает только с GPT-4 (на текущий момент).

MemGPT: Towards LLMs as Operating Systems
https://arxiv.org/abs/2310.08560
https://memgpt.ai/
https://github.com/cpacker/MemGPT

Любители мишек ликуют? Вышел Pandas 2.0 с pyarrow обёрткой.

С pyarrow говорят быстрее, чем без.

А что предпочитаешь ты для EDA и DataProcessing?

Голосуем:

🐼 - пандас
🤖- vaex/polaris
🙈- чистый python

Пишем в комментариях)

Немного подробностей.

https://telegra.ph/Pandas-200--gejmchejndzher-v-rabote-data-sajentistov-10-19


З. Ы. У меня в целом 🤖🙊🐼 в зависимости от ситуации

https://github.com/SuperDuperDB/superduperdb

Easily implement AI without the need to copy and move your data to complex MLOps pipelines and specialized vector databases. Integrate, train, and manage your AI models and APIs directly with your chosen database, using a simple Python interface.

https://microsoft.github.io/lida/

Automatic Generation of Visualizations and Infographics with LLMs

MiniGPT-v2: Large Language Model as a Unified Interface for Vision-Language Multi-task Learning

https://github.com/Vision-CAIR/MiniGPT-4

Learning Video Representations from Large Language Models

https://facebookresearch.github.io/LaViLa/

https://openaccess.thecvf.com/content/CVPR2023/papers/Zhao_Learning_Video_Representations_From_Large_Language_Models_CVPR_2023_paper.pdf

LLM Augmented Hierarchical Agents https://openreview.net/forum?id=K5MfysX15Q

Ровно месяц назад я писал об анонсе GPT-4V, который сегодня уже доступен всем пользователям. Эта модель умеет распознавать текст, формулы, эмоции, считать объекты и ставить диагнозы по картинке, умеет в в навигацию в реальном мире.

Но, как известно, месяц в ИИ это как год в крипте и как 5 лет в любой другой индустрии. Сегодня давайте поугораем по LLaVA, новой SotA (то есть, самой клёвой) vision модели.

Из новостей:
— модель открытая и бесплатная, включая датасет для тьюнинга
— показывает более крутые результаты по сравнению с GPT-4V
— последняя версия натренирована за 1 день на кластере из 8 A100 (то есть, за $700)
— демо доступно на сайте авторов
— довольно легко тьюнить на своих данных (еще не пробовал)
— звучит как тема для нашего следующего вебинара (кстати, сегодня на mastermind сессии для участников сообщества codex.town мы будем разбирать и изучать лайфхаки для vision моделей!)

#PDF_Summary

Sam Lessin про текущий кризис VC.

Закрытие "фабрики VC” и конец эры единорогов: Традиционная модель создания единорогов через "фабричное фермерство" закончилась. Этот канал больше не работает и вряд ли возобновится, так как публичный рынок теперь ценит органический, без пестицидов и естественный рост.

Сосредоточение на начальном этапе инвестиций: Мультистадийные и даже поздние фирмы входят в сферу начального этапа инвестирования для размещения капитала в отсутствие традиционной фабричной линии. Этот сдвиг обусловлен стремлением построить репутацию и опередить конкурентов, хотя и основан на расширении инноваций, а не на деструктивных технологиях.

Постпандемические культурные изменения: Пандемия привела к фундаментальным культурным изменениям, влияющим на стартапы. Экономическая непредсказуемость, переосмысление личных приоритетов и поиск независимости и безопасности меняют направление движения талантов и их цели.

Приоритет финансовой гибкости в инвестициях: В современных условиях VC крайне важно придавать приоритет финансовой гибкости для инвестиций и как фонд. Компаниям и фондам необходимо сосредоточиться на создании устойчивых бизнесов с начальным капиталом и позиционировать себя так, чтобы использовать возможности при совмещении раундов финансирования. Ждать публичного размещения компании или её приобретения больше не является ответственным подходом, и фирмы должны активно разрабатывать варианты ликвидности.

Эффективность капитала вместо масштабируемости: Инвесторы на начальной стадии должны приоритизировать эффективность капитала вместо масштабируемости инвестиционных возможностей. Они должны сосредоточиться на тех местах, где доллары дефицитны и ценны для компаний, а не только на компаниях, способных увеличить свой спрос на доллары.

Терпение и дисциплина: Основателям, фондам и LP необходимо проявлять терпение и дисциплину в новую эру VC.

https://huggingface.co/NousResearch/Yarn-Mistral-7b-128k

Nous-Yarn-Mistral-7b-128k is a state-of-the-art language model for long context, further pretrained on long context data for 1500 steps using the YaRN extension method. It is an extension of Mistral-7B-v0.1 and supports a 128k token context window.

Yarn Paper v2 on Arxiv: https://arxiv.org/abs/2309.00071

Obsidian-3B:
Worlds smallest multi-modal LLM. First multi-modal model in size 3B
(Worked on iphone!)

This is likely not just a first for Nous but likely the Worlds first 3B sized open-source multi-modal model with vision+text capabilities.

This model is based on the Capybara-3B model, holds robust conversational abilities, and even competes in benchmarks with first-gen SOTA models such as WizardLM-13B and GPT4-X-Vicuna 13B.

It's efficient enough to briskly run on even a non-pro iphone, while demonstrating surprisingly accurate understanding of images and holding back and forth conversations!

Download the direct version of Obsidian here: https://huggingface.co/NousResearch/Obsidian-3B-V0.5

Or download the optimized quantized version by @nisten here: https://huggingface.co/nisten/obsidian-3b-multimodal-q6-gguf