https://microsoft.github.io/lida/

Automatic Generation of Visualizations and Infographics with LLMs

MiniGPT-v2: Large Language Model as a Unified Interface for Vision-Language Multi-task Learning

https://github.com/Vision-CAIR/MiniGPT-4

Learning Video Representations from Large Language Models

https://facebookresearch.github.io/LaViLa/

https://openaccess.thecvf.com/content/CVPR2023/papers/Zhao_Learning_Video_Representations_From_Large_Language_Models_CVPR_2023_paper.pdf

LLM Augmented Hierarchical Agents https://openreview.net/forum?id=K5MfysX15Q

Ровно месяц назад я писал об анонсе GPT-4V, который сегодня уже доступен всем пользователям. Эта модель умеет распознавать текст, формулы, эмоции, считать объекты и ставить диагнозы по картинке, умеет в в навигацию в реальном мире.

Но, как известно, месяц в ИИ это как год в крипте и как 5 лет в любой другой индустрии. Сегодня давайте поугораем по LLaVA, новой SotA (то есть, самой клёвой) vision модели.

Из новостей:
— модель открытая и бесплатная, включая датасет для тьюнинга
— показывает более крутые результаты по сравнению с GPT-4V
— последняя версия натренирована за 1 день на кластере из 8 A100 (то есть, за $700)
— демо доступно на сайте авторов
— довольно легко тьюнить на своих данных (еще не пробовал)
— звучит как тема для нашего следующего вебинара (кстати, сегодня на mastermind сессии для участников сообщества codex.town мы будем разбирать и изучать лайфхаки для vision моделей!)

#PDF_Summary

Sam Lessin про текущий кризис VC.

Закрытие "фабрики VC” и конец эры единорогов: Традиционная модель создания единорогов через "фабричное фермерство" закончилась. Этот канал больше не работает и вряд ли возобновится, так как публичный рынок теперь ценит органический, без пестицидов и естественный рост.

Сосредоточение на начальном этапе инвестиций: Мультистадийные и даже поздние фирмы входят в сферу начального этапа инвестирования для размещения капитала в отсутствие традиционной фабричной линии. Этот сдвиг обусловлен стремлением построить репутацию и опередить конкурентов, хотя и основан на расширении инноваций, а не на деструктивных технологиях.

Постпандемические культурные изменения: Пандемия привела к фундаментальным культурным изменениям, влияющим на стартапы. Экономическая непредсказуемость, переосмысление личных приоритетов и поиск независимости и безопасности меняют направление движения талантов и их цели.

Приоритет финансовой гибкости в инвестициях: В современных условиях VC крайне важно придавать приоритет финансовой гибкости для инвестиций и как фонд. Компаниям и фондам необходимо сосредоточиться на создании устойчивых бизнесов с начальным капиталом и позиционировать себя так, чтобы использовать возможности при совмещении раундов финансирования. Ждать публичного размещения компании или её приобретения больше не является ответственным подходом, и фирмы должны активно разрабатывать варианты ликвидности.

Эффективность капитала вместо масштабируемости: Инвесторы на начальной стадии должны приоритизировать эффективность капитала вместо масштабируемости инвестиционных возможностей. Они должны сосредоточиться на тех местах, где доллары дефицитны и ценны для компаний, а не только на компаниях, способных увеличить свой спрос на доллары.

Терпение и дисциплина: Основателям, фондам и LP необходимо проявлять терпение и дисциплину в новую эру VC.

https://huggingface.co/NousResearch/Yarn-Mistral-7b-128k

Nous-Yarn-Mistral-7b-128k is a state-of-the-art language model for long context, further pretrained on long context data for 1500 steps using the YaRN extension method. It is an extension of Mistral-7B-v0.1 and supports a 128k token context window.

Yarn Paper v2 on Arxiv: https://arxiv.org/abs/2309.00071

Obsidian-3B:
Worlds smallest multi-modal LLM. First multi-modal model in size 3B
(Worked on iphone!)

This is likely not just a first for Nous but likely the Worlds first 3B sized open-source multi-modal model with vision+text capabilities.

This model is based on the Capybara-3B model, holds robust conversational abilities, and even competes in benchmarks with first-gen SOTA models such as WizardLM-13B and GPT4-X-Vicuna 13B.

It's efficient enough to briskly run on even a non-pro iphone, while demonstrating surprisingly accurate understanding of images and holding back and forth conversations!

Download the direct version of Obsidian here: https://huggingface.co/NousResearch/Obsidian-3B-V0.5

Or download the optimized quantized version by @nisten here: https://huggingface.co/nisten/obsidian-3b-multimodal-q6-gguf

https://llava-vl.github.io/llava-interactive/

LLaVA-Interactive
Image Chat, Segmentation and Generation/Editing -- All-in-one

Новая модель:
— контекст длиннее. 128K токенов (365 страниц обычной книги)
— модель более аккуратна при работе с длинным текстом, не теряет то, что было в серединке
— фича для разрабов: можно заставить модель писать ответы в JSON-формате
— можно вызывать несколько функций за раз
— можно указать seed генерации, чтобы получать воспроизводимость
— скоро добавят logprobs в API
— Retrieval прямо из коробки, можно загружать документы на платформу и они будут подтягиватсья (F стартапам chatWithPDF)
— Теперь модель знает события не до сентября 2021го, а апреля 2023го
— Эта новая модель принимает картинки на вход через API

— DALLE-3 + text-to-speech (6 голосов) сегодня появятся в API
— Для GPT-4 появится файнтюнинг сегодня (но на узкую выборку пользователей)
— Custom Models: программа плотной работыт инженеров OpenAI с вашей компанией, чтобы помочь адаптировать тренировку под ваши проблемы

ЦЕНА НА GPT-4-TURBO (Sam говорит, что эта модель ещё и умнее GPT-4) уменьшена в 3 раза для промпта и в 2 раза для генерации!

Обещают скоро ещё больше ускорить GPT-4 Turbo

https://langfuse.com/
https://github.com/langfuse/langfuse
Open source tracing and analytics for LLM applications

https://huggingface.co/01-ai/Yi-34B-200K

The Yi series models are large language models trained from scratch by developers at 01.AI. The first public release contains two bilingual(English/Chinese) base models with the parameter sizes of 6B(Yi-6B) and 34B(Yi-34B). Both of them are trained with 4K sequence length and can be extended to 32K during inference time. The Yi-6B-200K and Yi-34B-200K are base model with 200K context length.