MiniGPT-v2: Large Language Model as a Unified Interface for Vision-Language Multi-task Learning

https://github.com/Vision-CAIR/MiniGPT-4

Learning Video Representations from Large Language Models

https://facebookresearch.github.io/LaViLa/

https://openaccess.thecvf.com/content/CVPR2023/papers/Zhao_Learning_Video_Representations_From_Large_Language_Models_CVPR_2023_paper.pdf

LLM Augmented Hierarchical Agents https://openreview.net/forum?id=K5MfysX15Q

Ровно месяц назад я писал об анонсе GPT-4V, который сегодня уже доступен всем пользователям. Эта модель умеет распознавать текст, формулы, эмоции, считать объекты и ставить диагнозы по картинке, умеет в в навигацию в реальном мире.

Но, как известно, месяц в ИИ это как год в крипте и как 5 лет в любой другой индустрии. Сегодня давайте поугораем по LLaVA, новой SotA (то есть, самой клёвой) vision модели.

Из новостей:
— модель открытая и бесплатная, включая датасет для тьюнинга
— показывает более крутые результаты по сравнению с GPT-4V
— последняя версия натренирована за 1 день на кластере из 8 A100 (то есть, за $700)
— демо доступно на сайте авторов
— довольно легко тьюнить на своих данных (еще не пробовал)
— звучит как тема для нашего следующего вебинара (кстати, сегодня на mastermind сессии для участников сообщества codex.town мы будем разбирать и изучать лайфхаки для vision моделей!)

#PDF_Summary

Sam Lessin про текущий кризис VC.

Закрытие "фабрики VC” и конец эры единорогов: Традиционная модель создания единорогов через "фабричное фермерство" закончилась. Этот канал больше не работает и вряд ли возобновится, так как публичный рынок теперь ценит органический, без пестицидов и естественный рост.

Сосредоточение на начальном этапе инвестиций: Мультистадийные и даже поздние фирмы входят в сферу начального этапа инвестирования для размещения капитала в отсутствие традиционной фабричной линии. Этот сдвиг обусловлен стремлением построить репутацию и опередить конкурентов, хотя и основан на расширении инноваций, а не на деструктивных технологиях.

Постпандемические культурные изменения: Пандемия привела к фундаментальным культурным изменениям, влияющим на стартапы. Экономическая непредсказуемость, переосмысление личных приоритетов и поиск независимости и безопасности меняют направление движения талантов и их цели.

Приоритет финансовой гибкости в инвестициях: В современных условиях VC крайне важно придавать приоритет финансовой гибкости для инвестиций и как фонд. Компаниям и фондам необходимо сосредоточиться на создании устойчивых бизнесов с начальным капиталом и позиционировать себя так, чтобы использовать возможности при совмещении раундов финансирования. Ждать публичного размещения компании или её приобретения больше не является ответственным подходом, и фирмы должны активно разрабатывать варианты ликвидности.

Эффективность капитала вместо масштабируемости: Инвесторы на начальной стадии должны приоритизировать эффективность капитала вместо масштабируемости инвестиционных возможностей. Они должны сосредоточиться на тех местах, где доллары дефицитны и ценны для компаний, а не только на компаниях, способных увеличить свой спрос на доллары.

Терпение и дисциплина: Основателям, фондам и LP необходимо проявлять терпение и дисциплину в новую эру VC.

https://huggingface.co/NousResearch/Yarn-Mistral-7b-128k

Nous-Yarn-Mistral-7b-128k is a state-of-the-art language model for long context, further pretrained on long context data for 1500 steps using the YaRN extension method. It is an extension of Mistral-7B-v0.1 and supports a 128k token context window.

Yarn Paper v2 on Arxiv: https://arxiv.org/abs/2309.00071

Obsidian-3B:
Worlds smallest multi-modal LLM. First multi-modal model in size 3B
(Worked on iphone!)

This is likely not just a first for Nous but likely the Worlds first 3B sized open-source multi-modal model with vision+text capabilities.

This model is based on the Capybara-3B model, holds robust conversational abilities, and even competes in benchmarks with first-gen SOTA models such as WizardLM-13B and GPT4-X-Vicuna 13B.

It's efficient enough to briskly run on even a non-pro iphone, while demonstrating surprisingly accurate understanding of images and holding back and forth conversations!

Download the direct version of Obsidian here: https://huggingface.co/NousResearch/Obsidian-3B-V0.5

Or download the optimized quantized version by @nisten here: https://huggingface.co/nisten/obsidian-3b-multimodal-q6-gguf

https://llava-vl.github.io/llava-interactive/

LLaVA-Interactive
Image Chat, Segmentation and Generation/Editing -- All-in-one

Новая модель:
— контекст длиннее. 128K токенов (365 страниц обычной книги)
— модель более аккуратна при работе с длинным текстом, не теряет то, что было в серединке
— фича для разрабов: можно заставить модель писать ответы в JSON-формате
— можно вызывать несколько функций за раз
— можно указать seed генерации, чтобы получать воспроизводимость
— скоро добавят logprobs в API
— Retrieval прямо из коробки, можно загружать документы на платформу и они будут подтягиватсья (F стартапам chatWithPDF)
— Теперь модель знает события не до сентября 2021го, а апреля 2023го
— Эта новая модель принимает картинки на вход через API

— DALLE-3 + text-to-speech (6 голосов) сегодня появятся в API
— Для GPT-4 появится файнтюнинг сегодня (но на узкую выборку пользователей)
— Custom Models: программа плотной работыт инженеров OpenAI с вашей компанией, чтобы помочь адаптировать тренировку под ваши проблемы

ЦЕНА НА GPT-4-TURBO (Sam говорит, что эта модель ещё и умнее GPT-4) уменьшена в 3 раза для промпта и в 2 раза для генерации!

Обещают скоро ещё больше ускорить GPT-4 Turbo

https://langfuse.com/
https://github.com/langfuse/langfuse
Open source tracing and analytics for LLM applications

https://huggingface.co/01-ai/Yi-34B-200K

The Yi series models are large language models trained from scratch by developers at 01.AI. The first public release contains two bilingual(English/Chinese) base models with the parameter sizes of 6B(Yi-6B) and 34B(Yi-34B). Both of them are trained with 4K sequence length and can be extended to 32K during inference time. The Yi-6B-200K and Yi-34B-200K are base model with 200K context length.

Бесплатный, очень короткий, но познавательный курс пр промтингу.

Курс "ChatGPT Prompt Engineering for Developers" обучает использованию больших языковых моделей (LLM) через OpenAI API для быстрого создания приложений. Ведущие, Isa Fulford (OpenAI) и Andrew Ng (DeepLearning.AI), раскрывают принципы LLM, делятся лучшими практиками запросов и демонстрируют применение LLM API в разнообразных задачах.

https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/

Lobe Chat - это инновационный чат-клиент с открытым исходным кодом, поддерживающий расширяемость и визуальное распознавание. Он позволяет легко развертывать частные приложения ChatGPT/LLM с помощью одного клика. С изящным дизайном, настраиваемыми ролями агентов, поддержкой плагинов и улучшенной мобильной версией, Lobe Chat обеспечивает удобное и персонализированное взаимодействие.

https://github.com/lobehub/lobe-chat

Bill Gates про будущее ИИ и агентов.

ИИ-агенты радикально изменят использование компьютеров, обеспечивая индивидуальную помощь в различных задачах. Эти агенты будут влиять на многие сферы, включая здравоохранение, образование и развлечения, поднимая важные вопросы о конфиденциальности данных и общественных последствиях.

Полная статья доступна здесь: ИИ собирается полностью изменить то, как вы используете компьютеры