#чтивонаночь по быстрому

есть человек про которого никто не знает, а с ним стоит рисовать иконы - Robin Rombah. Чел соавтор laion, sd1.5, e-diff и много чего еще. ОН БУКВАЛЬНО ГЕНИЙ, У НЕГО ОХУЕННО РАБОТАЕТ ГОЛОВА и это заметно по всему к чему он прикасается. [его scholar]

Ну а стабилити как уважающая себя компания с огромным бюджетом тупо спиздили архитектуру[8] и с таким ебалом😬 обучили модель на фильтрованных данных.

Модель получилась прям крутая, по метрикам даже лучше gen2 от соседнего runwayml, но оригинальную архитектуру почти никак не упоминали, а это печально хоть и выкупили робина

А еще вам для обучения такой модели не нужно ничего учить с нуля - у вас все умеет диффузия, ставишь temporal блоки между слоями(типа временной control net), учишь ТОЛЬКО их, затем доучиваешь VAE предиктить много кадров за раз и дело в шляпе!

Thus, in contrast
to previous works, we draw on simple latent video diffusion baselines [8] for which we fix architecture and training
scheme and assess the effect of data curation. To this end,
we first identify three different video training stages that
we find crucial for good performance: text-to-image pretraining, video pretraining on a large dataset at low resolution, and high-resolution video finetuning on a much smaller
dataset with higher-quality videos

[8]ориг папир
stability fork

🌸Альтернативы OpenAI API🌸
#nlp #про_nlp

Если после последних событий вы задумываетесь о том, не начать ли подбирать запасной вариант помимо chatGPT, GPT-4 от OpenAI, то вот несколько альтернатив.

🟣Anthropic
Пожалуй, основной конкурент сейчас (ключевая команда — выходцы из OpenAI).
Есть 2 версии модели — Claude Instant и Claude 2, преподносятся как аналоги GPT-3.5 и GPT-4 (одна модель быстрее, вторая — умнее)
Языков заявлено много, основные метрики и безопасность — сравнимо высокие.
Из очевидных плюсов:
— цены дешевле OpenAI
— для большого траффика есть инференс через Amazon Bedrock
Из недостатков — все промты придется мигрировать специальным образом, с упором на XML (так устроено структурирование запросов к моделям).
Документация

🟣Cohere
Ассистенты Coral и Command на основе RAG (retrieval-augmented generation) — хорошо решает задачи, связанные с извлечением информации, поиском, чтением документов, меньше галлюцинирует. Есть готовые интенты для продолжения чата, написания текстов, суммаризации, поиска.
Есть готовое API, много документации и готовых юз-кейсов.
Но в основном только английский язык.
Документация

🟣Inflection AI
Основной продукт стартапа — ассистент Pi. Заявленные функции почти такие же как у OpenAI, есть все стандартные ожидаемые функции — персональная поддержка, планирование календаря, креативные задачи, помощь в написании текстов со сложной структурой.
Для получения API надо становиться в waitlist

🟣Stability AI
Stability AI (Stable Diffusion) в основном продает API моделей генерации изображений и апскейлинга, но совсем недавно к семейству их разработок добавились и языковые модели Stable LM.
Самая последняя разработка — модель Stable Beluga с 70 млрд параметров — пока по API напрямую недоступна, ждем ее добавления в линейку доступных по API.

🟣Perplexity AI
Готовый API-сервис для оптимизированного быстрого инференса открытых LLM: Mistral 7B, Llama2 13B, Code Llama 34B, Llama2 70B, replit-code-v1.5-3b
Своей модели среди доступных нет.

🟣Amazon Bedrock (AWS)
Дешево и сердито — подключиться к моделям, уже доступным на AWS. Готовый инференс большого числа моделей, в том числе вышеупомянутых стартапов — а также Llama 2 (Meta), Jurassic (A21 labs), Titan (Amazon research).
Документация