🚀 Devika - Agentic AI Software Engineer 👩‍💻

Devika — бесплатная альтернатива для Devin, автономной нейронки-программиста

Нейросеть может всё то же самое что Devine. Проект поддерживает Claude 3, GPT-4, GPT-3.5, и локальные LLMы, запускающиеся через Ollama.

▪ Github

@machinelearning_ru

⚡️ JailbreakBench: Открытый тест надежности для джейлбрейка больших языковых моделей

Представляет собой тест с таблицей лидеров, набор данных для джейлбрейка и промптов SotA.

proj: https://jailbreakbench.github.io
репозиторий: https://github.com/JailbreakBench/jailbreakbench

@machinelearning_ru

Command R Plus ⚡

> Превосходит claude-3, mistral-large, gpt-4 turbo.
> 104 миллиарда параметров.
> Создан с использованием многоступенчатых инструментов и RAG.
> Поддерживает 10 языков.
> Длина контекста 128 Кб.
> Обучен основательным функциям генерации - цитаты и ответы на основе контекста.
> Оптимизирован для генерации и переписывания кода

> Доступен как в 4-разрядных, так и в 8-разрядных версиях.
> Доступен непосредственно в Transformers, чтобы с ним можно было поиграть. 🤗

https://huggingface.co/CohereForAI/c4ai-command-r-plus

@machinelearning_ru

Apple 3B LLM от Apple превосходит GPT-4 🤯

📌 ReALM значительно улучшает способность разговорных помощников, таких как Siri или Alexa, понимать естественную речь людей. Представьте, что вы просматриваете список ресторанов на своем смартфоне и говорите: "направьте меня к ресторану на улице Ленина" - ReALM сможет понять, о каком ресторане вы говорите, даже если вы не указали точное название.

📌 Это достигается за счет грамотного преобразования визуального оформления того, что находится на вашем экране, в текстовый формат, который может использовать мощная модель искусственного интеллекта, понимающая язык. Это позволяет ReALM понимать неоднозначные вопросы (например, "это", "тот самый", "второй элемент") аналогично тому, как люди интуитивно понимают контекст.

📌 ReALM превзошел предыдущие подходы к решению этой задачи и почти соответствовал модели GPT-4, будучи при этом намного более эффективным, что делает его практичным для использования на смартфонах.

📌 Таким образом, теперь помощники с искусственным интеллектом могут общаться более непринужденно, например, "забронировать столик в итальянском ресторане, который я только что осмотрел", без необходимости утомительно объяснять все по буквам.

https://arxiv.org/abs/2403.20329

@machinelearning_ru

⚡️ The RealHumanEval: Оценка возможностей больших языковых моделей для поддержки программистов

Новый веб-интерфейс для оценки способности Lms помогать программистам с помощью автозаполнения или поддержки в чате ▪репозиторий: https://github.com/clinicalml/realhumaneval
▪abs: https://arxiv.org/abs/2404.02806

@machinelearning_ru

18 апреля, 18:00
MLечный путь 2024

Коллеги из @Selectel проводят свой ежегодный митап MLOps и ML-инженеров, на котором обсуждаю инфраструктуру для ML, разбирают сложности, тренды и инструменты построения production ML-систем.

В этом году особое внимание будет уделено актуальному тренду — LLM. Будут доклады про тренды развития генеративного ИИ, перспективы Feast в качестве Feature store, оптимизацию моделей, обеспечение безопасности LLM и сокращение расходов на их инференс. На митапе выступят эксперты из Selectel, СберМаркета, Dstack, Axenix, MIL Team, Raft AI.

Всех участников оффлайн-митапа в Санкт-Петербурге будет ждать неформальное общение со спикерами и экспертами, стенды с GPU-картами, розыгрыш мерча, знакомства и пицца после окончания докладов. Для тех, кто не сможет присоединиться оффлайн, коллеги подготовили онлайн-трансляцию.

Выбирайте подходящий формат участия и регистрируйтесь на мероприятие: https://slc.tl/fz2ym

Реклама ООО «Селектел» erid 2VtzqxQeAu4

18 апреля, 18:00
MLечный путь 2024

Коллеги из @Selectel проводят свой ежегодный митап MLOps и ML-инженеров, на котором обсуждаю инфраструктуру для ML, разбирают сложности, тренды и инструменты построения production ML-систем.

В этом году особое внимание будет уделено актуальному тренду — LLM. Будут доклады про тренды развития генеративного ИИ, перспективы Feast в качестве Feature store, оптимизацию моделей, обеспечение безопасности LLM и сокращение расходов на их инференс. На митапе выступят эксперты из Selectel, СберМаркета, Dstack, Axenix, MIL Team, Raft AI.

Всех участников оффлайн-митапа в Санкт-Петербурге будет ждать неформальное общение со спикерами и экспертами, стенды с GPU-картами, розыгрыш мерча, знакомства и пицца после окончания докладов. Для тех, кто не сможет присоединиться оффлайн, коллеги подготовили онлайн-трансляцию.

Выбирайте подходящий формат участия и регистрируйтесь на мероприятие: https://slc.tl/fz2ym

Реклама ООО «Селектел» erid 2VtzqxQeAu4

⭐️ DddCode released CVPR '24: "LEGaussians: Language Embedded 3D Gaussians for Open-Vocabulary Scene Understanding"

▪code: https://github.com/buaavrcg/LEGaussians
▪project: https://buaavrcg.github.io/LEGaussians/

@machinelearning_ru

⚡️ Генеративная модель Google Imagen 2 теперь может создавать короткие 4-секундные живые изображения в режиме реального времени с помощью промптов.

Доступен для использования в облачной платформе искусственного интеллекта Google Vertex. → https://cloud.google.com/blog/products/ai-machine-learning/google-cloud-gemini-image-2-and-mlops-updates

#GoogleCloudNext в Google

@machinelearning_ru

🎼 MuPT: Предварительно обученный генератор музыки

Предварительно обученные моделеи для генерации музыки, основанные на архитектуре Llama.

проект: https://map-mupt.github.io
abs: https://arxiv.org/abs/2404.06393

@machinelearning_ru

Google представляет Leave No Context Behind: эффективные бесконечные преобразователи контекста с помощью Infini-attention

Модель 1B, которая была доработана до 5 тыс. последовательностей, решает проблему длины в 1 м

https://arxiv.org/abs/2404.07143

@machinelearning_ru

⭐️ Microsoft представили модель Rho-1: Not All Tokens Are What You Need

Главный тезис статьи - "не все токены одинаково важны для обучения языковой модели".

Microsoft выпустили новую языковую модель под названием Rho-1. В отличие от традиционных LMS, которые учатся предсказывать каждый следующий токен в корпусе, Rho-1 использует выборочное языковое моделирование (SLM), при котором используются только "полезные токены", соответствующим желаемому распределению.

Этот подход включает в себя оценку токенов предварительной подготовки с использованием эталонной модели, а затем обучение языковой модели с целенаправленными потерями на токенах с более высокими избыточными потерями.

При постоянном предварительном обучении на 15B OpenWebMath corpus Rho-1 обеспечивает абсолютное повышение точности до 30% при выполнении 9 математических заданий.

После файнтюнинга Rho-1-1B и 7B достигает SOTA результатов в 40,6% и 51,8% на датасете DeepSeekMath всего с 3% токенов предварительной подготовки.

Кроме того, при обучении с использованием 80B Rho-1 достигает среднего улучшения на 6,8% при выполнении 15 различных заданий.


Github: https://github.com/microsoft/rho
Paper: https://arxiv.org/abs/2404.07965

@machinelearning_ru

🔥 Курс Геопространственный анализ данных (бета-версия)

Первый открытый русскоязычный курс по геоаналитике. Материалы курса будут полезны специалистам в области Data Scientist, поскольку позволят решать геопространственные задачи, а также проводить исследования в области Geospatial Data Science.

https://ods.ai/tracks/geoanalytics-course-spring24


@machinelearning_ru