🔺 Мультиязычные MoE эмбеддинги

Nomic выложили модель Embed Text V2 в открытый доступ, можно запускать через sentence_transformers, обещают добавить в ollama.

🔸 Эмбеддинги используются, чтобы перенести тексты в единое векторное пространство, благодаря чему можно количественно посчитать насколько два текста близки по смыслу. В данном случае это можно применить для текстов на разных языках.

🔸 Поддерживается 100+ языков (в табличке, которую прилагают авторы языков 96, но для родственных им языков также будет работать). Обучали на 1.6B пар предложений.

🔸 Архитектура MoE. По-моему, для эмбеддингов такой еще не было. Это значит, что при использовании будет активироваться только часть весов модели, всего 300M параметров, это немного.

🔸 Данные, веса и код выкладывают в открытый доступ, что мы, конечно, приветствуем.

🔸 Эмбеддинги для экономии можно обрезать до 256, так как обучали с подходом Matryoshka.

🔸 Языков России/СНГ не так много, по качеству надо смотреть.

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("nomic-ai/nomic-embed-text-v2-moe", trust_remote_code=True)
sentences = ["Hello!", "Привет!"]
embeddings = model.encode(sentences, prompt_name="passage")

similarity = model.similarity(embeddings[0], embeddings[1])

👉 Пост | GitHub | HF

Ходят слухи, что сегодня зарелизят новый Claude

Он не Opus (старший из линейки) и не 4.0, но уже не Sonnet 3.6 new (Copy 2).

Учитывая, что с момента последнего релиза вышло много крутых моделей, ребята должны подготовить что-то мощное. Верим, ждём.

🔺 Claude 3.7 Sonnet

🔸 Слухи не соврали, давайте пробовать. Пишут, что Клод особенно хорош в написании кода, в веб-разработке в частности.

🔸 Само собой, есть рассуждения, причем в API можно задать максимальный бюджет для "думанья" в токенах, контролируя цену/качество/скорость финального ответа.

🔸 Claude Code. Раннее превью кодового агента, которое обещают развивать в ближайшие недели. "При тестировании ранней версии агент выполнял задачи на 45+ минут ручной работы за один проход", — пишут в анонсе. (Надеюсь, быстрее чем за 45 минут)

🔸 А еще мы знаем, что он хорош в мультиязычности, это тоже посмотрим.

👉 https://www.anthropic.com/news/claude-3-7-sonnet

Claude Code

Попробовал вышедший только что Claude Code (вчера добавили в waitlist, сегодня одобрили) — помощник для программирования.

Друзья, это прикольная вещь.

Как работает?

🔸 Это консольная утилита claude, под виндой нужен WSL. После установки логинимся под своим Anthropic Console аккаунтом.

🔸 Дальше просто переходите в консоли в свой проект и говорите, что нужно сделать. Утилита анализирует структуру проекта, выбирает релевантные файлы, читает их. На этом этапе съедается 30-40 центов. Затем начинает выполнять задачу по этапам.

🔸 Когда какой-то файл нужно обновить, claude выдает сгенерированный diff и запрашивает подтверждение. Можно принять, можно сказать в чем ошибка, можно эти уведомления отключить.

🔸 Кроме того, claude иногда запускает куски сгенерированного кода и грепает файлы (тоже после подтверждения), чтобы проверить, что все на месте и работает.

🔸 Постестировал на своем небольшом проекте ligntrain-aligner (библиотека на питоне) и на веб-приложении (python + vuejs).

Задачи — добавление типового функционала, когда надо поменять ~10-15 файлов по аналогии — сделать SQL табличку, методы get-set для нее, API функции, протащить это все на фронтенд, на фронтенде создать view, чтобы там отображалась информация, полученная с бекенда, настроить маршрутизацию на сайте и т.д.

Муторные задачки, отнимают примерно 30-40 минут времени. Кроме того, в lingtrain попросил добавить новый язык, и правила для разбиения текста на нем на предложения, если пунктуация там не по обычным знакам. Тут уже нужно знать про этот язык и также поменять несколько файлов.

В общем claude такие задачи порешал, тратя на каждую примерно 10 минут с учетом моего чтения, сэкономил мне пару часов времени за 3-4 доллара.

👉 Попробовать тут (на этапе логина станет понятно, открыта регистрация новых учеток или нет). Нужна учетка в Anthropic Console.

🔺Mercury Coder. Диффузионная LLM для кода

Стартап Inception из Пало-Альто решил поставить на диффузионные LLM и начал выкатывать свои модели. Звучит интересно, потому что каких-то внятных рабочих моделей на диффузии пока не было. Здесь же авторы предлагают доступ по API и установку on-prem, то есть некое готовое изолированное решение, чтобы ваш код не утёк.

Первой моделью стал Mercury Coder — кодовая модель, основным преимуществом которой является скорость генерации, в 5-10 раз быстрее ChatGPT или Claude, около 1000 токенов в секунду на H100.

Вспоминается анекдот про секретаршу, но не все так плохо, на бенчмарках результат между gpt-4o-mini и DeepSeek Coder, а в fill-in-the-middle (генерация в промежутках кода) ожидаемо лучше остальных.

Есть публичное демо. Не забудьте включить переключатель Diffusion Effect.

👉 https://chat.inceptionlabs.ai/

🔺 Phi-4-multimodal-instruct

MS выложили мультимодальную (картинки-аудио-текст) модель в открытый доступ.

5.6B параметров, поддерживает русский язык в тексте, в картинках только английский, в аудио — 7 европейских языков + китайский.

Также выложили Phi-4-mini 3.8B. У обеих моделей контекст до 128k токенов.

Основной фишкой моделей такого размера является возможность их встраивания на устройства типа смартфонов, поэтому качественная end-2-end мультимодальность (а не обработка данных несколькими специализированными моделями) такого размера очень в тему.

👉 Пост | HF | Tech. Report | Чат