Всем привет! Сегодня я рад поделиться с вами свежим материалом, который только что появился в моем блоге на Дзен под названием Перевод на разные языки используя модель NLLB.

Данная публикация является моими пометками на полях сделанными в процессе интеграции модели No Language Left Behind (NLLB) в один небольшой проект над которым я работаю последние пару дней. По ходу пьесы накопились заметки и дабы они не ушли в стол решил оформить их в формате эдакой небольшой публикации.

Не забудьте поделиться своими мыслями и впечатлениями в комментариях под публикацией или прямо здесь, в Telegram! Ваша обратная связь вдохновляет меня на создание новых интересных материалов.

Желаю приятного прочтения!

#transformers #gpt #translation

Всем привет! Для одного проекта на langchain потребовалось развернуть базу с векторным поиском и настроить индексацию.

Прототип индексилки сваял под ChromaDB (это такая вариация на тему SQLite), дальше взял попсовый OpenSearch (форк ElasticSearch без Amazондов), но внутренний перфекционист испытывал дискомфорт от мысли о СУБД написанной на Java запущенной в Docker-контейнере.

Поэтому решил попробовать в качестве векторной СУБД проект ManticoreSearch, так как с недавних пор в dev версии стало возможным выполнять kNN-запросы.

Однако, оказалось, что видимо я первый человек, который решил подружить langchain и мантикору, так как соответствующего драйвера не имелось, ну и как не сложно догадаться пришлось его написать самостоятельно.

PS. На данный момент удалось собрать MVP драйвера, но я хочу за выходные довести его до ума и отправить PR в репозиторий langchain.

На этих выходных подготавливал PR в LangChain с правками касающимися векторного хранилища ManticoreSearch, хочется сделать красиво, поэтому ещё пока не публиковал.

Прогресс можно посмотреть в ветке manticore-search-vectorstore у меня в форке langchain.

Помимо непосредственно кода для векторного поиска реализовал юпитер-блокнот в котором можно будет пощупать и посмотреть как мантикора интегрируется в LangChain.

На данный момент видно, что векторный поиск хоть и работает, но ничего при этом не находит, вероятно дело в ранжировании результатов или каком-то баге внутри мантикоры.

Отличное утреннее чтиво на Хабре про разные уровни квантизации моделей в GGUF.

#habr #quantization

Смотрите какой забавный проект основанный на базе mixtral 8x7b, суть его преобразовывать токсичные комментарии в обычные. Не совсем ясно как его заюзать где-то за пределами "поиграться", но идея применения БЯМ в подобном русле интересная.

Кстати странно, что автор использовал gradio, а не langchain и langserve (возможно он забыл, или он не знал), так как половину файлов можно было бы просто не писать.

#github #gpt

Читал сегодня "юмористическую" заметку на тему непростых отношений Илона Маска и текущих руководителей компании OpenAI. Судя по всему между ними разгорелся спор уровня «сам дурак» :) Ещё в твиттере на канале Илон не мало забавных мемов на тему нагенерил.

В общем с каждой такой новостью в которой фигурирует OpenAI я все больше задумываюсь отменить подписку на chatgpt, так как mixtral уже работает локально на уровне gpt 3.5 (для решения моих задач), а для проектов посложнее есть gigachat и yandexgpt или обучить свою.

Поздравляю немногочисленных подписчиц канала с 8 марта!

Хочу пожелать вам силы, мужества и уверенности в себе, чтобы преодолевать любые препятствия на пути к своим целям. Ну и хорошо гульнуть на этих затяжных выходных разумеется :)

ЗЫ. Пришлось порядочно помучить модель DALL-E чтобы она правильно текст сгенерировала.

Приветствую! Сегодня хочу поделиться ссылочкой на мою новую статью под названием "Как подружить OpenWRT и Prometheus?".

В этой публикации вы узнаете, как настроить node_exporter на вашем роутере прошитом под OpenWRT и собирать метрики, которые затем будут выгружаться в Prometheus и красиво визуализироваться в Grafana

Кстати, Grafana и Prometheus у меня работают в Docker контейнерах.

#zen #openwrt #exporter #prometheus #grafana #docker

Решил пройтись с утреца по новостным каналам которые рассказывают про нейросети, помимо традиционных обзоров на научные работы и размышлений на разные темы увидел на канале @grokaem_seby одну крайне примечательную новость о том, что Илья Гусев (автор проекта Saiga) начал вести свой авторский телеграм-канал.

MoAI = MoE + multimodal

Вчера под вечер задался мыслью, а существуют ли модели которые одновременно и Mixture of Experts (MoE, по типу Mixtral 8x7B) и мультимодальностью обладают (как Qwen-VL)?

После непродолжительного гуглежа оказалась, что всего неделю назад была опубликована работа "MoAI: Mixture of All Intelligence for Large Language and Vision Models" (arXiv:2403.07508), которая как-раз об одной такой модели и повествует.

Пошёл копать дальше и нашёл веса данной модели (BK-Lee/MoAI-7B), а также соответствующий репозиторий на GitHub (ByungKwanLee/MoAI).

Пока пытался модель запустить локально посмотрел как она реализована, если кратко то это гирлянда из нескольких моделей и OCR, для работы потребуется CUDA 11.7, а ещё GCC не выше 11, вот кстати может пригодится:

sudo update-alternatives --config cuda
python3.9 -m venv venv
. venv/bin/activate
export CC=gcc-11 CXX=g++-11
pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu117
pip install natten==0.15.1+torch200cu118 -f https://shi-labs.com/natten/wheels
pip install -r assets/requirements/requirements.txt
pip install -r assets/requirements/requirements_custom.txt
pip install wheel
pip install flash-attn --no-build-isolation

Мне удалось всё развернуть, но застрял на этапе запуска демки, так как данный проект использует кастомную модель для сегментации изображений, доступ к которой автор репозтория забыл расшарить для всех, в общем я создал в репозитории проекта issue на эту тему (и как оказалось, автор уже это дело исправил).

PS. Маскотом проекта является одноимённый истукан моаи с острова Пасхи 🗿 так что с эмодзи тоже возиться не пришлось, всё уже придумано.

Отправил в репозиторий LangChain свой первый Pull Request, в нём я реализовал поддержку векторного поиска средствами движка ManticoreSearch Engine.

Ещё много чего нужно сделать, вот как-раз на выходных буду заниматься, плюс похоже функционал knn в самой мантикоре ещё не работает как надо, но нужно же с чего-то начинать :)

UPD. Отправил в канал ManticoreSearch Engine сообщение о том как воспроизвести проблему векторного поиска с которой я столкнулся.

Всем привет! 11го марта Илон Маск опубликовал сообщение о том, что веса модели Grok-1 станут доступны публично спустя неделю, неделя прошла, Илон сдержал обещание и на странице проекта Grok было опубликовано сообщение гласящее что "веса в описании профиля", там вот эта ссылка висит.

Если перейти по ней, то можно увидеть техническое описание модели, папку grok-1, содержащую 773 файла, общим весом примерно 320Гб, там же будет ссылки на Torrent-файл и Magnet-ссылку для скачивания.

magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce

Самое примечательное в описании:

- Grok-1 is a 314B parameter Mixture of Experts model - Модель имеет 314B параметров и основана на базе архитектуры MoE;
- Base model (not finetuned) - А это значит, что указанная модель скорее всего простой storywriter, не умеющий выполнять полезную работу и её надо обучать выполнять инструкции (либо few-shots как-то примешивать);
- 8 experts (2 active) - Модель представляет из себя 8x MoE, по аналогии с Mixtral 8x7b;
- 86B active parameters - Если 2 эксперта это 86B параметров, то получается, что каждый эксперт это 43B, следовательно grok-1 это 8x43b MoE;

Для запуска модели потребуются скрипты вот отсюда https://github.com/xai-org/grok-1

Посмотрел исходники класса модели, то с какой лёгкостью jax описывает модель очень впечатляет, надо будет найти время поиграться с данной библиотекой и если я правильно понял то из коробки модель поддерживает возможность запуска в квантизированном до 8 бит виде.

По моим прикидкам для запуска модели понадобится чуть меньше 100Гб VRAM в 8bit режиме (2x43B=86B где 1 параметр равен 1 байту, плюс затраты на инференс и токенизатор), а это значит, что когда умельцы смогут запустить модель и в 4bit режиме надо будет в два раза меньше памяти.

Полагаю в течении этой недели появится ещё и GGUF версия, так что можно будет даже на обычном компе запустить, вот тогда и посмотрим что это за зверь такой.

Всем привет! Прошлым вечером мне окончательно надоело пролистывать на Хабре десятки маркетинговых публикаций сгенеренных нейросетью дабы найти что-то на темы которые меня действительно интересуют, а именно публикации из хабов "Машинное обучение" и "Искусственный интеллект".

Вспомнил, что некоторое время назад я сделал проект простого как топор бота для Telegram, который умеет забирать данные из RSS-фида и репостить это дело на канал в телеге, чуть его допилил, добавил генератор хеш-тегов из названий категорий и собрал всё в контейнер.

Короче встречайте Telegram-канал "Хабр / ML & AI"!

Всем привет! Рад поделиться с вами свежей публикацией "Как подготовить Linux к запуску и обучению нейросетей? (+ Docker)", которая только что появилась в моём блоге на Дзен!

В этой публикации мы окунёмся в увлекательный мир настройки серверов под управлением операционных систем на базе ядра Linux для работы с нейросетями, в частности разберём как правильно установить драйверы Nvidia, как установить CUDA, как настроить Docker и как использовать карточки в Docker-контейнерах.

Желаю приятного прочтения!

#zen #linux #nvidia #docker #ai #python

Хорошая была конференция, к сожалению у меня получилось посетить только первую её половину.

Много заметок сделал себе про то как устроен GigaRAG, про классификатор запросов для правильного роутинга очень впечатлило, послушал про извлечение эмбеддингов из голосовых дорожек, очень понравилась часть про систему оценки русскоязычных моделей MERA.

Ну и пообщался с Сергеем Марковым, задал ему самый главный вопрос который меня интересовал: «когда релиз ruGPT-4?» на что Сергей ответил, что в ближайшие пару месяцев.

PS. Перед уходом выпросил себе сувенирную сумку :)

Сегодня прилетело на почту письмо от проекта Ollama, в нём было сказано, что модели для эмбеддинга теперь официально поддерживаются (подробности).

Есть несколько моделей под эти задачи заточенные, но самые любопытные это:
- mxbai-embed-large - так как у неё больше всего параметров (334M) при этом контекст всего 512 токенов
- nomic-embed-text - имеет всего 137M параметров, но при этом размер контекста 8к токенов и разные dimensions от 64 до 768 элементов
- all-minilm - крохотулька на 23M параметров, обычная sbert модель

Ещё бы в репозиторий модель multilingual-e5-large добавить и было бы совсем хорошо.

Чтобы начать использовать эмбеддинги нужно для начала обновить ollama, затем скачать нужную модель:

ollama pull mxbai-embed-text

После чего можно делать инференс:

curl http://localhost:11434/api/embeddings -d '{
  "model": "nomic-embed-text",
  "prompt": "The sky is blue because of Rayleigh scattering"
}'

Полагаю указанные модели будут плохо работать с русским языком, но вечерком это проверю.