Пришла мысль сделать простого бота (без запросов к LLM), который бы отвечал мудрыми афоризмами на твои вопросы. Типа такого:

— Как вкатиться в ML?

— Любую истину понять легко, если ее уже открыли; главное как раз в том, чтобы ее открыть.

Галилео Галилей

Пока подготовил сет из афоризмов и подумал, что можно заранее объяснить их большой моделью (как на картинке) и погенерировать к ним вопросы. Затем для вопроса пользователя искать ближайший по смыслу сгенерированный вопрос и выходить так на исходный афоризм. Может еще какие-то идеи есть?

🔺 Малый принц

Выложил параллельный корпус на малых языках на основе «Маленького принца».

📚 Балкарский, дигорский, коми, марийский и горномарийский, мокшанский и эрзянский, башкирский и татарский, чувашский, якутский и русский языки.

{'ru': '– А для чего быть богатым?',
 'ba': '— Ә ни өсөн бай булырға?',
 'cv': '— Мӗн тума кирлӗ сана пуянлӑх?',
 'di': '— Ӕма дин гъӕздугдзийнадӕ ба ци пайда ӕй?',
 'krc': '– Байлыкъ неге керекди?',
 'kv': '— А мыйла колӧ лоны озырӧн?',
 'mdf': '– А мезенди эряви улемс козякс?',
 'mrh': '— А молан поян лийнет?',
 'mrj': '— А малын тӹлӓт паян лиӓш?',
 'myv': '– Мезекс эряви улемс сюпавокс?',
 'sah': '– Ол тоҕо баай буола сатыыгыный?',
 'tt': '— Ә бай булу нигә кирәк?'}

👉 HuggingFace | Книга-трансформер

Удалил из подписчиков 300 Евгенов и полсотни Нуриков (!).

Уважаемые спамеры, верните генеративных ботов с красивыми аватарками, они поинтересней были.

Недавно у стартапа Mistral появилась доступная по API модель mistral-medium. И на лидерборде чат-арены она аж вторая после GPT-4, т.е. выше Claude и Gemini.

По деталям пока не понятно, пишут, что это внутренний прототип. Также есть модели small и tiny.

Потыкал в medium, на английском отвечает вообще отлично, на русском тоже порадовала. Изредка сбивается в грамматике и ставит английские слова, но по смыслу прям очень круто. По цене что-то около рубля за 1000 токенов.

Для тех кто кочет попробовать, вот API ключ ( ————— убрал —————).

Выставил там месячный лимит на пару евро, надеюсь, что он у них правильно работает)

UPD. Ключ убрал, нагенерили 525k токенов за 2.18 евро.

UPD 2. Limit не сработал (!) :)

Медведь в кадр не попал.

В последнее время вспомнил старое и прочитал/перечитал пару НФ книг — «Неукротимую планету» Гаррисона, «Астровитянку» Горькавого, «Спектр» Лукьяненко, рассказы Лема и Шекли. Посоветуйте, что-нибудь ещё, можно не фантастику. И поделитесь, что читаете сами, это интересно.

👉 Upd. Книги по популярной лингвистике

📚 Что советуют подписчики

🔸 Sci-fi & Fantasy

• «Диктатор» Сергея Снегова ✔️
• «Разбитая сфера» Роджера Аллена
• «Софт. Тело» Руди Рюкера
• «Контракт на Фараоне» Рэя Олдриджа
• «Основание» Айзека Азимова ✔️
• «Убик» Филиппа Дика
• «Ложная слепота» и «Морские звезды» Питера Уоттса ✔️
• «Поселок» Кира Булычева
• «Схизматрица» Брюса Стерлинга
• «Задача трёх тел» Лю Ци Синя ✔️
• «Лунная радуга» Сергея Павлова
• «Алмазный век» Нила Стивенсона
• «Час Быка» Ивана Ефремова ✔️
• «Соглашение» Сергея Лукьяненко
• «Мы — Легион. Мы — Боб» Денниса Тейлора ✔️
• «Axiom's End» Линдси Эллис
• «Криптономикон» Нила Стивенсона
• «Я, Хобо: Времена смерти» Сергея Жарковского
• «Создатель звезд» Олаф Степлдон
• «Конец радуг» и «Пламя над бездной» Вернора Винджа
• «Бесконечная война» Джо Холдемана
• «Хроника убийцы короля» Патрика Ротфусса
• «Дети Времени» Адриана Чайковского
• Проект «Аве Мария» Энди Вейера ✔️
• «Свидание с Рамой» Артура Кларка ✔️
• «ГПиМРМ» Элиезера Юдковского ✔️
• «Дюна» Френка Герберта
• «Гиперион» Дэна Симмонса ✔️
• «Заводная» Паоло Бачигалупи
• «Игрок» Иена Бэнкса


Стругацкие, Лем, Лавкрафт, Аберкромби, Бредбери

🔸 Non-fiction

• «К северу от 38 параллели» Андрея Ланькова
• «Why Nations Fail: The Origins of Power, Prosperity, and Poverty» Daron Acemoglu and James A. Robinson
• «История западной философии» Рассела
• «Все лгут. Поисковики, Big Data и Интернет знают о вас все» Сета Стивенса-Давидовица
• «Не навреди» Генри Марша
• «Потерянный и возвращенный мир». А. Р. Лурия

🔸 Fiction

• «Путешествие в Элефсин» Пелевина
• «Между двух стульев» Евгения Клюева

🔺 InstantID. Клонируем себя (и друзей) по одному фото.

Около года назад писал про DreamBooth, способе дообучения модели на своих фотографиях, чтобы генерировать новые. Тогда нужно было собрать 15-20 фоток и обучить это дело в Colab'е.

Сейчас потестировал новый подход от исследователей из Пекинского университета. Прелесть здесь в том, что дообучать существующую text2image модель типа SD вовсе не нужно, а информация о входном фото подается через небольшой адаптер, который авторы назвали IdentityNet.

Таким образом, мы получаем zero-shot генерацию, то есть на вход нужно подать одну фотографию и текстовый промпт. Пришлось повозиться с параметрами (вот тут есть советы для демо), но в итоге получилось. Фото подавать лучше большого размера.

Кроме того, подход позволяет генерировать несколько разных людей на общей картинке в заданных позах. Код для такого обещают тоже скоро выложить.

Было круто сделать такое для Kandinsky (а, может быть, коллеги уже занимаются).

P.S. SD явно училась на красивых людях, даже древнеримские бездомные у нее получаются какие-то довольные. Попробуйте сами, демо довольно быстро работает.

P.P.S. Вот здесь есть шаблоны для промптов разных стилей. Их же можно использовать как плагин, если генерите локально в каком-нибудь AUTOMATIC1111.

👉 Статья | HF | Демо

Новости про то, что вышла очередная нейросеть и как она стала еще лучше, звучат уже довольно буднично и это, наверное, хорошо. Уверен, что скоро мы и вовсе перестанем такому удивляться и будем просто пользоваться ими, сами не замечая этого.

Думаю, что буду больше писать про их практическое применение и делать больше обучающих примеров на эту тему.

Сейчас же хочу поделиться новостями про наш GigaChat. Выпустили с коллегами обновление, в котором увеличились и размер контекста и качество генерации. В 7B модели (которая в API называется GigaChat-Plus) это 32k токенов и 8k токенов у большой модели GigaChat-Pro.

Рассказали об этом в статье. Название у неё довольно претенциозное, но на MMLU Pro модель показала 68,9, так что она действительно неплоха. Попробуйте сами, а за подробностями приглашаю прочитать нашу заметку на Хабре.

👉 Хабр

🔺 Nomic Embed

В открытый доступ выложили encoder модель, которая обходит на MTEB аналогичные модели для получения эмбеддингов (векторных представлений текста), включая Ada-002 от OpenAI. Такие модели можно использовать, например, для семантического поиска или кластеризации ваших данных. Язык у модели английский, но интересно не это.

Помимо весов, авторы решили выложить воспроизводимый пайплайн обучения плюс данные (на картинке можно видеть их структуру), на которых модель обучалась (!). Контекст модели 8k токенов. Все под открытой лицензией Apache-2.

👉 HF | Репорт | Доступ к данным

🔺 Gemini Advanced, он же Ultra

Google зарелизил свою самую сильную модель, «убийцу» GPT-4. Bard, соответственно, тоже переименован в Gemini.

🔸 Доступна по подписке за $20 долларов с триалом на 2 месяца (нужен VPN и иностранная карта). Я, конечно, подписался, интересно же.

Поигрался с ней и пока не нашел очевидных преимуществ. В паре примеров на русские пословицы ответила лучше GPT-4, но в целом пока плюс-минус также.

🔸 Из неочевидных вещей, у модели есть доступ к YouTube, Google Maps и другим местным сервисам. Можно расширить доступ до Gmail, Google Drive и Google Docs, тогда она сможет копаться у вас в ящике, суммаризовывать письма и вообще использовать все ваши документы для своих генераций.

🔸 Картинки генерирует так себе, хотя промпты для них пишет качественные, в том числе и на русском языке. Если такой промпт передать в DALL-E, то получается очень прикольно. Часто отказывается генерировать, на запрос "paint ..." или "draw ..." может вместо картинки нагенерировать полотно текста, в примерах пишут, что надо писать "generate an image ...".

👉 Пишите, что еще потестировать.

—

Сочини стихотворение о кибэротике! Пусть там будет не больше шести строк, а в них о любви и измене, о музыке, о неграх, о высшем обществе, о несчастье, о кровосмесительстве – в рифму и чтобы все слова были только на букву "К"!

>
Киборг коварно кинул клятву,
Клюнув клюкву, клянясь кляксами.
Камерный концерт, крах клавесина,
Кровосмешение, крики, кулаки.
Кризис карьеры, крах короны,
Кибернетический кошмар конца.

—

Смех его — веселый звон,
Словно радостный птенцон.

Gemini Advanced с утра устойчиво выдает интересные ответы на "привет". Подкидывает информацию о пользователе (мой VPN, пробовал несколько) и времени, причем минуты все время правильные. Странно только, что подкидывает в свой ответ, а не в системный.

🔺 Инструменты для помощи малым языкам

Написал небольшую статью на Хабр про текущие проекты, связанные с языками. Про дообучение LaBSE, про автоматическое извлечение параллельного корпуса этой моделью, про параллельные книги, проект Lingtrain и новый проект SuperMinor, который скоро запущу.

🔸 Весь код тоже выложил. Просьба поддержать статью, кому интересно.

👉 Хабр

🔺 Gemma — Llama от Google

Открытая модель от большой компании. Два размера — 2B и 7B параметров, есть претрейн и инструктивная версия. Обучались модели на 2-х (2B) и на 6-ти (7B) триллионах токенов (это много).

〰️ Токенизация

Словарь в токенизаторе на 256k токенов, что опять же, много; слой эмбеддингов занимает около 1B параметров. В отчете пишут, что это подмножество токенов из токенизатора Gemini. Токенизация для других языков должна быть не посимвольная, а более приемлемая из коробки. Прогнал кусок википедии на якутском, получилось ~3 символа на токен.

〰️ Замеры

На графиках старшая модель либо обходит, либо сравнима с Llama 2 13B. Проверяют на QA, Reasoning, Math, Coding задачах.

Также интересно почитать про оценку эффекта меморизации, который можно использовать для извлечения обучающих данных из уже обученной модели. Среди прочего, проверяют насколько модель запомнила персональные данные из обучающих текстов (предварительно классифицируют их своим Cloud DLP сервисом).

〰️ Модель отстой, несите следующую?

Многие пишут, что модель слабенькая. Я, конечно, тоже пошёл посмотреть как она справляется с русским языком. И действительно, при попытке спросить что-нибудь у инструктивной модели на русском она либо переключается на английский, либо смешивает языки, но стабильно генерировать что-то вменяемое у меня не получилось.

С другими европейскими языками получше, хотя на английский модель все равно частенько переключается.

Если заглянуть в отчет, то выяснится, что дообучение модели (SFT и RLHF этапы) происходило исключительно на английских инструкциях.

Про претрейн пишут, что он преимущественно на английском. Если поиграться с ним в режиме продолжения текста с разными параметрами семплирования, то заметно, что русский и другие языки модель видела. А 6T токенов дают шанс на то, что дообучение на инструкциях на русском может показать неплохие результаты.

👉 Tech. report | HF | Демо

#вакансия

Upd. Коллеги, всем отвечу в течение дня.

Upd2. Ребята, всем спасибо за отклики, выбираю на этой неделе из присланных резюме, напишу.

Друзья, появилась возможность подключиться к экспериментам над LLM в нашей скромной команде.

Мы занимаемся исследованиями и обучением языковых моделей, пишем код для этого, готовим данные, делаем GigaChat.

Сейчас речь о команде AGI NLP из департамента RnD, где работаю лично я, но вообще команд у нас несколько. Если вам больше нравится PLP, CV, аудио или вы гуру инференса, то с радостью поделюсь контактами коллег. Возможно, что в их командах тоже есть вакансии.

Если вы занимаетесь NLP, у вас есть непреодолимое желание развиваться в этой области и есть опыт разработки на питоне, то напишите мне.

🔺 Le Chat

Французский стартап Mistral выпустил свою следующую модель Large и заодно веб-интерфейс к ней, в котором можно её потестировать.

Назвали ассистента le Chat, что с французского переводится как «кот», а читается примерно как «лё ша».

Mistral Large, судя по заявленным бенчмаркам, выходит на второе место после GPT-4. Модель доступна по API на официальной платформе, цена высокая — 24$ за 1M генерируемых токенов и 8$ за 1M входящих (вспомнилась реклама мобильных операторов, где «все входящие бесплатно», вот бы тут так).

Модель стала доступна и в Microsoft Azure после новости о заключении партнерства между компаниями.

Модель мультиязычная, вполне можно погенерировать какой-нибудь обучающий контент, если вы изучаете языки, да и в целом поиграться с ней прикольно.

👉 Le Chat | Пост

#митап

⏰ 29 февраля, 15:30

Завтра коллеги выступят с очень интересными докладами на ИИшнице. Подключайтесь к трансляции, сможете позадавать вопросы.

Полное расписание

Upd. 👉 Видео