Историческая новость – вышла новая опенсурсная LLM Mistral

– Вышла в трех вариантах: mistral-tiny, mistral-small, mistral-medium
– Качество >= LLama2, GPT 3.5. При этом на инференсе в 6 раз быстрее Ламы.
– Бесплатная и открытая
– Умеет на английском, французском, итальянском, немецком и испанском
– Контекст - 32К токенов
– Уже добавили в HuggingFace:

model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-v0.1")

Юзер-гайды | Блогпост | Регистрация для раннего доступа

😻 #news

Просто 100+ слайдов о внутреннем устройстве PyTorch

Слайды подготовил Кристиан Перон. Упор сделан на последние инновации библиотеки (Dynamo, Inductor и ExecuTorch). Оценка редакции: 100/10.

😻 #advice

Новая LLM Mixtral-8x-7B произвела фурор и ввела в моду Mixture of Expert

Эта архитектура отличается тем, что использует нескольких "экспертов" (каждый из которых представляет из себя нейросеть) для решения разных задач. От ансамблей она отличается тем, что эксперты не объединяются, то есть в решении участвует только один.

Какой токен какому эксперту отправить решает так называемый роутер – это тоже обучаемая сеть. В общем, вот вам список литературы, который поможет быстро разобраться (и не отстать от тренда):

❤️Отличный разбор на HuggingFace
❤️Ёмкий видео-разбор архитектуры от Trelis Research
❤️Первая статья по применению MoE в NLP (в авторах Джефф Дин и Джеффри Хинтон)
❤️Про MoE для LLM

Кстати, по слухам, GPT-4 тоже представляет из себя MoE.

😻 #advice #news

Ох уж этот конец года: даже у GPT-4 падает продуктивность

Выяснилось, что если модель думает, что сейчас май, то отвечает в среднем подробнее, чем «в декабре». Статистическая значимость на месте: t-test p < 2.28e-07. Среди экспертов уже родилось предположение, что в ходе обучения модель учла тот факт, что люди перед празниками ленятся и пишут тексты меньшего объема 🎄

Эксперимент проводился с помощью изменения параметра current date. Опыт, кстати, можно воспроизвести: вот код.

😻 #news

Ты и твой друг, когда решили уйти в собственный стартап и стать вторыми Альманом и Маском.

😻 #memes

Это что, 5 пальцев на руках?

У Google DeepMind вышла новая text-to-image модель: диффузионка Imagen2. Доступно пока только через API на Vertex AI. Пообещали фотореалистичность, лучшую чувствительность к промптам и высокое качество изображений.

😻 #news

Гарвард тоже радует подарками к Новому Году

Мы об их свежем курсе, конечно. Абсолютно бесплатном, как вы любите. Он посвящен AI: в программе теорвер, классический ML, нейросети, NLP, CV, модели Маркова и еще много чего. В числе преподов крутой David J. Malan.

Стартует сегодня! Не советуем упускать возможность.

😻 #advice

Новый Год только через 2 недели, а под админской ёлкой уже лежат подарки 🎁

Все эти книги – для вас, ведь уже завтра в 19:00 появятся итоги розыгрыша. Если еще не участвуешь, то есть шанс запрыгнуть в последний вагон: https://news.1rj.ru/str/data_secrets/2936