А еще недавно опенсорснули MS-DOS 4.0 (1 и 2 версии уже пылятся на гитхабе 6 лет)

github

Бедные индусы с Ютуба остались без работы 🥲

Интересно, можно ли попросить говорить с акцентом 🤔

Любопытно.

Теперь каждый может встречаться с моделью 🥲

О, а вот и Илью из подвала выпустили.
Новые сюжеты в передаче Sam себе режиссер.

Твит

Коротко о презентации гугла

Мелкомягкие выкатили пучок instruct моделей Phi-3:

Phi-3-Vision (mini, 4B, 128k context)
Phi-3-mini (4b, 128k)
Phi-3-small (7B, 128k)
Phi-3-medium (14B, 128)

Также есть и 4k контекст.

На бенчмарках vision-mini ведет себя на уровне 7B опенсорсных и некоторых проприетарных моделей. Сразу видно, обучали на лучших тестсетах.

Надеемся, Openai не решат устроить battle royale

Если этот ваш ai такой клёвый, то почему до их пор нет ai 2?

Небольшой апдейт по истории: Vox получили доступ к договору, который вынуждали подписывать экс-сотрудников, и ряду других внутренних документов OpenAI. В этих документах есть чудесный пункт о возможностях компании обнулить акции любого экс-сотрудника вообще без повода. На всех этих прекрасных документах либо подписи COO и VP of People либо лично Альтмана. Как, после таких откровений, звучат заявления о том что "руководство ничего не знало" - решайте сами.

not consistently candid in his communications with the board звучит всё понятнее и понятнее

@ai_newz

Штош, Nvidia стоит дороже Германии 🥲

GPT-2 за двадцать долларов

Три недели назад llm.c был просто быстрым, на игрушечных датасетах и одной видеокарте. Но Карпатый на месте не стоял - он уже тренирует небольшие модели на десятках миллиардов токенов и восьми видеокартах. И при этом сохраняя огромную пропускную способность: GPT-2 Small выдаёт 180k токенов за секунду на каждую видеокарту. И при такой скорости тренировки, совсем не жертвуют точностью - результаты даже лучше чем у оригинальной GPT-2, при том что датасет похожий, а количество токенов такое же.

Small версию вообще можно натренировать за полтора часа на одной машине с 8 видеокартами. Стоить такое удовольствие будет всего двадцать долларов. Тренировка Medium обойдётся уже в $200, а XL в $2,5k, но проект всё ещё есть куда оптимизировать.

Пока что натренированы только Small и Medium размеры GPT-2, но с такой бешенной скоростью разработки поддержка моделей побольше будет уже в ближайшие дни.

Следующие майлстоуны:
➖Тренировка 770m и 1.5B моделек
➖ Поддержка нескольких нод
➖ Поддержка H100 и с ней fp8
➖ Воспроизводимая тренировка - чтобы можно было тренировать модель на двух разных машинах с побитово идентичными результатами

Нужно всё-таки попытаться потренировать на фритюрнице

@ai_newz