Отдельно приятно встретить знакомые лица: на фото - лид клуба по психологии от Школы 21, Денис.
А ещё мы вместе работаем с детьми с аутизмом. Вернее, я раньше работала в центре, где Денис - директор.
Хвалилась сегодня и похвалюсь ещё раз, что Денис пришёл в Школу по моей наводке😏

А как вы в своих проектах и жизни в целом используете ИИ?

Китайцы выложили в опеснсорс аналог o1

DeepSeek R1 - опенсорс рассуждающая модель, которая по математике/логическим задачам/программированию идет вровень с o1 моделью от OpenAI.
Многие видели новость, а я расскажу, что вам важно знать. Технический репорт DeepSeek-R1 можно прочитать тут.

1) Это очень очень круто. И метрики круто, и опенсорс круто. Это еще раз доказывает: невозможно защититься от конкурентов с помощью ноу-хау. Знания очень быстро распространяются: o1 вышла в сентябре и уже в январе ее догнали. Защищаться проще с помощью инфраструктуры, и тут Альтман всех обскакал: 500 миллиардов от Трампа помогут защититься. Еще и такая крыша.

2) Это круто, но не факт, что круто для вас. Метрики на математике/умению играть в пятнашки/разгадывать судоку ничего не говорят о том, что эта модель полезна для вашей задачи.
Авторы могли просто забыть положить в обучение нужные вам примеры. Им все равно, зато в пятнашки они впереди планеты. Не верьте статьям, всегда проверяйте на своих метриках.

3) На самом деле, крутость совсем в другом. В тех. репорте показали, что из очень дорогой DeepSeek-R1 с помощью дистилляции можно получать небольшие модели, вплоть до 1.5b, которые лучше огромной GPT-4o.

Как это работает: большая модель генерирует длинные цепочки рассуждений, а маленькая модель учится на таких цепочках рассуждений, подражая оригиналу. Это как раз пример обучения на синтетических данных, о которых говорил месяц назад Суцкевер. Про эту особенность говорят очень мало, но она очень важная. Каждое новое поколение рассуждающих моделей дает дорогу следующему поколению более дешевых. Поэтому o3-mini будет намного дешевле o1, потому что скорее всего сдистилирована из нее.

Думаю, у OpenAI уже есть более мощные модели. Просто они их не выкладывают, а обучают с их помощью уже известные нам o1 и o3.

Дистилляция моделей стандарт, чтобы уменьшить стоимость предсказания. Китайцы нам еще раз это показали. Как дистилляцию правильно делать, чтобы в 10 раз удешевить модель, я расскажу уже в следующих постах.

https://youtu.be/x7aEtIEWBTE?feature=shared
Это великолепнейшая книга для малышей, показывающая, что такое специальная теория относительности.
Мне кажется, ценность таких знаний во многом в том, что когда про это всё читаешь/смотришь, понимаешь, что люди это изучают, как-то стыдно становится делать всякую хтонь.

Вот вам мемасиков