Профессиональный жаргон теперь выглядит так

Nvidia купила Groq – тот самый стартап бывших инженеров Google, в котором разрабатывали чипы специально для LLM

Интересно, что еще полтора года назад стартап оценивался только в 2.8 миллиардов долларов, а сегодня Nvidia покупает его за 20 миллиардов.

Причем сделка представлена даже не как полноценная покупка, а как неисключительное лицензирование технологий и активов.

То есть Nvidia приобретает активы Groq, включая права на использование тех самых процессоров LPU (Language Processing Unit), но, например, облачный сервис GroqCloud остается независимым и продолжит работать под руководством нового CEO.

Предыдущий директор Groq Джонатан Росс (он же основатель, который раньше работал над TPU в Google), а также многие другие сотрудники, включая почти всю верхушку, переходят в Nvidia.

Это, кстати, крупнейшая сделка в истории Nvidia. Их предыдущим максимумом были приобретения вроде Mellanox за $7 млрд в 2019 году.

Опять 25: Джеффри Хинтон тоже уверен, что эра скейлинга закончилась

(Интересно, в какой это момент он переключился с предсказания конца света на рассуждения о масштабировании?)

Ну так вот: ученый утверждает, что скейлинг не может продолжаться, потому что данные свободного интернета уже исчерпаны, а все более ценные данные хранятся в закрытых контурах компаний.

Он ставит ставку на синтетику. Модели, по его мнению, должны сами генерировать себе данные для обучения в ходе рассуждений.

«Именно так AlphaGo научился побеждать человека, и именно так LLM могут научиться быть умнее людей»

J'son & Partners показали свежее исследование, где сравнивают, как разные страны готовят будущих ML-инженеров. Главная проблема – спрос на ИИ-спецов везде растёт быстрее, чем универы успевают адаптироваться😳

Каждая страна выкручивается по-своему.

Например, в Китае всё максимально централизовано. Государство задаёт жёсткие требования к программам и масштабирует их на всю систему образования.

В Штатах, наоборот, рулят университеты. Они автономны, сильны в исследованиях и сами пересобирают свои программы под рынок. Красиво, но есть нюансы: обучение дорогое, а выпускники часто получают очень разнородные компетенции.

В России ИИ-образование строят на стыке вузов и бигтехов – компании участвуют в запуске бакалавриатов и магистратур. Причем делают это давно: яндексовский ШАД, например, готовит ML-щиков с 2007 года и его курсы легли в основу ряда программ в МФТИ, ИТМО, Вышке и других университетах.

Помимо этого, бигтехи участвуют и в процессе обучения: практикующие инженеры приходят преподавать на IT-программы. И вряд ли для них это про доп заработок, скорее про то, чтобы внести свой вклад в новое поколение ML-инженеров.

Такая вот модель – аналитики говорят, вполне устойчивая в долгосроке.

HuggingFace и их бесплатные курсы по ML – отличный вариант, чем заняться на новогодних

За последние пару лет HF существенно расширили свою библиотеку бесплатных курсов, и теперь все они собраны вот тут.

Некоторые совсем свежие, другим 2-4 года, но они обновляются. Всего их 12:

– LLM Course (советуем от души)
– Robotics
– MCP
– a smol course по пост-трейнингу
– Agents
– Deep RL
– Computer Vision
– Audio
– Open-Source Cookbook (не совсем курс, но штука полезная, чтобы поизучать)
– ML for games
– Diffusion Course
– ML for 3D

Хватит на все январские, в общем. Забирайте: https://huggingface.co/learn

А как называется закон про то, что раз в год в два раза дорожают видеокарты?

Каменный век

Вот вам новогодняя открытка в честь последней пятницы в году

Создатели ARC-AGI объявили, что начали работать над четвертой и пятой версиями бенчмарка

Напоминаем:

– ARC-AGI 1: простенькие для человека пазлы в формате "дано несколько примеров цветных сеток, продолжи логический ряд". Проверяется способность к минимальному абстрактному рассуждению и обобщению. Примеры тут.

– ARC-AGI 2: тот же формат цветных сеток, но задачи заметно сложнее даже для человека (средний уровень людей – 60%). Выше композиционная сложность + есть защита от простого перебора. Примеры.

– ARC-AGI 3: уже не статичные паззлы, а интерактивные игровые среды (тестируют уже не LLM, а агентов). И агент должен воспринимать, планировать и действовать много шагов подряд в новых незнакомых условиях. Проверяется способность к адаптации и гибкости мышления. Примеры.

! Официально ARC-AGI 3 еще не вышел, его выпускали только в превью. Вчера создатели наконец объявили, что собираются запустить бенчмарк в марте, а также рассказали, что начинают работать над следующими версиями 4 и 5. Пока нет ни слова о том, что это будет. Но, вероятно, нужно снова ожидать какую-то игровую историю, только еще более усложненную.