«Плотность ИИ на гигабайт в Tesla на порядок выше, чем где бы то ни было» – Илон Маск

Так он прокомментировал твит Андрея Карпаты о том, что Tesla и Waymo сейчас находятся примерно на одном уровне.

Понимание Андрея устарело на данный момент. Программное обеспечение Tesla AI значительно продвинулось со времен, когда он ушел.

Кстати, еще год назад Андрей говорил, что у Tesla проблемы с ПО, и прошивка Waymo побеждает.

Напоминаем, что между двумя производителями существует принципиальная разница:

Waymo – это модульная система: она опирается на HD‑карты, лидары, датчики, 5G‑связь и множество нейросетей. Это работает хорошо и очень надежно, но только если какой-нибудь модуль случайно не откажет.

Tesla – это end‑to‑end: один огромный нейросетевой блок напрямую преобразует пиксели с камер в команды руления и торможения.

Профессиональный жаргон теперь выглядит так

Nvidia купила Groq – тот самый стартап бывших инженеров Google, в котором разрабатывали чипы специально для LLM

Интересно, что еще полтора года назад стартап оценивался только в 2.8 миллиардов долларов, а сегодня Nvidia покупает его за 20 миллиардов.

Причем сделка представлена даже не как полноценная покупка, а как неисключительное лицензирование технологий и активов.

То есть Nvidia приобретает активы Groq, включая права на использование тех самых процессоров LPU (Language Processing Unit), но, например, облачный сервис GroqCloud остается независимым и продолжит работать под руководством нового CEO.

Предыдущий директор Groq Джонатан Росс (он же основатель, который раньше работал над TPU в Google), а также многие другие сотрудники, включая почти всю верхушку, переходят в Nvidia.

Это, кстати, крупнейшая сделка в истории Nvidia. Их предыдущим максимумом были приобретения вроде Mellanox за $7 млрд в 2019 году.

Опять 25: Джеффри Хинтон тоже уверен, что эра скейлинга закончилась

(Интересно, в какой это момент он переключился с предсказания конца света на рассуждения о масштабировании?)

Ну так вот: ученый утверждает, что скейлинг не может продолжаться, потому что данные свободного интернета уже исчерпаны, а все более ценные данные хранятся в закрытых контурах компаний.

Он ставит ставку на синтетику. Модели, по его мнению, должны сами генерировать себе данные для обучения в ходе рассуждений.

«Именно так AlphaGo научился побеждать человека, и именно так LLM могут научиться быть умнее людей»

J'son & Partners показали свежее исследование, где сравнивают, как разные страны готовят будущих ML-инженеров. Главная проблема – спрос на ИИ-спецов везде растёт быстрее, чем универы успевают адаптироваться😳

Каждая страна выкручивается по-своему.

Например, в Китае всё максимально централизовано. Государство задаёт жёсткие требования к программам и масштабирует их на всю систему образования.

В Штатах, наоборот, рулят университеты. Они автономны, сильны в исследованиях и сами пересобирают свои программы под рынок. Красиво, но есть нюансы: обучение дорогое, а выпускники часто получают очень разнородные компетенции.

В России ИИ-образование строят на стыке вузов и бигтехов – компании участвуют в запуске бакалавриатов и магистратур. Причем делают это давно: яндексовский ШАД, например, готовит ML-щиков с 2007 года и его курсы легли в основу ряда программ в МФТИ, ИТМО, Вышке и других университетах.

Помимо этого, бигтехи участвуют и в процессе обучения: практикующие инженеры приходят преподавать на IT-программы. И вряд ли для них это про доп заработок, скорее про то, чтобы внести свой вклад в новое поколение ML-инженеров.

Такая вот модель – аналитики говорят, вполне устойчивая в долгосроке.

HuggingFace и их бесплатные курсы по ML – отличный вариант, чем заняться на новогодних

За последние пару лет HF существенно расширили свою библиотеку бесплатных курсов, и теперь все они собраны вот тут.

Некоторые совсем свежие, другим 2-4 года, но они обновляются. Всего их 12:

– LLM Course (советуем от души)
– Robotics
– MCP
– a smol course по пост-трейнингу
– Agents
– Deep RL
– Computer Vision
– Audio
– Open-Source Cookbook (не совсем курс, но штука полезная, чтобы поизучать)
– ML for games
– Diffusion Course
– ML for 3D

Хватит на все январские, в общем. Забирайте: https://huggingface.co/learn

А как называется закон про то, что раз в год в два раза дорожают видеокарты?

Каменный век

Вот вам новогодняя открытка в честь последней пятницы в году

Создатели ARC-AGI объявили, что начали работать над четвертой и пятой версиями бенчмарка

Напоминаем:

– ARC-AGI 1: простенькие для человека пазлы в формате "дано несколько примеров цветных сеток, продолжи логический ряд". Проверяется способность к минимальному абстрактному рассуждению и обобщению. Примеры тут.

– ARC-AGI 2: тот же формат цветных сеток, но задачи заметно сложнее даже для человека (средний уровень людей – 60%). Выше композиционная сложность + есть защита от простого перебора. Примеры.

– ARC-AGI 3: уже не статичные паззлы, а интерактивные игровые среды (тестируют уже не LLM, а агентов). И агент должен воспринимать, планировать и действовать много шагов подряд в новых незнакомых условиях. Проверяется способность к адаптации и гибкости мышления. Примеры.

! Официально ARC-AGI 3 еще не вышел, его выпускали только в превью. Вчера создатели наконец объявили, что собираются запустить бенчмарк в марте, а также рассказали, что начинают работать над следующими версиями 4 и 5. Пока нет ни слова о том, что это будет. Но, вероятно, нужно снова ожидать какую-то игровую историю, только еще более усложненную.