Ресерч проведен, можно расходиться

CEO Hugging Face рассказал, что каждую неделю получает около 10 предложений от фаундеров, которые хотят продать свои стартапы

Он утверждает, что количество таких предложений резко увеличилось за год. Причин этому может быть две причины:

1) Возможно, дело в самом Hugging Face. За последний год компания сильно выросла, привлекла $235 млн инвестиций и добралась до оценки в $4.5 млрд. К тому же, у них куча ресурсов, поэтому HF теперь выглядит на рынке как очень перспективный потенциальный покупатель.

2) А возможно, рост HF не главная причина, и на ИИ-рынке просто началась консолидация. Cтартапам все труднее выжить в такой высоконкурентной среде. Даже у не слишком мелких игроков, таких так StabilityAI, и то проблемы. А большим компаниям действительно выгодно поглощать стартапы, при чем иногда даже просто ради кадров, а не ради технологии. Регуляризация тоже начинает делать свое дело.

Кстати, на какие-то покупки HF все-таки соглашается. На прошлой неделе они купили Argilla за $10 млн, но по словам оунеров, сделка готовилась уже давно, и HF сами вышли на стартап.

Сегодня как-то так

Исследователи из Оксфорда придумали, как детектить галлюцинации в LM

Идея проста и изящна: давайте заставим LLM выплевывать не один, а несколько ответов, затем откластеризуем их по истинности (то есть если фраза A подразумевает, что верна фраза B, значит они в одном кластере), а потом посчитаем семантическую энтропию.

Дело в том, что правильные ответы будут похожи, а галлюцинации - нет. Получается, если энтропия высокая, значит моделька подвирает и придумывает, а если низкая, значит говорит уверенно и в ее словах нет противоречий. Самое интересное тут, что использовать метод можно не только на инференсе, но не непосредственно во время alignment'а.

Похожую идею, кстати, использовали в недалеком прошлом авторы статьи “More Agents Is All You Need”. Там окончательный ответ формировался с помощью мнения большинства по ответам нескольких агентов.

Возвращаясь к оксфорской статье, ее результаты очень многообещающие: в 79% случаев метод смог верно задетектить галлюцинации. Тем не менее, реальное его внедрение в LLM обойдется дорого, так что метод вряд ли подойдет для бизнеса.

Прочувствовали?

Мира Мурати из OpenAI опять выдала базу

«Некоторые творческие профессии, возможно, исчезнут из-за ИИ, но, возможно, их вообще не должно было существовать»

Как вам такой safe AGI?

В Европе открылся новый университет, полностью посвященный ИИ-образованию

ELLIS Institute в Тюбингене (Германия) теперь планирует стать всемирным центром новаторских фундаментальных исследований в области ИИ.

На открытии вчера было много звездных гостей, в том числе Ян Лекун. Он выступил с небольшой вступительной речью, резюмируем:

«Если вы студент или академический исследователь и хотите добиться прогресса в области искусственного интеллекта человеческого уровня, НЕ РАБОТАЙТЕ НАД LLM.

LLM — это уход с траектории.
Тысячи инженеров работают над LLM, используя огромные вычислительные ресурсы. Единственный способ внести свой вклад в этой области — это проанализировать существующие LLM и показать их возможности и ограничения.

Но гораздо интереснее и эффективнее придумывать новые идеи и новые архитектуры и показывать, что они могут работать даже при решении небольших задач.»

Собираем вещи в Германию?

Не забываем классику

Дата центры в совокупности потребляют больше энергии, чем Италия, Испания, и даже Австралия.

Это выяснили аналитики из Bloomberg в новой статье на тему потребление энергии системами ИИ.

Как всегда, Bloomberg отличается интересными сравнениями и яркими графиками. Отличное чтиво на воскресенье.

Просто стимул выпустить GPT-5

Мира Мурати в интервью Dartmouth Engineering:

«GPT3 – это интеллект малыша. GPT-4 соответствует знаниям старшеклассника. А GPT-5 будет иметь уровень PhD»

Как думаете, значит ли это, что GPT-5 тоже потребуется 5 лет, чтобы написать документ, который никто никогда не будет читать?

История про то, как два 18-летних школьника привлекли $500 000 на разработку своего AI-стартапа

Несколько недель назад Кристофер Фицджеральд и Николас Ван Лэндшут закончили среднюю школу. Но сейчас, вместо того, чтобы наслаждаться каникулами и собирать вещи в колледж, они сидят и работают над своим AI-стартапом APIGen.

Идея создать его пришла к школьникам всего пару месяцев назад, и за это время они успели изучить рынок, сделать питчдеку и почти закончить MVP. Продукт нацелен на авто-генерацию API для бизнес-процессов и IoT устройств.

Со слов инвесторов, которые дали подросткам $500 тысяч:

«Мы пошли на встречу к этим детям, думая, что просто собираемся дать какие-то отеческие советы и поделиться опытом. А после двух часов их презентации мы вышли, думая, что это была лучшая презентация, которую мы слышали за последние пять лет.»

И кстати, 500к – это только под пресид раунд. Бету обещают выкатить в этом месяце. Удачи пожелаем?