Тем временем Патриарх Кирилл предрек апокалипсис из-за развития ИИ
«Если человечество теряет религиозную веру, особенно в условиях нарастания технологий, связанных с появлением искусственного интеллекта, то мы действительно входим в эпоху апокалипсиса», — сказал он.
«Если человечество теряет религиозную веру, особенно в условиях нарастания технологий, связанных с появлением искусственного интеллекта, то мы действительно входим в эпоху апокалипсиса», — сказал он.
😁111🤪57👻25👍16🙈12🔥6👾5☃4🗿3🤯2🦄1
OpenAI привлекает новые инвестиции: на этот раз $6.5 млрд
Среди инвесторов Microsoft, Apple и Nvidia, но на первом месте по вложениям опять Thrive Capital (как и в прошлом раунде). Также утверждается, что кроме вложений от инвесторов стартап откроет еще и кредитную линию в банках на $5 млрд.
При этом оценка компании приближается к $150 млрд. Напомним, что еще в начале года она составляла $86 млрд. И кстати, совсем недавно, буквально в конце августа, СМИ сообщали о другой сумме: тогда утверждалось, что OpenAI оценивается в $100 млрд.
Кто больше?😏
Среди инвесторов Microsoft, Apple и Nvidia, но на первом месте по вложениям опять Thrive Capital (как и в прошлом раунде). Также утверждается, что кроме вложений от инвесторов стартап откроет еще и кредитную линию в банках на $5 млрд.
При этом оценка компании приближается к $150 млрд. Напомним, что еще в начале года она составляла $86 млрд. И кстати, совсем недавно, буквально в конце августа, СМИ сообщали о другой сумме: тогда утверждалось, что OpenAI оценивается в $100 млрд.
Кто больше?
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉38
Приготовьтесь: Meta, Alphabet, Microsoft и Amazon только за последний квартал в сумме потратили почти $53 млрд на ИИ
* данные из свежего исследования Wall Street Journal «Расходы на ИИ в диаграммах»
* данные из свежего исследования Wall Street Journal «Расходы на ИИ в диаграммах»
😁27🔥15🤯12👍7
Откуда не ждали: Oracle запустила вычислительный кластер на 131 072 видеокарты Nvidia
И GPU там непростые, а новейшие Nvidia Blackwell. Это первый кластер таких размеров, основанный на этой модели видеокарт.
Сейчас Oracle уже принимает заказы на суперкомпьютер. Интересно, кто заберет такой лакомый кусочек
И GPU там непростые, а новейшие Nvidia Blackwell. Это первый кластер таких размеров, основанный на этой модели видеокарт.
Сейчас Oracle уже принимает заказы на суперкомпьютер. Интересно, кто заберет такой лакомый кусочек
🤯69👍14🔥13👌1👾1
Google только что релизнули Data Gemma
Это, по сути, та же Gemma 2, но с прикрученной к ней системой проверки фактов (данные берут из Data Common).
Под капотом RIG (Retrieval-Interleaved Generation) и RAG. Когда модель генерирует ответ, она обучена выделять из него «фактические» сущности и проверять их на соответствие фактам из Data Common (это RIG). А RAG позволяет извлекать из датасета ту информацию, которую модель изначально не знала.
Все в опенсорс. Вот блогпост, а больше технических деталей можно найти в статье.
Это, по сути, та же Gemma 2, но с прикрученной к ней системой проверки фактов (данные берут из Data Common).
Под капотом RIG (Retrieval-Interleaved Generation) и RAG. Когда модель генерирует ответ, она обучена выделять из него «фактические» сущности и проверять их на соответствие фактам из Data Common (это RIG). А RAG позволяет извлекать из датасета ту информацию, которую модель изначально не знала.
Все в опенсорс. Вот блогпост, а больше технических деталей можно найти в статье.
👍50🔥17❤5
🍓 OpenAI выпустили новую модель o1 (ту самую Strawberry)
По сравнению с GPT-4o она выбивает 6х точность на олимпиадных задачах по математике и 8х точность на задачах с CodeForces.
Вся соль модели – в умении рассуждать. Ей требуется некоторое время перед ответом: внутри себя она гоняет CoT, прежде чем вернуть ответ пользователю. Но, конечно, при этом она требует больше мощностей на инференсе.
Сейчас ее уже раскатывают на пользователей с подпиской. Больше деталей – в пресс-релизе.
По сравнению с GPT-4o она выбивает 6х точность на олимпиадных задачах по математике и 8х точность на задачах с CodeForces.
Вся соль модели – в умении рассуждать. Ей требуется некоторое время перед ответом: внутри себя она гоняет CoT, прежде чем вернуть ответ пользователю. Но, конечно, при этом она требует больше мощностей на инференсе.
Сейчас ее уже раскатывают на пользователей с подпиской. Больше деталей – в пресс-релизе.
👍68🔥24🍓15❤9
Еще некоторые детали про o1 aka Strawberry aka Q*
➡️ Сейчас на юзерах с подписков крутится не сама o1, а ее preview версия. Также для ChatGPT Plus будет доступна модель o1-mini (более дешевая и шустрая). o1-mini также обещают раскатить и для бесплатных аккаунтов.
➡️ Даже несмотря на то, что самой o1 пока на проде нет, лимиты в чате и цены в API уже достаточно жестокие: 30 сообщений в неделю для o1-preview, 50 для o1-mini 😳 . В API вообще песня: 20 запросов в минуту, и при этом платить придется не только за коллы, но и за сами размышления модели (reasoning tokens).
➡️ Саму o1 тоже обещают раскатить скоро. Она уже дообучена и протестирована, но, видимо, OpenAI все еще приходится решать вопросы связанные с затратами на ее инференс, и (может быть) безопасностью.
➡️ OpenAI обращают внимание на то, что промптинг с новой моделью отличается от промптинга со старыми. Они даже выкатили свой гайд с советами о том, как правильно общаться с o1. Основная мысль сводится к «Больше не надо уловок вроде "думай шаг за шагом" или "построй план решения". Формулируйте свои инструкции ясно и прямолинейно, а дальше модель все сделает сама.»
➡️ Ну и напоследок то, на что могло ускользнуть от глаз: OpenAI решили скрыть от пользователей мыслительный процесс модели. То есть те рассуждения, которые видны в чате – это выборочный материал. Остальные необработанные цепочки мыслей пользователям не видны.
🍓🍓🍓
🍓🍓🍓
Please open Telegram to view this post
VIEW IN TELEGRAM
🍓88👍12❤8😁3
Подтверждаем: с подсчетом букв, знаками больше и меньше и детскими задачками o1 справляется. Это уже AGI?
😁92🔥20
Forwarded from XOR
Meta* признала, что использовала все тексты и фото пользователей своих соц.сетей после 2007 года для обучения моделей ИИ.
🟢 Исполнительный директор по глобальной конфиденциальности отметила, что использовались только публикации и комментарии с настройками «Public», приватный контент не трогали.
🟢 Также не использовались данные несовершеннолетних.
🟢 Отказаться от сбора данных могут только юзеры из ЕС и Бразилии, миллиарды других же не имеют такой опции.
Ранее корпорация не признавалась в том, что обучает ИИ на контенте, который создают пользователи их соц.сетей.
*признана в РФ экстремистской организацией и запрещена
@xor_journal
Ранее корпорация не признавалась в том, что обучает ИИ на контенте, который создают пользователи их соц.сетей.
*признана в РФ экстремистской организацией и запрещена
@xor_journal
Please open Telegram to view this post
VIEW IN TELEGRAM
🙈45👍14😈11☃1❤1😁1👀1
Список свежих бенгеров для просмотра на выходных:
– Decoding Google Gemini with Jeff Dean. Ликбезное интервью с легендарным Джеффом Дином, вышло два дня назад.
– Chasing Immortality with Humanoid Robotics. Интервью с вице-президентом компании 1Х, которая недавно выпустила робота гуманоида Neo. До этого спикер много лет работал робототехником в Google. Интервью вышло 4 дня назад.
– Лекция Terence Tao at imo 2024 ai and mathematics. Про ИИ, математику и связь ИИ с математикой. Вышло пару недель назад.
– Decoding Google Gemini with Jeff Dean. Ликбезное интервью с легендарным Джеффом Дином, вышло два дня назад.
– Chasing Immortality with Humanoid Robotics. Интервью с вице-президентом компании 1Х, которая недавно выпустила робота гуманоида Neo. До этого спикер много лет работал робототехником в Google. Интервью вышло 4 дня назад.
– Лекция Terence Tao at imo 2024 ai and mathematics. Про ИИ, математику и связь ИИ с математикой. Вышло пару недель назад.
🔥24👍8❤3😁1
Please open Telegram to view this post
VIEW IN TELEGRAM
😁321🍓22❤11🔥5👍2❤🔥1
Что внутри Strawberry?
Репорт от OpenAI полон результатов на бенчмарках, примеров и сравнений. Однако про техническую реализацию модели разработчики написали одно единственное предложение: "Through reinforcement learning, o1 learns to hone its chain of thought and refine the strategies it uses."
Что это может значить? Пока основных версии две:
1) Возможно, в RLHF+CoT, как показано на картинке, токены CoT просто передаются в ревард модель вместе с результатом (в традиционном RLHF в модель вознаграждения передаются только промпт и ответ). Это объясняет, как модель научилась всегда начинать с токенов CoT и делать CoT структурированными, однако в этом случае непонятно, как обучалась ревард модель.
2) Другая версия: в RLHF все также передавались только промпты и ответы, но при этом модель генерировала множество цепочек CoT (награждались те, которые заканчивались правильным ответом).
А у вас есть предположения?
Репорт от OpenAI полон результатов на бенчмарках, примеров и сравнений. Однако про техническую реализацию модели разработчики написали одно единственное предложение: "Through reinforcement learning, o1 learns to hone its chain of thought and refine the strategies it uses."
Что это может значить? Пока основных версии две:
1) Возможно, в RLHF+CoT, как показано на картинке, токены CoT просто передаются в ревард модель вместе с результатом (в традиционном RLHF в модель вознаграждения передаются только промпт и ответ). Это объясняет, как модель научилась всегда начинать с токенов CoT и делать CoT структурированными, однако в этом случае непонятно, как обучалась ревард модель.
2) Другая версия: в RLHF все также передавались только промпты и ответы, но при этом модель генерировала множество цепочек CoT (награждались те, которые заканчивались правильным ответом).
А у вас есть предположения?
👍33🍓26🔥6❤3😁2
А вот это смешно: OpenAI рассылает угрозы на почту пользователям, которые пытаются выяснить у o1, как она думает (то есть джейлбрейкнуть ее на вывод всей цепочки CoT).
Компания пишет, что юзеры нарушают пользовательское соглашение и угрожают баном😣
В общем, аккуратнее там, а то окажетесь у OpenAI в чс
Компания пишет, что юзеры нарушают пользовательское соглашение и угрожают баном
В общем, аккуратнее там, а то окажетесь у OpenAI в чс
Please open Telegram to view this post
VIEW IN TELEGRAM
😁159
Media is too big
VIEW IN TELEGRAM
Ларри Эллисон говорит, что Oracle строит ядерные реакторы для питания «акров» GPU 😱
Он отмечает, что и это не все. По его мнению, 100 млрд долларов – это минимальные вложения, которые позволят компаниям оставаться в ИИ-гонке ближайшие три года.
Он отмечает, что и это не все. По его мнению, 100 млрд долларов – это минимальные вложения, которые позволят компаниям оставаться в ИИ-гонке ближайшие три года.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯55👍33🔥8