Пока просто новость
https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/
Результат между серебряной и золотой медалями на одимпиадных геометрических задачах.
С открытым кодом: https://github.com/google-deepmind/alphageometry
AlphaGeometry is a neuro-symbolic system made up of a neural language model and a symbolic deduction engine, which work together to find proofs for complex geometry theorems.
https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/
Результат между серебряной и золотой медалями на одимпиадных геометрических задачах.
С открытым кодом: https://github.com/google-deepmind/alphageometry
AlphaGeometry is a neuro-symbolic system made up of a neural language model and a symbolic deduction engine, which work together to find proofs for complex geometry theorems.
Google DeepMind
AlphaGeometry: An Olympiad-level AI system for geometry
Our AI system surpasses the state-of-the-art approach for geometry problems, advancing AI reasoning in mathematics
👍12🔥6👏6❤3
Сегодня в Давосе было интервью с Сэмом Альтманом и Сатьей Наделлой (https://www.economist.com/subscriber-events/a-conversation-with-openais-sam-altman-and-microsofts-satya-nadella-hub).
В целом никаких откровений вообще. GPT-5 будет more general и умнее в целом. Но когда -- не сказали. OpenAI в партнёрстве с MS будут делать так, чтобы на платформе можно было заработать больше денег, чем зарабатывает сама платформа. Регуляция в конечном счёте какая-то нужна и к моменту появления AGI хорошо чтобы она была, но преждевременно она может много чего загубить. Опенсорс важен. Когда AGI и что это такое непонятно.
У OpenAI вроде как есть в договоре с MS что-то про когда борд решит, что они достигли AGI, то коммерческие дела с MS здесь закончатся. Но они всё равно хотят продолжать коммерциализацию технологий, может только на других условиях, это и надо будет в тот момент пересмотреть.
Альтман за technological prosperity. Intelligence costs will fall, energy will be widely available and clean.
На безопасность обращают внимание. "We delay things or decide not to ship things all the time." Так, GPT-4 открыли только через 7-8 месяцев после её обучения.
В общем можно было не смотреть.
В целом никаких откровений вообще. GPT-5 будет more general и умнее в целом. Но когда -- не сказали. OpenAI в партнёрстве с MS будут делать так, чтобы на платформе можно было заработать больше денег, чем зарабатывает сама платформа. Регуляция в конечном счёте какая-то нужна и к моменту появления AGI хорошо чтобы она была, но преждевременно она может много чего загубить. Опенсорс важен. Когда AGI и что это такое непонятно.
У OpenAI вроде как есть в договоре с MS что-то про когда борд решит, что они достигли AGI, то коммерческие дела с MS здесь закончатся. Но они всё равно хотят продолжать коммерциализацию технологий, может только на других условиях, это и надо будет в тот момент пересмотреть.
Альтман за technological prosperity. Intelligence costs will fall, energy will be widely available and clean.
На безопасность обращают внимание. "We delay things or decide not to ship things all the time." Так, GPT-4 открыли только через 7-8 месяцев после её обучения.
В общем можно было не смотреть.
😁22👍18❤1
gonzo-обзоры ML статей
Meta закупила какое-то безумное количество GPU H100. Интересно, для чего именно. https://www.tomshardware.com/tech-industry/nvidia-ai-and-hpc-gpu-sales-reportedly-approached-half-a-million-units-in-q3-thanks-to-meta-facebook
Продолжение темы.
“We’ve come to this view that, in order to build the products that we want to build, we need to build for general intelligence,” Zuckerberg tells me in an exclusive interview. “I think that’s important to convey because a lot of the best researchers want to work on the more ambitious problems.”
https://www.theverge.com/2024/1/18/24042354/mark-zuckerberg-meta-agi-reorg-interview
“We’ve come to this view that, in order to build the products that we want to build, we need to build for general intelligence,” Zuckerberg tells me in an exclusive interview. “I think that’s important to convey because a lot of the best researchers want to work on the more ambitious problems.”
https://www.theverge.com/2024/1/18/24042354/mark-zuckerberg-meta-agi-reorg-interview
The Verge
Mark Zuckerberg’s new goal is creating artificial general intelligence
“We have built up the capacity to do this at a scale that may be larger than any other individual company.”
🥱7🔥5❤2👍1
"Meta is training Llama 3 now, and it will have code-generating capabilities, he says. Like Google’s new Gemini model, another focus is on more advanced reasoning and planning abilities.
“Llama 2 wasn’t an industry-leading model, but it was the best open-source model,” he says. “With Llama 3 and beyond, our ambition is to build things that are at the state of the art and eventually the leading models in the industry.”
“Llama 2 wasn’t an industry-leading model, but it was the best open-source model,” he says. “With Llama 3 and beyond, our ambition is to build things that are at the state of the art and eventually the leading models in the industry.”
🔥41❤3🤔2
В продолжение темы про CETI (https://news.1rj.ru/str/gonzo_ML/2182) классная интерактивная статья про слонов и китов:
https://ig.ft.com/ai-animals/
https://ig.ft.com/ai-animals/
🎉7🥱2👍1
Ещё про амдшное железо.
"AMD has begun to ship its Instinct MI300X GPUs for artificial intelligence (AI) and high-performance computing (HPC) applications."
"Meanwhile, an Instinct MI300X carries 192 GB of HBM3 memory (at a peak bandwidth of 5.3 TB/s)."
192 гига... Ням-ням...
"Based on performance numbers demonstrated by AMD, the Instinct MI300X outperforms Nvidia's H100 80GB, which is available already and is massively deployed by hyperscalers like Google, Meta (Facebook), and Microsoft. The Instinct MI300X is probably also a formidable competitor to Nvidia's H200 141GB GPU, which is yet to hit the market."
https://www.tomshardware.com/tech-industry/supercomputers/amds-customers-begin-receiving-the-first-instinct-mi300x-ai-gpus-companys-toughest-competitor-to-nvidias-ai-dominance-is-now-shipping
"AMD has begun to ship its Instinct MI300X GPUs for artificial intelligence (AI) and high-performance computing (HPC) applications."
"Meanwhile, an Instinct MI300X carries 192 GB of HBM3 memory (at a peak bandwidth of 5.3 TB/s)."
192 гига... Ням-ням...
"Based on performance numbers demonstrated by AMD, the Instinct MI300X outperforms Nvidia's H100 80GB, which is available already and is massively deployed by hyperscalers like Google, Meta (Facebook), and Microsoft. The Instinct MI300X is probably also a formidable competitor to Nvidia's H200 141GB GPU, which is yet to hit the market."
https://www.tomshardware.com/tech-industry/supercomputers/amds-customers-begin-receiving-the-first-instinct-mi300x-ai-gpus-companys-toughest-competitor-to-nvidias-ai-dominance-is-now-shipping
Tom's Hardware
AMD's customers begin receiving the first Instinct MI300X AI GPUs — the company's toughest competitor to Nvidia's AI dominance…
An important milestone for AMD.
🔥40👍7🤩1
И снова продолжаем тему Small Language Models (SLMs, https://news.1rj.ru/str/gonzo_ML/2251).
Недавно вышла Stable LM 2 1.6B.
https://stability.ai/news/introducing-stable-lm-2
В релиз входят базовая и instruction-tuned 1.6B модели. Можно использовать коммерчески (со Stability AI Membership, https://stability.ai/membership).
Недавно вышла Stable LM 2 1.6B.
https://stability.ai/news/introducing-stable-lm-2
В релиз входят базовая и instruction-tuned 1.6B модели. Можно использовать коммерчески (со Stability AI Membership, https://stability.ai/membership).
Telegram
gonzo-обзоры ML статей
[Singapore] TinyLlama: An Open-Source Small Language Model
Peiyuan Zhang, Guangtao Zeng, Tianduo Wang, Wei Lu
Статья:https://arxiv.org/abs/2401.02385
Код: https://github.com/jzhang38/TinyLlama
В полку SLM (Small Language Models) прибыло! TinyLlama — это…
Peiyuan Zhang, Guangtao Zeng, Tianduo Wang, Wei Lu
Статья:https://arxiv.org/abs/2401.02385
Код: https://github.com/jzhang38/TinyLlama
В полку SLM (Small Language Models) прибыло! TinyLlama — это…
🔥13❤1👍1