С генерацией картинок и текстов уже давно всё хорошо и мейнстрим, а музыка с видео пока отставали. Вот теперь Deepmind взялся за музыку:

https://deepmind.google/discover/blog/transforming-the-future-of-music-creation/

Свежие слухи -- OpenAI начали работать над GPT-5

https://twitter.com/rowancheung/status/1724079608054812684?t=3Fs3ELPj6JKQH6pcYSHZuw&s=19

Вона как!

"Mr. Altman’s departure follows a deliberative review process by the board, which concluded that he was not consistently candid in his communications with the board, hindering its ability to exercise its responsibilities. The board no longer has confidence in his ability to continue leading OpenAI."

https://openai.com/blog/openai-announces-leadership-transition

Скандалы, интриги, расследования

https://www.forbes.com/sites/alexkonrad/2023/11/17/these-are-the-people-that-fired-openai-ceo-sam-altman/

Кое-какое саммари событий на текущий момент

https://arstechnica.com/information-technology/2023/11/report-sutskever-led-board-coup-at-openai-that-ousted-altman-over-ai-safety-concerns/

Ай молодца.

https://twitter.com/satyanadella/status/1726509045803336122?t=4hllB5IQxTesJ3NQgouMKw&s=19

Для тех, кому надоело следить за Санта-Барбарой вокруг OpenAI, о добром и вечном:

https://www.space.com/should-search-for-alien-life-include-looking-for-artificial-intelligence

А тем временем компания Anthropic (напомню, созданная в 2021 выходцами из OpenAI уровня VP of Research, недовольными излишней коммерциализацией компании и связями с Microsoft -- ничего не напомнило? :) ), по моим ощущениям ближайший по качеству конкурент GPT, выпустила новую версию своей модели, Claude 2.1.

Среди фич поддержка system message, а также внешних тулов через вызов функций, как и у гпт. Заявлена сильно пониженная частота галлюцинаций. Кокосом на торте идёт размер контекста в 200k токенов -- ребята снова ушли в отрыв от OpenAI с их GPT-4 Turbo и контекстом в 128k.

Цена тоже ниже GPT-4 Turbo, $8/$24 за миллион токенов промпта/выхода против $10/$30.

https://docs.anthropic.com/claude/docs/claude-2p1-guide

Вот завтра проснётесь, а тут уже сингулярность!

https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/

"The maker of ChatGPT had made progress on Q* (pronounced Q-Star), which some internally believe could be a breakthrough in the startup's search for superintelligence, also known as artificial general intelligence (AGI), one of the people told Reuters. OpenAI defines AGI as AI systems that are smarter than humans.

Given vast computing resources, the new model was able to solve certain mathematical problems, the person said on condition of anonymity because they were not authorized to speak on behalf of the company. Though only performing math on the level of grade-school students, acing such tests made researchers very optimistic about Q*’s future success, the source said."

Ещё новости экосистемы.

Inflection (https://news.1rj.ru/str/gonzo_ML/1827) заявили, что они закончили обучение своей следующей модели, Inflection-2 (https://inflection.ai/inflection-2). И она типа лучше и PaLM 2, и Claude 2, и лучшая после GPT-4.

“The Coming Wave”, Mustafa Suleyman
https://www.the-coming-wave.com/

Я прочитал наконец недавно вышедшую книгу в прошлом со-основателя DeepMind, а ныне сооснователя Inflection AI, Мустафы Сулеймана (про него мы много писали тут https://news.1rj.ru/str/gonzo_ML/1827).

Если попытаться сказать в двух словах, то книга про необходимость сдерживания (containment) технологий, и что как именно это делать неясно, но делать надо.

Большая книга, я с трудом дочитал, могла бы быть раза в три меньше, не потеряв сути. Но отсылки к опыту автора в DeepMind и не только интересны -- и человека лучше видно, и на разные известные события можно с другой стороны взглянуть (типа как AlphaGo играла в Китае и что это для всех там значило, или как в Гугле пытались создать этический комитет).

Мотив уже не новый -- технологии развиваются быстро и рано или поздно приведут человечество либо к катастрофическим последствиям, либо к антиутопии. В руках bad actors или просто из-за косяков (например, из биолабораторий самого высокого уровня защиты было достаточно утечек, включая повторные -- непонятно, почему с новыми технологиями это будет не так). В книге много фактического материала, рекомендую для ликбеза, если для вас всё выглядит в розовом свете.

Вообще книга довольно сильно напоминает обновлённый вариант статьи Билла Джоя “Why the Future doesn’t need us” (https://news.1rj.ru/str/gonzo_ML/1618). Там была генетика, нанотех и роботы. Здесь новая волна включает в себя ИИ и синтетическую биологию, плюс набор сопуствующих технологий типа роботов, квантовых технологий, новой энергетики.

Основные свойства технологий новой волны:
1. Крайне асимметричное влияние и перераспределение власти
2. Гипер-эволюция и ускорение развития
3. Универсальность (onmi-use)
4. Автономность.

При этом все стимулы (национальная гордость и стратегическая необходимость, гонка вооружений, стремление знания распространяться, экономические стимулы и необходимость противодействовать глобальным вызовам, эго наконец) только толкают развитие дальше.

Государства в современном мире оказываются в очень неустойчивом положении, их хрупкость тоже только повышается благодаря новой волне. Но для Сулеймана они наша главная надежда на стабильность и сдерживание, и здесь ещё надо не свалиться в диктатуру, есть много вариантов, как оно может прийти не туда.

Готового рецепта в итоге нет. Есть набор ингредиентов, которые вероятно нужны: технические меры безопасности; аудит; замедление развития и покупка времени там где требуется; критики должны быть не просто критиками, а практиками с руками из правильного места; корпорации должны быть не только про прибыль (B Corp); государство тоже должно быть практиком и активным игроком; международные альянсы; культура, признающая ошибки и учащаяся на них; и наконец общественные движения.

В общем, дилема.

XTX Markets is launching the Artificial Intelligence Mathematical Olympiad Prize ('AI-MO Prize'), a new $10mn challenge fund designed to spur the creation of a publicly-shared AI model capable of winning a gold medal in the International Mathematical Olympiad (IMO).

https://www.prnewswire.com/news-releases/xtx-markets-launching-10-million-artificial-intelligence-mathematical-olympiad-prize-301997891.html

We introduce Starling-7B, an open large language model (LLM) trained by Reinforcement Learning from AI Feedback (RLAIF). The model harnesses the power of our new GPT-4 labeled ranking dataset, Nectar, and our new reward training and policy tuning pipeline. Starling-7B-alpha scores 8.09 in MT Bench with GPT-4 as a judge, outperforming every model to date on MT-Bench except for OpenAI’s GPT-4 and GPT-4 Turbo.

https://starling.cs.berkeley.edu