И ЕЩЁ ОДНА ЗАМЕТОЧКА В NATURE,

в которой есть некоторые мои мысли:

https://www.nature.com/articles/d41586-023-03551-z

Наконец-то добрался до интервью с Ильей Суцкевером, главный «мозг» Open AI, во многом благодаря ему существуют современные версии GPT.

1. Он интересно говорит, что его мотивация состояла из посылки, что искусственная нейронная сеть принципиально не отличается от биологической, и если маленькая нейронка может выполнять задачи искусственного зрения, то что может сделать большая. Он ставит акцент на развитии полезного AGI, главным свойством которого является автономность. Это неизменная цель Open AI

2. Становление Open AI не “open”, что заметили все, и переход от nonprofit на коммерческие рельсы, он связывает с банальным вопросом необходимости громадных вычислительных мощностей и требуемых для этих вычислений громадных денег (немного спустя после интервью Open AI заявила о проблемах в связи с нехваткой вычислительных мощностей).

3. Главная проблема развития генеративного ИИ - это проблема ограничения данных. Главная проблема самого ИИ - это его проблема надежности (reliability). При всем прогрессе ИИ все еще очень не надежен. Он называет надежность бутылочным горлышком.

4. Сейчас еще рано говорить о каких-то больших результатах генеративного ИИ, потому что его применение в основном не превышает «развлекательных» задач. И это при громадных вливаний в вычисления. (Будет иронично, что в итоге окажется содержать коллектив людей выгоднее, чем иметь крутейший ИИ).

5. Когда Илью спросили о главном удивлении от GPT, он сказал, что «все это вообще работает». В 2016-17 гг область машинного обучения была в большой степени академической, он называет это «каменным веком», пока не появилась идея трансформерной архитектуры, которая позволяла нейронке делать предсказания о следующих «словах». Магия в том, что тренируя эти предсказания оказалось возможным добиться огромных результатов.

6. В мозге Илью удивляет пластичность и обширные компенсаторные функции. Он приводит пример операции гемисферэктомия, когда удаляют целое полушарие (правда, так сейчас стараются уже не делать, оставляя «отсеченное»полушарие на месте). И после такого можно восстановится. На нейронках это очевидно не работает. Пластичность и компенсаторные способности — это главные отличия биологического мозга от искусственных нейронок.

В целом Илья очень оптимистичен. Попросил GPT красиво оформить этот пост … в общем ну его, пока кожаный должен работать

Правда, не смог ознакомиться с этой потрясающей статьей из-за того, что капиталисты требуют подписаться.

https://www.wsj.com/tech/biotech/ai-wearable-computers-brain-interfaces-ab07366b

Голова профессора Доуэля

https://futurism.com/neoscope/device-keep-brain-alive

Вот эта грандиозная статья

https://www.nature.com/articles/s41598-023-39344-7

Итак, подъехали истории, рассказанные в подкастной модного автосервиса.

Выходит, что на смену вечеринкам в необычных местах приходят ПОДКАСТЫ в необычных местах!

Итак, все бегают по кругу и кричат «ChatGPT». При этом людей, которые понимают принцип работы языковых моделей минимальное количество. Пришло время открыть вам глаза!

Вы готовы? ChatGRP это просто новый способ сжатия данных. Типа ZIP-архиватора.

Т.е. чатГПТ просто очень эффективно сжимает все говно, что нашел в интеренете и, по вашему запросу, распаковывает нужный кусок, доливая интеполяцией воды в те места, которые были утеряны. Ни о каком «интеллекте» там и речи быть не может.

Предлагаю для вашей субботней сессии повышения квалификации прекрасную статью.

Альтман врал, скрывал информацию, занимался самодеятельностью. Выгнали.

https://www.theverge.com/2023/11/17/23965982/openai-ceo-sam-altman-fired

В философии — сила

Песня дня

https://youtu.be/tsxwGnDfvWE?si=XVkiigEb8HsARoqG

Всероссийская премия "За верность науке" признала Medtech.Лекторий самым массовым и популярным лекторием в стране
 
"Медтех" мы создали для быстрого внедрения в клиническую практику новейших разработок.
 
Летом состоялись 25 выступлений известных учёных и создателей перспективных стартапов со всей страны, готовых поделиться знаниями и опытом из реальной медицинской практики.
 
Обсуждали новые методы разработки лекарств, роль искусственного интеллекта и знаний о генетике в лечении пациентов и многое другое.
 
Лекции прослушали около тысячи человек очно и 2,5 млн онлайн. Сейчас выступления можно найти в записи по ссылке.

Только я решил меньше пить кофе…

https://cellandbioscience.biomedcentral.com/articles/10.1186/s13578-023-01154-9

Видео дня

https://youtu.be/KD_1Z8iUDho?si=n_QdoKVqX2nFH6Db

За 2 дня до увольнения Сэм Альтман на саммите АТЭС сделал заявление, на которое СМИ не обратили внимания

Альтман упомянул, что Openai недавно совершила огромный прорыв, который раздвигает границы всего. Смотрите видео.

Команда смогла создать ИИ, у которой новые когнитивные способности.

В чем может заключаться прорыв?

Возможно в генерации расширенного поиска (RAG).

RAG — это архитектура, которая позволяет LLM использовать поисковую систему для расширения своих рассуждений.

Проблема всегда заключалась в том, что вложения, используемые поисковой системой, не могли быть теми полезными, которые дополняли рассуждения LLM.

Ситуация сильно поменялась, когда 11 ноября OpenAI представила свою новую модель.

Похоже, что новая модель знает, какие запросы лучше всего подходят для ответа на вопрос. Но это не все - система знает лучший тип ответа поисковой системы, который приводит к лучшему ответу.

Пока нет объяснений от команды, как их RAG удалось так сильно улучшить.

Это может означать, что AGI уже создан в OpenAI, о чем Альтман уже несколько раз говорил:

https://news.1rj.ru/str/blockchainRF/8607

https://news.1rj.ru/str/blockchainRF/8677

Инициатива наказуема

https://news.1rj.ru/str/blockchainRF/8905

Вот, что случилось этой ночью с OpenAI https://news.1rj.ru/str/alwebbci/1599

⚡️⚡️⚡️Альтман и Брокман переходят в Microsoft - только что это написал Сатья Наделла

Он сообщил в своем аккаунте Твиттера, что Microsoft продолжает поддерживать OpenAI и нового гендиректора.

А Сэм Альтман и Грег Брокман вместе с коллегами присоединятся к Microsoft, чтобы возглавить новую группу передовых исследований в области искусственного интеллекта.

Ну, что Microsoft развалил OpenAI, чтобы усилить свои собственные разработки?) https://news.1rj.ru/str/blockchainRF/8642

Но в корпоративном мире нет единства) борьба продолжится! 🙃