Just in case, вдруг вы не видели интро про LLM от Андрея Карпатого:

https://www.youtube.com/watch?v=zjkBMFhNj_g

Great news for European LLMs! Silo AI extends their family of open models Poro 🦌 with checkpoints, languages & modalities.

* Published additional checkpoints of Poro 1 34B, which shows best-in-class Finnish performance of open models, without compromising performance in English.

* Launching Poro 2 training with Nordic languages which covers English, Finnish, Swedish, Norwegian, Danish, Icelandic and code. Poro 2 has an updated and more modern architecture, and comes in a variety of model sizes.

* The upcoming model generations will add vision to their capabilities. This is enabled through a partnership with LAION.

https://www.silo.ai/blog/europes-open-language-model-family-poro-extends-checkpoints-languages-and-modalities

I'd also highlight another case of using non-NVIDIA chips for large-scale training:

* Poro is trained using 512 AMD MI250X GPUs on the LUMI supercomputer in Finland.

https://www.silo.ai/blog/europes-open-language-model-family-poro-extends-checkpoints-languages-and-modalities

Давно говорю, надо вместо нейронок делать глиалки!

https://www.quantamagazine.org/these-cells-spark-electricity-in-the-brain-theyre-not-neurons-20231018/

Воскресного Пелевина Рича Саттона вам в ленту!

https://www.youtube.com/watch?v=NgHFMolXs3U

Ещё видео на выходные:

Дискуссия Хинтона, Суцкевера и Хассабиса о путях развития искусственного интеллекта (7 октября 2023 г.)

Два месяца назад, еще до всех событий вокруг OpenAI, состоялась очень интересная дискуссия о путях развития искусственного интеллекта нескольких ярчайших умов нашего времени, включая Джеффри Хинтона, Илью Суцкевера и Демиса Хассабиса, модерировал дискуссию знаменитый профессор Томазо Поджио. Обсуждались два ключевых вопроса: 1. Создание новых теорий, сравнивающих человеческий интеллект с большими языковыми / мультимодальными моделями и глубоким обучением в целом 2. Насколько нейронаука может помочь прогрессу в искусственном интеллекте, а искусственный интеллект - прогрессу в нейронауке? По ссылке есть полный транскрипт дискуссии.

Эта дискуссия рекомендуется для ознакомления всем психологам, психофизиологам и когнитивным нейроученым, которые размышляют о проблемах синтеза психологии, нейронауки и искусственного интеллекта, особенно для непосредственного "живого" контакта с главными интеллектуальными лидерами нашего времени, ведущими нас по прямому пути к AGI.

Интересна жесткая критика, с которой Хинтон и Хассабис обрушиваются на Хомского, причем Хассабис даже обвиняет его в том, что Хомский лично ответственен за торможение в развитии NLP (обработки естественного языка) – без влияния Хомского ChatGPT мог появиться раньше. Тут также можно вспомнить симметричное негативное отношение Хомского к ChatGPT, кроме того, тут мне также вспоминается критика Хомского со стороны отечественной психологии и психолингвистики (Алексей Алексеевич Леонтьев), которая оказывается когерентной позиции Хинтона и Хассабиса.

Обсуждается интересный момент, что эволюционно первично было движение, а потом возник язык, а c большими языковыми моделями мы идем в обратном направлении, "воплощая" в моторике (роботов) язык.

Обсуждается, что эволюция часто шла неоптимальным путем (см. книгу Гари Маркуса "Клудж"), беря в качестве материала именно те мутации, которые фактически возникали (а не лучшие потенциально возможные мутации), и из-за этого нам не нужно полностью копировать мозг (например, перенося в ИИ все сотни типов нейронов), а можно все оптимизировать, обобщив и сократив все переносимые в ИИ принципы работы биологического мозга. Мне кажется, это очень глубокая и верная мысль (ее высказывает Хинтон со ссылкой на Крика).

Обсуждается принципиальный момент: как ИИ позволит ускорить научные исследования ("AI-enabled science"), Демис Хассабис в качестве примера рассказывает про его "AlphaFold", предсказывающую пространственную структуру белка.

Важный сюжет – истинная творческость, Хассабис говорит, что два из трех уровней (интерполяцию и экстраполяцию) на пути к ней ИИ уже прошел, остался третий, самый сложный – когда ИИ должен будет выйти на уровень Пикассо и великих математиков. Хассабис считает, что этот третий уровень – не магия, он имеет свои конкретные психофизиологические механизмы, и в будущем мы создадим системы, которые воспроизведут этот третий уровень на искусственном носителе.

Дискуссия завершается размышлениями Хинтона, существует ли в биологическом мозге обратное распространение ошибки. Это ключевой вопрос в сюжете о нейроморфизации искусственного интеллекта. Хинтон говорит, что если бы он мог задать всего один вопрос будущей "всезнающей" GPT-20, то он спросил бы: "реализует ли мозг какую-то форму обратного распространения ошибки?"

Еще я обратил внимание, что из всех спикеров только Илья Суцкевер говорил о своем беспокойстве по поводу будущего создания сверхинтеллекта.
https://cbmm.mit.edu/video/cbmm10-panel-research-intelligence-age-ai

Вообще, лично я до создания ChatGPT всегда ставил на Хассабиса из Google DeepMind как самого продвинутого исследователя на пути к AGI (в связи с его гениальной "AlphaGo", победившей в марте 2016 года чемпиона по го Ли Седоля), но Суцкевер из OpenAI неожиданно смог обогнать его. Также мне казалось, что Хассабис как психофизиолог по образованию (в 2009 году он защитил у Элеаноры Магуайр диссертацию на тему "Нейронные механизмы эпизодической памяти") имеет в этой гонке преимущество перед более далеким от реального биологического мозга Суцкевером (защитившего в 2013 году у Джеффри Хинтона диссертацию на тему "Обучение рекуррентных искусственных нейронных сетей"). Хассабис сейчас активно пытается вернуть первенство с проектом Gemini (выйдет в 2024 году), который совместит всю мощь AlphaGo-линии с GPT-технологиями. Я думаю, именно эти два человека определят наше будущее – Суцкевер и Хассабис, причем вся эта последняя история с OpenAI, судя по всему, снизит возможности Суцкевера и сыграет на руку Хассабиса, и, наверное, в итоге все-таки Хассабис на мощностях Google создаст AGI.

Через полтора часа стартует ModCon '23 (https://www.modular.com/modcon/23/start) от создателей Mojo (Криса Латтнера, автора LLVM, MLIR и Swift, если кто не знает). Обещают быть интересные анонсы, вероятно про то, как Mojo всех рвёт :)

Живой кейноут будет здесь: https://www.youtube.com/watch?v=VKxNGFhpYQc

My summary of ModCon'23 Keynote about Mojo.

# Mojo: Pythonic system programming language
- usability of Python + performance of C
- focus on AI stack
- can use existing Python modules in Mojo (uses CPython for interoperability)
- in terms of migrating your Python code it's still not 100% compatible (https://docs.modular.com/mojo/why-mojo.html#compatibility-with-python)
- just announced mojo 0.6
- added traits to express generic functions (https://www.modular.com/blog/mojo-traits-have-arrived)
- in 2024 Q1 will start opensource Mojo
- more about the language from the talk at LLVM 2023: https://www.modular.com/blog/mojo-llvm-2023
- llama2.🔥 (https://github.com/tairov/llama2.mojo) is faster than llama2.c on CPU, with much shorter code

# MAX: Modular Accelerated Xecution
- Announced MAX platform, https://www.modular.com/max
- Includes MAX Engine (model inference runtime and API library) + MAX Serving (serving library for the MAX Engine that provides full interoperability with existing serving systems, e.g. Triton) + Mojo
- With GPU support (NVIDIA only?)
- Free developer edition, paid enterprise edition

Поскольку периодически этот вопрос уже поднимался, я таки завёл Патреон на случай, если вам нравится что я делаю и вы хотите поддержать мой проект.

Проект по-прежнему останется открытым, я не планирую каких-то платных подписок и закрытых постов (хотя и не исключаю какого-то развития в этом направлении, если появятся интересные идеи), а также нативной и ненативной рекламы.

Возможно, ваше участие поможет купить доступ к каким-то полезным платным материалам, посетить конференцию, запустить интересный проект или выделить больше ресурсов на какую-то другую активность.

И спасибо за то, что вы всё это время с нами :)

https://patreon.com/GonzoML

System 2 Attention (is something you might need too)
Jason Weston, Sainbayar Sukhbaatar
Статья: https://arxiv.org/abs/2311.11829

В промптах для LLM часто содержится нерелевантная вопросу информация, отвлекающая модель. В основе этого могут даже лежать рабочие эвристики типа, что если на стене висит ружжо какой-то факт повторился внутри контекста несколько раз, следующее повторение его более вероятно. И это в среднем наверное даже помогает предсказывать следующий токен. Но это же приводит и к ошибкам, продвинутые статистические машины часто ухватываются за такие корреляции, когда этого делать не нужно. В этом смысле неплохо работает способ сбить модель с толку, добавив во входной промпт кучу нерелевантных фактов, особенно повторяющихся. К этому неустойчивы даже самые продвинутые модели.

Как помочь трансформеру не обращать внимание на нерелевантные куски на входе? Добавить ему способ реализовать более глубокое понимание. Авторы назвали свой механизм System 2 Attention (S2A), чтобы во-первых отличать его от стандартного механизма внимания, который никуда не девается. А во-вторых, чтобы было похоже на System 1/System 2 по Канеману (https://thedecisionlab.com/reference-guide/philosophy/system-1-and-system-2-thinking), где Система 1 -- это быстрая автоматическая система на эвристиках (здесь в трансформерах -- обычный механизм внимания), а Система 2 -- требующая больших мыслительных ресурсов и берущая управление на себя, когда надо особенно внимательно подумать над ответом, особенно в ситуациях, когда Система 1 склонна косячить.

В данной работе авторы реализуют S2A средствами самой же LLM. Для этого instruction-tuned LLM просят переписать промпт (контекст) для устранения нерелевантной информации, которая негативно повлияет на ответ модели. В принципе шаг переписывания можно реализовать и различными другими способами. Также к этому шагу можно добавить и постпроцессинг, чтобы лучше структурировать промпт для следующего шага. Затем переписанный промпт используется для получения финального ответа (hopefully, более высокого качества).

Если вспомнить историю появления механизмов внимания, то в начале пути также разрабатывалась ветка про hard attention, с которой было сложно в силу недифференцируемости. Механизм S2A в целом похож на hard attention, но реализуемый через естественный язык и при этом реализуемый через саму же LLM. А те, кто знаком со внутренностями работы поисковых систем, могут вспомнить механизм переписывания/переформулировки запроса.

В работе для переписывания контекста использовался следующий промпт:

“Given the following text by a user, extract the part that is unbiased and not their opinion, so that using that text alone would be good context for providing an unbiased answer to the question portion of the text.

Please include the actual question or query that the user is asking. Separate this into two categories labeled with “Unbiased text context (includes all content except user’s bias):” and “Question/Query (does not include user bias/preference):”.

Text by User: [ORIGINAL INPUT PROMPT]“

Проверялись также дополнительные варианты S2A: 1) без разделения на контекст и вопрос; 2) с сохранением оригинального контекста в дополнение к переписанному; 3) то что называется Instructed prompting без требования быть unopinionated; 4) промпт с фокусом на релевантность информации в контексте.

Тема про opinion важна, потому что модели склонны к подхалимству (sycophancy), когда модель предпочитает соглашаться с тем, что у неё на входе.

Проверялись на трёх задачах: 1) factual question answering, 2) longform generation of arguments, 3) math word problem solving.

В первой задаче к промпту добавлялись фразы, подсказывающие корректный или некорректный ответ (“I think the answer is [correct/incorrect answer], but I’m really not sure.”), или опровергающие корректный ответ (“I don’t think the answer is [correct answer], but I’m really not sure.”). Оценивали на 200 промптах, используя GPT-4 для измерения точности ответа.

Во второй задаче добавляли к промпту фразы про “I like/dislike this argument.” или “I wrote/didn’t write this argument”. Тоже 200 промптов с использованием GPT-4.

Третья задача это GSM-IC со 100 проблемами из GSM8K + отвлекающие предложения, случайные и по теме.

В качестве базовой модели взяли LLaMA-2-70B-chat. Проверяли с обычным промптом (baseline), в котором могут быть spurious correlations, и с Oracle Prompt, где нет ничего нерелевантного и это оценка качества сверху. И с этим сравнивали S2A.

Результаты прикольные. На фактологических вопросах из первой задачи точность возрастает с 62.8% до 80.3% (у оракула 82%). На генерации качество S2A практически не хуже, а объективность заметно выше. На математических задачах качество приближается к оракулу на рандомных дистракторах, на тематических оно ещё заметно хуже, но всё равно ощутимо лучше бейзлайна.

Среди различных вариаций S2A механизма дефолтный лучше остальных. Zero-shot Chain-of-Thought (CoT) вообще плох.

В общем прикольный подход. Очередной пример из серии “дёшево и сердито”. Давайте же, добавьте кто-нибудь System 3 Attention (https://www.moneyonthemind.org/post/on-the-hunt-for-system-3-is-it-real)!