Kling AI

Figure 02 coming 8/6

Как работает ваш мозг, когда вы говорите на иностранном языке? Сначала переводит внутри на родной или сразу понимает и формулирует фразы на иностранном? Скорее всего, каждый человек ответит на это по-своему, а ответ будет зависеть и от уровня владения языком, и от того, по какой методике вас этому языку учили, и от особенностей мышления и речи вообще. Тем интереснее понять, как с этим обстоят дела у больших языковых моделей. Их обучают преимущественно на английских текстах, но как-то невзначай они вдруг начинают неплохо говорить и на других языках. Да, похуже, чем на английском, но всё-таки вполне достойно. Так что закономерно, что на общей волне интереса к интерпретируемости AI возникает запрос разобраться с этой мультиязычностью моделей.

Интуитивно (а вообще просто по аналогии с человеком) кажется, что раз модель обучалась на английском, то он должен быть ее “родным” языком. То есть когда мы спрашиваем GPT на русском, он внутри сначала переводит на английский, там же формулирует ответ, а затем переводит обратно на русский. Если это действительно верно, то это означает, что у модели есть некоторый уклон не только к англоязычной грамматике и лексике, но отсюда и к соответствующим метафорам, логике, поведению. То есть, к менталитету англоязычного мира. А если это неверно? Тогда еще хуже — тогда совершенно непонятно, как модель достигает такого хорошего результата на таком скромном объеме обучающих данных.

Читать дальше

У модели андроида 1X прогресс.

Наконец-то экспериментально [1] посрамлена шиза статья [2] от Cortical Labs и Карла Фристона о том, что двумерная биологическая нейронная сеть in vitro, с рандомным коннектомом, — т.н. нейрональная культура — якобы может научиться играть в компьютерную игру Pong: показано, что этому же можно "обучить"... гетерогенный электроактивный гидрогель. Авторы – молодцы! 👏

Сравнительная заметка* в Nature: https://www.nature.com/articles/d41586-024-02704-y

Предыдущие релевантные посты:
https://news.1rj.ru/str/NeuroMetric/466
https://news.1rj.ru/str/NeuroMetric/534
https://news.1rj.ru/str/NeuroMetric/649
https://news.1rj.ru/str/NeuroMetric/891
https://news.1rj.ru/str/abulaphia/5087

PS: Можно ещё попробовать "обучить" этой игре электроактивные** двумерные бактериальные популяции [3, 4]. Есть немалый шанс, что они тоже научатся, если масштаб времени отклика в игре отрегулировать. В качестве ещё одного контр-примера, см. статью о "химическом мозге", опубликованную в УФН.

PS2: Слово "обучение" — в когнитивном контексте — применительно ко всему материальному, что не является самостоятельным биологическим организмом (или его макроскопической функциональной частью) должно применяться с осторожностью – подробным определением и оговорками о применимости. Иначе будет только рост опасного квази-научного популизма, а не научного знания. Например, термин "пластичность железа" подразумевает макроскопический объект, кусок железа, а не отдельный атом железа. Термин "обучение" возник и стандартен применительно к мозгу – совокупности гетерогенных нейронных сетей (структура которых уже на мезоскопическом уровне отнюдь не случайна и обусловлена в первую очередь геномом), а не к отдельному синапсу или нейрону. Или к случайно соединенной группе биологических нейронов. В теории искусственных нейронных сетей, для которых вошел в широкий обиход термин "глубокое обучение", под "обучением" понимается математически строгая алгоритмическая процедура, определенная предельно ясно и недвусмысленно.

---
[1]: V. Strong, W. Holderbaum, Y. Hayashi, Electro-active polymer hydrogels exhibit emergent memory when embodied in a simulated game environment, Cell Rep. Phys. Sci. 5, 102151 (2024). https://doi.org/10.1016/j.xcrp.2024.102151
[2]: B.J. Kagan et al., In vitro neurons learn and exhibit sentience when embodied in a simulated game-world, Neuron 110, 3952 (2022). https://doi.org/10.1016/j.neuron.2022.09.001
*: Наглядно демонстрирующая поразительную изворотливость и конформизм "западных" ученых.
**: См. обзор W.A. Catterall, G. Wisedchaisri, N. Zheng, The chemical basis for electrical signaling, Nat. Chem. Biol. 13, 455-463 (2017). https://doi.org/10.1038/nchembio.2353
[3]: E. Masi et al., Electrical spiking in bacterial biofilms, J. R. Soc. Interface 12, 20141036 (2015). https://doi.org/10.1098/rsif.2014.1036
[4]: A. Prindle et al., Ion channels enable electrical communication in bacterial communities, Nature 527, 59-63 (2015). https://doi.org/10.1038/nature15709

"Нейро-ящерицы" на шейдере.

Neural CA - Lizard

Shadertoy implementation of growing Neural CA https://distill.pub/2020/growing-ca/
I'm surprised nobody did a Shadertoy port of this before.
Trained using my own library TensorFrost: https://github.com/MichaelMoroz/TensorFrost/tree/main/examples/ML/NCA

Работа из дома в Японии.

Клуб инженеров

Addition is All You Need for Energy-efficient Language Models
https://arxiv.org/abs/2410.00907

Proposes linear-complexity multiplication (L-Mul) algorithm, which approximates floating point multiplication with integer addition operations.

This new Linear-complexity Multiplication (L-Mul) algorithm can reduce energy costs by 95% for element-wise tensor multiplications and 80% for dot products in large language models, while maintaining or even improving precision compared to 8-bit floating point operations.

- Approximates floating-point multiplication using integer addition
- Linear O(n) complexity vs O(m^2) for standard floating-point multiplication
- Replaces tensor multiplications in attention mechanisms and linear transformations
- Implements L-Mul-based attention mechanism in transformer models

ист. X