В генерации наукообразных картинок AI уже давно обогнал человека...

Довольно интересная статья, в которой рассматривается финансовый крах доткомов (1995-2000), это крах рынка стремительно растущих в то время интернет компаний. Проводятся параллели с сегодняшней ситуацией на рынке криптовалют и систем искусственного интеллекта. Кому лень читать есть видео.
https://habr.com/ru/articles/964548/

Придумал новый подход изложения математики для инженеров

Главный принцип - как можно меньше запоминать. Короткие простые для запоминания, но сложные в доказательстве утверждения принимаются за исходные, все остальное выводится из них очень просто.

Приведу пример из линейной алгебры, курс который обычно излагается на более чем 200 страницах и содержит, порой, огромные по размеру доказательства на нескольких страницах, которые сложно понять и запомнить.
Берём за основу три утверждения:
1. Определение детерминанта через формулу Лейбница, это та которая сумма произведений элементов из каждой строки со знаком, зависящим от числа перестановок.
2. Определение детерминанта через разложение Лапласа - на основе алгебраических дополнений элементов строки или столбца.
3. Определение детерминанта, как ориентированный гиперобъем параллелотопа (со знаком), построенного на векторах из столбцов или строк матрицы.
Доказательство, что эти три определения эквивалентны занимает очень много страниц и достаточно тяжело для изучения, но сами эти определения легко запомнить.
Если их принять за исходные, то дальше весь курс линейной алгебры умещается в 30 страниц, с очевидными доказательствами максимум на 3 строчки.
Например, что будет с определителем, если две строки одинаковы? Очевидно, что фигура построенная на таких векторах будет иметь нулевую толщину по одному из направлений, соответственно нулевой объем и определитель будет равен нулю.
P.S. Видимо, лучше исходных утверждений всё-таки сделать чуть больше, например, можно добавить мультипликативность определителя, там тоже доказательство большое.

С момента появления искусственных нейросетей их пытаются приспособить для игры на бирже, у меня есть пара книжек ещё 90-х годов, где рассматривается такая тема.
Пройти мимо больших языковых моделей, чтобы не попробовать их в инвестировании было просто нельзя... С предсказуемым результатом, конечно... В статье табун из больших языковых моделей пытается обыграть рынок...
https://habr.com/ru/news/971670/

Существует не менее 50 вариантов доказательства теоремы Пифагора. Кому-то нравятся одни, кому-то нравятся другие.
Помню, что меня приятно удивило "доказательство Эйнштейна", по легенде его придумал в детстве Эйнштейн, но более детальное изучение показывает, что автор доказательства не он, все было известно ранее.
На мой взгляд, предпочтения в доказательствах можно объяснить разницей мозга и мышления разных людей, то что для одного наглядно и просто, то для другого сложно и запутано.

В приведенной статье автор делает методологическую ошибку, он доказательство, которое понравилось ему, считает наиболее понятным и единственно оптимальным для обучения. Не учитывая, что люди, например, с плохим пространственным воображением вообще его не поймут про эти зеркала, для них лучше алгебраические формулы писать...
https://habr.com/ru/articles/972262/

Способности больших языковых моделей постоянно растут, но как? Закон уплотнения!

Была предложена метрика «плотность способностей» (capability density) для оценки эффективности больших языковых моделей (LLM). Она показывает, насколько хорошо модель использует свои параметры, то есть сколько качества решений (определяемого на бенчмарках - эталонных тестах) приходится на один параметр.
Метрика тестируется сразу на пяти популярных наборах задач:
MMLU — общие знания,
BBH — логическое рассуждение,
MATH — математика,
HumanEval и MBPP — программирование.

Оказалось, что максимальная плотность у открытых LLM растёт экспоненциально и удваивается каждые ~3,5 месяца.
Это утверждение по аналогии с законом Мура провозгласили тоже общим законом и назвали «закон уплотнения» (densing law). Таким образом, для решения одной и той же сложной задачи LLM каждые 3.5 месяца требуется в 2 раза меньше параметров.

Но если с законом Мура все просто: число транзисторов, которое можно разместить на кристалле интегральной схемы, удваивается каждые 18–24 месяца - мы можем однозначно измерить и время и число транзисторов, то с измерением «плотности способностей» есть проблемы.

Что не так с этой метрикой?
Бенчмарки (эталонные тесты) ограничены: они проверяют конкретные навыки (знания, логику, математику, код), но не весь спектр возможностей модели.
Фокус на узких задачах: например, MATH оценивает решение задач по школьной математике, но не проверяет креативность или способность к долгосрочному планированию.
И главное:
Риск утечек данных: многие тесты открыты, и часть их могла попасть в обучающие данные, что искажает результаты.
https://www.nature.com/articles/s42256-025-01137-0

Системы с хаотическим поведением первого, второго и третьего порядка

Системы первого порядка
Пример: погода, климат, физические процессы.
Свойство: они хаотичны, но «безразличны» к прогнозам.
Если синоптик скажет, что завтра дождь, это никак не изменит траекторию облаков.
Математически: прогноз не входит в уравнения состояния.
Следствие: мы можем ошибаться в предсказании, но сама система не реагирует на факт предсказания.

Системы второго порядка
Пример: финансовые рынки, социальные системы, политика.
Свойство: прогнозы влияют на саму систему.
Если влиятельный аналитик (лидер общественного мнения) заявит, что акции упадут, часть игроков начнёт продавать, и падение действительно может произойти.
Математически: прогноз становится входным сигналом в системе, меняя её динамику.

Интересный парадокс
В системах первого порядка прогнозы — это просто внешние наблюдения.
В системах второго порядка прогнозы становятся самоисполняющимися или самоопровергающимися (сюда же "самоисполняющиеся пророчества").
Пример самоисполняющегося: слух о дефиците товара вызывает ажиотажный спрос, и дефицит действительно возникает.
Пример самоопровергающегося: прогноз кризиса заставляет власти принять меры, и кризис не наступает.

Но есть ещё системы третьего порядка.
Суть: участники начинают учитывать не просто будущее, а то, как другие будут реагировать на прогнозы будущего.
Пример:
На бирже аналитик говорит: «рынок упадёт».
Игроки думают: «раз он так сказал, другие начнут продавать».
Но часть игроков рассуждает дальше: «раз все думают, что будут продавать, я куплю заранее, чтобы потом выиграть».
В итоге система реагирует на ожидания о реакции на ожидания.
В социологии: это уровень «мета-ожиданий» — я думаю о том, что ты думаешь о том, что я думаю.
В теории игр: это соответствует многоуровневым рассуждениям («я знаю, что он знает, что я знаю…»).

Еще примеры
Политика: не только сами опросы, но и ожидания о том, как публика воспримет эти опросы. влияют на поведение
Социальные сети: хайп строится не на событии, а на ожидании реакции на событие.

Как Крамер догнал Гаусса

Как известно существует не очень много точных методов решения систем линейных уравнений вида Ax=b.
Наиболее известными методами являются:
Метод Гаусса и близкое к нему LU разложение, когда матрица системы приводится к верхне треугольному виду.
Метод Кремера на основе определителей: Xi=det(Ai)/det(A).
QR разложение, связанное с ортоганализацией, используется, обычно, в методе наименьших квадратов.

Метод Гаусса и QR разложение имеют при больших размерностях O(n^3) сложность, а метод Кремера, в котором необходимо находить n+1 определителей, рассчитываемых в свою очередь с помощью того же LU разложения Гаусса с O(n^3), в итоге имеет сложность O(n^4).
Таким образом, метод Кремера, это красивый аналитический метод, имеющий огромную ценность, но для численных решений больших систем слишком трудоемкий.

И вот, в 2010 году появился новый улучшенный метод Кремера, в котором все определители считаются параллельно, за счёт чего достигается сложность O(n^3) как и в методе Гаусса.

https://dl.acm.org/doi/10.1145/1878537.1878623

https://hal.science/hal-01500199/

Сегодня у меня специфический вопрос касающейся линейной алгебры, так как пытаюсь написать свой оригинальный букварь.

В главе про детерминанты матриц мы их сразу определяем:
1. Формулой Лейбница с перестановками.
2. Через разложение Лапласа, т.е. определители более низкого порядка.
3. Через объем параллелепипеда на векторах из столбцов или строк матрицы.
4. Как функцию от элементов квадратной матрицы, обладающую тремя фундаментальными свойствами: мультилинейность, асимметрия по строкам или столбцам, нормировка.
5. И вот тут бинго, есть пятое определение!!!
Определитель - это произведение собственных чисел матрицы.
Но вы спросите, а как найти собственные числа без определителя?
Оказывается можно: (A-גI)x=0, для этого уравнения с помощью теоремы Кронекера — Капелли ищем собственные числа ג, для которых имеются не нулевые решения x. А ранг матрицы для данной теоремы определяем или путем поиска линейно независимых строк и столбцов или с помощью метода Гаусса, приводя матрицу к ступенчатому виду и смотря сколько у нее ненулевых строк в результате получилось.

OpenRouter подготовило обширное исследование: как реально используют LLM

Основные сценарии использования LLM:

Ролевые игры (Roleplay... И это не то что вы подумали!) — около 30–35% всего трафика. Это крупнейший сегмент: пользователи активно используют модели для диалогов, симуляций персонажей, креативных историй.

Программирование (Coding) — примерно 25–30%. Генерация кода, помощь в отладке, объяснение алгоритмов. Особенно популярны модели среднего размера (15–70B).

Общая генерация текста (General writing) — около 15–20%. Сюда входят эссе, статьи, письма, резюме, креативные тексты.

Образование и объяснения (Education / Q&A) — примерно 10–15%. Ответы на вопросы, объяснение теории, помощь в учёбе.

Анализ данных / утилитарные задачи — около 5–10%. Таблицы, преобразования текста, структурирование информации.
https://openrouter.ai/state-of-ai
На русском https://habr.com/ru/news/975226/

Долой детерминанты!

Всегда приятно когда в какой-то сфере ты не очень большой корифей, но предлагаешь новую идеи и оказывается, что да, есть признанные специалисты, которые думают так же.
Теория матриц для меня - это математический язык, который используется в анализе данных и теории управления, которыми я занимаюсь.
Решил я написать букварь про векторы, матрицы и тензоры для не математиков, а тех кто использует высшую алгебру.
Застрял на главе про детерминанты (определители), мне показалось, что можно построить изложение так,  что детерминант возникнет после собственных чисел матрицы, мало того, сам детерминант может может быть определен как произведение ее собственных чисел...
И вот пожалуйста, статья крупного американского математика и специалиста в области линейной алгебры: "Долой детерминанты!", как раз про это!
https://www.axler.net/DwD.html

Какие вы знаете сервисы для преобразования текста с формулами из LLM в файлы форматов Ворд и LaTeX?

Хороший обзор по теории матриц...
Я, конечно, несколько спорных моментов нашел, например, когда автор говорит, что диагонализация лишь для нахождения степени от матриц, она для нахождения любых функций от матриц и много ещё чего, в том числе, упрощает выкладки и делая их прозрачными.
Но в целом обзор очень неплох.
https://habr.com/ru/articles/949084/

Исследовалось каким образом объем транзакции на бирже изменяет цену акций. Проанализировали данные по акциям Токийской фондовой биржи за восемь лет. 

Подтвердили универсальность закона квадратного корня (square-root law, SRL), согласно которому ценовое воздействие растет пропорционально квадратному корню из количества проданных или купленных акций.
Например, если при покупке 100 акций крупным инвестором их цена увеличится на 15 процентов, то для роста цены акций на 30 процентов тот же инвестор должен будет купить не 200, а 400 акций.
https://journals.aps.org/prl/abstract/10.1103/65jz-81kv
На русском https://naked-science.ru/article/physics/srl-big-stock-physics

Это было давно... Матрицы...

Когда я поступил в аспирантуру, мой научный руководитель сказал, что мне нужно изучить некоторые разделы математики, которые очень поверхностно рассматриваются во время учебы в институте... Я ожидал чего угодно: кратных интегралов, теорию поля, ночей над вариационными принципами, толстых монографий по теории оптимального управления...

Он посмотрел на меня поверх очков — так, как смотрят люди, которые уже давно знают, что ты собираешься спросить, но всё равно дадут тебе шанс.

— Интегралы? — переспросил он, когда я робко упомянул, что хотел бы углубиться в методы интегрирования. — Интегралы никому не нужны. Забудь.

Я даже не сразу понял, шутит он или нет. Но он продолжил:

— Хочешь заниматься моделированием? Хочешь понимать, как устроены современные методы? Тогда тебе нужен аппарат теории матриц. Всё, что угодно — от механики до машинного обучения — держится на матрицах. Интегралы — это романтика прошлого века.

Я стоял, слушал и чувствовал, как внутри меня что‑то смещается. Как будто я пришёл в университет изучать звёзды, а мне сказали: «Начни с гаечного ключа. Без него телескоп не соберёшь».

— Матрицы — это язык, — продолжал он. — На нём разговаривают модели, алгоритмы, физика, экономика. Хочешь понять мир — учись говорить на этом языке...

Картинка к предыдущему посту... В руках у молодого человека Гантмахер "Теория матриц". :)

Книжка о том как сделаны большие языковые модели... Оставлю здесь, чтобы не потерялась...

Этот PDF-файл на 277 страницах раскрывает секреты больших языковых моделей. Вот что в нём содержится: 🧵

В первой главе рассматриваются основы предварительного обучения. Это фундамент больших языковых моделей. Здесь будут обсуждаться распространённые методы предварительного обучения и архитектуры моделей.

Во второй главе рассказывается о генеративных моделях — больших языковых моделях, которые мы обычно используем сегодня. После описания основного процесса создания таких моделей вы узнаете, как масштабировать обучение моделей и работать с длинными текстами.

В главе 3 представлены методы подсказок для больших языковых моделей. Ознакомьтесь с различными стратегиями подсказок, а также с более продвинутыми методами, такими как цепочка логических рассуждений и автоматическое составление подсказок.

В главе 4 представлены методы согласования для больших языковых моделей. Изучите тонкую настройку и согласование на основе обратной связи от человека.

В главе 5 представлены методы логического вывода для больших языковых моделей. Узнайте секреты алгоритмов декодирования, методов ускорения и решения проблемы масштабирования времени логического вывода.

Предисловие для второй главы мой книги про векторы, матрицы и тензоры...

Глава 2. Теория определителей

Когда-то давно, задолго до появления современных учебников, люди уже умели решать системы линейных уравнений. И что удивительно — один из первых методов, который мы сегодня называем методом исключения Гаусса, появился вовсе не в Европе и не в XIX веке, когда творил Гаусс. Он родился в древнем Китае, как описано в древней «Математике в девяти книгах». Тогда математики выкладывали числа в таблицы, по сути, матрицы и шаг за шагом устраняли переменные. Это был прообраз того, что спустя почти две тысячи лет станет «методом Гаусса». Но тогда никто не думал о матрицах. Не было ни теории, ни языка, чтобы описать происходящее. Были только числа и необходимость решать задачи.
В Европе XVII–XVIII веков всё пошло по другому пути. Лейбниц первым записал формулы, похожие на определители. Крамер в 1750 году предложил свой знаменитый метод решения систем: заменить столбцы, вычислить определители, разделить одно на другое — и получить ответ. Это выглядело красиво, строго и очень «математично». Определители стали модным инструментом. В XIX веке их изучали как самостоятельный объект: многие математики были уверены, что определители — это главное, а всё остальное вторично. Даже когда Гаусс формализовал метод исключения в начале XIX века, его воспринимали скорее как удобный технический трюк, а не как основу линейной алгебры. Это был момент, когда казалось, что определители победили, они стали центром теории, а методы исключения — лишь ремеслом вычислителя. В XVIII–XIX веках математики решали системы линейных уравнений через формулы Крамера — алгебраический подход, красивый, но громоздкий. Для маленьких систем — нормально. Для больших — кошмар.
XX век всё перевернул. Когда появились вычислительные машины, стало ясно: определители — прекрасны в теории, но ужасны на практике: они неустойчивы к численным ошибкам, метод Крамера требует вычислять много определителей — это слишком дорого.
В то же время, метод Гаусса легко алгоритмизируется, работает быстро и надёжно. И вот тут произошёл перелом: метод исключения вернулся и стал основой всей вычислительной линейной алгебры. LU-разложение, QR-разложение, SVD сингулярное разложение и многое другое.
Определители же заняли более скромное, но всё ещё важное место. Они стали инструментом для: проверки обратимости матриц и линейной независимости, построения характеристических многочленов, вычисление объёма параллелепипеда, заданного векторами, аналитических выкладок для теоретических доказательств и некоторых других проблем, но не для решения систем уравнений. Сейчас никто не считает, что определители важнее матриц.

GLM‑4.7 — новая китайская модель для программирования, которая догоняет западных лидеров
Китайская компания Zhipu AI (Z.ai) представила модель GLM‑4.7, ориентированную на программирование, агентные сценарии и сложные многошаговые задачи.

По данным NewsBytes и SCMP:
GLM‑4.7 уступает:
Claude Opus 4.5
Gemini Pro 3
GPT‑5 / GPT‑5.1 (в зависимости от теста)

Но превосходит:
предыдущие китайские модели
многие open‑source модели
некоторые версии GPT‑5 на отдельных кодовых бенчмарках
Позиция в глобальном рейтинге (по слепому тестированию):
1‑е место среди open‑source моделей
1‑е место среди китайских моделей
6‑е место в мире

Это делает GLM‑4.7 одним из самых сильных открытых решений для кода.

https://www.scmp.com/tech/tech-trends/article/3337516/chinese-start-ups-zhipu-and-minimax-release-latest-ai-models-ahead-hong-kong-listing

Почему характеристическое уравнение иногда называется вековым уравнением?

Название «вековое уравнение» (по‑русски) — это прямой перевод французского термина équation séculaire, который появился в астрономии XVIII–XIX веков.
В небесной механике изучали движение планет, и оказалось, что их орбиты испытывают медленные, очень долгие изменения, растянутые на столетия. Эти изменения называли:
вековыми возмущениями
secular variations (от лат. saeculum — век)
Чтобы описать эти медленные изменения, Лаплас, Лагранж и другие учёные выводили линейные системы дифференциальных уравнений, коэффициенты которых зависели от масс и орбит планет.
При анализе этих систем возникали уравнения на собственные значения — именно те, что мы сегодня называем характеристическими.
И вот эти уравнения в астрономии называли:
✔ «вековыми уравнениями»
потому что они описывали вековые (очень медленные) изменения орбит.