Окончание лекции Владлена было посвящено внешним бильярдам. Определяются они так: пусть на плоскости задана выпуклая фигура P. Зададим отображение F в её дополнении так: чтобы найти F(x), проведём из точки x (правую) касательную к P, после чего отразим x симметрично относительно точки касания.

Стандартный вопрос теории динамических систем — что можно сказать о таком отображении, о его итерациях? В частности, как могут быть устроены его периодические точки?

Рассмотрим частный случай, когда P это выпуклый многоугольник — соответствующая динамическая система называется полигональным внешним бильярдом. Тогда плоскость делится на области, в которых внешняя касательная касается многоугольника в конкретной его вершине — и в ограничении на каждую такую область отображение F это центральная симметрия вокруг соответствующей вершины. А вторая итерация, F^2, состоит в разрезании области на части и применении на каждой из них какого-то параллельного переноса (композиция двух центральных симметрий). То есть получается отображение, чем-то похожее на перекладывание отрезков.

Если взять в качестве области P правильный треугольник, квадрат или шестиугольник, то оказывается, что все точки плоскости периодичны — на третьей из картинок иллюстрация для случая единичного квадрата; траектории всех точек из той же «клеточки» (с такими же целыми частями абсциссы и ординаты) замкнутся, пройдя по такому же пути.

(Впрочем, если говорить совсем аккуратно, надо ещё оговорить, что есть точки, где отображение F не определено — лежащие на продолжениях сторон; именно они и их прообразы разделяют идущие по-разному траектории.)

Ещё два скриншота из статьи Табачникова. Если пересказывать — отображение внешнего бильярда для правильного пятиугольника в некоторых областях на плоскости оказывается периодичным. Но между ними возникает «паутина» непериодических траекторий.

И объяснение тут — это своего рода «самоподобие» получающейся динамики. А именно — для простоты отождествим точки плоскости, отличающиеся на поворот на 2π/5, сохраняющий исходный правильный пятиугольник. Посмотрим на аккуратно выбранную область, четырёхугольник OKNM; с точностью до этого отождествления она просто переходит в себя. Посмотрим, как перекладываются её кусочки — как работает соответствующее отображение T. Вертикальный треугольник OKL поворачивается (поворотом вокруг U) в горизонтальный RMO, а тупоугольный MLN возвращается (поворотом вокруг V) обратно, в NRK.

(Скриншоты из той же статьи: С. Л. Табачников, “Внешние биллиарды”, УМН, 48:6(294) (1993), 75–102)

Давайте я дам ответ — и объясню, почему он именно такой.

Треугольник «перевернуть» разрезаниями и перекладываниями нельзя. Как обычно, чтобы доказать, что что-то сделать нельзя, нужно придумать какой-то инвариант. Давайте посмотрим у многоугольника на длины его горизонтальных сторон. Сложим их со знаком: с плюсом, если внутренняя часть многоугольника лежит сверху от стороны, и с минусом, если снизу. Наконец, если у нас есть несколько многоугольников — сложим такие суммы длин для них для всех. Обозначим такую величину для набора F фигур через J_{гор.}(F).
Утверждение: получающаяся величина сохраняется как при параллельном переносе, так и при разрезании многоугольника на части.
Доказательство. Первое очевидно, а при проведении горизонтального разреза он даёт равный вклад с плюсом и с минусом — и потому сумма не изменяется.

Так что сумма J_{гор.}(F) — инвариант. И этот инвариант разный для треугольников вершинами вверх и вниз — он как раз отличается знаком.

Естественно, можно брать не только горизонтальные стороны, а стороны любого фиксированного направления L. Так что получается целый набор таких инвариантов Хадвигера J_L(F) — которые можно объединить в один, но векторный (со значениями в функциях из направлений в числа, не равных нулю лишь в конечном числе значений).