Ну что, это конечно совсем не то, чего я ожидал увидеть, но мы, исследователи, же питаемся неожиданными результатами. Как говорится, что для одного ошибка эксперимента для другого начальные данные.

Итак, берём, ту же самую нашу задачу, и идём по тоннелю. Не далеко, 1000 шагов всего, четверть пути, потом берём второе направление базиса, то есть направление в котором загибается наш градиент, перпендикулярное стенке каньона, и отходим на какое-то расстояние в сторону, loss при этом, конечно, драматически портится, и делаем 20 серий шагов углового алгоритма, как и в докладе, за группу не больше 10 градусов накопленного изменения угла и не больше 200 элементарных шагов. По идее этого достаточно чтобы спуститься в соседний тоннель (ну или в другую часть нашего каньона сильно выше или ниже, например, в другой плоскости). И сравниваем с результатами тех же двадцати серий по дну тоннеля. Каждый цвет - один эксперимент. Прыгнули в сторону и спустились куда-то. Смотрим куда. Там, куда спустились - измеряем ширину тоннеля, то есть на сколько надо отойти в сторону этого самого второго вектора базиса чтобы loss испортился на 5%.

1) Вопреки моим ожиданиям, другие тоннели (или другие месте каньона), в целом не лучше и не хуже того, который мы покинули, примерно та же фигня по глубине и по ширине. Слегка шире только те, в которых loss хуже, то есть те случаи, когда мы до дна чуть-чуть не дошли.
2) определение расстояния хромает, к сожалению, поэтому после того как мы на дно выходим кажется что алгоритм убегает в бок. Это, на самом деле не вполне корректно, потому что первый шаг сравнивается с первым без отступа, второй со вторым и так далее. Но тот, что без отступа по дну каньона успевает убежать. Короче трудно придумать как бы это получше визуализировать.
3) В соответствии с моими ожиданиями, возвращение в тоннель происходит супер-стремительно. То есть всего 20 серий и мы уже в тоннеле той глубины, до которой пришлось 1000 серий идти до этого. Даже если сеть была довольно сильно разрушена, то есть лосс с 1.8 скакнул до 7.

P.S. Это в плоскости поворота такой профиль. Ещё посмотрю как там картинка по направлению вверх и в случайном направлении. Но вряд ли там будет что-то принципиально отличное.
P.P.S. Положительное направление это в сторону разворота - почему-то там стенка круче, я бы скорее предполагал обратную ситуацию. Но может оно на 1000-ном шаге будет так, а на 2000-ом по другому. Надо пробовать в других местах и сравнивать.
P.P.P.S. А я, оптимист, надеялся этот слайд к докладу успеть. Ну-ну...

А вот если взять третий вектор базиса, который ортогонален первым двум и в направлении которого тоннель на минимум порядок медленнее, то картинка получается ещё краше: