Интересный лайфхак в сфере ЖКХ. В Индии женщина вызвала спасателей, заявив что в канаву со сточными водами упал ребенок. Прибывшие экстренные службы вычистили весь канал и никого не нашли. Оказалось, что женщина обманула спасателей, чтобы они почистили канаву, которая воняла.

ЧЕРНЫЕ ЯЩИКИ ОБРАЗОВАНИЯ

Мы всё чаще пользуемся технологиями, не понимая, как они работают. Распознавание лица, навигатор, даже обычный водопровод для большинства из нас уже не техническое устройство, а волшебство. В тот момент, когда технология становится магией, отключается критическое мышление, пользователь инструмента незаметно превращается в верующего, а верующего обмануть проще всего.

То, что мы пришли к этому состоянию кажется естественным, потому что мы привыкли воспринимать технологический прогресс как накопление знаний: если что-то однажды изобретено, значит, оно навсегда остаётся в распоряжении человечества.

Однако технологии не существуют в виде застывших артефактов. Они живут в практике — в людях, их опыте, профессиональной культуре и непрерывности передачи знания. Когда эта цепочка рвётся, знание исчезает, даже если формально сохранились чертежи и инструкции.

Хорошо известен исторический пример из авиации. Речь идёт о двигателе Rolls-Royce Merlin, одном из самых массовых и успешных авиационных двигателей Второй мировой войны. Именно он стоял на истребителях Spitfire и P-51 Mustang, выпускался тысячами, документация была сохранена, конструкция считалась удачной, а технология производства отработанной и хорошо освоенной.

Однако, когда спустя десятилетия возникла задача восстановления и серийного производства Merlin для летающих реплик исторических самолётов, инженеры столкнулись с неожиданной проблемой. Формально всё было на месте: чертежи, спецификации, архивные материалы. Но воспроизвести двигатель «один-в-один» не получалось.

Выяснилось, что значительная часть технологических решений не была зафиксирована в документации. Качество сплавов, режимы термообработки, допуски, особенности ручной подгонки деталей — всё это существовало в виде практического опыта инженеров и рабочих, а не в виде инструкций. Многие операции выполнялись «по ощущению», на основе накопленной ремесленной культуры. Когда эта культура исчезла, двигатель перестал быть воспроизводимым в исходном виде.

В результате современное производство Merlin оказалось не восстановлением старой технологии, а её реконструкцией. Пришлось заново подбирать материалы, пересматривать допуски, адаптировать процессы под современное оборудование и фактически переизобретать то, что когда-то считалось хорошо известным. Технология, формально сохранённая на бумаге, на практике оказалась утраченной.

Этот пример важен тем, что показывает, что технология — это не чертёж, не файл и не алгоритм, вернее сказать не только чертёж, файл и алгоритм (и т.д. по списку), но ещё и живая система понимания, человеческое знание «как именно». Стоит разорвать её хотя бы на одно поколение, и знание исчезает.


Современная техносфера устроена ещё сложнее. Ни один человек сегодня не способен в одиночку объяснить и воспроизвести всю цепочку технологий, лежащих в основе работы, например, смартфона. Знание распределено между узкими специалистами, каждый из которых обеспечивает работоспособность лишь небольшого фрагмента всей конструкции.

Говоря метафорически, мы копаем глубокие колодцы, но почти не строим между ними туннели.
И именно в такую дискретную структуру мы начинаем массово встраивать генеративные нейросети — самый непрозрачный элемент всей системы.

Даже разработчики LLM-моделей сталкиваются с проблемой интерпретируемости: архитектура известна, математика понятна, но почему модель выдала конкретно этот ответ — неизвестно. Причинно-следственные связи размыты по миллиардам компонентов внутри «черного ящика».

В результате мы осваиваем не понимание, а промпт-инжиниринг — по сути, искусство заклинаний. Мы учимся формулировать запросы так, чтобы система вела себя «правильно», не зная до конца, почему именно так это работает.
И, если код программы, обеспечивающий работу высокотехнологичной системы, сгенерирован ИИ и не до конца понятен разработчику, пользователь (тем более) не понимает устройство и принципов работы, технология перестаёт быть предметом знания и становится предметом веры.

Дочитать

ЧЕРНЫЕ ЯЩИКИ ОБРАЗОВАНИЯ

Продолжение. Начало выше

Реальный риск сегодняшнего времени не в том, что машины станут автономными, а в том, что человек утратит способность проверять, контролировать и управлять их работой. Когда понимание делегируется «умным помощникам», исчезает навык верификации, ошибка становится неотличимой от корректного результата. Более того, атрофируется ещё и волевое усилие к проверке и рефлексии, возникает слепое доверие результату.

Если ИИ-наставник обучает неверно — заметит ли это кто-нибудь? Если ИИ спроектировал систему с дефектом, будет ли способен человек обнаружить его без понимания принципов?

Во все времена мы могли наблюдать это явление у нерадивых школьников: при решении задач, бездумно подставляя данные в формулы, они получали результаты в виде «полтора землекопа» или «скорость черепахи 2820 км/час».

Возникает это от непонимания самой сути задачи, принципов решения, а также от нежелания совершить усилие и проверить результаты на реалистичность. Теперь велика вероятность получить подобную схему во всех областях нашей жизни, а «нерадивыми учениками» в ней будут выступать уже взрослые пользователи ИИ.

Причём, если у взрослых этот навык существовал, но начинает деградировать (и некоторые даже признаются в этом, по крайней мере, самим себе или в узком кругу), то у детей сегодня он не формируется и его даже не планируется развивать. Мышление и анализ стремятся отвергнуть, как базовую составляющую учения.

Теперь ИИ обучит «заклинаниям», а дальше сразу в профессию, причём сразу на руководящие должности.


Активно внедряемая ранняя профилизация только усилит этот эффект. Когда обучение слишком рано сужается до отдельных областей, не формируется целостная картина мира. А без неё невозможно ни междисциплинарное мышление, ни критическое отношение к результатам работы того же ИИ. Узкий специалист, опирающийся на «магические» инструменты, перестаёт быть инженером и становится оператором.

Таким образом, проблема не в самих нейросетях, а в том, что они встраиваются в систему, где уже нарушена передача фундаментального понимания. В такой среде технологии неизбежно начинают восприниматься как магия: ими пользуются, не зная, как они работают.

Что с этим делать?

Сохранение контроля в мире растущей сложности требует не большего количества технологий, а большего понимания и внимания к формированию этого понимания.

Любопытство, умение задавать вопрос «как это работает», привычка доходить до фундамента, до основ, до законов физики или математики, обеспечивающих работоспособность системы — это на сегодня не романтические инженерные добродетели, а практический иммунитет против утраты компетенций.

Получается, что сохранение человеческого интеллекта — это на сегодня задача, по глобальности и дальновидности стоящая на шаг впереди достижения технологического превосходства или разработки и внедрения ИИ куда только можно придумать.

Как жаль, что понимание этого уже, видимо, утрачено людьми, принимающими ключевые решения.
Или не утрачено, а осознанно игнорируется. Тогда следующий вопрос — ради чего?

В России образовался дефицит около 500 тысяч врачей — это минимальный показатель обеспеченности медиками с 1960 года. Эксперты связывают ситуацию с низкими зарплатами, перегрузками и профессиональным выгоранием: реальные доходы врачей не растут, а в 40 регионах даже снизились. До 40% выпускников медвузов не идут работать по специальности, при этом сильнее всего ощущается нехватка онкологов и инфекционистов в ряде регионов страны. @bezposhady

Какой трындец 😂 Квадрокоптеры падают, самолеты не взлетают. А как поживает коммунальная техника в Южно-Сахалинске, Валера? Сахалин ведь все еще лидирует в России по развитию беспилотства? Или уже поменялось все, а мы не знаем? 😂