Заменит ли ИИ программистов? Вокруг себя вижу много панических настроений на эту тему, поэтому пост. Начну с анекдота

Клиент вызывает мастера починить сломавшийся станок.
Мастер приходит, осматривает станок, берет молоток, слегка ударяет в одном месте — станок снова работает.
Мастер выписывает счет на $500.
Клиент возмущается:
— За что $500? Вы же только один раз молотком ударили!
Мастер спокойно отвечает:
— За удар молотком — $5. За то, чтобы знать, куда ударить — $495.

ИИ действительно может генерировать куски кода, но написать код != создать работающую систему. Программирование это не только набор символов в редакторе. Это анализ требований, архитектура, проектирование системных взаимодействий, поддержка, развитие. ИИ не умеет брать на себя всю полноту инженерной ответственности: понимать зачем, почему и в каком контексте разрабатывается продукт.

Кроме того, задача программиста - не просто написать решение, а проанализировать его стоимость: насколько оно сложно в поддержке, сколько ресурсов потребует в будущем, сколько будет стоить исправление ошибок и адаптация под изменения. Иногда работа специалиста не в том, чтобы реализовать то, что попросили, а в том, чтобы предложить более дешевую, простую и надежную альтернативу.

Еще один важный момент: ИИ в своей природе в основном "копипастит" уже существующие паттерны кода, но не создает новых абстракций. Создание абстракций требует понимания сути задачи, компромиссов между сложностью и гибкостью, предвидения будущих изменений. Это работа мышления, а не перебора вариантов. Создание правильных абстракций определяет, насколько система будет масштабируемой, понятной и живучей. ИИ пока остается на уровне механического исполнения без глубокого понимания задач.

И наконец: реальные проекты - это не изолированные кусочки кода. Это сложные системы с множеством взаимосвязанных компонентов: базы данных, кэш-сервисы, очереди, микросервисы, балансировщики нагрузки, десятки или сотни серверов. Ошибки в таких системах проявляются не там, где был написан код, а на стыках между частями, под нагрузкой, в редких пограничных случаях. Диагностика и исправление таких ошибок требуют системного мышления, опыта и понимания работы всей инфраструктуры целиком. Пока ИИ не способен взять на себя такую ответственность.

Миф: ИИ сделает всех равными

Кажется, что с ИИ теперь каждый сможет делать то же самое, что и крутой разработчик. Но на практике ИИ становится инструментом в руках человека. Чем опытнее человек, тем лучше он ставит задачи ИИ, проверяет результаты и направляет процесс. Это усиливает разницу между сильными и слабыми разработчиками: кто умеет думать становится еще продуктивнее, кто не умеет, тонет в посредственных результатах.

Миф: ИИ заменит джунов

В этом утверждении зашито представление, что джуны нужны для выполнения каких-то базовых задач с которыми справится любой дурак. Поэтому без ии нам приходилось их нанимать, а вот с ии они больше будут не нужны. Компании нанимают джунов по другим причинам. Они готовы вкладываться в людей, чтобы вырастить из них квалифицированных специалистов. То есть никто не нанимает джуна, для того, чтобы он остался джуном. Тогда это был бы не джун, а вполне себе опытный, но очень низкоквалицированный специалист на низковалифицированную задачу.

Миф: Нужно срочно менять профессию

Как и с любой новой технологией, реальный сценарий это не исчезновение профессии, а её изменение. Появится больше задач по интеграции ИИ в продукты, по проектированию взаимодействия между человеком и машиной, по валидации и контролю качества того, что делает ИИ. Уйдут рутинные задачи, вырастет ценность проектирования, системного мышления и креативности.

Что действительно меняется

* Рутинные задачи действительно будут автоматизироваться.
* Навыки работы с ИИ становятся частью базового набора разработчика.
* Возрастет ценность знаний о системах, архитектуре, бизнесе.

Что вы об этом думаете?

Ссылки: Телеграм | Youtube | VK

Рванул с семьей на юг страны на майские. Дополнительных выходных в этом году было мало, поэтому решили воспользоваться ситуацией.

Но таких как мы - много 😁. До Великого Новгорода по трассе М-11 ехали очень плотно, временами были небольшие пробки. По сообщениям разных пабликов на въезде в Карелию натурально люди стояли в пробках.

В связи с импровизированным отпуском выходить в эфир, видимо, буду реже.

#личное

Инженерное

1. Очень понравился деплой кода на сервер Ubuntu через git. На Маке стоит PyCharm с живым подключением к БД. Я уже почти забыл со всеми этими переусложненными сетапами и защищенными контурами как может быть удобна и быстра разработка.

Ну так вот, после очередной итерации правок на Маке делаешь коммит и git push. А на Ubuntu git pull, и все - код на prod-е. Сервис управляется через supervisorctl.

2. В настоящее время почти на все вопросы, которые могут возникнуть у программиста, есть ответы в интернете. Но иногда заходишь на почти неизведанную территорию и полезной и достоверной информации мало. Я с этим столкнулся когда запускал драйвер selenium на Ubuntu. Тут уже помогает накопленный опыт и интуиция (а как ты это бы сделал сам если бы этим занимался?). Ну ничего, с 10-го раза все завелось и поехало.

#it #разработка

Выгорание

Сегодня от одного из членов команды пришло грустное известие.

Из-за выгорания, после короткого отпуска он уходит с нашего проекта и, возможно, из компании.

Он пришел ведущим аналитиком в августе прошлого года на спасение сложного проекта. В свою очередь, проект сложным сделали аналитик и прошлый тимлид нашей команды (уже у нас в команде не работают).

В-общем, чел работал без выходных практически, и, по его словам с 7-8 утра, до позднего вечера. Проект спас, но тут бы ему пойти в отпуск в январе-феврале, но, к сожалению, не хватило у него осознанности, что-ли, или заботы о себе.

Я для себя давно сделал вывод, что в целом все работодатели в большей или меньшей степени склонны выжимать из работника все соки, особенно если работник не сопротивляется. Какие-то авралы могут быть, но строго лимитированные по времени, - и с обязательным последующим восстановлением.

Помогают не выгореть:
- занятия спортом и физнагрузка
- хобби и переключение деятельности
- семья, дети, питомцы

Сами сталкивались с выгоранием?

#it #разработка #софтскиллы

Правильная очистка партицированных таблиц в Hive

Наткнулся недавно на неочевидную вещь при очистке таблиц в стеке Hadoop/Hive/Spark.

При очистке таблицы Спарком через

truncate table schema.table_name

в Hive очищаются только сами записи, структура директорий в HDFS остается.

И

show partitions schema.table_name

возвращает эту структуру директорий в качестве партиций.

Что потом, в свою очередь, приводит к проблемам при сжатии (компактировании) таблиц.

Вроде бы таблица пустая, но при этом имеет партиции!

Рекомендация: использовать

drop table schema.table_name purge

и воссоздавать таблицу из DDL в дальнейшем. Нет структуры директорий - нет проблем!

#it #разработка #dataengineering

Подбор хостинга

Недавно себе подбирал для личных нужд VPS (virtual private server) у провайдера с филиалами в разных странах. Друг порекомендовал сервис с прям суперским соотношением цена/мощность предоставляемого оборудования. К примеру, у них есть такие тарифы, как VPS c 1 CPU/2 GB RAM за 3 доллара/мес. Я же себе присмотрел сервер с 4 CPU/8 GB RAM за 12 евро/мес.

Так вот, все вроде бы хорошо, настроил web-server, поднял еще один необходимый в нынешних условиях сервис. Как внезапно у меня начинает отваливаться периодически то web-server, то второй сервис. Я, естественно, добавил тикет в поддержку, жду. Ждал я довольно долго, за это время успел найти ссылку на их общедоступный чат для клиентов и зайти посмотреть в него, - может что пишут про сетевую недоступность серверов. В этом чате уровень школоты просто зашкаливает. Они там друг с другом прям бодро общаются, в целом мало кто что-то понимает, но им всем зачем-то нужен свой VPS.

Тут наконец мне отвечает поддержка и говорит, что с самим сервером все хорошо, а недоступен он периодически из-за того, что трафик с него блокируют на территории РФ в разных сегментах интернета. Сопоставив одно с другим, сделал вывод, что привлеченная низкими ценами школота куда-то залезла и что-то успела наделать, в результате чего IP-шники этого провайдера блокируют на территории РФ целыми сетевыми сегментами!

...Несмотря на хорошую работу самого железа, пришлось искать другого провайдера.

#hosting #vps

О продуктивности

Лучшая моя покупка в прошлом году, - это покупка моющего пылесоса китайской фирмы Dreame (не реклама).

С этим девайсом поддерживать чистоту в доме стало гораздо легче, и в чем-то даже приятно 🙂

В результате освобождаются время и силы на занятия чем-то более продуктивным.

Китайцы молодцы, сделали продукт вполне мирового уровня.

К автомобилям ведущих китайских марок это кстати, тоже относится.

Занимательные факты

В России планируют запустить 5g со скоростью более 1 Гбит/с. МТС вложила в развитие высокоскоростной передачи данных 30 миллиардов рублей (с)

Прикиньте как быстро будет тормозить телеграм и Ютуб?