В продолжение https://news.1rj.ru/str/manandthemachine/461

Причины лежат на поверхности.

Во-первых, повсеместные курсы, Youtube-каналы, блоги и прочие учебные материалы, совпадающие с возросшим спросом на кадры в индустрии. Чем идти и получать профильное образование, человечек, начитавшись «историй успеха» и «гарантий трудоустройства» в рекламных буклетах, идет на месячный интенсив. Поскольку уложить фундаментальный Computer Science в месячный курс очень сложно, на выходе получаем фронтендера без знаний Big-O нотации.

Во-вторых, развитие самих технологий. Лет 10 назад рынку нужны были прожжённые инженеры со знанием небезызвестной СУБД, теперь - достаточно отличать DDL от DML. Работа с платформами и системами автоматизируется и атомизируется настолько, что людям нет необходимости знать, что там внутри.

Начиналось это все, как необходимость ускорить работу людей, т.е. вырезать из рабочих процессов «непроизводственную» часть.

В результате это было не вырезано, а всего-лишь заменено: раньше человек тратил n часов на тонкую настройку Linux, теперь >n часов на настройку облака.

Мало того, специалист «хайповой» платформы почему-то стоит дороже, чем «классический» инженер Linux, и это при том, что «обычный» инженер относительно легко освоит тот же кубер, а вот опытный куберовод, который целый день писал ямлики для кубера в GKE, починить etcd (если однажды столкнется с self-hosted) уже не сможет в виду отсутствия квалификации.

Похожие симптомы видны не только в ИТ, и общая картина радовать не может. Те же, кого устраивает повсеместная деградация в угоду собственной гарантии трудоустройства, не видят дальше собственного носа.

Мне же остается лишь надеяться, что я просто напросто ошибаюсь, и в критически важных секторах экономики дела обстоят совсем иначе.

Когда сдал Certified Solutions Architect - Associate и нашел новую работу.

Коллеги, в предверии выходных у меня небольшой анонс.

Я буду выступать с докладом на Highload++ в этом году - https://www.highload.ru/moscow/2019/abstracts/6036

Поскольку вы все взрослые и состоявшиеся люди, идти на конференцию я не агитирую. Взамен, у меня вопрос к моей дорогой аудитории, и он довольно прост: Кто из вас уже запланировал визит?

Если вдруг неочевидно: 👍 - идете, 👎 - не идете.

Рома (@aws_notes) очень лестно обо мне отозвался, за что ему большое спасибо.

Я не планировал этот канал, как инсайды загнивания местных инженеров (я вообще не планировал его чем-то большим, чем хобби), но раз уж меня прозвали груздем, то стоит рассказать парочку очень неприятных кейсов, с которыми приходится иметь дело.

Первое: кто меня читает давно, помнят мои опусы про “чувствительность” нидерландцев. Кто нет, tl;dr - к любому рабочему дискурсу очень часто приплетаются чувства. “Я чувствую, что надо делать Х”. “Я чувствую, что у тебя проблемы с Y”. “Я чувствую, что ты Z”.

Нидерландцы в принципе очень любят использовать чувства, потому что они выступают очень удобным, хоть и грязным инструментом при спорах.

Вы можете использовать сколько угодно фактов и аргументов, но как только поймаете в ответ: “Я чувствую, что нужно сделать это по-другому.” - все, вы проиграли.

Точнее даже не проиграли, но теперь нужно переводить спор из фактологического измерения в измерение эмоциональное, нужно УБЕЖДАТЬ человека, чтобы пойти конкретно этим путем.

Собственно, вот почему такой простой парнишка-инженер, как я, вместо изучения потрохов и улучшения всего и вся, должен тратить очень много времени на прокачку социальных навыков - и не обычных, как разрешение конфликтов или проведение тренингов и презентаций, но всякую дичь навроде “ведение переговоров”, книги по которым пишут сотрудники ФБР в отставке, у которого ЦА - продажники, закупщики и C-level.

У нидерландцев есть две черты, которые усложняют работу с ними: смесь страха перед принятием решений и синдрома вахтера и невероятная лень (в плохом смысле этого слова).

Обе этих черты являются причинами, почему каждое решение приходится протаскивать через линию фронта, а “чувства” - лишь очень дешевый инструмент-баррикада.


Второй кейс касается имитации бурной деятельности, но это уже тема для отдельного поста.

Я думаю, вы достаточно начитались впечатлений от участников HL++, так что мне нет особой необходимости рассказывать о своих.
Из хороших новостей - мне сообщили, что в течение месяца у меня должна быть запись моего доклада, которым я смогу поделиться со своей дорогой аудиторией.

Ну а мне на Highload стоило попасть хотя бы ради этого прекрасного значка от @aws_notes ;)

Ходит слушок (ну как слушок - вот ссылка на коммит - https://github.com/aws/aws-sdk-go/commit/1337b9a1a013a0abfa237ee66ca1fa0b35622d10), что в CloudFormation скоро завезут импорт существующих ресурсов в стек.

Теперь доказать мне, что Terraform лучше CFN, станет практически невозможно (аргументы про multi-cloud оставьте при себе).

Хорошая штука все-таки эта ваша открытая конкуренция. Только я успел порадоваться такому функционалу в Pulumi, как инженеры из AWS закопошились.

Интересно теперь, какая ответочка будет на Alternator от ScyllaDB.

А вот и завезли.

В продолжение https://news.1rj.ru/str/manandthemachine/468.

Когда я по дурости посетил интеграционный тренинг, британка, живущая в Нидерландах последние лет n-цать, рассказывала о своей дочке. Школьница однажды принесла домой тройку и на недовольную реакцию матери сказала следующее: «Ну маааам, все нормально, у нас в классе все так написали контрольную!»

В Нидерландах очень интересно смешиваются две повесточки: индивидуализм и «будь как все».

И если индивидуализм сводится к «праву» человека выбирать в какой бомжевацкий вид обернуться и выйти на улицу, то «будь как все» как раз про то, чтобы своими навыками и достижениями не выделяться из толпы. Иными словами, отличников-ботанов здесь чмырят на уровне общества.

Ноги хоть и растут оттуда, но в результате у вас может получиться очень интересный диалог с руководителем, если вы захотите выбить себе повышение, аргументировав это количеством Х закрытых задач или Y успешно завершенных проектов, руководитель вам на это скажет, что другие тоже работают на максимум, и поднять зарплату всем он не может. То, что работающие на максимум не делают и трети того, что делаете вы, будет игнорироваться. Они же стараются!

Нидерландцы очень не любят факты, потому что против фактов не попрешь, они беспристрастные. Поэтому система работает таким образом, чтобы убрать факты насколько возможно, оставив на обсуждение только процесс самой деятельности и чувства.

Ваш покорный слуга несколько дней к ряду на летучках слышал от своего коллеги, как он «все еще» «борется/бьется» над определенной задачей, разумеется без подробностей.

Тыкать прилюдно, что задача решается на раз-два, у меня не было желания, я так уже обжигался. Я предложил человеку помощь, поставив его в очень неудобное положение, ведь мы оба понимали, что задача плевая. Правда, стоило закрыть одну задачу, как на следующей летучке появлялась новая, непобедимая и сложная.

При этом я прекрасно понимаю, что не будь у нас S.M.A.R.T. целей, человек мог бы расчитывать на неплохую прибавку. Результаты неважны, важен процесс.

Так что делать вид, что ты невероятно занят, бегая из одного места в другое, иметь календарь полный afspraak’ов - здесь это навроде национального вида спорта.

Супруга говорила, что французы работают точно так же, так что есть подозрение, что эта хворь идет по всей Европе, если не везде.

https://panorama.pub/25978-iskusstvennyj-intellekt.html

Люблю начинать неделю с таких новостей.

P.S. Я надеюсь, все понимают, что это шутка?

Представьте такую ситуацию.

Вы нидерландец, воспитанный по принципу normaal doen (будь нормальным, как все), при этом имеете то самое зерно индивидуализма, от которого отказываться совсем не хотите.

Как выпячивать свою индивидуальность в жизни и работе, при этом оставаясь «своим»?

Вопрос, конечно, риторический.

Большинство людей, с кем мне приходилось и приходится работать, проявляют свой эгоцентризм через методы и инструменты для работы, выбирая какие угодно - сложные, неинтегрируемые, неподдерживаемые - лишь бы необщепринятые.

Недавно со мной приключился один кейс. Разработчик, нанятый контрактор, попросил настроить site2site между его GCP и нашим AWS.

Идиотизм ситуации заключался в том, что наша контора не использует и не собирается использовать GCP. Результат работы контрактора предполагалось после приемо-сдаточных испытаний развернуть на нашем кластере Fargate, а инфраструктура, в которой живут приложения, развернута таким образом, что доступ к хранилищам и шинам данных есть только изнутри сети.

Однако человек об этом был ни сном, ни духом. Проделал работу, разработал минимальный функционал и нуждался в доступе к нашей Kafka.

Чтобы не саботировать процесс (проект очень важный), пошел навстречу. Настроил VPN соединение, отплевался от GCP, создал сертификаты для аутентификации, все чин чином.

Позже спросил у контрактора, зачем он вообще полез в GCP, да еще и в Kubernetes. Ответ был шикарный: я в AWS не разобрался, а у GCP простой и понятный интерфейс.

Стоит ли добавить, что в GCP и Kubernetes он тоже совсем не разбирался, и я рассказывал ему их внутренности?

От таких индивидуалистов очень часто страдает маленький и средний бизнес. В больших конторах есть стандарты, против которых не попрешь - раз компания работает с Х, то и ты будь добр, учи Х и не тащи свой Y.

В мелких же можно устроить соревнования по фаллометрии. Итог все равно один - зовут меня делать нормально.

Кстати, CFN полез в multi-cloud (термин и подход, запрещенный в AWS): https://aws.amazon.com/about-aws/whats-new/2019/11/now-extend-aws-cloudformation-to-model-provision-and-manage-third-party-resources/

Зачем теперь нужен Terraform?

С ребятами из LinkMeUp записали небольшой “шот”.

А вот и новый шот с Highload++ 2019. Карен Товмасян сотоварищи помогает разобраться нам, почему же думать о бэкенде надо даже больше, чем о фронтенде и при чём здесь AWS.

https://www.patreon.com/posts/31693261

А вот и ссылочка на канал Карена @manandthemachine

В копилку вопросов на собеседование амазонщиков.
Уровень сложности: 400

Ситуация: у вас имеется CFN шаблон с двумя ресурсами: RDS DB Cluster и EC2 Security Group.

Шаблон выглядит следующим образом:

Sg:
  Type: “AWS::EC2::SecurityGroup”
  Properties:
    # some props...
    SecurityGroupIngress:
      - IpProtocol: tcp
        FromPort: !GetAtt Db.Endpoint.Port
        ToPort: !GetAtt Db.Endpoint.Port

Db:
  Type: "AWS::RDS::DBCluster"
  Properties:
    # some props...
    VpcSecurityGroupIds:
      - !Ref Sg

При валидации этого шаблона вы получите следующую ошибку:

An error occurred (ValidationError) when calling the ValidateTemplate operation: Circular dependency between resources: [Db,Sg]

Что говорит нам о том, что два ресурса имеют блокирующие зависимости друг от друга.

Вопрос: как решить эту ситуацию, при условии что:
1) Разносить SG и кластер БД в разные шаблоны нельзя.
2) Хардкодить порт базы нельзя.

P.S. Завтра выложу ответ.

Собственно в чем была проблема.

Мы объявили кластер БД и в качестве свойства присвоили ему идентификатор SG. Мы объявили SG и всвойстве ее правила поставили атрибут кластера БД.
Ни один из ресурсов еще не создан, и CFN не может выстроить граф зависимостей, чтобы принять решение, какой ресурс создать первым.

Решение задачи гуглится на раз-два по тексту ошибки, но экспертный эксперт сразу смекнет: в AWS все есть API и, чаще всего, все есть ресурс.

Правило SG, будь оно на входящий или исходящий трафик, также является отдельным ресурсом типа

AWS::EC2::SecurityGroup[Ingress,Egress]

Чтобы решить эту проблему, достаточно создать “пустую” SG и добавить еще один ресурс ниже (или выше):

SecurityGroupRule:
  Type: “AWS::EC2::SecurityGroupIngress
  Properties:
    IpProtocol: tcp
    FromPort: !GetAtt Db.Endpoint.Port
    ToPort: !GetAtt Db.Endpoint.Port
    GroupId: !Ref Sg

​​100 EKS кластеров в одном регионе для тех, кто так и не освоил #multi_account_strategy:

https://aws.amazon.com/about-aws/whats-new/2019/11/amazon-eks-increases-limits-to-100-clusters-per-region/

#EKS

Я правда искренне не понимаю, кому может понадобиться 100 кластеров куба в одном аккаунте.

Мало того, что это невероятно дорого (один час обслуживания кластера со стороны Амазона стоит 20 центов в час. 100 кластеров это 20 доллара в час, 480 в день, или порядка 14600 долларов в месяц - и это только расходы на мастеров!), так еще и усложняет в стократ использование таких методик, как Service Mesh.

Впрочем, пусть люди сами соберут все грабли и возьмутся за консолидацию.

Дорогие читатели, запись моего доклада для Highload++ 2019 - https://youtu.be/BEZKub1BYCE