Пятничное развлекательное

Залипательное и захватывающее видео о развитии роботов Boston Dynamics на протяжении 40 лет. Удивительно, как неспешно идёт прогресс в этой области. В противовес этому, прогресс в области искусственного интеллекта семимильными шагами идёт вперёд. Мы делились, какие прикладные задачи уже можно решать с помощью ChatGPT.

Подробнее историю развития Boston Dynamics можно прочитать тут. Кстати, в 2013-2017 годах ими владели Google, а с 2020 года и по настоящее время ими владеет Hyundai. И у них всего 500 сотрудников.

#fun

gping

Периодически в офисе отваливается интернет. Чтобы оперативно об этом узнавать, в фоне всегда запущен терминал с классическим ping 8.8.8.8

Недавно узнал об интересной утилите gping. Это такой ping на стероидах.

Из приятного:
— в консоли строится временной график
— можно пинговать сразу несколько хостов и наглядно видеть отличия
— можно измерять время выполнения команд

Кстати, помимо гуглового DNS 8.8.8.8 существует также красивый адрес DNS от Cloudflare 1.1.1.1. У них же есть DNS 1.0.0.1. Зачем им такой некрасивый адрес?

Прикол в том, что по стандарту IP можно пропускать диапазон нулей. В результате ping 1.1 раскроется в 1.0.0.1 — попробуйте сами.

#tools

Backup: июнь и июль

Этим летом много говорили о проектировании, анонсировали наш курс по Linux, не забывали про Python и даже писали о тимлидстве.

Архитектура проекта
Управление данными в микросервисах
Путь от монолита к микросервисам
Event storming для проектирования сервисов
Retrying consumer in Kafka
Мониторинг — боль

Linux
Бесплатный курс "Командная строка для разработчиков" (готово 3 занятия, пополняется)
Зачем разработчику нужен Linux вообще и терминал в частности
Ковыряем атаку forkbomb на bash в docker

Инструменты
Как документировать архитектуру
Утилита gping — ping на стероидах

Разное
Tracing Python
Попробуйте ruff
Гайд начинающего тимлида
Как находить время "на почитать"

В пятничном развлекательном вы активно реагировали на посты Типы кабелей, 40 лет развития роботов, Что значит ЧБУ, Anki-карточки

Если пропустили, то подборка за май и большая подборка по базам данных

#backup

Посмотрите на keydb

Мы уже упоминали keydb – интересную альтернативу redis, на которую можно бесшовно переехать.

Хоть переезд и обещают бесшовным, но логичен вопрос – зачем? В статье ребята рассказывают о двух киллер-фичах, ради которых можно устроить переезд.

Речь идёт о режимах active replica и multi-master. Они позволяют получить совместимый с Redis распределённый отказоустойчивый KeyDB, но при этом писать в любую ноду, читать из любой ноды. Это как раз то, чего в redis будет сложновато добиться.

Пожалуй, самая интересная и ценная часть статьи – это проблемы, с которыми можно всё-таки столкнуться, используя keydb и тех случаях, когда keydb вам, вероятно, не подойдёт.
Авторы столкнулись:
– c неожиданным поведением некоторых команд
– c out of memory, когда городили хитроумный кластер с множеством мастеров и реплик
– с проблемой, когда всё ломала клиентская библиотека

#skills #database

Пятничное развлекательное

При регистрации к паролю часто предъявляются разного уровня параноидальности требования. Нужны оба регистра букв, цифра, спецсимвол, завязка, кульминация и развязка...

Залипательная игра на придумывание пароля с постоянно усложняющимися, мозгодробительными условиями.

Пишите, на каком шаге остановились.

#fun

Временные интервалы в postgres

Недавно столкнулись с задачей анализировать временные интервалы и подготавливать данные, находящиеся в Postgres, для построения графиков.

В статье автор на реальных примерах демонстрирует интересные возможности postgres:
– функция generate_series генерирует различные хитрые ряды
– функция date_bin позволяет группировать временные метки по различным хитрым интервалам
– функция width_bucket считает количество значений в динамических интервалах
– на закуску unnest вместе с ORDINALITY

Все описанные в статье примеры можно легко воспроизвести.

Ещё из интересного, автор для своих примеров использует специальное расширение postgis для написания питоновского кода. Так, конечно, делать нельзя, но может оказаться полезным для проведения экспериментов или в демонстрационных целях.

#skills #database

Утилита lazy-docker

Классная утилита lazy-docker, которая привносит UI в терминал. Позволяет быстро просматривать основные сущности, логи, конфиги, потребляемые ресурсы. Я не сторонник такого, но выглядит приятно, да ещё терминал не нужно покидать.

#tools

Пятничное развлекательное залипательное

Залипательная штука. Каждый раз переходя по ссылочке, вы будете попадать на произвольный сайт из эпохи Web 1.0. Интересно, что натыкался на сайты, которые до сих пор поддерживаются и обновляются – обычно какие-то персональные страницы.

Мне попадались самые разные шедевры, например, вот – о том, как сосуществовали люди и динозавры. Оттуда же можно узнать, почему динозавры не упоминаются в библии.

Расскажите, что у вас?

#fun

Любимые шрифты для разработки

Помимо применения всяких линтеров, хочется, чтобы код визуально нравился. Я обычно использую шрифт FiraCode с лигатурами. Обычные символы ==, >=, ->, != и многие другие становятся очень красивенькими и более читаемыми.

В репозитории собраны все подробности с картинками и пояснениями.

#tools

Как сделать из линейного сотрудника начальника

В статье описывается интересный гайд по превращению опытного бекендера в тимлида. Начинается история с препятствий — чем будет плох разработчик, ставший руководителем. Он будет пытаться решить проблемы привычным ему образом, то есть тянуть все процессы на себя путём увеличения количества своей работы. Это плохо и бизнесу, и коллегам, и самому разработчику.

Как сделать правильно? Автор предлагает очевидные, но хорошие шаги:
— объяснить, что от него нужно на должности тимлида
— договориться о конкретных задачах, сроках, не забыть выдать ресурсы
— дождаться выполнения и помочь в процессе
— провести ретроспективу. Кстати, это важный этап жизни любой команды, но здесь речь про ретро с самим тимлидом. Надо совместно понять, насколько цели достигнуты и что надо подкорректировать

У автора совершенно выпадает вопрос определения или развития софтскиллов, требуемых тимлиду, чтобы адекватно вести команду. Вероятно, предполагается, что вы удачно взяли среди разработчиков некоторого неформального лидера, у которого уже есть склонность к руководству, и работаете с ним. Иначе гайд вам никак не поможет, разработчик-интроверт с достаточно малой вероятностью сможет стать крутым руководителем.

#edu

Я люблю питон, и вот почему он меня бесит

Специалист выделяется тем, что для своего инструмента он понимает сильные и слабые стороны. Поэтому прошу: статья про кривые и косые вещи в питоне.

Автор подсвечивает существующие проблемы генераторов: откладывают выполнение кода, дают мало контекста и затрудняют отладку.

Динамические импорты дают свободу (как удобно прямо в функции что-то для отладки импортировать и потом убрать), так и определённые боли. А если импорт упадёт, а вы импортировали в рантайме? Это точно не то, что вы бы хотели.

Интересно было прочитать про legacy с потоками и процессами. Выглядит забавно.

Микс из разных стандартов именований прямо в модуле logging стандартной библиотеки забавен. Я всегда тыкаю в logging, когда хочу показать camelCase :)

С async в python действительно непросто. Но у нас был достаточно хороший гайд на этот счёт, вливайтесь.

Обратите внимание на блок про символьный ад. Меня всегда веселило, что 1 является числом, (1) тоже просто число, а 1, (с запятой) уже кортеж. Кстати, вы знали, что создание списка с помощью [] немного быстрее, чем создание с помощью list()?

С указанными автором нюансами про декораторы никогда не сталкивался. А вы? А вот с необходимостью прервать с помощью break сразу два цикла сталкивался неоднократно. Приходится некрасиво костылить, к сожалению.

Про наличие map/filter одновременно с comprehensions автор немного недоговаривает. В целом не существенно, но в статье List Comprehension vs Map этот вопрос рассматривается подробнее.

Огромная боль, что нет аннотации исключений. Я как-то советовал новичкам для обработки исключений смотреть справку по функции и самому в docstring тщательно прописывать исключения. А потом я посмотрел справку на open. В описании есть только порождение IOError. А на самом деле функция open может выбрасывать угодно — IsADirectoryError, PermissionError, FileNotFoundError... И узнать это нельзя.

Какие WTF в питоне больше всего забавляют вас?

#python

Подкаст DevFM: Ретроспектива силами команды разработки

Мы тут собрались с духом и решили записать подкастик. Обсудили интересную и насущную тему – ретроспективы.

У нас нет специального человека для ретро, да и сама идея этого мероприятия многим кажется сомнительной. Мы поделились опытом, как проводим ретро своими силами и почему считаем его важной штукой.

#devfm #podcast #teamwork

Пятничное развлекательное

Посмотрите короткий ролик WAT — A lightning talk by Gary Bernhardt from CodeMash 2012. Товарищ обращает внимание на совершенно безумные конструкции в ruby и javanoscript и их нелогичность.

Что будет, если выполнить a = a ?
Что вернёт конструкция [] + []? Массив плюс массив в js. А массив плюс объект? А операция плюс коммутативна или нет?

Если вам понравилось, то к просмотру предлагается 20-минутный доклад Brian Leroux - WTFJS на схожую тематику.

#fun

Суперкомпьютерные дни в России

Началась такая конференция. В этом году я не выступаю, а только слушаю. Сама конференция не такая крутая, как highload, поэтому публичной трансляции нет. Трансляция только после платной регистрации. В комментариях дам свои ссылки для ознакомления.

Кстати, мы писали, зачем вообще имеет смысл ходить на конференции.

Велкам на кофе-брейк, если кто-то тоже тут :)

Managing difficult software engineers

Фокус статьи на управлении проблемными разработчиками. Это логично, потому что с беспроблемными разработчиками всё просто работает.

Тем не менее, общие рекомендации для простого случая тоже есть. Формула такая:
–Trust. Доверяйте компетенции сотрудника, давайте разумную автономию и адекватно относитесь к ошибкам
– Growth. Давайте разработчику расти, выдавая ему крутые задачи, поощряйте успех и давайте обратную связь
– Comfort. Обеспечьте комфорт, в том числе минимизируйте прерывания и обеспечьте процесс. Чем меньше у разработчика болит голова по вопросам вне проекта, тем более он может быть продуктивен в проекте

Дальше рассматриваются типичные проблемные персонажи: Прокрастинатор, Одинокий волк, Демотиватор (как вам такой перевод? В оригинале negative Nancy), Обещатель, Всезнайка, Тихоня, Перфекционист, Ненадёжный, Конфликтный, Выгоревший. По каждому даны признаки и советы, как с таким жить.

Советы для одинокого волка просто слёзы. Типа сделайте его командным игроком, ага. По остальным всё выглядит по делу.

#edu

Backup: август и сентябрь

Мы записали подкаст! Совместное обсуждение разных тем всегда было для нас источником взаимного вдохновения. Мы решили попробовать новый для себя жанр и записали наш разговор: встречайте выпуск Ретроспектива силами команды разработки

Остальное, как обычно, в текстовом виде.

Я люблю питон, и вот почему он меня бесит

Базы данных
Посмотрите на keydb
Временные интервалы в postgres

Управляем людьми
Как сделать из линейного сотрудника начальника
Managing difficult software engineers

Инструменты
Утилита lazy-docker
Любимые шрифты для разработки

Если пропустили, то подборка за июнь и июль

#backup

Как проектировать бизнес-логику приложения?

Вопрос подписчика: с ростом сложности разработки возникает необходимость в проработке логики приложения и будущего интерфейса. Есть ли какие-то приложухи, приёмы, фреймворки, тулзы для помощи в создании абстракций будущего проекта? Слышал про UML-диаграммы, но хочется уточнить, что сейчас в сфере разработки действительно применимо, что нужно и что не нужно.
----------

При нашем участии создавались проекты от месяца до полутора лет и коллективами от 1 до 10 участвующих лиц. Были мы и рядовыми разработчиками, и тимлидами, и даже чисто создавали ТЗ для дальнейшей реализации сторонними силами. По нашему опыту проектной работы, функционал приложения удобно излагать в техническом задании (ТЗ). Подробное ТЗ в текстовом виде содержит набор требуемых фич и покрывает нюансы вроде разграничения ролей, планируемых интеграций и так далее. Само ТЗ можно компоновать по-разному. Довольно удачным является описание через раскрытие сценариев работы приложения. Оттолкнуться можно от user story – это краткое описание функциональности в стиле "возможность добавлять тег к задаче". В ТЗ такую фичу надо детализировать: кто именно может добавлять тег? Теги фиксированные или настраиваются? Настраиваются пользователем или админом приложения? На какие экраны надо выводить тег и где их можно редактировать? Ответы на эти вопросы складываются в кучу нюансов. Удобнее всего описывать ТЗ по экранам будущего приложения, а потом рядом прописать сценарии работы, в каком порядке эти экраны позволят выполнить те самые user story. При этом не надо из ТЗ пытаться делать огромный бюрократический документ. Размер, конечно, зависит от сложности системы, но вот наполнять ТЗ канцеляризмами совсем зло. Формальные подходы типа UML, на наш взгляд, в индустрии не взлетели.

После ТЗ или одновременно с ним неплохо бы нарисовать макеты будущего приложения. Они упрощают восприятие ТЗ и позволяют согласовывать отдельные элементы с широким кругом заинтересованных лиц. Посмотреть картинку приложения куда проще, чем читать ТЗ. Нужные элементы, то есть условные формочки, выпадающие списки и кнопочки нужно накидать на будущие экраны. Сразу становится понятно, не перегружены ли экраны избыточной функциональностью. Рисовать макеты можно хоть от руки, хоть в paint. Конечно, есть более подходящие инструменты вроде figma, но глобально можно использовать что любой инструмент. Figma предоставляет разные библиотеки элементов и берёт на себя вопросы расшаривания макетов – макеты можно отдать дизайнеру, который в фигме же прорисует нормальный интерфейс, из которого потом верстальщик перенесёт всё в код. Дальше вопрос объёма приложения и опыта. Условно, если в paint макет я отрисую за 10 часов, а в figma за 1 час, казалось бы, paint совсем плох. Но! Для освоения figma я потрачу кучу времени, условные 4 часа. Тогда соотношение времени уже не 1 к 10, а 1 к 2. Плюс, сколько всего времени займут макеты? Обычно это относительно малая часть работы. По нашему опыту, для приложения со сроком разработки в год на ТЗ и макеты выделяется меньше 1 месяца, большая часть из которого тратится на выяснение фич и их согласование с заказчиком.

#devfm #systemdesign

Посмотрите на альтернативу Kafka

Мы очень любим Кафку и писали на эту тему несколько постов. Но не Кафкой единой. Всегда интересно посмотреть на альтернативы. И самая интересная сейчас — red panda.

А для, тех кто заинтересовался подробностями — сложная статья с множеством бенчмарков и описанием интересных проблем. Обязательно загляните в заключение, там автор делает некоторые выводы и сравнивает Redpanda с Kafka.

#skills

Значимость второстепенных навыков специалиста

Вопрос подписчика: получается, мне, как разработчику, стоит освоить фигму и научиться писать ТЗ? На месте бизнесмена, при прочих равных, на работу я бы взял разработчика, который умеет в фигму. Получается, что он владеет большим пулом инструментов, скорее всего, он эффективнее и быстрее разберётся с новым инструментом, плюс, если завтра помрёт ui-дизайнер, запряжём этого чувака наклепать что-нибудь съедобное.
----------

В вакууме так и есть, чем больше навыков у сотрудника, тем лучше. Но дальше начинаются нюансы. В стартапе или малом бизнесе, действительно, востребованы специалисты широкого профиля. Обычно владелец этого бизнеса и разработчик, и бухгалтер, и курьер, и макеты рисует. Но найм устроен несколько по-другому. У сотрудника есть должностные обязанности, и грузить его непрофильной работой не очень здорово. У человека падает мотивация, и результат выходит так себе. Более того, если перевести в деньги. Условный разработчик стоит 200к тугриков в месяц, а условный дизайнер 80к. Просто не эффективно использовать разработчика не по назначению.

Переложим ответ на другой пример. Если вы нанимаете каменщика для укладки печки, будете ли вы интересоваться его умением играть на гитаре? Не думаю. При этом его опыт строительства домов может быть полезен, он тогда сможет порекомендовать место установки печи или подобрать правильный способ вывода печной трубы. Второстепенные навыки могут как дополнять инструментарий специалиста, так и никак на него не влиять. Для backend-разработчика знание figma дополнительной ценности, кажется, не привносят.

Если вы только начинаете свой путь в профессии, то важно попробовать разные роли. Вдруг вы станете крутым дизайнером интерфейсов? Или у вас скрытая любовь к техническому писательству, и ТЗ станет для вас отдушиной? Чтобы найти своё место в мире, надо попробовать разные варианты. По хорошему, институт должен такую возможность предоставлять.

#devfm #edu

Футбольная аналитика: что поменялось за 2 года

Статья является продолжением истории, где из костылей и верёвочек создавалась система видеоаналитики для детских футбольных школ. Она позволяет отслеживать игроков и определять их различные количественные характеристики: среднюю/максимальную скорость и пробег за матч. Такая попытка добавить геймификации, одновременно создав инструмент отслеживания прогресса обучающихся.

Со своим решением по видеоаналитике автор дошёл из детских спортивных команд до профессионального спорта. Оказалось, что клубам нужно оцифровать каждого игрока, чтобы понимать его ценность, прогресс в тренировках, параметры (как в RPG) и возможности на поле. И на пути возник ряд интересных проблем. В статье высокоуровнево объясняется тракт работы комплекса, затем показываются проблемы реального мира, которые решены или предстоит решить. Ценность статьи именно в бизнесовом взгляде на проблемы. Есть такая беда, вот набор вариантов решения в совершенно разных плоскостях.

Интересно, что не удалось уйти от ручного допиливания статистики. Сказано, что на 5 минут игры приходится от 300 до 1500 спорных пересечений, которые оператор размечает от 3 до 10 секунд каждое. Итого выходит примерно полтора часа, если 1000 пересечений и 5 секунд на каждое.

Вообще Milfgard пишет о разном, наша подборка любопытных статей его авторства тут.

#edu

RESTful web API design

У Майкрософта есть годный гайд по проектированию RESTful веб-API. Там и фундаментальные вещи, и конкретные рекомендации:
— во главу угла ставить ресурс, а не действие. Не делать ручку create-order, вместо неё делать POST-запрос на orders/<id>. При этом подчёркивается, что внутреннее представление данных не должно просачиваться наружу. То есть за сущностью orders может быть несколько сущностей реальной базы данных

— стараться не усложнять ручку больше, чем двойная вложенность collection/item/collection, например, /customers/<id>/orders. При этом следует найти баланс. С одной стороны, запросы лучше экономить (много запросов = больше нагрузка на сервер и клиент), но при этом на каждый чих слать весь мир в ответе тоже не стоит

— приводятся типовые HTTP-методы. Нередко достаточно GET/POST/DELETE, можно добавить PUT и PATCH. К сожалению, часто семантика этих запросов понимается всеми по-разному. В этом гайде представлено довольно практичное описание. По каждому методу даны нюансы как по применению, так и по особенностям реализации в части возврата ошибок и асинхронным операциям. Важно не забывать про идемпотентность (пост о ней) некоторых методов

— не забыта постраничная навигация в запросе, HATEOAS и версионирование API

#systemdesign