Неожиданно в последний момент вписался в Субботник, расскажу как у нас устроена Ферма, на которую мы накатываем приложения для E2E.

На волне шуток про устаревание UDP придумался ещё один стариковский вопрос — зачем кто-то в 2023 может использовать CP-1251? Что это, грёбаное легаси и бесполезная фигня?

А ответ в том, что русскоязычные символы в CP-1251 занимают 1 октет (8 бит). А в UTF-8 в два раза больше. То есть, если ваши данные это текст, и данных много, то переход на UTF-8 даст ого-го какие накладные расходы.

Вообще вспомнилось, как в первой половине нулевых я сидел через прокси, перегонявший UTF-8 сайты в KOI-8. Когда платишь за мегабайты, то отношение к обьёмам данных совсем иное.

И не отходя от кассы — почему правильнее говорить октет, а не байт (и так написано в спеках). Потому что байт это не 8 бит. Байт — это минимальная адресуемая область памяти, единица обработки информации. Так уж сложилось, что сейчас чаще всего байт содержит 8 бит. Но это не догма. Были и другие машинки, с другим размером байта.

Потому когда хотят точности в терминах, то используют слово «октет».

План пока такой — в субботу на Субботнике, 6 апреля в Казань читать студентам КФУ (мечта старая постоять за кафедрой), 21 апреля Dump.

Дальше без докладов пока, идеи есть, но времени готовить новые материалы нет. Постараюсь слушателем добраться до Кодфеста, но тут как фишка ляжет, горизонт планирования сейчас никакой.

Летом будет ШРИ, надо направить силы туда.

DHH с товарищами опять чудят. Но я их понимаю и поддерживаю — люблю простые и понятные решения. Как минимум, чем ближе к железу, тем меньше шанс столкнуться с нерешаемой задачей.

https://dev.37signals.com/bringing-our-apps-back-home/

Playwright запили классный ui для дебага тестов. Теперь есть общий центр управления где можно выбрать нужный тест, запустить, перезапусть, включить вотчер, посмотреть тайм-тревел, пройтись пик-локатором и перейдя в VSCode быстро поправить код теста. Очень круто.

Хочется попробовать сразу, как доедет во внутренний npm компании. Кстати, если у вас E2E тесты не на Playwright, то поделитесь в комментах почему так.
https://github.com/microsoft/playwright/releases/tag/v1.32.0

Студенты очень классные. Как и мы 20 лет назад, только умнее (возможностей-то больше). Многие уже работают и мыслят технически на уровне хорошего миддла, если брать по уровню индустрии в стране в целом. Да, нужно набирать софты и продуктовое мышление, но хардовые мозги на месте.

Компании за них, кстати, активно борются, такие сотрудники всем нужны.

Вчера один студент спросил «принесёт ли поддержка легаси больше денег?» и я подумал о том, что в моей голове не возник бы такой вопрос. Для меня уйти на скучные задачи ради хорошей компенсации кажется немыслимым выбором (кроме жёстких жизненных обстоятельств, конечно).

И вся возня с премиями/опционами/долями — она же жутко отвлекает от работы. Мы на берегу уже договорились, что компания получит мои 40 часов в неделю, а я получу в конце месяца свой бутерброд с икрой, на который мы подписались. «Вы что, премии не хотите?» — это худшие мотивационные слова от проджекта, что я слышал в своей жизни.

Не хочу я премию. Я хочу, чтобы продукт был классным. Чтобы своё время, потраченное на продукт было не жалко. Чтобы была польза и был смысл.

Пришёл в эту индустрию бедным и останусь здесь, даже если снова будет беднота.

Ночной бред

Хотел вам показать интересный пример, что иногда

JSON.parse(JSON.stringify(obj))

работает быстрее, чем

{...obj}

. Собираем простой тест с большим циклом, загоняем полученные клоны в параметры функции и готово:

test(JSON.parse(JSON.stringify(objToCopy)))

значительно быстрее, чем

test2({...objToCopy})

Почему? кажется, что ответ на поверхности: запускаем Ноду с --allow-natives-syntax и проверяем

const a = {a: 1};
const b = {...a};
%HaveSameMap(a, b); // false

const c = JSON.parse(JSON.stringify(a));
%HaveSameMap(a, c); // true

Дело раскрыто, функция стала мегаморфной, JIT вырубился, можно писать пост.

Но! Попробуем добавить вариант с

test3(structuredClone(objToCopy))

test with JSON.parse: 268 ms.
test with structuredClone: 308 ms.
test with spread: 2802 ms.

Проверяем:

const d = structuredClone(a);
%HaveSameMap(a, d); // false

Таааак

Что же получается. И spread и structuredClone ведут к мегаморфности. Но при этом structuredClone не приводит к деоптимизациям.
Дальше докидываю

Object.assign({}, objToCopy)

и не смотря на мегаморфность

test with Object.assign: 238 ms.

Психую. Запускаю с --trace_deopt и вижу, что спред постоянно вышибает

(kind: deopt-eager, reason: wrong map)

Но почему Object.assign и structuredClone не приводят к деоптимизации? Я не знаю 🤡 и могу только предположить, что срабатывает какая-то дополнительная эвристика, и несмотря на то, что мапы разные, в деоптимизацию JIT здесь не уходит. (потому что надо спать!) А спред под такую эвристику не попадает (или, точнее, попадает через раз, так как чем больше попыток вызова, тем чаще случается деоптимизация).

Так, не пишите тесты глубокой ночью ) Одна загадка с утра раскрылась, но стало ещё веселей. Действительно, для structuredClone и Object.assign я в цикле не выходил из мономорфности, потому что стрелял клонами, они имеют между собой одинаковую мапу

const objToCopy1 = { a: 1, b: 2 };
const objToCopy2 = { a: 1, b: 2 };
const N = 100;

for (let i = 0; i < N; i++) {
    testFunction1(JSON.parse(JSON.stringify(objToCopy1)));
    testFunction1(JSON.parse(JSON.stringify(objToCopy2)));

    testFunction2({...objToCopy1})
    testFunction2({...objToCopy2})

    testFunction3(structuredClone(objToCopy1))
    testFunction3(structuredClone(objToCopy2))
}

Но вот что интересно, при увеличении N testFunction2 падает в деоптимизацию, %HaveSameMap({...objToCopy1}, {...objToCopy2}) вываливается в false.

Можете сами попробовать

const objToCopy1 = { a: 1, b: 2 };
const objToCopy2 = { a: 1, b: 2 };
const N = 13;

 for (let i = 0; i < N; i++) {
    console.log(%HaveSameMap({...objToCopy1}, {...objToCopy2}))
 }

В данном случае у меня на 13-й итерации (зависит от версии v8) мапы уже не равны.

gist чтобы погонять spread https://gist.github.com/melikhov-dev/51f92e84b7aa9456a4cdba0550130df7

Оказывается, Артём про это давно писал, не нужно было мне ночью не спать https://news.1rj.ru/str/artalog/178
C --nolazy-feedback-allocation упало бы сразу в деоптимизацию и было бы не так загадочно.

Встречал две стратегии работы с автотестами:

- повторный прогон, чтобы флапающие тесты прошли (дожатие)

- повторный прогон, чтобы поймать флапающие тесты и покрасить билд в красный

Первый вариант обычно идёт от бизнесовой, а второй от платформенной команды.

Так как я переехал на разработку на удалённой машине (ради чего пришлось отказаться от WebStorm), то оставалась одна боль — как визуально гонять E2E когда что-то ломается. Понятно, что с headless проблем нет, но иногда нужен headfull, чтобы пошагово подебажить.
Ради этого приходится локально держать копию проекта и гонять E2E из неё, но это просто неудобно.

Вчера попробовал сделать X11 форвардинг на MacOS и это вполне рабочая схема. Не супер-быстро, но, в целом, поковырять что-то вполне можно. Ставим XQuartz, прописываем ForwardX11 yes в .ssh/config — готово, ssh -X и мы можем запускать Playwright на удалённой машине и рисовать окошко у себя на макбуке. VSCode так всё это понимает бесшовно, красота.

В недавнем выпуске подкаста мы Алексеем обсуждали интервью Дагласа Крокфорда и историю JSON. На самом деле, там конечно много интересных моментов, которые не удалось затронуть. Попробою пересказать текстом, телега всё стерпит.

Во-первых про название «JavaScript». Вопреки расхожему мнению, что слово «Java» было тут добавлено Netscape, чтобы хайпануть на популярном в тот момент языке, Крокфорд утверждает, что это название было утверждено самой Sun и сделано ради амбиций Sun. В тот момент Netscape и Sun объединились против главного зла тех лет — Microsoft. Каждая компания предлагала своё решение для создания софта, не привязанного к операционной системе. Если Sun топила за виртуальную машину, на которой запускался универсальный бинарник, то Netscape за браузер, как универсальную среду. Не важно на какой вы OS, главное, чтобы на ней был браузер. Объединившись компании развивают чудовище — Java-апплеты. Мощное, но медленное и неприятное для пользователя решение.

В то же время у Netscape был язык Mocha (позже переименованный в LiveScript). И Sun это не нравилось. Зачем два языка в браузере? Зачем глупый LiveScript, когда есть прекрасная Java? Но Netscape видели потенциал скриптовых языков, потенциал программирования на событиях. Рядом уже расцветал HyperCard от Apple, новички, не стеснённые концепцией навязанной сложности неблокируемого асинхронного программирования творили на нём удивительные на тот момент вещи. Более того, великий Myst был написан на HyperCard! (этого факта я не знал, хоть и облизывался на Myst всю вторую половину 90-х). Да, Myst был собран фактически на коленке на домашнем скриптовом языке и вышел изначально только на Mac OS.

И тогда неожиданно нашёлся компромисс. Кто-то в Netscape (возможно Марк Андрессен) предложил переименовать LiveScript в JavaScript и солгать миру, что это такое подмножество Java. И Sun неожиданно согласились.

И вот сидит молодой Крокфорд, смотрит на это подмножество Java и думает, что это самая тупая вещь на свете, которую он видел. Но она работает в вебе, запускается мгновенно и ей не нужен JVM. И прекрасно решает стоявшую перед ним задачу создания интерактивных чат-комнат. Вот только вся команда Крокфорда, услышав про JavaScript посылает его куда подальше. И ему приходится разбираться самому, как писать на этой странной скриптовой Java, в которой не работают основные концепции Java.

Он страдает страдает, но в какой-то день до него доходит — это не Java 🤡. Это совершенно другой язык и, более того, в нём есть концепции, которых нет в других языках. Прежде всего, в нём есть функции как сущность первого класса и у функций есть лексическое замыкание (что было на тот момент только в Scheme). И функции могут быть анонимными, настоящие лямбды! Более того, язык ещё и мультипарадигменный.

Ну вот тут Крокфорд полюбил JavaScript, оседлал волну хайпа, стал везде выступать, консультировать и написал свою книгу и первый линтер для JS (JSLint).

В следующем посте расскажу про JSON.

Продолжаем.

Проникшись JavaScript Крокфорд чуствует, что будущее за Single Page Application (про которые пока ещё никто не знает). В своём стартапе State Software он с командой прорабатывает идею веб-приложений, написанных на JavaScript. Ну и быстро понимает, что XML очень жмёт. А надо сказать, что в тот момент XML был главным и важнейшим стандартом передачи данных. Умные именитые ребята ходили и убеждали всех, что будущее только за XML. Крупные компании вкладывались в XML. Где-то рядом уже запихивали XSLT в браузеры. All the hipsters were excited about XML 🤡.

Но вот сидит Крокфорд и грустит, что для того, чтобы запихнуть XML в JS ему нужен парсер. Но, тут вдруг его осеняет, что гораздо проще передать литерал объекта текстом, так, как мы уже привыкли создавать объекты в JS. И тогда парсер будет очень простым и объём кода, передаваемого по сети станет меньше. Даглас и Чип Морнингстар собирают концепт и идут искать инвесторов.

А на дворе самое начало нулевых, крах доткомов и инвесторы очень осторожны. Они не хотят вливать деньги в то, что не является стандартом. XML вот стандарт. Там есть инструменты. А ваша поделка завтра рассыпется и что делать? Тогда Даглас и Чип придумывают название нового стандарта — JSON (JavaScript Object Notation), Даглас покупает домен json.org и запиливает свой знаменитый сайт, который вы все возможно видели. У нас есть сайт и название, мы стандарт! :)

Дальше начинается битва с Дэйвом Винером который на тот момент был очень влиятельным разработчиком и создателем XML-RPC. Винеру очень не понравился JSON и он достаточно резко прошёлся по нему в своём блоге. «Я тут услышал о чем-то под названием JSON, что предлагает решить проблему, которая была аккуратно решена XML-RPC в 1998 году»

Кстати, Даглас назначает Винера ответственным и за популяризацию SOAP (тут Даглас язвит - Simple Object Annoying Protocol. I don’t remember what the A was, but it might have been atrocious or abominable, I don’t know) Но сам Винер признаёт, что SOAP so difficult to program если сравнивать его с оригинальным XML-RPC.

В общем, Винер смотрит на JSON и кричит «ВЫ ЧЕГО?!! ЭТО ЖЕ ДАЖЕ НЕ XML!», предлагает найти разработчиков этого чуда и привязать их к дереву. Кажется, Крокфорда это обидело на всю жизнь.

В любом случае, дело идёт так себе инвесторы не верят в идею и не дают денег, но тут появляется Gmail и совершает AJAX-революцию (X значит XML, хе-хе). Теперь все хотят SPA. Вера в будущее веба на XHTML и XSLT растворяется. Люди перестают думать про XML-инструменты. Новым людям, пришедшим сразу в веб был нужен стандарт, менее жирный, чем XML.

Тут Даглас говорит интересную штуку, что сложность формата XML породила логическую ловушку о том, что и все инструменты вокруг него должны быть сложными. И эта накопленная сложность воспринималась как должное и гуру XML говорили «ну да, мы делаем сложные штуки, а как вы хотели?». А тут появились ребята, которые топили за простоту, а не за сложность. И ментально было сложно принять, что все твои сложные знания уже больше не нужны, что инструменты стали простыми, что передача данных по сети — это очень просто. Что хорошо и красиво — это когда просто, а не когда сложно.

В итоге, JSON победил, а XML проиграл. JSON вошёл в стандарт и получил MIME type application/JSON. А Крокфорд хотел конечно text/JSON, потому что ну причём тут Application? Почему есть text/XML но нет text/JSON? Крокфорд не знает, шутит, что это месть ему от XML-фанатов.

Вот и всё. Даглас считает, что JSON это и была самая главная вещь, которую он сделал в своей жизни и второй великой вещи у него уже не выйдет.

А я однажды передал Дагласу соль, сидя с ним за столом. Возможно, это и был высшая цель моего существования :_)

TIL

Можно оверрайдить красиво через переменную $<имя пакета> (но лучше не оверрайдить, конечно).

{
  "dependencies": {
    "foo": "^1.0.0"
  },
  "overrides": {
    // BAD, will throw an EOVERRIDE error
    // "foo": "^2.0.0"
    // GOOD, specs match so override is allowed
    // "foo": "^1.0.0"
    // BEST, the override is defined as a reference to the dependency
    "foo": "$foo",
    // the referenced package does not need to match the overridden one
    "bar": "$foo"
  }
}

Тут спрашивают, а зачем вообще оверрайдить зависимости? Причин может быть несколько:
- Причесать зоопарк в транзитивных (например, жёстко задать одну версию lodash или axios)
- Точечно починить транзитивные зависимости в тех либах, на которые автор уже забил
- При переезде на npm 8 и выше починить кривые peerDependencies
- Придумайте сами

Причём, овверайдить можно как глобально, так и точечно, подменяя один пакетик в глубине зависимостей.

Вот и я встретился в рабочем проекте со зловредным Синдре Сорхусом и его движением Pure ESM package.

Если кто пропустил, Синдре топит за полный отказ от совместимости с CommonJS, и в своих пакетах (которых тысячи) он уже отключил совместимость и запретил любое обсуждение этого своего решения.

Вот только переключить так сходу свой большой проект на сборку в Тайпскрипте в ES modules я, кажется, не готов. Но что делать, кажется придётся потихоньку.

Просто любопытно — есть ли у меня в подписчиках такие преисполнившиеся оптимизациями ребята и девчата, что отключили алгоритм Нейгла в node.js?

30 апреля — время отключить Node.js 14. Тимур Шемсединов выпустил отличный чеклист по миграции https://github.com/HowProgrammingWorks/Drop-Nodejs14 .
Добавлю про lockfileVersion: 2. На него имеет смысл переходить, если у вас CI крутится на node 14 и вы хотите переехать плавно. Если везде подняли npm до 8 и выше, то можно сразу на lockfileVersion: 3.