Количество доступных утилит для конвертации между популярными форматами файлов в терминале огромно. На днях я наткнулся ещё на одну утилиту такого рода — dasel. Ее отличительная особенность — возможность не только конвертировать файлы, но и менять их содержимое.

Например, с помощью команды put можно добавить новый элемент в файл или через delete удалить соответствующий ключ из структуры. В некоторых случаях может быть довольно удобно делать подобные операции прямо в командной строке. Поддерживаются форматы JSON, YAML, CSV, TOML, XML и простой текст (функциональность в последнем ограничена).

Источник: https://github.com/TomWright/dasel

Добыча в мою скромную коллекцию, состоящая из фантастического Battle League Football и парочки RPG😍

Обратил внимание сейчас, что русский язык в Wikipedia находится в разделе Middle East языков. Он всегда там был?🤔

По итогам прошедшего недавно Technical Steering Committee, Christian Mesh, мейнтейнер проекта OpenTofu, удалил из инструмента поддержку таких провайдеров как Yandex.Cloud, RuStack и SberCloud.

Говорить, что IT-сфера или конкретно open source ее часть в сегодняшнем мире вне политики и не должны подчиняться международным санкционным механизмам — абсурд. Санкции имеют под собой конкретные цели: ослабление экономики государства и бизнеса, деньги которого эту экономику питают. Для достижения эффекта это должно работать на всех уровнях и во всех сферах — и в предоставлении доступа к различным B2B-сервисам, и в сокращении поддержки как на платной (SaaS) так и на бесплатной (open source) основе.

При этом подпадает ли сделанное изменение под действие санкций и даже соответствует ли политикам самого проекта мейнтейнеры пока сами не разобрались. Сообщество ждет решения, а мы наблюдаем

Источник: https://github.com/opentofu/registry/pull/817

Update: оказывается, кто-то поднял revert PR на восстановление провайдеров. Под ним развернулась обширная дискуссия, читайте сами https://github.com/opentofu/registry/pull/824

AI can do my job

Airflow Debugging Improvement Survey

Open Source проекты хороши тем, что хоть и управляются в-основном мейнтейнерами, но открыты и прислушиваются к своим пользователям. Сейчас как раз один из таких случаев. Apache Airflow проводит опрос, целью которого является сбор информации о трудностях и сложностях пользователей на разных уровнях при отладке/debugging кода для Airflow. Результаты опроса напрямую повияют на то, что будет включено в Airflow 3.x, поэтому не пропустите возможность поучаствовать, если вам небезразлична судьба проекта в этой части и есть свои боли, которыми хотелось бы поделиться.

Результаты опроса, кстати, после анонимизации будут показаны публично :)

Источник: https://s.apache.org/airflow-debugging-survey2024

OpenMetadata 1.5.0🚀

Релиз новой версии таких быстроразвивающихся продуктов как OpenMetadata — всегда интересное событие, потому что обязательно несет в себе новые фичи, которые ждет сообщество.

В release notes у нас в этот раз:
• Data Diff Data Quality Tests,
• Domains RBAC & Subdomains,
• Data Asset Explore & виджет Landing Page,
• API как метадата ассет,
• новые коннекторы (Flink, GCS, Teradata, SAP)
• и много другого!

Из всего списка Data Diff Data Quality тесты у меня лично вызывают особый трепет, потому что почти на каждом проекте приходилось изобретать велосипед для сверки данных в разных объектах БД как инструмент контроля правильности трансформаций. Сейчас конечно есть тесты dbt, но OpenMetadata хорош тем, что его можно отдать на откуп аналитикам, а не писать YAML’ы самому.

Источник: https://docs.open-metadata.org/latest/deployment

Amazon Web Services добавляет удобный способ отписаться от обучения их AI-сервисов на ваших данных из всех сервисов разом для всей организации. Список сервисов, данные из которых #AWS мог использовать по-умолчанию впечатляющий и включает таких монстров как:
• CloudWatch
• Glue
• QuickSight
• и пару десятков других

Источник: https://docs.aws.amazon.com/organizations/latest/userguide/orgs_manage_policies_ai-opt-out_all.html

Предложение по расширению стандарта tl;dr для новых случаев:
• pw;dr — paywall; didn’t read
• ai;dr — A.I.; didn’t read
• lv;dw — long video; didn’t watch
• vm;dl — voice message; didn’t listen

Давно не писал сюда ничего, но вот появилась тема!

Выглядит так, что многие проекты, включая наш-с-вами-любимый-Airflow, планируют переход на феноменально быстрый менеджер пакетов под скромным названием uv

Если вкратце, то uv — это:
• в большинстве случаев drop-in замена pip, pipx и прочих
• при этом сильно быстрее pip (до 100 раз), написан на Rust
• включает в себя и установщик разных версий Python
• заведет вам виртуальную среду и запустит приложение в изолированной среде одной командой
• может управлять проектами очень знакомым способом (с поддержкой pyproject.toml)
• поддерживает все популярные OS

На мой взгляд, выглядит как настоящая революция. Точно планирую переходить на него в своих проектах в скором времени.

Источник: https://astral.sh/blog/uv-unified-python-packaging

💡А вы знали, что…

AWS #Lambda функции можно запускать прямо из SQL, который выполняется на PostgreSQL в AWS #RDS? И синхронно и асинхронно. И можно даже кусочек лога (до 4KB) выполнения функции вернуть в результаты запроса, если очень хочется :)

SELECT * FROM aws_lambda.invoke('aws_lambda_arn_1', '{"body": "Hello from Postgres!"}'::json);

Источник: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/PostgreSQL-Lambda-examples.html#PostgreSQL-Lambda-log-response

Еще не выходные, но просто хочется глотка юмора, чтобы до них дотянуть

Тестирую новый девайс от Click Tech и никак не могу отделаться от мысли — как же я скучал по этому приятному тактильному ощущению! Все-таки и в Blackberry и в прочих телефонах ушедшей эпохи был свой шарм…

Из плюсов: очень приятные кнопочки, наличие всевозможных shortcuts, и более приятная работа с терминалом на телефоне

Из минусов: и без того немалый телефон становится просто гигантским, непростая работа с раскладками отличными от английской, невозможность (или мое незнание) ремаппинга каждой кнопки

Моя оценка: 8/10

Всех, кто установил обновление 24H2 для Windows, ждет сюрприз в виде установленного и запущенного сервиса Recall. Чтобы выключить это безобразие нужно выполнить следующую команду в командной строке:

C:\Windows\System32>Dism /Online /Disable-Feature /Featurename:Recall

Если этого не сделать, то все, что будет происходить у вас на экране, будет записано, распознано и сохранено, включая пароли, банковские карты, и прочие сведения

AWS Lambda + VS Code🚀

Теперь редактировать Lambda в консоли AWS можно через популярный редактор VS Code:
• Редактирование функций в архивах до 50Mb (было 3Mb)📦
• Редактирование переменных среды и тестов🧪
• Запуск и тестирование функций из редактора⌛️
• VS Code extensions🛠️
• Темное оформление🌘

Источник: https://aws.amazon.com/blogs/compute/introducing-an-enhanced-in-console-editing-experience-for-aws-lambda/

Почти два месяца назад из репозитория OpenToFu удалили поддержку российских провайдеров, о чем я писал. Несмотря на многочисленные попытки вернуть все назад, решение отменено не было.

Вчера произошли изменения в другом, более крупном и зрелом проекте. Следуя санкциям, из списка майнтейнеров ядра Linux удалили разработчиков, связанных с российскими компаниями.

Получив солидное количество обращений от «фабрики троллей», сегодня выступил с заявлением и Linus Torvalds. Он ясно дал понять, что принятое решение меняться не будет, российскую агрессию не поддерживает, а троллям рекомендовал вместо чтения госпропаганды читать настоящие новости и интересоваться историей.

Kiitos, Linus!

Кто-то на смолтоке вскользь упомянул, что планирует быть в костюме Иисуса на вечеринке по случаю Halloween. Я тут же начал представлять себе в голове как бы это выглядело, а после звонка не оставил это без внимания и пошел сделать картинку в ChatGPT.

Надо признать — это максимально похоже на то, как я коллегу представлял во время нашего разговора🎃

Ну что ж, мы долго этого ждали и вот оно — обновление Apple девайсов добавляющее поддержку Apple Intelligence только что вышло! iOS/iPadOS 18.1 и macOS 15.1 уже доступны для установки

Из долго остававшегося в секрете — cleanup tool в фоточках, который позволяет убирать с фото нежелательные объекты

Источник: https://www.apple.com/newsroom/2024/10/apple-intelligence-is-available-today-on-iphone-ipad-and-mac/

Читаю книжку Стивена Хокинга и не перестаю удивляться, как в одном человеке были хитросплетены такие качества как умение доносить простым языком очень сложные вещи, уникальные физико-математические способности и чистый добрый юмор. Миру конечно нужно больше таких людей. Светлая память ему!

После нескольких лет использования (или скорее неиспользования) iPad Pro, наступил момент перехода на что-то, что кажется должно быть удобнее/мобильнее. Старые девайсы распроданы, время нового поколения и нового iPad Mini.

Я еще теперь облизываюсь, глядя на Mac Mini M4 Pro — похоже это может стать следующим пополнением в домашнем парке устройств. Маленькой коробочке с 32 гигабайтами оперативной памяти и мощным процессором точно найдется применение в хозяйстве!