Извращения с Apache Kafka: забавный кейс из жизни
Открытый вебинар для тех, кто хочет узнать, как организовать Data Lake на 80 ТБ с помощью Apache Kafka.
7 июля в 19:00 (мск)
Проведёт вебинар Михаил Кобик, руководитель инфраструктурных решений в SMART Technologies SOFT. Уже более 5 лет он занимается нагруженными проектами, а в числе его успешных проектов продукты из разных сфер: от инфраструктур для ГИС до интернет-магазинов кошачьего корма.
Вот планы Михаила на предстоящий вебинар:
«На вебинаре я расскажу о своём опыте создания Data Lake на ~80 ТБ с помощью Apache Kafka. Дополнительно разберу, какие подводные камни могут возникать, если Retention выкручен в 9999999, и как жить, если Apache Kafka — единственный источник данных в информационной системе».
Приходите, будет полезно!
Записаться на вебинар: https://slurm.club/3OBSSXO
Открытый вебинар для тех, кто хочет узнать, как организовать Data Lake на 80 ТБ с помощью Apache Kafka.
7 июля в 19:00 (мск)
Проведёт вебинар Михаил Кобик, руководитель инфраструктурных решений в SMART Technologies SOFT. Уже более 5 лет он занимается нагруженными проектами, а в числе его успешных проектов продукты из разных сфер: от инфраструктур для ГИС до интернет-магазинов кошачьего корма.
Вот планы Михаила на предстоящий вебинар:
«На вебинаре я расскажу о своём опыте создания Data Lake на ~80 ТБ с помощью Apache Kafka. Дополнительно разберу, какие подводные камни могут возникать, если Retention выкручен в 9999999, и как жить, если Apache Kafka — единственный источник данных в информационной системе».
Приходите, будет полезно!
Записаться на вебинар: https://slurm.club/3OBSSXO
Доступен Wayland 1.21
- В программный интерфейс wl_pointer добавлена поддержка события wl_pointer.axis_value120 для высокоточного скроллинга на манипуляторах мышь с колесом прокрутки высокого разрешения.
- В сервер добавлены новые функции wl_signal_emit_mutable (аналог wl_signal_emit, поддерживающий корректную работу в ситуации, когда один обработчик сигналов, удаляет другой обработчик) и wl_global_get_version (позволяет узнать общую версию API).
- Разработка переведена на платформу GitLab с использованием инфраструктуры проекта FreeDesktop. org.
- Проведена чистка и переработка структур и функций, связанных с настройкой курсора.
- Протокол wl_shell отмечен как необязательный для реализации в композитных серверах и объявлен устаревшим. Для создания пользовательских оболочек рекомендовано использовать протокол xdg_shell, предоставляющий интерфейс для взаимодействия с поверхностями как с окнами, что позволяет передвигать поверхности по экрану, сворачивать, разворачивать, изменять размер и т.д.
- В программный интерфейс wl_pointer добавлена поддержка события wl_pointer.axis_value120 для высокоточного скроллинга на манипуляторах мышь с колесом прокрутки высокого разрешения.
- В сервер добавлены новые функции wl_signal_emit_mutable (аналог wl_signal_emit, поддерживающий корректную работу в ситуации, когда один обработчик сигналов, удаляет другой обработчик) и wl_global_get_version (позволяет узнать общую версию API).
- Разработка переведена на платформу GitLab с использованием инфраструктуры проекта FreeDesktop. org.
- Проведена чистка и переработка структур и функций, связанных с настройкой курсора.
- Протокол wl_shell отмечен как необязательный для реализации в композитных серверах и объявлен устаревшим. Для создания пользовательских оболочек рекомендовано использовать протокол xdg_shell, предоставляющий интерфейс для взаимодействия с поверхностями как с окнами, что позволяет передвигать поверхности по экрану, сворачивать, разворачивать, изменять размер и т.д.
👍11🔥3
Подошёл к концу срок сопровождения LTS-ветки Debian 9. Выпуск обновлений для LTS-ветки осуществлялся отдельной группой разработчиков LTS Team, созданной из энтузиастов и представителей компаний.
В ближайшее время инициативная группа приступит к формированию новой LTS-ветки на базе Debian 10, штатная поддержка которого истекает 7 июля 2022 года. Команда LTS Team примет эстафету от Security Team и продолжит сопровождение без перерыва. Выпуск обновлений для Debian 10 будет продлён до 30 июня 2024 года. Как и для Debian 9, LTS-поддержка Debian 10 и Debian 11 будет распространяться только на архитектуры i386, amd64, armel, armhf и arm64, а общий срок поддержки составит 5 лет.
При этом окончание LTS-поддержки ещё не означает прекращение жизненного цикла Debian 9.0 - в рамках расширенной программы "Extended LTS" компания Freexian выразила готовность до 30 июня 2027 года выпускать своими силами обновления с устранением уязвимостей в ограниченном наборе пакетов для архитектур amd64, armel и i386.
В ближайшее время инициативная группа приступит к формированию новой LTS-ветки на базе Debian 10, штатная поддержка которого истекает 7 июля 2022 года. Команда LTS Team примет эстафету от Security Team и продолжит сопровождение без перерыва. Выпуск обновлений для Debian 10 будет продлён до 30 июня 2024 года. Как и для Debian 9, LTS-поддержка Debian 10 и Debian 11 будет распространяться только на архитектуры i386, amd64, armel, armhf и arm64, а общий срок поддержки составит 5 лет.
При этом окончание LTS-поддержки ещё не означает прекращение жизненного цикла Debian 9.0 - в рамках расширенной программы "Extended LTS" компания Freexian выразила готовность до 30 июня 2027 года выпускать своими силами обновления с устранением уязвимостей в ограниченном наборе пакетов для архитектур amd64, armel и i386.
👍6🤬3🔥1
Media is too big
VIEW IN TELEGRAM
Расширение оболочки GNOME Burn-My-Windows добавляет новый эффект и первоначальную поддержку KDE Plasma
https://github.com/Schneegans/Burn-My-Windows
https://github.com/Schneegans/Burn-My-Windows
🔥15👍6👎5🤔3😱1
Проект Raspberry Pi представил плату Pico W с поддержкой Wi-Fi
Плата Raspberry Pi Pico W продолжает развитие миниатюрной платы Pico, оснащённой микроконтроллером RP2040 собственной разработки. Новая редакция отличается интеграцией поддержки Wi-Fi (2.4GHz 802.11n), реализованной на базе чипа Infineon CYW43439. Чип CYW43439 также поддерживает Bluetooth Classic и Bluetooth Low-Energy, но они пока не задействованы в плате. Стоимость новой платы - 6 долларов, что на два доллара дороже первого варианта.
Чип RP2040 включает в себя двухъядерный процессор ARM Cortex-M0+ (133MHz) c 264 КБ встроенной оперативной памяти (SRAM), контроллером DMA, датчиком температуры, таймером и контроллером USB 1.1. На плате размещено 2 МБ Flash-памяти, но чип поддерживает расширение до 16 МБ. Питание может подаваться в диапазоне от 1.8 до 5.5 вольт, что позволяет задействовать различные источники энергии, включая две или три обычные батарейки AA или типовые литий-ионные аккумуляторы.
Плата Raspberry Pi Pico W продолжает развитие миниатюрной платы Pico, оснащённой микроконтроллером RP2040 собственной разработки. Новая редакция отличается интеграцией поддержки Wi-Fi (2.4GHz 802.11n), реализованной на базе чипа Infineon CYW43439. Чип CYW43439 также поддерживает Bluetooth Classic и Bluetooth Low-Energy, но они пока не задействованы в плате. Стоимость новой платы - 6 долларов, что на два доллара дороже первого варианта.
Чип RP2040 включает в себя двухъядерный процессор ARM Cortex-M0+ (133MHz) c 264 КБ встроенной оперативной памяти (SRAM), контроллером DMA, датчиком температуры, таймером и контроллером USB 1.1. На плате размещено 2 МБ Flash-памяти, но чип поддерживает расширение до 16 МБ. Питание может подаваться в диапазоне от 1.8 до 5.5 вольт, что позволяет задействовать различные источники энергии, включая две или три обычные батарейки AA или типовые литий-ионные аккумуляторы.
👍24
Рассматривается возможность прекращения в GTK5 поддержки X11
Маттиас Класен, лидер Fedora Desktop Team, участник GNOME Release Team и один из активных разработчиков GTK, начал обсуждение возможности прекращения поддержки протокола X11 в следующей значительной ветке GTK5 и оставления возможности работы GTK в Linux только с использованием протокола Wayland.
В примечании к предложению о прекращении поддержки X11 указано, что "X11 не становится лучше, а Wayland уже повсеместно доступен". Далее поясняется, что GTK-бэкенд X11 и код на основе Xlib находятся в стагнации и испытывают проблемы с сопровождающими. Указано, что для того, чтобы поддержка X11 сохранилась, кто-то должен писать и поддерживать связанный с X11 код, но энтузиасты отсутствуют, а имеющиеся разработчики GTK сосредоточены главным образом на поддержке Wayland.
Маттиас Класен, лидер Fedora Desktop Team, участник GNOME Release Team и один из активных разработчиков GTK, начал обсуждение возможности прекращения поддержки протокола X11 в следующей значительной ветке GTK5 и оставления возможности работы GTK в Linux только с использованием протокола Wayland.
В примечании к предложению о прекращении поддержки X11 указано, что "X11 не становится лучше, а Wayland уже повсеместно доступен". Далее поясняется, что GTK-бэкенд X11 и код на основе Xlib находятся в стагнации и испытывают проблемы с сопровождающими. Указано, что для того, чтобы поддержка X11 сохранилась, кто-то должен писать и поддерживать связанный с X11 код, но энтузиасты отсутствуют, а имеющиеся разработчики GTK сосредоточены главным образом на поддержке Wayland.
🤬21👍13🤔5🔥4
Опубликован релиз Live-дистрибутива Porteus 5.0, построенного на пакетной базе Slackware Linux 15 и предлагающего сборки с пользовательскими окружениями Xfce, Cinnamon, GNOME, KDE, LXDE, LXQt, MATE и OpenBox. Состав дистрибутива подобран для минимального потребления ресурсов, что позволяет использовать Porteus на устаревшем оборудовании.
В новой версии осуществлена синхронизация со Slackware 15.0, ядро Linux обновлено до версии 5.18, а набор утилит BusyBox в initrd до версии 1.35. Число формируемых сборок увеличено до 8. Для снижения размера образа компоненты для поддержки языка Perl вынесены во внешний модуль 05-devel. Добавлена поддержка пакетных менеджеров slackpkg и slpkg. В инструментарий для создания загрузчиков добавлена поддержка установки на накопители NMVe.
В новой версии осуществлена синхронизация со Slackware 15.0, ядро Linux обновлено до версии 5.18, а набор утилит BusyBox в initrd до версии 1.35. Число формируемых сборок увеличено до 8. Для снижения размера образа компоненты для поддержки языка Perl вынесены во внешний модуль 05-devel. Добавлена поддержка пакетных менеджеров slackpkg и slpkg. В инструментарий для создания загрузчиков добавлена поддержка установки на накопители NMVe.
👍12
Проект KDE представил четвёртое поколение ноутбуков KDE Slimbook
Продукт разработан при участии сообщества KDE совместно с испанским поставщиком оборудования Slimbook. Программная начинка основана на рабочем столе KDE Plasma, системном окружении KDE Neon на базе Ubuntu и подборкой свободных приложений. Графическое окружение по умолчанию использует протокол Wayland. Все поставляемые в KDE Slimbook приложения и обновления досконально тестируются разработчиками KDE для обеспечения высокого уровня стабильности окружения и совместимости с оборудованием.
Новая серия поставляется с процессорами AMD Ryzen 5700U 4.3 GHz с 8 ядрами CPU (16 потоками) и 8 ядрами GPU. Ноутбук предложен с экранами 14 и 15.6 дюймов (1920x1080, IPS, 16:9, sRGB 100%). Вес устройств соответственно составляет 1.05 и 1.55 кг, а цена - 1049€ и 999€. Ноутбуки укомплектованы 250 ГБ M.2 SSD NVME (до 2 ТБ), 8 ГБ ОЗУ (до 64 ГБ), 2 портами USB 3.1, одним портом USB 2.0 и одним USB-C 3.1, HDMI 2.0, Ethernet (RJ45), Micro SD и Wifi (Intel AX200).
Продукт разработан при участии сообщества KDE совместно с испанским поставщиком оборудования Slimbook. Программная начинка основана на рабочем столе KDE Plasma, системном окружении KDE Neon на базе Ubuntu и подборкой свободных приложений. Графическое окружение по умолчанию использует протокол Wayland. Все поставляемые в KDE Slimbook приложения и обновления досконально тестируются разработчиками KDE для обеспечения высокого уровня стабильности окружения и совместимости с оборудованием.
Новая серия поставляется с процессорами AMD Ryzen 5700U 4.3 GHz с 8 ядрами CPU (16 потоками) и 8 ядрами GPU. Ноутбук предложен с экранами 14 и 15.6 дюймов (1920x1080, IPS, 16:9, sRGB 100%). Вес устройств соответственно составляет 1.05 и 1.55 кг, а цена - 1049€ и 999€. Ноутбуки укомплектованы 250 ГБ M.2 SSD NVME (до 2 ТБ), 8 ГБ ОЗУ (до 64 ГБ), 2 портами USB 3.1, одним портом USB 2.0 и одним USB-C 3.1, HDMI 2.0, Ethernet (RJ45), Micro SD и Wifi (Intel AX200).
👍24
Леннарт Поттеринг ушёл из Red Hat и трудоустроился в Microsoft
Леннарт Поттеринг, создавший такие проекты, как Avahi (реализация протокола ZeroConf), звуковой сервер PulseAudio и системный менеджер systemd, уволился из компании Red Hat, в которой работал с 2008 года и руководил разработкой systemd. В качестве нового места работы называется компания Microsoft, деятельность Леннарта в которой также будет связана с разработкой systemd.
Леннарт Поттеринг, создавший такие проекты, как Avahi (реализация протокола ZeroConf), звуковой сервер PulseAudio и системный менеджер systemd, уволился из компании Red Hat, в которой работал с 2008 года и руководил разработкой systemd. В качестве нового места работы называется компания Microsoft, деятельность Леннарта в которой также будет связана с разработкой systemd.
🤯42😁15🤬8👍5😢5
Microsoft собиралась ввести запрет на продажу открытого ПО через Microsoft Store
Компания внесла изменения в условия использования Microsoft Store. Одним из изменений стал запрет получать через каталог прибыль от продажи открытого ПО или любых других приложений, которые в обычном виде распространяются бесплатно. Требование нацелено на борьбу с третьими лицами, которые наживаются на продаже сборок популярных открытых программ.
Изначально запрет намеревались применять независимо от связи учётной записи с прямыми разработчиками. На данный момент Microsoft приостановила введение в действие новых правил и намерена с учётом мнения сообщества переработать их для предоставления возможности монетизации легитимных открытых проектов.
Правозащитная организация Software Freedom Conservancy (SFC) считает, что запрет на продажу открытого ПО в Microsoft Store недопустим, так как любая по настоящему открытая или свободная система всегда доступна для бесплатного использования - разработчики ведут работу публично и не препятствуют созданию модификаций и формированию сборок для любых платформ.
Компания внесла изменения в условия использования Microsoft Store. Одним из изменений стал запрет получать через каталог прибыль от продажи открытого ПО или любых других приложений, которые в обычном виде распространяются бесплатно. Требование нацелено на борьбу с третьими лицами, которые наживаются на продаже сборок популярных открытых программ.
Изначально запрет намеревались применять независимо от связи учётной записи с прямыми разработчиками. На данный момент Microsoft приостановила введение в действие новых правил и намерена с учётом мнения сообщества переработать их для предоставления возможности монетизации легитимных открытых проектов.
Правозащитная организация Software Freedom Conservancy (SFC) считает, что запрет на продажу открытого ПО в Microsoft Store недопустим, так как любая по настоящему открытая или свободная система всегда доступна для бесплатного использования - разработчики ведут работу публично и не препятствуют созданию модификаций и формированию сборок для любых платформ.
👍15🤬11🤔6
Обновление Debian 11.4
Опубликовано четвёртое корректирующее обновление дистрибутива Debian 11, в которое включены накопившиеся обновления пакетов и устранены недоработки в инсталляторе. Выпуск включает 81 обновление с устранением проблем со стабильностью и 79 обновлений с устранением уязвимостей. Удалены пакеты elog и python-hbmqtt, оставшиеся без сопровождения и имеющие проблемы с безопасностью и работоспособностью.
Опубликовано четвёртое корректирующее обновление дистрибутива Debian 11, в которое включены накопившиеся обновления пакетов и устранены недоработки в инсталляторе. Выпуск включает 81 обновление с устранением проблем со стабильностью и 79 обновлений с устранением уязвимостей. Удалены пакеты elog и python-hbmqtt, оставшиеся без сопровождения и имеющие проблемы с безопасностью и работоспособностью.
👍21❤2👎1🥰1
Внедрение двухфакторной аутентификации в PyPI привело к инциденту с удалением популярного пакета
Разработчики репозитория Python-пакетов PyPI опубликовали план перехода на обязательную двухфакторную аутентификацию для пакетов, входящих в категорию критически важных. Двухфакторная аутентификация будет применена примерно для 3500 пакетов.
В отличие от перехода на двухфакторную аутентификацию проектов RubyGems, NPM и GitHub, в PyPI будет изначально внедрена схема, подразумевающая желательное использование аппаратного токена с ключами доступа.
Инициатива не обошлась без инцидента. Автор пакета Atomicwrites, насчитывающего 6 млн загрузок в месяц и 38 млн за 6 месяцев, не пожелал переходить на двухфакторную аутентификацию. Для исключения своего пакета из списка критически важных он попытался сбросить счётчик загрузок. Для сброса он вначале удалил пакет, а потом загрузил новую версию. Ожидалось, что подобная манипуляция лишь сбросит счётчик, но к удивлению разработчика из репозитория были удалены и все старые версии, что привело к проблемам у зависимых от библиотеки проектов, которые некоторые разработчики сравнили с инцидентом в результате удаления пакета left-pad в NPM.
Проблема усугубилась тем, что после удаления автор atomicwrites не смог загрузить старые версии, восстановить которые удалось лишь на следующий день после вмешательства администраторов PyPI. После произошедшего автор пакета принял решение прекратить разработку atomicwrites и перевести пакет в разряд устаревших. В качестве причины упоминается то, что он развивает проект как хобби в свободное время и появление дополнительных требований, усложняющих работу, не стоят времени, затрачиваемого на бесплатное сопровождение пакета с такой популярностью. Автор atomicwrites утверждает, что он бы предпочёл просто писать код для развлечения, а заботы о дополнительной защите от захвата злоумышленниками можно взвалить на себя когда за это платят.
Разработчики репозитория Python-пакетов PyPI опубликовали план перехода на обязательную двухфакторную аутентификацию для пакетов, входящих в категорию критически важных. Двухфакторная аутентификация будет применена примерно для 3500 пакетов.
В отличие от перехода на двухфакторную аутентификацию проектов RubyGems, NPM и GitHub, в PyPI будет изначально внедрена схема, подразумевающая желательное использование аппаратного токена с ключами доступа.
Инициатива не обошлась без инцидента. Автор пакета Atomicwrites, насчитывающего 6 млн загрузок в месяц и 38 млн за 6 месяцев, не пожелал переходить на двухфакторную аутентификацию. Для исключения своего пакета из списка критически важных он попытался сбросить счётчик загрузок. Для сброса он вначале удалил пакет, а потом загрузил новую версию. Ожидалось, что подобная манипуляция лишь сбросит счётчик, но к удивлению разработчика из репозитория были удалены и все старые версии, что привело к проблемам у зависимых от библиотеки проектов, которые некоторые разработчики сравнили с инцидентом в результате удаления пакета left-pad в NPM.
Проблема усугубилась тем, что после удаления автор atomicwrites не смог загрузить старые версии, восстановить которые удалось лишь на следующий день после вмешательства администраторов PyPI. После произошедшего автор пакета принял решение прекратить разработку atomicwrites и перевести пакет в разряд устаревших. В качестве причины упоминается то, что он развивает проект как хобби в свободное время и появление дополнительных требований, усложняющих работу, не стоят времени, затрачиваемого на бесплатное сопровождение пакета с такой популярностью. Автор atomicwrites утверждает, что он бы предпочёл просто писать код для развлечения, а заботы о дополнительной защите от захвата злоумышленниками можно взвалить на себя когда за это платят.
👍21👎1