Как работает Apache Kafka

Apache Kafka появилась как решение проблемы. Инженеры LinkedIn столкнулись с трудностями при отслеживании метрик веб-сайта, потоков активности и других операционных данных.
Команда инженеров под руководством Джея Крепса (Jay Kreps), Нехи Наркхеде (Neha Narkhede) и Джун Рао (Jun Rao) начала разработку распределённой системы обмена сообщениями по принципу «публикация-подписка», способной обрабатывать потоки данных с высокой пропускной способностью и низкой задержкой.

Эта система в итоге стала Apache Kafka.

Проект был открыт для общественности в начале 2011 года. Название «Kafka» выбрал Джей Крепс. Он назвал систему в честь известного писателя Франца Кафки. 😊
Крепс был поклонником творчества Франца Кафки и посчитал это имя подходящим для системы, работающей с потоками информации.

Система написана на Java и Scala.

Позже они основали компанию Confluent в 2014 году для предоставления коммерческой поддержки и дополнительных инструментов пользователям Kafka.

📌 Давайте разберём базовый принцип работы.

[1] Отправитель отправляет сообщение
* Приложение выступает в роли отправителя, создавая сообщение с данными (полезной нагрузкой) и необязательным ключом.
* Отправитель подключается к брокеру в кластере Kafka и определяет целевую тему.
* Kafka использует партиционер для определения того, в какую партицию темы должно быть доставлено сообщение. Это обеспечивает балансировку нагрузки и параллельную обработку.
* Сообщение доставляется в ведущую реплику выбранной партиции.

[2] Хранение сообщений и репликация
* Ведущая реплика добавляет сообщение в сегмент журнала.
* Сообщение получает уникальный идентификатор (смещение), который определяет его позицию в журнале.
* Ведущая реплика копирует сообщение в последующие реплики для обеспечения отказоустойчивости.

[3] Приёмщик получает сообщения
* Приложение выступает в роли приёмщика, присоединяясь к группе приёмщиков.
* Приёмщики в одной группе совместно используют смещения и координируют потребление.
* Каждый приёмщик получает сообщения из назначенных ему партиций на основе зафиксированного смещения.
* Приёмщик получает пакеты сообщений и обрабатывает их.

[4] Подтверждение потребления
* После завершения обработки приёмщик фиксирует новое смещение.
* Это сообщает Kafka, какие сообщения были успешно потреблены.
* Kafka отслеживает зафиксированные смещения для каждого приёмщика в группе.

[*] Процесс продолжается
* Отправители продолжают отправлять сообщения, а приёмщики продолжают получать и обрабатывать их на основе последних смещений.
* Этот цикл обеспечивает упорядоченную доставку и надёжное потребление даже при сбоях или перезапусках.

Замечания:

👉 Поток сообщений является асинхронным. Отправители не ждут, пока приёмщики обработают сообщения.

👉 Приёмщики могут отставать от отправителей, если обработка идёт медленно.

👉 Kafka предлагает механизмы для обработки сбоев и обеспечения доставки сообщений как минимум один раз или ровно один раз.

«Лаборатория Касперского» планирует адаптировать свою операционную систему KasperskyOS для ПК, ноутбуков и серверов. Об этом сообщил Дмитрий Лукиян, руководитель отдела по развитию KasperskyOS.

Конкретные сроки и вложения в компании не раскрывают. Однако называют этот этап следующей вехой развития своей ОС.

KasperskyOS — это микроядерная операционная система, разработанная «Лабораторией Касперского». Она предназначена для создания программно-аппаратных систем, «защищенных от любых, даже от еще неизвестных угроз, и для нее не требуются наложенные средства защиты, такие как антивирусы», утверждают в компании-разработчике.

Микроядро KasperskyOS написано полностью с нуля и не использует код ядра Linuх. На базе KasperskyOS разработаны линейка кибериммунных IoT-шлюзов, кибериммунные тонкие клиенты, защищенные автомобильные шлюзы, SDK для IoT-контроллеров, ведутся исследования по применению KasperskyOS для профессиональных мобильных устройств. ОС прошла сертификацию Федеральной службы по техническому и экспортному контролю (ФСТЭК).

https://www.cnews.ru/news/top/2025-10-14_kasperskyos_na_pksmartfonah_i

Визуальное руководство по выбору системы баз данных

Майкрософт выпустил второй и последний релиз-кандидат .NET 10, который поставляется с лицензией go-live и поэтому уже может использоваться в production. Этот выпуск .NET 10 добавляет главным образом улучшения ии исправления уже имеющегося функционала и поддерживается в новом выпуске Visual Studio 2026 Insiders, а также в Visual Studio Code с C# Dev Kit.
Окончательный релиз .NET 10 с C# 14 состоится 11 ноября.
https://devblogs.microsoft.com/dotnet/dotnet-10-rc-2/

Начиная с версии 3.14 Python позволяет отключить GIL! Почему это важно? Поскольку раньше, даже если вы писали многопоточный код, Python мог выполнять только один поток за раз, не давая никакого выигрыша в производительности. Но теперь Python может выполнять многопоточный код параллельно.

Российские компании начали делать предложения о трудоустройстве вьетнамским программистам на зарплаты в 140 тыс. руб. в 2025 г., свидетельствуют данные hh_ru,

Российские компании начали активно нанимать программистов и разработчиков из Вьетнама, свидетельствуют данные hh_ru. В 2025 г. Вьетнам вошел в топ-3 стран Дальнего Зарубежья, откуда российские компании привлекали персонал, его обошли только Индия и Куба.

«С начала года наиболее активными соискателями, имеющими резюме на hh_ru и ищущими работы на территории России при этом будучи выходцами из стран Дальнего зарубежья стали жители Индии (более 5 тыс. резюме с начала года), на втором месте жители Кубы, на третьем — Вьетнама. Соискатели из Вьетнама чаще всего в этом году искали в России работу в качестве программистов», — сообщил hh_ru.

На резюме разработчиков ПО приходится 9% от всех резюме из этой страны. Из общего объема соискателей из Вьетнама, получивших предложения от российских компаний, 6% были программистам или разработчиками. Медианная предлагаемая зарплата для них — 140 тыс. руб. ИТ-специалистов из Вьетнама нанимали почти также активно, как вьетнамских менеджеров по продажам (на зарплату в 120 тыс. руб.) и официантов (86 тыс. руб.).

Что касается Индии, то число резюме из их общего объема, приходящееся на программистов и разработчиков, составило только 3%, а Кубы — 4%. Но число нанятых российскими компаниями программистов оказалось менее 1%.

https://www.cnews.ru/news/top/2025-10-15_na_zarplaty_raznorabochih

Reliability vs Availability (Надёжность и доступность)
(продолжение в следующем посте)

Reliability vs Availability (Надёжность и доступность)
(продолжение предыдущего поста)

Большинство инженеров считают, что время безотказной работы равно надёжности. Но это не так.

Надёжность спрашивает: «Будет ли это работать правильно?»
Доступность спрашивает: «Работает ли это прямо сейчас?»

Математика, лежащая в основе каждой устойчивой системы, базируется на следующих понятиях:
• MTTF, MTTR, MTBF
• Последовательные и параллельные настройки
• Уровни SLA и реальное время простоя
• Почему «пять девяток» не всегда равны пяти девяткам


### Основные определения
- Надежность (R): Вероятность того, что система будет работать корректно в течение заданного интервала времени. Формула: R(t)=e^(-t/MTTF)
- Доступность (A): Доля времени, в течение которого система находится в рабочем состоянии. Формула: A= (Uptime+Downtime) / Uptime
- MTTF (Mean Time to Failure): Среднее время до отказа системы или компонента.
- MTTR (Mean Time to Restore): Среднее время восстановления после отказа.
- MTBF (Mean Time Between Failures): Среднее время между отказами. Формула: MTBF = MTTF + MTTR

### Надежность зависит от конфигурации системы
- Последовательные системы: Все компоненты должны работать. Формула: R_series = R_1 * R_2 * ... * R_n
- Параллельные системы: Достаточно, чтобы работал хотя бы один компонент. Формула: R_parallel = 1 - (1 - R_1)*(1 - R_2) * ... * (1 - R_n)

### Уровни доступности и SLA
Таблица показывает соответствие между процентом доступности и допустимым временем простоя:
- 99% («две девятки»): ~3,65 дня в год, ~1,68 часа в неделю.
- 99,9% («три девятки»): ~8,76 часа в год, ~10,1 минуты в неделю.
- 99,99% («четыре девятки»): ~52 минуты в год, ~1 минута в неделю.
- 99,999% («пять девяток»): ~5 минут в год, ~6 секунд в неделю.

### Типичные ошибки
- Предполагание независимых отказов, когда компоненты разделяют риски.
- Игнорирование сетевых зависимостей при расчете доступности.
- Неправильное указание «99,99% времени работы» без учета планового простоя.

### Лучшие практики
- Проектирование с учетом избыточности.
- Минимизация одиночных точек отказа.
- Автоматизация обнаружения и переключения.
- Непрерывный мониторинг времени работы.
- Измерение надежности на основе реальных данных.

Таблица математических символов

Шпаргалка по пакетному менеджеру uv для языка Python #python

Команда stat в Linux

Команда ls часто используется как основной инструмент для проверки атрибутов файла, таких как права доступа, владелец и временные метки.

Но что делать, если вам нужна более подробная информация о файле или даже о файловой системе, в которой он находится? Именно здесь на помощь приходит команда stat.

Команда stat (сокращение от «status») — это мощная утилита в Linux, которая предоставляет детальную информацию о файлах и файловых системах.

В то время как ls даёт лишь общий обзор, stat проводит более глубокий анализ, предоставляя исчерпывающие данные, такие как размер блока, номер индексного дескриптора (inode) и контекст безопасности.

Она особенно полезна при изучении временных меток файлов, таких как время последнего доступа, изменения или модификации. #linux

Глава Anthropic Дарио Амодей рассказал, что, ИИ-модель Claude уже создает до 90% кода для большинства команд компании, однако без людей всё ещё не обойтись.

Когда же Дарио Амодея спросили, когда доля участия ИИ вырастет ещё больше и означает ли это, что компании теперь нужно меньше инженеров, глава Anthropic ответил, что не стоит «неправильно толковать» возможности Claude по созданию функционала и устранению сложных ошибок.

«Если Claude пишет 90% кода, это вовсе не значит, что требуется меньше разработчиков. Наоборот, их может понадобиться больше — ведь теперь они могут делать гораздо больше, — пояснил он. — Они сосредотачиваются на самых трудных 10% — редактировании, сложной логике или контроле работы группы ИИ-моделей. В итоге производительность вырастает в десять раз».

По словам Амодея, речь идет не о замене людей, а о «перераспределении ролей».

К слову, в марте Гарри Тан, президент и генеральный директор акселератора Y Combinator, сообщил в X (бывшем Twitter), что около четверти основателей стартапов из зимнего набора 2025 года создают до 95% своего кода при помощи ИИ.

https://www.businessinsider.com/most-anthropic-teams-coding-with-claude-ai-not-replacing-humans-2025-10

В руководство по языку Java добавлена статья про Виртуальные потоки
https://metanit.com/java/tutorial/8.12.php
#java

Разработчики Node.js выпустили новую версию фреймворка - Node.js 25

В новой версии движок V8 обновлен до версии 14.1, добавлены значительные улучшения производительности для JSON.stringify, встроенное преобразование Uint8Array из base64 в hex, оптимизирована работа конвейеров WebAssembly и JIT.

В этом выпуске особое внимание уделено безопасным по умолчанию приложениям и API веб-стандартов: модель разрешений получает --allow-net, веб-хранилище включено по умолчанию, а ErrorEvent теперь является глобальным.

Также удален или доработан ряд устаревших API, такие как SlowBuffer, и добавлены некоторые улушения, такие как переносимый кэш компиляции и JSPI для WebAssembly.

https://nodejs.org/en/blog/release/v25.0.0

#nodejs

По данным Института студенческих работодателей (ISE), технологический сектор Великобритании резко сокращает количество рабочих мест для выпускников – на 46 процентов в прошлом году, а прогнозируется еще на 53 процента.

ИИ уже выполняет работу начального уровня, которую выпускники привыкли выполнять, например, рутинное кодирование, анализ данных и базовые цифровые задачи. Компаниям по-прежнему нужны технические таланты, но они нанимают опытных работников вместо того, чтобы обучать новичков.

Согласно общим данным ISE, набор выпускников упал на 8 процентов в годовом исчислении – впервые после 12-процентного снижения во время пандемии в 2020 году. Однако больше всего пострадали технологический и фармацевтический бизнес-сектор.

Стивен Ишервуд, исполнительный директор ISE, заявил, что искусственный интеллект уже вытесняет молодых специалистов, как и опасались некоторые комментаторы.
В этом году Salesforce, Workday и другие компании заявили, что сокращают тысячи рабочих мест и внедряют искусственный интеллект. Microsoft объявила о планах сократить 10 000 рабочих мест и вместо этого использовать новые технологии.

Тенденция, наблюдаемая в секторе выпускников Великобритании, создает порочный круг. Выпускники не могут получить первую должность, необходимую для приобретения опыта, а это означает, что через пять лет будет меньше специалистов среднего звена.

Если это правда, то опрос показывает, что ИИ начинает закрывать двери в технологические карьеры быстрее, чем кто-либо ожидал.

https://www.theregister.com/2025/10/16/uk_tech_grad_jobs/

Октябрьские обновления Windows 11 от Microsoft нарушили функциональность «localhost», из-за чего приложения, подключающиеся к IP-адресу 127.0.0.1 по протоколу HTTP/2, больше не работают должным образом.
После установки обновления Windows 11 KB5066835 или сентябрьского обновления KB5065789 Preview пользователи обнаруживают, что их приложения больше не могут устанавливать HTTP-подключения к IP-адресу 127.0.0.1.

При попытке сделать это возникают ошибки типа «ERR_CONNECTION_RESET» или «ERR_HTTP2_PROTOCOL_ERROR». Пользователи Windows сообщали о проблемах на форумах Microsoft, Stack Exchange и Reddit.

Ошибка затронула широко используемые решения, включая отладку Visual Studio, аутентификацию SSMS Entra ID и приложение Duo Desktop, которое проверяет уровень безопасности устройства и требует подключения к веб-серверам, работающим на локальном компьютере.

https://www.bleepingcomputer.com/news/microsoft/windows-11-updates-break-localhost-127001-http-2-connections/

PS. Владельцы Windows 10 наверное рады, что их избавили от подобных обновлений...