#mlops
Как работает Apache Kafka

Брокер сообщений Apache Kafka

Начать изучение рекомендуем со статьи Apache Kafka: основы технологии от ребят из slurm, в которой покрыты:
— отличия кафки от остальных сервисов очередей
— базовые компоненты kafka
— основные принципы работы

Для опытных пользователей будет полезна статья Apache Kafka: the Complicated Simplicity (открывать с vpn) о неочевидных проблемах, с которыми можно столкнуться. Но наибольшую ценность представляют предложенные решения.

Нам эта статья помогла разобраться, почему не удаляются записи месячной давности при явно заданном в настройках правиле "удалять записи старше одного месяца". Дело в том, что кафка хранит данные в сегментах (segments). Запись осуществляется в один активный сегмент, который при достижении определенного размера становится неактивным. Оказалось, что удалять можно только данные из неактивных сегментов. И правило на удаление не сработает, если данные в этот момент находятся в активном сегменте.

Backup: август

Python:
1. Управляем зависимостями: poetry / вендоринг
2. Пример логгирования в python / применяем else в цикле for / разбираем код в трёх постах
3. Заглушки для тестирования — постановка задачи и решение

Обучение:
1. Сравнение брокеров сообщений: идеальные критерии
2. Английский язык: почему он важен / как я научился воспринимать английский на слух
3. Чему стоит научиться в вузе? (хватить губить будущее ИТ)

Рассуждаем о программировании:
1. Нормальный ли у меня код?
2. Поддерживаемость кода
3. Чем плох goto?
4. Чему я научился за 30 лет в разработке?

Hardskills:
1. Подводные камни в bash
2. Анатомия Linux

Самое популярное:
Корчеватель ломает науку — как сгенерированные тексты пытаются опубликовать в рецензируемых изданиях

Наши видео:
1. Идеальный скрипт на bash
2. Атака forkbomb в docker
3. Стрим по pythonBackup: август

#backup

Как сделать бота на C++ или Java

Бот для Telegram

В этом видео создают простенького бота, который написан на двух языках программирования (C++, Java). Он работает с YouTube API и использует базу данных PostgreSQL.

Стоит отметить, что вы уже должны уметь работать с этими языками, поскольку автор объясняет только моменты, которые могут показаться странными опытному зрителю.

Подробнее: 👉 тут

#видео #cpp

#interesting #courses
Один молодой человек прошёл в РЭШ и делится конспектами

https://yk4r2.notion.site/NES-904652a4e94945a2b2a81be03f3c9ea7

#ml #ab
Ноутбук по A/B-тестам

https://www.kaggle.com/code/kartushovdanil/a-b-test

#ml #speech
Крутой бот от Сбера для расшифровки аудио

@smartspeech_sber_bot

Проектируем сервис: поиск организаций по картам

Частью жизни middle-разработчика и выше является проектирование сервисов. На собеседованиях эта секция называется system design interview. В рамках проектирования нужно уточнить требования к сервису и ограничения, оценить возможную нагрузку, выбрать те или иные технические решения.

В видео FAANG System Design Interview: Design A Location Based Service (англ) проектируют сервис поиска ближайших организаций по картам. Требуется регистрация организации (классический CRUD) и поиск ближайших для заданной геопозиции (вернуть все организации в заданном радиусе). Условия — 200 млн организаций на карте и 100 млн пользователей, генерирующих в день по 5 запросов каждый. Сможете по этим данным прикинуть объём диска для хранения будущей БД?

Автор подробно рассматривает способы хранения точки на карте для быстрого поиска ближайших — geohash и quadtree.

#skills #youtube

#career
Матрица компетенций

исходя из многих отзывов проходивших, матрица в минималистическом варианте похожа на такую:

трейни-джун:
- ничего не знает про дизайн
- знает алгоритмы и пишет на языке вменяемо (знает паттерны, выносит абстракции итп)
- общаться с кандидатом не напряжно

мидл (4 левел по грейду): все то же, что для джуна плюс
- может в дизайн немножко, знает системы с которыми работал на достаточном уровне
- есть кейсы решения бихейв ситуаций с правильным (ожидаемым) подходом

синьор (5 левел): все то же, что для мидла, плюс
- может в дизайн хорошо, задает правильные вопросы, правильно выявляет потенциальные проблемы
- есть потенциал к лидершипу и успешный опыт кроскомандного взаимодействия

#career
Матрица компетенций в Dropbox

https://dropbox.github.io/dbx-career-framework/

#math
Кому вдруг захотелось получить математику

МАТЕМАТИЧЕСКИЕ КУРСЫ НА STEPIK

https://stepik.org/course/95/syllabus - Основы мат.анализа функции одной переменной (последовательности, пределы, производные, интегралы). В основном несложный курс, иногда решаю за 5-15 минут одну-две задачи из него в качестве зарядки по утрам, когда после сна не получается сразу заставить мозг запуститься на полную. Некоторые задачи, однако, заставляют подумать подольше. Например, некоторые задачи на эквивалентность функций и на замечательные пределы (если решать честно, без рядов Тейлора). Из лекций можно вспомнить основные определения и теоремы.
https://stepik.org/course/126/syllabus - Основы теории графов (связность, паросочетания, раскраски, планарность). Несложный курс, но полезный чтобы периодически освежать память о том, что было в универе. Тоже решаю задачи из него как разминку по утрам.
https://stepik.org/course/326/syllabus - Мат.статистика, курс посложнее (выборки, точечные оценки, доверительные интервалы, стат.гипотезы, стат.критерии, регрессия). 1-2 модули показались мне не очень сложными, но начиная с доверительных интервалов начала уже застревать на задачах. К счастью, под задачами есть комменты, из которых можно почерпнуть подсказки, как и чем воспользоваться для решения. Хочу добраться до стат.гипотез, полезная тема.
https://stepik.org/course/104/syllabus - Введение в теоретическую информатику, БОЛЬШОЙ КУРС ДЛЯ ГИГАЧАДОВ! Перечисление всех тем и их уровней сложности займет слишком много места, поэтому скажу просто, что я начала проходить этот курс с целью подготовки к КАНДИДАТСКОМУ МИНИМУМУ по теоретической информатике в МГУ (в сочетании с традиционными учебниками). После прохождения половины, сдала кандмин, а потом вернулась и прошла оставшуюся половину, ПОТОМУ ЧТО Я УГОРЕЛА ПО COMPUTER SCIENCE, ПАЦАНЫ ДУХ СТАРОЙ ШКОЛЫ ЖИВЕТ ТОЛЬКО В ЭТОМ КУРСЕ, ГДЕ МАШИНЫ ТЬЮРИНГА РЕШАЮТ NP-ПОЛНЫЕ ЗАДАЧИ ПО ХАРКДОРУ, ГДЕ ЛЮБАЯ ВСЮДУ ОПРЕДЕЛЕННАЯ ВЫЧИСЛИМАЯ ФУНКЦИЯ ИМЕЕТ НЕПОДВИЖНУЮ ТОЧКУ, ГДЕ КОНЕЧНЫЕ АВТОМАТЫ ЖИВУТ РЕГУЛЯРНЫМИ ЯЗЫКАМИ И РЕАЛИЗУЮТСЯ ФУНКЦИОНАЛЬНЫМИ СХЕМАМИ! Правда, в курсе есть проблема с получениями рецензий на задачи (курс старый). Но если будешь проходить, пиши, я отрецензирую! Люби малую теорему Ферма, интерактивные доказательства, ВЫВОДИ КОДЫ С ИСПРАВЛЕНИЕМ ОШИБОК ОТКРЫТО И СМЕЛО! Слава Гёделю!

#ml
Анализ маркетинговых кампаний

первое что пришло в голову, хоть это и не блогпост
https://www.algorithmicmarketingbook.com/

https://www.enterprise-ai-book.com/

Приложение
https://github.com/ikatsov/tensor-house/

#books
Лучшие книги в своём классе для понимания мира финансов

Вот ещё крутая книжка