Шпаргалка по фильтрам для анализатора пакетов Wireshark

Топ-6 типов моделей ИИ
(подробное описание в следующем посте)

Топ-6 типов моделей ИИ
(описание к предыдущему посту)

1. Machine Learning Models (Модели машинного обучения)
- Описание: учатся на размеченных или неразмеченных данных для выявления закономерностей, классификации или прогнозирования результатов. Включают подходы с учителем, без учителя и с частичным обучением.
- Примеры: деревья решений, Random Forest, SVM, XGBoost (с учителем); K-Means, DBSCAN, PCA (без учителя); Label Propagation, Semi-Supervised SVM (с частичным обучением).
- Рабочий процесс: сбор размеченных данных → очистка и предобработка → выбор алгоритма ML → обучение модели → мониторинг и обновление → прогнозирование на новых данных → настройка гиперпараметров → проверка производительности.

2. Deep Learning Models (Модели глубокого обучения)
- Описание: используют многослойные нейронные сети для изучения сложных иерархических паттернов, особенно эффективны для неструктурированных данных (изображения, аудио, текст).
- Примеры: CNN (для изображений), RNN, LSTM (для последовательностей), трансформеры, автоэнкодеры.
- Рабочий процесс: сбор больших объёмов данных → нормализация входных данных → построение нейронной сети → передача входных данных → вычисление ошибки предсказания → повторение циклов обучения → обновление весов → обратное распространение градиентов.

3. Generative Models (Генеративные модели)
- Описание: изучают распределение данных и генерируют новые данные, имитирующие исходные. Применяются для создания контента, синтеза изображений и генерации текста.
- Примеры: GPT-4 (текст), DALL·E, MidJourney (изображения), MusicLM (аудио), StyleGAN (лица), AlphaCode (код).
- Рабочий процесс: обучение на датасете → изучение паттернов данных → получение пользовательского ввода → обработка через модель → вывод сгенерированного медиа → уточнение с помощью обратной связи → генерация нового контента → выборка из выходных данных.

4. Hybrid Models (Гибридные модели)
- Описание: комбинируют несколько техник ИИ (например, правила + нейронные сети) для использования преимуществ каждой. Применяются там, где важны точность и контроль.
- Примеры: RAG (LLM + поиск), ML + боты на основе правил, AutoGPT с инструментами, чат-боты с API.
- Рабочий процесс: объединение типов моделей → обучение компонентов отдельно → построение логической связи → ввод через конвейер → получение конечного результата → разрешение конфликтов → агрегация выходных данных → маршрутизация на основе логики.

5. NLP Models (Модели обработки естественного языка)
- Описание: обрабатывают и понимают человеческий язык. Используются в чат-ботах, переводчиках, сумматорах и виртуальных ассистентах.
- Примеры: BERT, GPT-3.5 / GPT-4, T5, RoBERTa, Claude.
- Рабочий процесс: очистка необработанного текста → токенизация предложений → встраивание слов → применение слоёв внимания → генерация финального текста → постобработка результата → декодирование или классификация → передача в модель.

6. Computer Vision Models (Модели компьютерного зрения)
- Описание: интерпретируют визуальное содержимое, выявляя паттерны и особенности в изображениях или видео. Применяются в распознавании лиц, медицинской визуализации и др.
- Примеры: ResNet, YOLO, VGGNet, EfficientNet, Mask R-CNN.
- Рабочий процесс: загрузка данных изображений → изменение размера и нормализация → извлечение пиксельных признаков → применение слоёв CNN → вывод меток/коробок → постобработка результатов → классификация или локализация → обнаружение пространственных паттернов.

Все, что человеку нужно, - это не любовь, а математика

Как JVM в Java исполняет байт‑код
(продолжение предыдущего поста)

Вы пишете исходный код Java в файле с расширением .java.
Компилятор Java (javac) преобразует ваш код в платформонезависимый байт‑код, который сохраняется в файлах с расширением .class.
Затем виртуальная машина Java (JVM) загружает эти файлы с байт‑кодом в память для исполнения.

Во время выполнения программы:

→ Загрузчик классов (Class Loader) загружает байт‑код в JVM и обеспечивает доступность классов, когда они требуются.
→ Проверяющий байт‑код (Bytecode Verifier) анализирует код на соответствие требованиям безопасности и типовой корректности перед исполнением.
→ Интерпретатор начинает выполнять инструкции байт‑кода построчно.
→ Компилятор «точно в срок» (Just‑In‑Time, JIT) выявляет часто исполняемые участки кода (горячие точки) и компилирует их в оптимизированный машинный код для повышения производительности.
→ Сборщик мусора (Garbage Collector, GC) автоматически управляет памятью, удаляя из кучи неиспользуемые объекты.
→ Среда выполнения (Runtime Environment) предоставляет необходимые библиотеки, управление потоками и обработку исключений для бесперебойного исполнения программы.

Результат: ваша Java‑программа эффективно работает на всех платформах с использованием JVM, сочетая переносимость с оптимизацией во время выполнения и автоматическим управлением памятью.

Большая супершпаргалка по редактору Vim

Управление процессами в Linux
(продолжение в следующем посте)

Управление процессами в Linux
(продолжение предыдущего поста)

1. Введение

→ Процесс — это экземпляр запущенной программы в Linux.
→ Каждый процесс имеет собственное пространство памяти, контекст выполнения и системные ресурсы.
→ Управление процессами включает создание, планирование, мониторинг и завершение процессов.

2. Жизненный цикл процесса

→ Типичный жизненный цикл процесса включает:
 → Создание — инициируется другим процессом (обычно оболочкой).
 → Выполнение — процесс работает и выполняет задачи.
 → Ожидание — процесс может ожидать ресурсы или события.
 → Завершение — процесс завершается или принудительно останавливается.

→ Ядро управляет всеми переходами между этими состояниями.

3. Типы процессов

→ Процесс переднего плана:
 → Работает в интерактивном режиме и занимает терминал.
 → Пример: vim file.txt

→ Процесс фонового режима:
 → Работает без взаимодействия с терминалом.
 → Пример: ./noscript.sh &

→ Демон‑процесс:
 → Постоянно работает в фоновом режиме, предоставляя сервисы.
 → Примеры: sshd, cron, systemd.

4. Идентификация процессов

→ Каждый процесс идентифицируется PID (идентификатором процесса).
→ PPID (идентификатор родительского процесса) указывает на процесс, который его создал.
→ Процесс init/systemd — предок всех процессов, всегда имеет PID 1.

→ Для просмотра идентификаторов процессов:
 → ps
 → top
 → pgrep process_name

5. Создание процессов

→ В Linux для создания новых процессов используются системные вызовы fork() и exec().

→ fork()
 → Создаёт дубликат текущего процесса.
 → У дочернего процесса присваивается уникальный PID.

→ exec()
 → Заменяет память текущего процесса новой программой.
 → Используется для запуска новых исполняемых файлов.

→ Вместе fork() и exec() составляют основу создания процессов в Linux.

6. Состояния процессов

→ Процессы в Linux могут находиться в нескольких состояниях:
 → R (Running): Выполняется или готов к выполнению.
 → S (Sleeping): Ожидает события или ресурса.
 → D (Uninterruptible Sleep): Ожидает операций ввода‑вывода.
 → T (Stopped): Приостановлен сигналом.
 → Z (Zombie): Завершил выполнение, но ожидает подтверждения от родительского процесса.

→ Используйте ps -aux для просмотра состояний процессов.

7. Планирование процессов

→ Планировщик Linux решает, какой процесс будет выполняться следующим на CPU.
→ Используются алгоритмы планирования, такие как CFS (Completely Fair Scheduler).
→ Приоритеты определяются значениями nice в диапазоне от −20 (наивысший) до +19 (наинизший).

→ Команды:
 → nice -n 10 process_name — запустить процесс с пониженным приоритетом.
 → renice -n -5 PID — изменить приоритет запущенного процесса.

8. Мониторинг процессов

→ Команды для мониторинга активных процессов:
 → ps — снимок запущенных процессов.
 → top — отображение процессов в реальном времени.
 → htop — расширенная интерактивная версия top.
 → pidof — найти PID процесса.
 → pstree — просмотреть иерархию процессов.

9. Управление процессами

→ Управление запущенными процессами с помощью команд оболочки:
 → & — запустить процесс в фоновом режиме.
 → Ctrl + Z — приостановить процесс.
 → bg — возобновить процесс в фоновом режиме.
 → fg — вывести процесс на передний план.
 → kill PID — завершить процесс.
 → kill -9 PID — принудительно завершить процесс.

10. Зомби‑процессы и осиротевшие процессы

→ Зомби‑процесс:
 → Процесс завершил работу, но родительский процесс не прочитал его статус завершения.
 → Существует как запись в таблице процессов.

→ Осиротевший процесс:
 → Родительский процесс завершился до дочернего.
 → Автоматически принимается init/systemd.

→ Оба типа можно отслеживать и управлять ими с помощью ps или top.

11. Демоны и сервисы

→ Демоны — это специальные фоновые процессы, управляемые systemd.
→ Конфигурационные файлы хранятся в /etc/systemd/system/.
→ Команды:
 → systemctl start service_name
 → systemctl stop service_name
 → systemctl status service_name
 → systemctl enable service_name

12. Межпроцессное взаимодействие (IPC)

→ Процессы взаимодействуют с помощью механизмов IPC, таких как:
 → Каналы — для взаимодействия «родитель‑потомок».
 → Очереди сообщений — для обмена сообщениями.
 → Общая память — для совместного использования данных.
 → Семафоры — для синхронизации.
 → Сигналы — для уведомлений (например, SIGKILL, SIGTERM).

Краткая шпаргалка по матрицам и операциям с ними

Что происходит, когда вы добавляете строку в Postgres?
(продолжение в следующем посте)

Что происходит, когда вы добавляете строку в Postgres?
(продолжение предыдущего поста)

Postgres должен гарантировать сохранность данных, обеспечивая при этом высокую производительность записи и возможность восстановления после сбоев. Ключ к решению этой задачи — журнал упреждающей записи (Write‑Ahead Log, WAL).

(1) Postgres получает запрос и определяет, на какую страницу данных его разместить. Эта страница может уже находиться в памяти (в буферном пуле), либо её придётся загрузить с диска, либо даже создать новую.

(2) Новая запись помещается только в эту страницу в памяти. Страница помечается как «грязная» (*dirty*), что означает: её нужно будет в будущем записать на диск — но не немедленно.

(3) Новая запись добавляется в буфер памяти для WAL. Она содержит всю информацию, необходимую для восстановления операции вставки.

(4) WAL записывается на диск (с помощью fsync или аналогичного механизма), чтобы гарантировать сохранение данных в надёжном хранилище. После успешного выполнения этого шага Postgres возвращает клиенту подтверждение об успешном выполнении.

Когда клиент получает подтверждение об успехе, данные гарантированно записаны в последовательный WAL (что обеспечивает высокую производительность записи), но не обязательно — в файл данных таблицы (где шаблоны операций ввода‑вывода менее предсказуемы). Последнее происходит позже — посредством контрольных точек, фоновых заданий или принудительной записи из‑за вытеснения страниц памяти. Если сбой сервера произойдёт до того, как данные будут записаны на диск, журнал будет воспроизведён для восстановления подтверждённых данных.

WAL — это основа всего процесса! Он обеспечивает высокопроизводительный ввод‑вывод и возможность восстановления после сбоев.

#sql #database #postgresql

Диграмма микросервисной архитектуры и связанных с ней паттернов

3 основных типа машинного обучения
(продолжение в следующем посте)

3 основных типа машинного обучения
(продолжение предыдущего поста)

1. Supervised Learning (обучение с учителем)
- Суть: обучение модели на размеченных данных (data with labelled data).
- Подразделяется на два типа задач:
- Classification (классификация): прогнозирование дискретных значений (например, «да/нет», категории). Визуализировано с помощью кругов с точками разных цветов.
- Regression (регрессия): прогнозирование непрерывных значений (например, стоимость дома, температура). Показано графиком с линией тренда.
- Примеры алгоритмов:
- Логистическая регрессия (Logistic Regression);
- Деревья решений (Decision Trees);
- Случайный лес (Random Forest);
- XGBoost;
- K-ближайших соседей (K-Nearest Neighbors);
- Метод опорных векторов (Support Vector Machines) и др.

2. Unsupervised Learning (обучение без учителя)
- Суть: обучение модели на неразмеченных данных (data with unlabelled data), поиск скрытых закономерностей.
- Основная задача: Clustering (кластеризация) — группировка данных по сходству. Визуализировано разделением точек на кластеры.
- Примеры алгоритмов кластеризации:
- K-Means Clustering;
- DBSCAN;
- Иерархическая кластеризация (Hierarchical Clustering).
- Другие методы обучения без учителя:
- Метод главных компонент (PCA);
- Анализ ассоциативных правил (Association).

3. Reinforcement Learning (обучение с подкреплением)
- Суть: модель совершает действия в среде (environment), получает обратную связь (feedback) и обновляет своё состояние (state) на основе вознаграждений или штрафов.
- Визуализация: представлена в виде цикла между средой (Environment), действием (action), обратной связью (feedback) и агентом модели (Model Agent).
- Примеры алгоритмов:
- Q-Learning;
- R-Learning;
- TD-Learning.

Стили установки отступов

Завтра состоится главное событие года в мире .NET - релиз .NET 10 (с C# 14 и F#10 и сопутствующими технологиями типа ASP NET Core, MAUI .NET и т.д). Главное отличие .NET 10 состоит в том, что это LTS-выпуск с продленной поддержкой

Вместе с этим начнется главная ежегодная конференция для разработчиков на платформе .NET - DotNetConf 2025, где расскажут о последних нововведениях на платформе.

Кроме того, ожидается выход новой версии среды разработки - Visual Studio 2026

Прямая трансляция конференции как обычно будет доступна на "замедленном" youtube
https://www.youtube.com/watch?v=YDhJ953D6-U
Программа конференции доступна на офсайте - https://www.dotnetconf.net/agenda

Тем временем в ноябрьском рейтинге языков программирования TIOBE C# сильно прибавил и может стать языком года. Как отмечают в TIOBE:
"

до недавнего времени никто не мог превзойти темпы роста Python. Но сейчас, похоже, рост Python остановился. Вместо Python самым быстрорастущим языком программирования стал C#. Если C# сможет сохранить этот темп, он может даже стать языком программирования TIOBE 2025 года. Как C# добился этого? Java и C# уже давно борются за одни и те же позиции. Сейчас, похоже, C# устранил все причины не использовать C# вместо Java: теперь он кроссплатформенный, с открытым исходным кодом и содержит все новые языковые функции, необходимые разработчику. Хотя в финансовом мире Java по-прежнему доминирует, во всех других областях доли Java и C# равны. Кроме того, Microsoft набирает обороты, а C# по-прежнему остаётся их самым поддерживаемым языком программирования. Интересное замечание: C# никогда не поднимался выше Java в индексе TIOBE. Сейчас разница между двумя конкурентами составляет менее 1%

."
https://www.tiobe.com/tiobe-index/