Как выбрать подходящий тип хранилища в зависимости от конкретных потребностей и требований к производительности, масштабируемости и стоимости?
Рассмотрим различные типы систем хранения данных по категориям:

1. Высокопроизводительное локальное хранилище:
- Локальный диск (Ephemeral/Host SSD): Хранит файлы напрямую на сервере для максимальной скорости. Временное хранилище или высокоскоростное кэш-пространство.
Преимущества
✓ Быстрый ввод-вывод, дешевый за IOPS

Недостатки
✘ Не долговечно; потеря данных при перезапуске

- Блочное хранилище (EBS/Постоянный диск): Высокопроизводительные тома дисков, подключенные непосредственно к вашим серверам. Обеспечивает высокую производительность и постоянство данных. Представляет подключение высокопроизводительного тома к виртуальному диску/контейнеру.
Преимущества
✓ Высокая пропускная способность и согласованность

Недостатки
✘ Привязан к одной линии/экземпляру


2. Совместное и сетевое хранилище:
- Сетевые файловые системы (NFS/SMB): Совместные папки, к которым несколько серверов могут обращаться как к локальным дискам. Предоставляют совместный доступ к POSIX/SMB по многим серверам. Позволяет нескольким серверам совместно использовать общие папки, как локальные диски.
Преимущества
✓ Простая миграция и масштабирование для приложений, ожидающих файловой системы

Недостатки
✘ Дорогостоящий масштаб; пропускная способность ограничена

- Распределенные файловые системы (CepH/MinIO/HDFS): Создает масштабируемые кластеры хранения данных на нескольких машинах.
Преимущества
✓ Контроль и масштабируемость

Недостатки
✘ Операционная нагрузка

3. Облачное и масштабируемое хранилище
- Объектное хранилище (S3/GCS/Azure Blob): Хранит данные в облаке с бесконечным масштабированием и веб-доступом. Запись одного/чтение многих объектов на веб-масштабе; предварительные подписанные URL-адреса.

Преимущества
✓ Дешево, долговечно, бесконечно масштабируемо

Недостатки
✘ Более высокая задержка по сравнению с локальным диском


- CDN + Объектное хранилище: Распределяет популярные файлы в глобальных точках доставки для быстрой доставки. Кэширование наиболее востребованных файлов по всему миру.
Преимущества
✓ Низкая задержка по всему миру

Недостатки
✘ Кэширование добавляет сложность


4. Специализированное хранилище:
- Архивное хранилище (Glacier/Coldline): Обеспечивает ультра-дешевое хранение для редко используемых файлов. Очень дешевое хранилище для файлов, которые вам редко нужны, но которые вы должны хранить. Долгосрочное хранение с восстановлением на уровне часов.
Преимущества
✓ Очень низкая стоимость

Недостатки
✘ Медленное восстановление; не для активного использования

- База данных BLOB/BYTEA: Хранит данные файлов внутри таблиц базы данных для транзакционной согласованности.
Преимущества
✓ Единый источник истины, ACID вокруг файла + метаданных

Недостатки
✘ Дорогой и медленный масштаб; база данных с блобами

5. Рекомендации по выбору типа хранилища:
- Выбор по умолчанию: Объектное хранилище с предварительно подписанными URL.
- Для глобальной доставки: CDN поверх объектного хранилища
- Для высокого показателя IOPS: Вычислительные системы с блочным хранилищем или сетевой файловой системой
- Для высокого уровня масштабирования: Распределенные файловые системы, такие как CepH или MinIO
- Неизменяемые согласованные данные: Объектное хранилище с функциями блокировки и неизменяемости.

Зарплатный минимум в сфере IT и интернета остается одним из самых высоких в России и достигает 180-200 тыс. рублей. За ней следует финансовый сектор с минимальным доходом в диапазоне 130-150 тыс. рублей, показали результаты исследования платформы Dream Job
Авторы исследования привели средние фактические зарплаты по России в 2025 году.

Так, в сфере IT и интернета зарплатный минимум один из самых высоких - 180-200 тыс. рублей. Backend-разработчики получают в среднем 200 тыс. рублей, data scientist - 260 тыс. рублей, product manager - 245 тыс. рублей.

Для сравнения в финансоввом секторе, который по уровню зарплат на втором месте после ИТ, финансовые аналитики зарабатывают около 145 тыс. рублей, консультанты - 110 тыс. рублей, кредитные специалисты - 90 тыс. рублей. А для значительного числа профессий, таких как терапевты, кредитные специалисты, профессора, начальники отделов в госсекторе и других, характерен схожий уровень оплаты труда в районе 85-95 тыс. рублей.
https://tass.ru/ekonomika/24859257

В конце августа 2025 года графической многозадачной операционной системе Windows 95 (кодовое имя Chicago) исполнилось 30 лет (если быть точным, 24 августа система стала доступна для широкой публики)
Средняя конфигурация ПК на то время (например, для пользователей в США), включала винчестер объёмом в 320 МБ, 8 МБ ОЗУ, процессор 386DX или выше (для установки и нормальной работы ОС рекомендовался 486).
В ОС впервые появилась меню «Старт» (легендарная кнопка «Пуск»), графический интерфейс стал главным способом управления, отодвинув командную строку на второй план, а также удобные и понятные «Панель задач» и «Проводник».
В Windows 95 были введены профили как дополнительная функция, они хранили только персонализированные настройки, такие как обои и настройки рабочего стола.
Также разработчики Microsoft добавили в Windows 95 поддержку длинных (до 256 знаков) имён файлов и систему Plug and Play.

Попробовать Windows 95 в браузере можно на ресурсе
https://copy.sh/v86/?profile=windows95

Краткая шпаргалка по API Gateway (Шлюз API), его функциях, популярных продуктах и эволюции.
(подолжение в следующем посте)

Краткая шпаргалка по API Gateway (Шлюз API), его функциях, популярных продуктах и эволюции.
(продолжение предыдущего поста)

1. Основные уровни API Gateway и их функции
- Core layer (ядро): Включает запросы на аутентификацию, доступ к кэшу, маршрутизацию, преобразование протоколов, управление данными.
- Management layer (уровень управления): Управление трафиком, базовые настройки, конфигурация мониторинга.
- Monitoring layer (уровень мониторинга): Журналы мониторинга, отчеты.

2. Популярные продукты API Gateway:
- Amazon API Gateway: Полностью управляемая служба AWS, поддерживает REST, WebSocket, HTTP APIs, интегрируется с другими сервисами AWS.
- Azure API Management: Полностью управляемая служба Microsoft Azure, интегрируется с Azure Services.
- Kong: Open-source с поддержкой предприятия, включает аналитику, безопасность, управление API-жизненным циклом.
- IBM API Connect: Комплексное управление API, включает создание API, безопасность, социальные функции.
- Nginx: Высокая производительность, балансировка нагрузки, ограничение скорости.
- MuleSoft API Management Platform: Подключение различных приложений, данных и устройств.

3. Эволюция API Gateway:
- Hardware Load Balancer (балансировщик нагрузки): Начальный этап.
- Nginx-based API Gateway (Шлюз на основе Nginx): Современный обратный прокси и балансировщик нагрузки.
- Full Lifecycle API Management (управление всем жизненным циклом): Комплексное управление API

У ядер CPU есть фронтэнд и бэкэнд.
Фронтенд извлекает инструкции из памяти для декодирования в микрооперации (μOP), в то время как бэкенд выполняет их для максимизации пропускной способности.

Основные аспекты оптимизации производительности баз данных
(продолжение в следующем посте)

Основные аспекты оптимизации производительности баз данных:
(продолжение предыдущего поста)

1. Query Optimization (Оптимизация запросов):
- Описывает проблемы с медленными запросами и их влияние на производительность.
- Инструменты: EXPLAIN PLAN, pg_stat_statements, MySQL Slow Log.
- Влияние: от незначительных задержек до сбоев в работе системы.

2. Index Strategy (Стратегия индексирования):
- Рассматривает правильное использование индексов для часто запрашиваемых столбцов.
- Инструменты: Database Tuning Advisor, Index Usage Stats, pg_index.
- Влияние: оптимизация запросов и снижение нагрузки на CPU.

3. Connection Pooling (Пул соединений):
- Управление соединениями и их размер для предотвращения задержек.
- Инструменты: HikariCP, pgBouncer, Connection Metrics.
- Влияние: минимизация времени ожидания соединений.

4. Schema Design (Дизайн схемы):
- Нормализация данных и выбор типов данных.
- Инструменты: Schema Analyzer, Data Modeling Tools, Foreign Key Checker.
- Влияние: устранение избыточности и улучшение производительности.

5. Locking & Deadlocks (Блокировки и взаимоблокировки):
- Мониторинг и предотвращение длительных блокировок.
- Инструменты: Deadlock Monitor, Lock Wait Analysis, Transaction Isolation.
- Влияние: снижение производительности из-за блокировок.

6. Partitioning Strategy (Стратегия партиционирования):
- Горизонтальное и вертикальное разделение больших таблиц.
- Инструменты: Range Partitioning, Hash Partitioning, Partition Pruning.
- Влияние: улучшение производительности запросов.

7. Backup Impact (Влияние резервного копирования):
- Неблокирующее резервное копирование и его влияние на производительность.
- Инструменты: Point-in-Time Recovery, Snapshot Backups, Incremental Backups.
- Влияние: замедление работы системы во время резервного копирования.

8. Statistics & Query Planning (Статистика и планирование запросов):
- Поддержание актуальности статистики для оптимизации запросов.
- Инструменты: AUTO_STATS, ANALYZE TABLE, Statistics Monitoring.
- Влияние: выбор неэффективных планов запросов и снижение производительности.

9. Replication Lag (Задержка репликации):
- Мониторинг и минимизация задержек репликации.
- Инструменты: Replication Monitor, Lag Alerts, Asynchronous Replication.
- Влияние: задержки в чтении данных и несогласованность данных.

Уровни AI

В сертифицированных Android-устройствах запретят установку приложений от незарегистрированных разработчиков

Компания Google анонсировала переход на использование на сертифицированных Android-устройствах только зарегистрированных приложений от верифицированных разработчиков. Поддержка установки приложений из сторонних каталогов и из вручную загруженных apk-пакетов будет запрещена, если они созданы разработчиками, не зарегистрировавшим пакеты в Google и не подтвердившими свои персональные данные.

В качестве причины введения ограничений называется желание усложнить распространение вредоносных приложений с использованием мошеннических схем, предлагающих загрузить и установить apk-пакет в обход каталога Google Play Store. По статистике Google через сторонние источники распространяется в 50 раз больше вредоносных программ для Android, чем фиксируется в Google Play Store.

Тестовое внедрение новой проверки начнётся в октябре 2025 года, а возможность прохождения верификации всех разработчиков приложений будет предоставлена в марте 2026 года. В сентябре 2026 года проверка станет обязательной в Бразилии, Индонезии, Сингапуре и Тайланде - любые приложения, устанавливаемые на сертифицированных устройствах в данных странах, должны быть зарегистрированы верифицированным разработчиком. В 2027 году практика запрета программ от неверифицированных разработчиков постепенно начнёт применяться и в других странах.

https://android-developers.googleblog.com/2025/08/elevating-android-security.html
#android

В руководство по языку Python добавлена новая статья про Модуль sched и выполнение действий по расписанию
https://metanit.com/python/tutorial/6.12.php
#python

Краткий совет по Linux:

Используйте команду «tree» для отображения структуры каталога и его содержимого в визуальной иерархии.

$ tree -L 2 /etc

Здесь выводится список файлов и каталогов внутри /etc на 2 уровня в глубину.

Отлично подходит для быстрого изучения макетов конфигураций.

PS. На некоторых системах утилита tree может отсутствовать по умолчанию, тогда ее можно установить через пакетный менеджер, например, через apt: sudo apt install tree

#linux

Четыре подхода в машинном обучении
(продолжение в следующем посте)

Четыре подхода в машинном обучении:
(продолжение предыдущего поста)

1. Transfer Learning (Перенос обучения):
Это метод, при котором модель, обученная на одной задаче, используется как основа для решения другой, связанной задачи.
- Используется предварительно обученная сеть, которая не обучается заново.
- Новые данные проходят через эту сеть, и результат используется для решения задачи.

2. Fine Tuning (Тонкая настройка):
Процесс дообучения предварительно обученной модели на новом наборе данных, чтобы адаптировать её к конкретной задаче.
- Предварительно обученная сеть дообучается на новых данных.
- Добавляются новые слои, которые адаптируются к конкретной задаче.

3. Multi-task Learning:
Метод, при котором одна модель обучается выполнять несколько задач одновременно, используя общие и специализированные слои.
- Общая сеть используется для решения нескольких задач одновременно.
- Для каждой задачи добавляются отдельные ветви, которые обучаются параллельно.

4. Federated Learning (Федеративное обучение):
Подход, при котором обучение модели происходит на устройствах пользователей, а не на центральном сервере, что обеспечивает конфиденциальность данных.
- Модель обучается на устройствах пользователей с использованием их приватных данных.
- Обновленные веса отправляются на сервер, где они агрегируются и возвращаются обратно для дальнейшего обучения.

Рынок IT массово ищет специалистов по «вайб-кодингу»

Число вакансий с требованием навыка «вайб-кодинг» — программирования с помощью нейросетей — с начала 2025 года выросло на 27%. Об этом свидетельствуют данные исследования hh.ru. Медианная зарплата на таких позициях в Москве и Петербурге достигает 140 тыс. руб.

Подход, при котором разработчик формулирует задачу ИИ на естественном языке, а тот генерирует код, ускоряет работу и снижает порог входа в профессию. В «СберТехе» его называют стратегическим преимуществом для бизнеса.

Однако эксперты предупреждают о рисках: код становится более «тяжелым», уязвимым и дорогим в поддержке. Для минимизации угроз в компании возвращают обязательный код-ревью и фиксируют ответственность за проверку решений ИИ.

https://www.kommersant.ru/doc/7990356
https://www.kommersant.ru/doc/7990371

Исследователи Стэнфордского университета провели исследование на тему влияния ИИ на занятость и пришли к выводу, что ИИ затрудняет поиск работы для начинающих технических специалистов

В начале карьеры (в возрасте 22–25 лет) в профессиях, связанных с искусственным интеллектом, наблюдается снижение занятости на 13%

Сокращение занятости наблюдается в основном в тех профессиях, где ИИ, скорее всего, автоматизирует, а не дополняет человеческий труд

Напротив, занятость работников в менее подверженных воздействию ИИ областях и более опытных работников в тех же профессиях оставалась стабильной или продолжала расти.

Общие выводы исследователей о недавнем влиянии ИИ на рынок труда:
• существенное снижение занятости среди молодых работников в профессиях, наиболее подверженных влиянию ИИ, таких как разработка программного обеспечения и поддержка клиентов.
• занятость в экономике в целом продолжает расти, но рост занятости среди молодых работников стагнирует.
• занятость на начальном уровне снизилась в приложениях ИИ, автоматизирующих работу, при этом эффект для тех, кто её дополняет, был сдержанным.
• это снижение занятости сохраняется после учета влияния временных факторов, связанных с работой в компании, с относительным снижением занятости на 13% среди молодых работников в профессиях, наиболее подверженных влиянию ИИ.
• эти корректировки на рынке труда более заметны в сфере занятости, чем в сфере оплаты труда.
• эти закономерности сохраняются в профессиях, не затронутых удалённой работой, и в различных альтернативных структурах выборки.

Таким образом, генеративный ИИ уже начал оказывать значительное влияние на занятостьна начальном уровне.

Само исследование: https://digitaleconomy.stanford.edu/wp-content/uploads/2025/08/Canaries_BrynjolfssonChandarChen.pdf

Шпаргалка по утилите sar для мониторинга производительности в Linux #linux