Amazon S3 Tables — новое решение от AWS для хранения структурированных данных, таких как ежедневные транзакции, потоковые данные с сенсоров и рекламные показы.

Формат Apache Iceberg обеспечит простоту выполнения запросов с использованием популярных движков: Amazon Athena, Amazon EMR и Apache Spark.

Основные особенности Amazon S3 Tables:

➖ Оптимизация производительности: по сравнению с самостоятельно управляемыми таблицами, S3 Tables обеспечивают до 3 раз более высокую производительность запросов и до 10 раз больше транзакций в секунду.

➖ Упрощенное управление: S3 Tables автоматически выполняют задачи обслуживания: компактизация файлов, управление снапшотами и удаление неиспользуемых файлов.

➖ Интеграция с аналитическими сервисами AWS: S3 Tables легко интегрируются с Amazon Athena, Amazon Redshift и Amazon EMR, а также с популярными инструментами с открытым исходным кодом.

➖ Упрощенное управление доступом: таблицы — полноценные ресурсы AWS, что позволяет применять к ним политики доступа и упрощает управление безопасностью данных.

Amazon S3 фактически станет аналитической СУБД с особым хранилищем на котором будут храниться данные в формате Iceberg — лучший вариант для организации даталейков.

@DevOpsKaz 😛

Мусин анонсировал запуск в Казахстане одного из самых популярных сервисов распределенной доставки контента (CDN) от Amazon — Cloudfront. Подробности пока держат в тайне, но новость уже радует.

Если вдруг вы не в теме, Amazon Cloudfront — это must-have для молниеносной доставки контента, от картинок и видео до веб-страниц.

Представьте, что заходите на сайт кого-нибудь американского СМИ, и вам, чтобы не гнать информацию по проводам из Штатов, дают картинки с сервера в Германии, который явно ближе. А это что значит? Сайт загрузится быстрее, чем если бы картинки шли из-за океана 🚀

Ждем деталей от Мусина и, конечно, первых впечатлений от казахстанских IT-компаний и разрабов, которые начнут им пользоваться.

🔥 — Новость — огонь!
😁 — Все будет через ж…

Благодарим за новость @bailanysty

#партнерский_пост

12 страниц отчета от SNYK по вопросам безопасности Open Source. Рассказываем ключевые моменты.

1️⃣ Усталость в сфере безопасности приложений и замедление прогресса:

— Организациям сложно внедрять комплексные практики безопасности. Ключевые инструменты, такие как SCA и SAST внедряют менее чем в 70% случаев.
— Проактивные меры безопасности для цепочек поставок снизились на 11% за год, что указывает на нехватку ресурсов и усталость команд.

2️⃣ Проблемы с безопасностью цепочек поставок:

— Несмотря на то что 62% организаций начали использовать мониторинг SBOM, только небольшая часть применяет передовые меры. Результаты показывают низкое использование воспроизводимых сборок (21%) и подписи артефактов (36%).
— Ограничения бюджета и ресурсов сказывается на вкладе в безопасность цепочки поставок.

3️⃣ Ускорение исправлений уязвимостей:

— Проекты с открытым исходным кодом быстрее исправляют критические уязвимости, чем проприетарные решения.
— Среднее время устранения критических уязвимостей продолжает сокращаться.

4️⃣ Интеграция инструментов безопасности:

— Инструменты безопасности все чаще интегрируются на ранних этапах разработки (в CI/CD пайплайнах и проверках до фиксации кода).
— Использование интеграции безопасности в IDE снижается в пользу автоматизированных решений, минимизирующих нагрузку на разработчиков.

5️⃣ Роль ИИ в безопасности:

— 79% респондентов уверены, что ИИ улучшает безопасность кода. Однако код, сгенерированный ИИ, все еще содержит уязвимости.
— Команды безопасности применяют строгие проверки кода, независимо от того, был ли он написан человеком или ИИ.

6️⃣ Недостатки управления уязвимостями:

— 52% организаций не успевают исправлять критические уязвимости в рамках SLA.
— Сложности приоритизации уязвимостей на основе бизнес-рисков затрудняют эффективное устранение угроз.

@DevOpsKaz 😛

👀 Неизбежное будущее Kubernetes

Сегодня предлагаем поразмышлять над будущим Kubernetes. На Хабре завязалась интересная дискуссия. Все дело в растущей сложности Kubernetes — как будто он должен перестать существовать как самодостаточное ПО,

Автор сравнивает Kubernetes с ядром Linux, предлагая создать специализированные «дистрибутивы» Kubernetes, аналогично дистрибутивам Linux, заточенных для различных задач и отраслей.

Хотите крутить ML/AI — вот вам с десяток «дистрибутивов», которые заточены под эту задачу, в которых уже есть Kubernetes и остальные компоненты с предустановленными оптимальными настройками и каким-то количеством доступных пользователю опций и настроек.

Или можно выбрать один из универсальных дистрибутивов, на котором удовлетворительно крутится более-менее всё.

По его мнению новый подход позволит упростить использование Kubernetes, сделав его более доступным и эффективным для конкретных задач.

А что думаете вы? Делитесь 👇🏼

@DevOpsKaz 😛

🔥 Интернет 2024 года глазами Cloudflare

Компания выпустила отчет и показала, как по их мнению чувствует себя интернет в конце 2024 года. В нем описаны ключевые тенденции и статистические данные (без учета Китая).

➖ Рост интернет-трафика: в 2024 году он увеличился на 17,2%, цифровая активность продолжает расти по всему миру.

➖ Популярные сервисы: Google сохранил свою позицию самого популярного интернет-сервиса, за ним следуют Facebook, Apple и TikTok. WhatsApp впервые вошел в топ-10 глобальных сервисов.

➖ Тенденции генеративного ИИ: OpenAI остается лидером среди сервисов генеративного ИИ, а такие сервисы, как Codeium, Claude и Copilot, вошли в топ-10.

➖ Рост кибератак: сферы гейминга и азартных игр наиболее атакуемые отрасли, обгоняя финансовый сектор. Особенно заметен рост атак во время крупных событий, таких как Супербоул в США.

➖ Опасный трафик: Cloudflare пометила 6,5% глобального трафика как потенциально опасный, а 4,3% всех электронных писем содержали обманчивые ссылки.

➖ Сетевые отключения: в 2024 году наблюдалось рекордное количество отключений интернета, особенно инициированных правительствами.

Листайте полный отчет и делитесь с коллегами 🫡

@DevOpsKaz 😛

🔥 Кейс Biometric Vision: миграция решения для распознавания лиц в Yandex Cloud

Стартап Biometric Vision обратился к нам с задачей миграции инфраструктуры своего сервиса в облако. Мы выделили команду: тимлид и инженеры провели первичный анализ, по результатам которого стали внедрять план работ.

В итоге Biometric Vision получил готовую инфраструктуру по современным требованиям DevOps и безопасности, которая станет основой для дальнейшего масштабирования их решений.

👉 В новом кейсе рассказываем, чем и как мы помогли

#кейс #devops

@DevOpsKaz 😛

☄️ BaaS, необанки и финтех даже там, где его не ждали: о чем говорили на Rocket Conf 2024?

Второй ивент Rocket Tech собрал более 200 ведущих представителей банковского сектора, МФО, финтехов и государственных финрегуляторов.

Что было интересного:

➖ Halyk Bank анонсировал запуск собственной BaaS-платформы для бизнеса. Это мобильная библиотека готовых банковских сервисов под iOS и Android на базе инфраструктуры Halyk Bank. В нее входит онбординг, переводы, платежи, токенизация карт, рассрочки, депозиты, кредиты. Она позволяет выйти на рынок за две недели.

➖ «Платежки» вместо банкинга. «Платежки» настолько захватили рынок Узбекистана, что банкам, строившим инфраструктуру из отделений, а не удобные мобильные интерфейсы, приходится его отвоевывать»

➖ Первый в мире маркетплейс финтех-сервисов. Расширить покрытие банковских продуктов и услуг смог первый в мире маркетплейс финтех-сервисов «Финуслуги». Сейчас там представлено 25 крупнейших финорганизаций, и пользователи могут сравнить их предложения и получить услуги.

➖ Питчинг fintech-стартапов. Первое место — Ezfactor с AI-системой риск-мониторинга для банков и МФО по проверке b2b-клиентов в торговом секторе. Второе— b2b-платформа Partners pay для моментальных выплат сотрудникам, ведения документооборота, автоматизации бухгалтерии и налоговой отчетности. Третье место — система по авансовым выплатам Prosper Pay.

#партнерский_пост

☄️ Новости и релизы инструментов DevOps

1️⃣ Kubernetes v1.32: Penelope

Cодержит 44 улучшения, из которых 13 — Stable, 12 Beta и 19 в Alpha. Ключевые особенности:

— Memory Manager достиг статуса GA: модуль управления памятью теперь в стабильной версии с более эффективным распределением памяти между подами и улучшением производительности рабочих нагрузок.

— QueueingHint (бета-версия): новый механизм для оптимизации планирования подов с подсказками о приоритетах очередей.

— Поддержка OpenTelemetry Tracing (бета-версия): упрощает отслеживание и мониторинг распределенных систем.

— Улучшения в управлении жизненным циклом подов на Windows-нодах: возможность корректного завершения работы подов при выключении Windows-нод, что повышает надежность и согласованность приложений в гетерогенных кластерах.

2️⃣ Kubermatic KubeOne 1.9.0

Новая версия решения для автоматизации операций с Kubernetes-кластерами в различных средах:

— Технический превью KubeOne UI.
— Первая реализация провайдера KubeVirt.
— Новая команда kubeone kubeconfig generate.
— Поддержка Kubernetes 1.31 и Ubuntu 24.04.
— Интеграция с Cilium v1.16.

@DevOpsKaz 😛

👀 Кибербезопасность становится ключевой инвестицией для бизнеса

В 2023 году Национальная служба реагирования на компьютерные инциденты KZ-CERT зафиксировала двукратный рост числа инцидентов среди казахстанских компаний — 34,5 тысяч.

В «Лаборатории Касперского» отмечают, что почти каждая третья казахстанская организация (31%) становилась жертвой кибератак. С ростом объёма данных требуется всё больше инструментов для их хранения и обработки, увеличивается и потребность в информационной безопасности.

По теме вышло большое интервью специалистов облачной платформы Yandex Cloud в Казахстане и независимого эксперта по ИБ Евгения Питолина про то, как выстраивать защиту внутри компании и в облаке.

Ключевые моменты:

● Облака помогают гибко масштабировать инфраструктуру при колебаниях спроса, а также ускорять разработку и time-to-market. Каждая компания определяет для себя оптимальную стратегию хранения данных — в облаке, в собственной инфраструктуре или гибридную. Это зависит от задач и особенностей бизнеса.

● При массивном росте данных задействуется больше ПО для их обработки, поверх старых систем создаются новые. Обычно компании фокусируются на средствах безопасности для новой инфраструктуры и могут забывать про то, что нужно равномерно защищать весь контур.

● Для проверки безопасности компаниям стоит регулярно проводить пентесты и участвовать в программах баг-баунти. Нужно не забывать про человеческий фактор: обучение сотрудников и повышение их осведомлённости о киберугрозах поможет предотвратить атаки методом социальной инженерии.

👉 Читать подробнее

#реклама

Readme Generator for Helm — инструмент для автоматического создания файла README.md для Helm Charts. Отлично упрощает документацию для разработчиков и пользователей 👌🏻

Особенности:

➖ Инструмент анализирует values.yaml и другие файлы, и автоматически создает структурированный и понятный README.md.
➖ Генератор создает README с заголовками, описаниями и таблицами, объясняющими параметры, используемые в Helm-чарте.
➖ Поддерживаются таблицы с описанием всех переменных, их типов, значений по умолчанию и назначений.
➖ Легко интегрируется в CI/CD-процессы.
➖ Запускается одной командой и требует минимальной настройки.

@DevOpsKaz 😛

☄️ Как достичь нулевого простоя при rolling deployment в Kubernetes

Благодаря Kubernetes внесение изменений в приложения стало более бесшовным. Но как сделать так, чтобы эти изменения не оказывали негативного влияния на пользователей? Например, речь о разрывах соединений.

Помогаем разобраться в поведении pod-ов при rolling deployment и методы достижения настоящего нулевого простоя, чтобы клиентские соединения оставались стабильными даже при обновлении приложения.

👉 Читайте в новой статье

@DevOpsKaz 😛

🔥 Путь от эникейщика до DevOps'a

Круто, что для многих в новой профессии есть четкие Roadmaps. Есть и книги #devopsbooks, и курсы. Но куда ценнее — реальный опыт других новичков.

В статье на Хабре парень рассказывает, как прошел путь от эникейщика до DevOps'a и что конкретно для этого делал.

Вот некоторые его советы:

➖ Изучить основные направления в ИТ, чтобы понять, какое вам больше подходит
➖ Найти свой подход к обучению: кому-то больше подойдет метод учебы на собственных ошибках, другим — через знания от коллег
➖ Не спешите перекидывать задачи на старших коллег — а приносите им возможные варианты решения

Статью стоит прочитать тем, кому нужно вдохновение, поддержка и понимание, чего ожидать от профессии в целом.

Если хотите поделиться историей своего пути — всегда можете предложить ее нам. Мы поможем с редактурой. Главное условие — опыт должен быть полезен другим.

@DevOpsKaz 😛

☄️ Новости и релизы инструментов DevOps

1️⃣ Первая альфа Proxmox Datacenter Manager

Новый инструмент для упрощения управления дата-центрами и большими инфраструктурами. Ключевые особенности:

— Централизованное управление несколькими узлами Proxmox VE и Proxmox Backup Server из единого интерфейса
— Заточен для работы с большими кластерами и поддерживает несколько дата-центров
— Есть возможности автоматизации процессов, таких как обновление узлов, настройка сетевых параметров и управление хранилищем
— Интуитивно понятный веб-интерфейс, который позволяет легко отслеживать состояние системы и выполнять основные задачи
— Интеграция с существующими решениями Proxmox

2️⃣ GitLab 17.7 с 230+ улучшениями

— Роль Planner: упрощенный доступ к Agile-инструментам планирования
— Allowlist для интеграций на уровне инстанса
— Автоматическое решение уязвимостей: новая политика для быстрого реагирования на риски
— Ротация токенов доступа в UI
— Полный контроль за тем, как используются ресурсы в разных проектах

3️⃣ Релиз системного менеджера systemd 257

— Снизили риск случайного удаления данных
— Учётные данные обрабатываются в формате base64
— Добавили новые функции DeferReactivation и RestartMode=debug
— Необходимо адаптировать существующие конфигурации с учетом нового поведения

@DevOpsKaz 😛

☄️ Бесплатный курс по облачным технологиям от VK Cloud

Обещают научить использовать инструменты кибербезопасности, управлять ИТ-инфраструктурой, а также разрабатывать стратегии миграции в облако.

Курс для продвинутых пользователей

Сможете:

➖ Проводить бесшовную миграцию
➖ Выстраивать IT-инфраструктуру бизнеса
➖ Подключать балансировщик нагрузки к виртуальной машине
➖ Настраивать бэкапы и подключаться к резервной копии
➖ Добавлять интеграцию с S3-хранилищем
➖ Создавать managed-базы данных PostgreSQL, MySQL, OpenSearch, Tarantool, ➖ Redis, ClickHouse

👉 Посмотреть подробнее

Пишут, что бесплатно, но есть нюанс. Муторная регистрация, где нужно позвонить по номеру и привязать платежную карту.

@DevOpsKaz 😛

🔥 DevOps Roadmap 2025, часть №1

По данным hh.ru профессия DevOps-инженер вошла в топ 3 высокооплачиваемых в 2024 году. При этом сфера DevOps становится всё более стратегической, внимание концентрируется на следующем:

1️⃣ Расширение автоматизации

— Предиктивная аналитика и автоматизированное управление инцидентами позволят DevOps-специалистам переходить от реактивных к проактивным моделям работы.

— Low-code/No-code инструменты облегчат доступ к DevOps-практикам для широкой аудитории разработчиков и инженеров.

2️⃣ DevSecOps как стандарт

— Помимо интеграции безопасности на этапе CI/CD постепенное внедрение подходов Zero Trust сделает периметр безопасности «динамическим», а управление доступом — более гибким.

3️⃣ Распределённые системы и edge computing

— Поддержка масштабируемых, распределённых систем станет ключевой задачей.

— Edge computing станет важным компонентом для работы с чувствительными к задержкам приложениями.

4️⃣ Инновационные подходы в управлении

— GitOps становится базовым стандартом управления инфраструктурой, что приводит к появлению новых CI/CD-решений, оптимизированных для этого подхода.

— FinOps: управление затратами станет суперважной частью DevOps-стратегий, особенно в условиях мультиоблачных решений.

— AIOps: автоматизация с помощью AI ускорит обработку инцидентов, позволив командам сосредоточиться на разработке и новых функциях.

Продолжение — завтра в следующем посту 🫡

@DevOpsKaz 😛

🔥 DevOps Roadmap 2025, часть №2

➖ Вместо устаревшего Jenkins изучайте GitHub Actions и GitLab CI, Travis CI, CircleCI и Drone
➖ Необходимо разбираться в логировании с помощью ELK-стека, Loki, Graylog и Splunk
➖ В работе с артефактами востребованы Nexus, JFrog Artifactory и облачные хранилища
➖ Для секретов и ключей изучите инструменты Sealed Secrets, Vault и SOPs
➖ Для продвинутого уровня освойте сетевые паттерны и сервис-меш технологии (Istio, Linkerd, Consul и Envoy)
➖ Помимо глубокого понимания Linux стоит учесть и Windows с macOS для более разностороннего опыта (есть компании, в которых это актуально)
➖ Инструменты проверки кода, как Crucible и Gerrit, будут более тесно интегрироваться с конвейерами CI/CD
➖ Pulumi — восходящая звезда в сфере IaC, будет пользоваться все большим спросом
➖ Бессерверные фреймворки Serverless Framework, AWS SAM и Azure Functions, упростят разработку и развертывание бессерверных приложений
➖ Datadog, New Relic и Dynatrace будут предлагать аналитику и обнаруживать аномалии на основе ИИ
➖ Moogsoft, BigPanda и Dynatrace AIOps будут использовать ИИ и МО для анализа огромных объемов данных, прогнозирования проблем и автоматизации действий по их устранению

Шагайте в новый год с четким планом развития и делитесь им с коллегами 🫡

@DevOpsKaz 😛

🔥 ИИ и машинное обучение для AppSec

Если посмотреть на LLM и AI с точки зрения оценки рисков в работе приложений, то польза от автоматизации очевидна.

В статье автор предлагает «скормить» моделям ИИ техническую спецификацию изменений, а взамен получить готовый отчет по AppSec. Важный момент — это не полная замена специалиста безопасности, а лишь усиление его компетенций.

Автор автоматизировал:

➖ Классификацию рисков
➖ Rapid Risk Assessment
➖ Security Review

Пример, как это все работает, есть в видео.

@DevOpsKaz 😛

🔥 Анонсируем DevOpsDays Tashkent 2025

Вчера пришло одобрение от главных организаторов devopsdays.org и Daniel phrawzty Maher на проведение DevOpsDays Tashkent.

Организаторы ивента — Proxima, наша компания CORE 24/7 и PS Cloud Services.

Прошедший DevOpsDays Almaty 2024 дал нам возможность взглянуть шире, и теперь выходим на новый рынок. За 3 года организации конференции мы набрались опыта и сможем помочь коллегам из соседней страны.

Точные даты пока неизвестны, следите за новостями 🫡

И будем рады видеть вас в Ташкенте!

@DevOpsKaz 😛

☄️ Отчет за 2024 от наших партнеров Linux Foundation

➖ Около 1300 проектов в сообществе (на 200 больше 2023 года). Больше всего — по облачным технологиям, контейнеризации и виртуализации
➖ Сгенерировано более 1,8 млрд строчек кода
➖ Общий доход за год вырос до $292 млн, а расходы — до $299,7 млн
➖ Расходы на поддержание инфраструктуры Linux Foundation составили $22,69 млн
➖ Срок поддержки LTS версии ядра сокращён с 5 до 2 лет
➖ Затраты на программы обучения и сертификации составили $23,1 млн
➖ Затраты на разработку ядра Linux снова уменьшились ($6,8 млн против $7,8 млн в прошлом году)

👉 Почитать подробнее

@DevOpsKaz 😛