ИТ наизнанку | Владимир Ловцов – Telegram
ИТ наизнанку | Владимир Ловцов
1.07K subscribers
137 photos
10 videos
1 file
99 links
Будни ИТ без «ванили».
Реальные истории, хаос и управление проектами.
Помогаю специалистам — от старта в ИТ до роста в лиды.
Консультирую компании — продукты под ключ, команды на максимум.

Ассистент для связи: @VMLovtsov_assistant
Download Telegram
Всем привет! Продолжаем наше путешествие по форматам данных, и на этот раз поговорим о том, как передаются данные в брокерах сообщений. Брокеры — это сердцебиение современных распределённых систем, особенно в мире микросервисов, и правильный выбор формата передачи данных напрямую влияет на производительность и надёжность твоего решения. Давай разберёмся, какие форматы используются в популярных брокерах сообщений и почему это важно. 🚀

Основные брокеры сообщений и форматы данных

1. Apache Kafka
- Где используется. Kafka — это лидер среди брокеров сообщений для больших данных и стриминговых платформ. Он активно используется для передачи событий, логов и обмена данными между микросервисами.
- Форматы данных
- JSON: часто используется для простоты и удобства.
- Avro: популярен в среде больших данных благодаря своей сжатости и поддержке схем эволюции.
- Protobuf: используется для бинарной передачи данных, когда важны производительность и компактность.
- MessagePack: Ещё один бинарный формат, который можно встретить в Kafka, особенно когда нужен баланс между размером данных и их структурой.

2. RabbitMQ
- Где используется. RabbitMQ — универсальный брокер сообщений, часто используется для задач с высоким требованием к надёжности доставки, в системах с очередями задач и в микросервисах.
- Форматы данных
- JSON: простой и удобный для чтения, часто используется в задачах, где важна простота интеграции.
- XML: используется реже, но иногда встречается в более старых системах или специфических корпоративных интеграциях.
- Protobuf: подходит для тех случаев, когда нужно повысить производительность и уменьшить размер сообщений.

3. Apache ActiveMQ / Artemis
- Где используется. ActiveMQ и его более новая версия Artemis часто используются в корпоративных системах, где требуется поддержка разных протоколов и высокая надёжность.
- Форматы данных
- JSON и XML: оба формата поддерживаются и активно используются в различных сценариях.
- BSON: Иногда применяется в связке с MongoDB и другими системами, поддерживающими этот формат.

4. NATS
- Где используется**: Лёгкий и высокопроизводительный брокер, который часто используется для обмена данными в микросервисах и IoT.
- Форматы данных
- JSON: популярен благодаря простоте.
- Protobuf и MessagePack: используются для минимизации задержек и размера сообщений.

Почему это важно?

Правильный выбор формата передачи данных в брокерах напрямую влияет на производительность системы, её масштабируемость и удобство в поддержке. Лёгкие форматы, такие как JSON, удобны для разработки и отладки, но могут быть менее эффективными в высоконагруженных системах. Бинарные форматы, такие как Protobuf и Avro, обеспечивают лучшую производительность, но требуют больше усилий для настройки и поддержки.

Понимание этих форматов и их особенностей поможет тебе проектировать системы, которые не только отвечают текущим требованиям, но и готовы к будущему росту и изменениям. Так что продолжай изучать и экспериментировать с разными брокерами и форматами данных, чтобы выбрать оптимальные решения для своих проектов!

#SA #BA #Messaging #Брокеры #Protobuf #Avro #Kafka #RabbitMQ #ArtemisMQ

@it_underside
👍7
Всем привет!

Мы уже обсудили JSON, XML, YAML и даже добрались до форматов передачи данных в брокерах сообщений. Сегодня на очереди #Avro — формат, который заслуживает отдельного внимания, особенно если ты работаешь с большими данными и хочешь, чтобы всё было эффективно и чётко.

Что такое Avro?

Avro — это формат сериализации данных, который был разработан специально для Apache Hadoop, но быстро стал популярным и за пределами мира больших данных, позволяет эффективно передавать данные между системами, используя компактное бинарное представление и поддерживая схемы данных. Avro не только помогает экономить пространство и снижать задержки, но и обеспечивает согласованность данных при их передаче.

Когда Avro пригодится?

1. Большие данные и стриминговые платформы
Avro часто используется с Apache Kafka, Apache Flink и другими стриминговыми платформами, где важна компактность и скорость обработки данных. Например, если у тебя миллиард событий в секунду, формат данных должен быть лёгким и быстро читаться.

2. Сложные структуры данных
Avro поддерживает сложные структуры, такие как вложенные записи и массивы, что делает его идеальным для задач, где нужно передавать не просто ключ-значение, а сложные объекты с типизацией.

3. Стабильность и эволюция схем
Одно из ключевых преимуществ Avro — это поддержка схем эволюции. Это значит, что ты можешь обновлять структуру данных (добавлять новые поля, изменять типы) без необходимости изменять старые данные. Это особенно важно для больших систем, где схемы данных могут меняться со временем.

Пример схемы Avro

Вот как может выглядеть схема Avro для сообщения


{
"type": "record",
"name": "Сообщение",
"fields": [
{"name": "отправитель", "type": "string"},
{"name": "текст", "type": "string"}
]
}


Преимущества

1️⃣Компактность
Бинарный формат данных значительно уменьшает объём передаваемой информации по сравнению с текстовыми форматами, такими как JSON и XML.
1️⃣Производительность
Быстрая сериализация и десериализация данных ускоряют обмен данными в системах с высоким уровнем нагрузки.
1️⃣Гибкость схем
Поддержка схем эволюции позволяет адаптировать структуру данных без нарушения работы системы.

Почему аналитик должен это знать?

Avro — отличный инструмент для аналитиков, работающих с большими данными и распределёнными системами, данное знание позволяет проектировать решения, которые будут эффективно передавать и обрабатывать данные, поддерживать их целостность и готовность к изменениям. Так что, если ты хочешь углубиться в мир данных и оптимизировать свои системы, изучение Avro точно не будет лишним!

Прокачивай свои навыки и будь в курсе современных технологий. Avro — это ещё один шаг к тому, чтобы стать мастером в проектировании и работе с данными.

#SA #BA #BigData #Avro

@it_underside
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4👍3
Всем привет и добрых выходных, они ведь добрые?

Продолжаем наше погружение в мир форматов данных, и на этот раз поговорим о #Protobuf (Protocol Buffers) — формате, который активно используется в высоконагруженных системах, где важны скорость, производительность и компактность данных. Если ты работаешь с микросервисами, распределёнными системами или gRPC, Protobuf должен быть в твоём арсенале. Давай разберёмся, что это такое и как оно поможет тебе в работе.

Что такое Protobuf?

Protobuf — это бинарный формат сериализации данных, разработанный Google, позволяет описывать структуры данных с помощью простых схем и генерировать код для их использования на разных языках программирования. Прелесть Protobuf в том, что он не только компактнее и быстрее JSON или XML, но и поддерживает строгую типизацию, что делает его отличным выбором для сложных и высоконагруженных приложений.

Когда Protobuf пригодится?

1. Высоконагруженные системы и микросервисы
В мире микросервисов важны скорость и эффективность передачи данных. Protobuf обеспечивает быстрое сериализование и десериализование, что значительно снижает задержки и уменьшает объём передаваемых данных.

2. #gRPC
Protobuf является основным форматом данных для gRPC — фреймворка для удаленного вызова процедур, который используется для построения эффективных и производительных API. Если ты работаешь с gRPC, ты неизбежно столкнёшься с Protobuf.

3. Сложные структуры данных
Если тебе нужно передавать сложные структуры с вложенными объектами, массивами и разными типами данных, Protobuf предоставляет мощные инструменты для описания и валидации таких данных через схемы.

Пример схемы Protobuf



syntax = "proto3";

message Сообщение {
string отправитель = 1;
string текст = 2;
}


Преимущества Protobuf

🔗Компактность и производительность
Бинарный формат экономит место и ускоряет передачу данных по сравнению с текстовыми форматами.
🔗Строгая типизация и схема
Protobuf гарантирует, что данные будут соответствовать заданной структуре, что снижает вероятность ошибок.
🔗Поддержка многих языков
Protobuf поддерживает генерацию кода для множества языков программирования, что упрощает разработку многоязычных систем.

Почему аналитик должен это знать?

Для аналитика, проектирующего решения, знание Protobuf может стать отличным инструментом при работе с высоконагруженными системами и микросервисами. Понимание, как устроены схемы Protobuf и как использовать этот формат, позволит тебе создавать более эффективные и надёжные архитектуры.

Кроме того, Protobuf — это стандарт де-факто в gRPC и многих других современных технологиях, так что если ты хочешь оставаться на гребне волны и проектировать решения будущего, Protobuf — это то, что нужно добавить в свой арсенал.

Так что продолжай изучать и применять новые инструменты на практике. Чем больше ты знаешь, тем проще решать задачи и добиваться успеха в проектах!

#SA #BA #Protobuf #gRPC

@it_underside
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4👍1👏1
Если что, то про курс не забыл, в процессе🛠, тут у меня пару проектов идут в параллели, поэтому не всегда нахожу ресурс, но думаю в начале октября запущу 12 занятий по 1,5 часа с эпизодичностью 1-2 раза в неделю. Ссылку скину, а после курса покажу, будет пару платных потоков по автоматизации специализации, как говорю на конференциях - Аналитик 2.0.

На неделе, можно также в антикафе посидеть, если у кого есть желание пишите, пока тут ребят готовых сорваться на поездку не так много, хоть в антикафе посидеть😁. Пишите в комментариях или в лс.

@it_underside
@Vladimir_Lov


Про другие проекты: корпоративные сообщества, b2b продукт, экосист
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥51
Понедельник обязан быть прекрасным, доброго утречка!

Аааа, чёрт, вторник)

На повестке дня #MessagePack — ещё один компактный и быстрый бинарный формат, который набирает популярность среди разработчиков. Если JSON кажется тебе слишком громоздким, а Protobuf — сложным, то MessagePack может стать идеальным выбором. Давайте разберёмся, что это такое, когда его использовать и почему это полезно знать аналитику.

Что такое MessagePack?

MessagePack — это бинарный формат сериализации данных, который стремится быть таким же простым, как JSON, но более компактным. С ним данные передаются в виде небольших, упакованных бинарных сообщений, что делает его отличным выбором для приложений, где важна скорость и минимизация объёма передаваемой информации. Плюс, в отличие от JSON, он поддерживает больше типов данных, такие как бинарные строки и расширенные типы, что делает его ещё более универсальным.

Когда MessagePack пригодится?

1. Высоконагруженные системы и микросервисы
MessagePack отлично подходит для систем, где требуется высокая производительность и минимальная задержка. Он часто используется в API, где важно сократить объём передаваемых данных и ускорить обмен.

2. WebSocket и реальное время
В системах с WebSocket-соединениями, где обмен данными происходит в реальном времени, использование MessagePack позволяет значительно снизить задержки и уменьшить нагрузку на сеть.

3. Системы с ограниченными ресурсами
Если работаешь с IoT, мобильными приложениями или другими системами, где ресурсы ограничены, MessagePack помогает эффективно передавать данные, не перегружая устройство.

Пример использования MessagePack

Преобразование данных в формат MessagePack происходит на удивление просто. Вот как это может выглядеть на примере JSON:

{
"отправитель": "Владимир",
"текст": "Это пример MessagePack."
}


После преобразования в MessagePack, данные будут занимать меньше места и передаваться быстрее, чем в текстовом формате.

Преимущества MessagePack

- Компактность. Упаковывает данные в бинарном виде, что значительно сокращает размер сообщений по сравнению с текстовыми форматами.
- Производительность. Быстро сериализует и десериализует данные, что ускоряет обмен информацией между системами.
- Простота использования. Легко интегрируется в существующие проекты, особенно там, где уже используется JSON, но хочется ускорить обмен данными.

Почему аналитик должен это знать?

MessagePack — это отличный выбор для тех случаев, когда нужно оптимизировать передачу данных и повысить производительность системы. Для аналитика, проектирующего решения, знание MessagePack поможет предлагать более эффективные варианты передачи данных, особенно в сценариях с ограниченными ресурсами или в высоконагруженных приложениях.

#SA #BA #MessagePack

@it_underside
🔥2👍1
Кто хочет зайти в 1с и работать в огромной корпорации, то это огромный шанс, вот были бы такие школы, когда я искал себе в свое время работу, возможно бы это ускорило мой трек, но небольшая ложка дёгтя, что даже пройдя обучение, тебе никто и ничего не гарантирует)
🔥1
Forwarded from Куда идти в IT
Планы 1С-мастеров на ближайшую неделю:
Думать о данных
Подать заявку на обучение в Открытые школы Т1

Аккуратно напоминаем, что мы всё ещё в поиске участников на ближайший набор в ОШ по направлению «‎Младший аналитик 1С»‎.

Открытые школы Т1 — это классная возможность за месяц получить практические навыки и возможность устроиться к нам на работу.

🗓 Старт обучения — 30 сентября.

✏️ Стоимость участия: бесплатно.

Формат: онлайн, из любой точки России. Мы будем встречаться по вечерам от 8 часов в неделю по 4 часа на вебинары и самостоятельную практику.

Оставляй заявку на сайте. И встретимся на обучении!

#ВКомандуТ1
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Этим нельзя не поделиться, ловите, перечитал пару раз и сомнений нет, чётко.
3k подписчиков — спасибо!

У нас тут в группе задали хороший вопроскакие документы создают БА, а какие — СА?

Мой заход в тему:

БА:
- диаграмма оргструктуры
- регламент бизнес-процесса
- модель бизнес-показателей
- карта процессов предприятия
- контекстная диаграмма процесса
- диаграмма потока создания ценности
- карта клиентского опыта
- модель бизнес-процессов
- модель предметной области
- отчет об обследовании
- аналитическая записка
- реестр бизнес-правил
- бизнес-требования
- требования заинтересованных лиц
- модель проблем и целей проекта
- бизнес-ограничения проекта
- концепция автоматизации
- технико-экономическое обоснование проекта / business case
- сценарии использования информационной системы уровня чёрного ящика
- техническое задание на выбор, заказ, разработку, построение информационной системы
- регламенты применения информационной системы
- макеты отчётов
- алгоритмы расчета бизнес-величин

СА (в автоматизации бизнеса и создании ИТ-продуктов):
- модель данных, словарь данных
- модели жизненного цикла объектов ИТ-системы
- функциональные требования к ИТ-системе
- карта пользовательских историй
- алгоритмы обработки данных
- атрибуты качества ИТ-системы
- расчеты количественных показателей эксплуатации ИТ-системы во времени
- модель надежности ИТ-системы
- технические ограничения ИТ-системы
- контекстная диаграмма ИТ-системы или подсистемы
- сценарии использования ит-системы уровня серого ящика
- предложения по функциональному и структурному разбиению ИТ-системы
- техническое задание на проектирование и разработку подсистемы
- структура БД
- сценарии интеграции системы
- спецификация API
- диаграмма навигации по экранам
- черновые макеты пользовательских интерфейсов
- технический проект на разработку ИТ-системы
👍5🔥3
Любить удалёнку можно сколько угодно, но есть порой некие преимущества в офисе, например терраса, когда можно в городе удобно и комфортно поработать,да почти на свежем воздухе😄


@it_underside
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Ку....
⚡️ Google запретил создавать новые аккаунты для россиян, — Минцифры.

При этом подтверждение авторизации через sms для ранее созданных аккаунтов пока работает. Рекомендуется сделать резервные копии данных из-за возможных будущих ограничений.


Эх, если ещё и впн ограничат, тогда вообще будет грустно....
😱3
Как то сейчас с профессиональными аналитиками трудно совсем((( Ищу в команду middle(+) SA, если есть такой знакомый, тогда пиши в лс с пометкой Сиситемный аналитик и резюме, оплата на уровне рынка (финтех/банкинг).

Ссылка на описание

@Vladimir_Lov
👍2
Я разболелся, пока все активности на ✋️ 🛑 стоп. Приду в себя и возобновлю.
💔2😭1