Как то сейчас с профессиональными аналитиками трудно совсем((( Ищу в команду middle(+) SA, если есть такой знакомый, тогда пиши в лс с пометкой Сиситемный аналитик и резюме, оплата на уровне рынка (финтех/банкинг).
Ссылка на описание
@Vladimir_Lov
Ссылка на описание
@Vladimir_Lov
Telegraph
Системный аналитик middle (middle SA)
О команде Мы занимаемся созданием аналога SAS RTDM, используя современные технологии: Scala, Java Spring Boot, Java, Apache Flink, Apache Kafka, Angular, Tarantool, PostgreSQL. Команда ценит ответственность, профессионализм и стремление к совместному достижению…
👍2
Я разболелся, пока все активности на ✋️ 🛑 стоп. Приду в себя и возобновлю.
💔2😭1
Всё, я ожил! Начинаю то, что остановил)))
🔥2
Мне всегда было интересно про тех, кто собирает папки с каналами и группами, что какие они молодцы, пока не наткнулся на парачке каналов на один и тот же пост, но со своей оберткой, в общем, тоже решил поучаствовать)) так как это возможноть взглянуть на новые лица и подходы в российском ИТ, что весьма полезно. Да, вот та самая папка «БАЗА по ИТ» (BA/SA/PO IT).
@it_underside
P.S. автор подборки
@it_underside
P.S. автор подборки
Telegram
BA/SA/PO IT
Nikolay Kolesnik invites you to add the folder “BA/SA/PO IT”, which includes 11 chats.
❤3👍2🙏1
Доброй ночи, товарищи ИТшники!
В таких задачах критически важно не просто учитывать ключевые параметры — такие как производительность, масштабируемость, отказоустойчивость, эластичность и т.п. — но и обеспечивать баланс между вычислительными ресурсами и требованиями к SLA, которые исходят от бизнеса. Мы говорим здесь о high-load архитектуре, где даже незначительная ошибка в оценке ресурсов или архитектурных паттернов может привести к деградации системы.
🏗️ Архитектурные решения
Архитектура строится на базе микросервисного подхода с активным использованием контейнеризации (Kubernetes) для лучшей управляемости и гибкости. Применяются такие шаблоны, как sidecar для мониторинга и управления конфигурациями, а также для обеспечения сетевой безопасности через service mesh. Строгая изоляция сервисов и возможность горизонтального масштабирования обеспечиваются с учётом потенциальных узких мест, таких как лимиты на пул соединений с базами данных и необходимость оптимизации состояния контейнеров через автоскейлинг на основе HPA (Horizontal Pod Autoscaler).
⚖️ Управление согласованностью данных
Для управления согласованностью данных и поддержания eventual consistency применяем паттерны CQRS и Saga. В частности, для координации распределённых транзакций используем оркестрацию через специализированные инструменты, что позволяет более гибко управлять сложными бизнес-процессами. Важно также учитывать стратегию обработки ошибок и повторных попыток (retry policies), чтобы минимизировать влияние транзиентных отказов на пользовательский опыт.
🔄 Потоки данных и взаимодействие между сервисами
Потоки данных организованы через асинхронные механизмы с использованием Apache Kafka как основной системы очередей, а также для обеспечения Pub/Sub взаимодействия между микросервисами. В случае обработки данных в реальном времени интегрированы Apache Flink, что позволяет поддерживать высокую пропускную способность и низкие задержки. Взаимодействие между сервисами осуществляется через REST API в зависимости от требований к производительности и объему данных, при этом применяется API Gateway для унификации внешних интерфейсов и обеспечения дополнительных механизмов безопасности, таких как rate limiting и авторизация.
🗄️ Кэширование
Архитектура предусматривает применение различных стратегий кэширования — от локального кэша в каждом сервисе до распределенного кэша на базе Tarantool, что существенно сокращает нагрузку на основную базу данных и снижает время отклика для конечных пользователей.
🌟 Уникальность проекта
Этот проект уникален не только в рамках компании 🏢, где я работаю, но и в рамках СНГ 🌍 по масштабу и по сложности. Это серьёзный вызов не только для меня, но и для команды 👥, но именно такие задачи позволяют максимально раскрыть потенциал архитектурных решений 🏗️, синхронизировать технологии и бизнес-цели 💼. Создать такую систему — значит заложить фундамент 🧱 для масштабирования и эволюции бизнеса 📈 в условиях непрерывно растущих требований.
В общем, доброй ночи! 🌙🙂 Это так, мысли на ночь. А в ноябре я всё-таки выйду на конференцию "Импульс" ⚡ и расскажу о своём решении. Буду рад пообщаться в кулуарах. 💬
#ИнженерныеПрактики
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍3❤2
Тут небольшие новости для мира ИТ
1. Наших ребят выкинули из Линекс.... эта новость крайне отвратительная, т.к. нанесён как по мне серьёзный ущерб open community и Linux уже кажется не такой прекрасной ОС. Что дальше?
2. У части компаний в РФ "убили" оплаченные лицензии на продукты JetBrains, пока слухи, но не верю, что они на пустом месте
3. Apple выплатит до $1 млн за взлом системы Private Cloud Compute, в общем пытаются найти уязвимости...
4. Nvidia, та самая компания, которая делает видеокарты для ML и вообще AI стала самой дорогой, но долго там не продержалась
Но если честно, меня больше беспокоит вторая и первая))) после такого, хочется просто крякать ПО и забыть о лицензиями внешнего мира...
1. Наших ребят выкинули из Линекс.... эта новость крайне отвратительная, т.к. нанесён как по мне серьёзный ущерб open community и Linux уже кажется не такой прекрасной ОС. Что дальше?
2. У части компаний в РФ "убили" оплаченные лицензии на продукты JetBrains, пока слухи, но не верю, что они на пустом месте
3. Apple выплатит до $1 млн за взлом системы Private Cloud Compute, в общем пытаются найти уязвимости...
4. Nvidia, та самая компания, которая делает видеокарты для ML и вообще AI стала самой дорогой, но долго там не продержалась
Но если честно, меня больше беспокоит вторая и первая))) после такого, хочется просто крякать ПО и забыть о лицензиями внешнего мира...
😱7😭1
Немного устал, но уже почти восстановился, до нового года наверное энергии хаватит🏋️♂️ . Короче, обещал не раз про начало курса по Системному анализу, в общем заходите в отдельный чат, данный чат только для обучения, не всех возьму и не всех добавлю, т.к. есть ограничения по количеству.
@it_underside
@it_underside
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Системный анализ | ИТ наизнанку
Данная группа только для участников обучения по курсу системного анализа.
👍6❤1😁1
Это прям правда и огромная боль ⬇️
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from СофтТех
Управляющий партнер и основатель российского хостинг-провайдера RUVDS опубликовал на Habr’е длинный текст о положении дел в отрасли. Спойлер – все тяжело.
Дефицит ЦОДов
Из-за высоких ставок Центробанка исчезла возможность строить ЦОДы в кредит. Иных способов строить дата-центры нет из-за невероятно высокой их стоимости. Раньше брался кредит, а потом он выплачивался из продажи мощностей. Больше такой опции нет.
При этом, дефицит стойко-мест растет. В прошлом при постройке ЦОДа 80% мощностей раскупалось на стадии строительства. Сейчас ситуация еще хуже. При этом, цена размещения уже выросла на 9-21% в зависимости от колокации в России. Впрочем, это и неудивительно – сами сервера тоже дорожают.
IPO как решение
Для многих компаний IPO стало единственным выходом получить капитал – акционерный капитал стал выгоднее заемного. Именно с этим связан бум на IPO в последнее время.
Однако, у этого решения тоже есть свои «минусы» – рынок не в лучшем состоянии, сами компании будут оценены не слишком высоко. К тому же, много внешних рисков. Иными словами, выход на IPO сегодня – это выход за мелкий прайс.
Налоговая реформа
Новые налоговые правила тоже сказываются на IT-бизнесе. В первую очередь, речь о НДС: раньше на «упрощенке» почти все работали на налоговой ставке без НДС, но сегодня компаниям приходится платить 5% или 7%.
Это приводит к подорожанию товаров и услуг – заплаченный НДС включается в цену. Многие из IT-компаний не зарегистрированы в реестре ПО и не имеют льгот по НДС. Компаниям приходится принимать решение – оставаться на «упрощенке» или переходить на общую систему налогообложения. Выбор между тем чтобы оставаться на этой схеме и вести учёт или тоже менять кучу процессов и строить отдел бухгалтерии.
Админов. net
RUVDS прособеседовали порядка 200 человек на роль DevOps чтобы найти двоих, которые подходят по компетенциям. Всех хороших специалистов собирают крупные компании, например, Сбер, а на рынке труда остаются специалисты средней и низкой квалификации.
Из-за этого, создать хостинговую компанию сегодня с нуля невозможно – набор команды, который раньше занимал 2-3 месяца сегодня займет год. И не забываем про недоступность кредитных средств.
Сильные не смогли поглотить слабых
Вместо ожидаемого поглощения малых игроков крупными гигантами, на рынке для мелких игроков началось телепередача «сдохни или умри». Наибольшее влияние оказывают действия регуляторки – расходы растут и требуют поднимать цены чуть ли не каждый месяц.
Есть и другой вариант – экономить на качестве, но многие компании, чтобы хорошо чувствовать себя на рынке, не могут себе позволить покупать некачественное «железо». Использование множества разных систем также приведет к повышению цен на администрирование.
В итоге, у малых игроков рынка две опции: не входить в реестр и «делать вид, что эта ситуация происходит не с ними» ил нести убытки, повышать цены, но не быть по итогу купленными. Их не купят из-за уже упомянутого отсутствия возможности взять кредит.
Дефицит ЦОДов
Из-за высоких ставок Центробанка исчезла возможность строить ЦОДы в кредит. Иных способов строить дата-центры нет из-за невероятно высокой их стоимости. Раньше брался кредит, а потом он выплачивался из продажи мощностей. Больше такой опции нет.
При этом, дефицит стойко-мест растет. В прошлом при постройке ЦОДа 80% мощностей раскупалось на стадии строительства. Сейчас ситуация еще хуже. При этом, цена размещения уже выросла на 9-21% в зависимости от колокации в России. Впрочем, это и неудивительно – сами сервера тоже дорожают.
IPO как решение
Для многих компаний IPO стало единственным выходом получить капитал – акционерный капитал стал выгоднее заемного. Именно с этим связан бум на IPO в последнее время.
Однако, у этого решения тоже есть свои «минусы» – рынок не в лучшем состоянии, сами компании будут оценены не слишком высоко. К тому же, много внешних рисков. Иными словами, выход на IPO сегодня – это выход за мелкий прайс.
Налоговая реформа
Новые налоговые правила тоже сказываются на IT-бизнесе. В первую очередь, речь о НДС: раньше на «упрощенке» почти все работали на налоговой ставке без НДС, но сегодня компаниям приходится платить 5% или 7%.
Это приводит к подорожанию товаров и услуг – заплаченный НДС включается в цену. Многие из IT-компаний не зарегистрированы в реестре ПО и не имеют льгот по НДС. Компаниям приходится принимать решение – оставаться на «упрощенке» или переходить на общую систему налогообложения. Выбор между тем чтобы оставаться на этой схеме и вести учёт или тоже менять кучу процессов и строить отдел бухгалтерии.
Админов. net
RUVDS прособеседовали порядка 200 человек на роль DevOps чтобы найти двоих, которые подходят по компетенциям. Всех хороших специалистов собирают крупные компании, например, Сбер, а на рынке труда остаются специалисты средней и низкой квалификации.
Из-за этого, создать хостинговую компанию сегодня с нуля невозможно – набор команды, который раньше занимал 2-3 месяца сегодня займет год. И не забываем про недоступность кредитных средств.
В следующем году новые бизнесы запускаться не будут. По крайней мере, в нашей сфере. Ну только если слабоумие, отвага, Сбер и Яндекс.
Сильные не смогли поглотить слабых
Вместо ожидаемого поглощения малых игроков крупными гигантами, на рынке для мелких игроков началось телепередача «сдохни или умри». Наибольшее влияние оказывают действия регуляторки – расходы растут и требуют поднимать цены чуть ли не каждый месяц.
Есть и другой вариант – экономить на качестве, но многие компании, чтобы хорошо чувствовать себя на рынке, не могут себе позволить покупать некачественное «железо». Использование множества разных систем также приведет к повышению цен на администрирование.
В итоге, у малых игроков рынка две опции: не входить в реестр и «делать вид, что эта ситуация происходит не с ними» ил нести убытки, повышать цены, но не быть по итогу купленными. Их не купят из-за уже упомянутого отсутствия возможности взять кредит.
👍3🔥3😱1
К посту выше, вообще сейчас сложное время, нужно быть супер адаптирующимся и готовым моментально подстроиться под любые изменения во внешней среде, что является ценой?
- Ценник на профи экспертов должен сдвинуться вверх, т.к. они незаменимые единицы сейчас и компании должны это понимать
- HR рынок подстраивается под работника
- ИТ спецам приходится работать в недостатке ресурсов и на сырых решениях
- фокус на ИБ и кибербезопастноть по максиму
- просто нервы ит спецов, т.к. постоянно отваливаются опоры
Но зато, лет через 10 у нас будет множество великолепных ит решений и продуктов, которые будут полностью конкурентно способны и в большинстве отраслей
- Ценник на профи экспертов должен сдвинуться вверх, т.к. они незаменимые единицы сейчас и компании должны это понимать
- HR рынок подстраивается под работника
- ИТ спецам приходится работать в недостатке ресурсов и на сырых решениях
- фокус на ИБ и кибербезопастноть по максиму
- просто нервы ит спецов, т.к. постоянно отваливаются опоры
Но зато, лет через 10 у нас будет множество великолепных ит решений и продуктов, которые будут полностью конкурентно способны и в большинстве отраслей
👍7🤔3
Тут появился рейтинг лучших ИТ работодателей, интересно😁 а вы что думаете?
https://habr.com/ru/specials/857092/
https://habr.com/ru/specials/857092/
Хабр
Всероссийский рейтинг IT-брендов работодателей 2024
Привет, Хабр!Представляем вашему вниманию ежегодный рейтинг IT-брендов работодателей от Хабра и ЭКОПСИ. Вот уже пятый год подряд мы проводим исследование, чтобы актуализировать образ работодателей и помочь айтишным соискателям лучше ориентироваться на рынке…
🔥5
Зачем IT-специалисту высшее образование? (в продолжении опроса)
Часто слышно мнение, что диплом — лишь формальность, подставка для кружки. Мол, освоил пару языков программирования или прошёл курс нкбольшой — и можно покорять вершины. Но так ли это на самом деле? Попробую поразмышлять, почему высшее образование играет ключевую роль как для разработчиков, аналитиков, так и для все ИТ направлений.
1. Глубина мышления и системное видение
Университет даёт не только знания о конкретных технологиях, но и понимание фундаментальных принципов построения систем. Понимание архитектуры, паттернов проектирования, принципов масштабирования — всё это закладывается через изучение базовых дисциплин и сложных проектов.
Аналитика — это не просто сбор требований и построение графиков. Это глубокий анализ бизнес-процессов, понимание причинно-следственных связей, умение формулировать гипотезы и проверять их. Высшее образование обучает системному мышлению, позволяя видеть не отдельные данные, а целостную картину.
2. Проектирование и решение комплексных задач
Создание эффективного и надёжного программного обеспечения требует понимания алгоритмов, структур данных и оптимизаций. Университетские дисциплины по алгоритмам, теория вычислительных машин, операционные системы, да и просто матан— это фундамент для решения нестандартных задач.
Например, для аналитиков: построение моделей прогнозирования, оптимизация бизнес-процессов, проведение A/B тестов — всё это опирается на глубокие знания статистики, теории вероятностей и эконометрики. Высшая школа помогает овладеть этим инструментарием на продвинутом уровне, правда надо реально учиться, а не просиживать штаны.
3. Как добывать знания и как делать инновации
Когда стандартные методы не работают, и задача выходит за рамки привычного — именно тогда на первый план выходит научный подход и высшее образование как раз учит:
- формулировать проблемы так, чтобы их можно было решать методично;
- проводить исследования, искать и критически оценивать источники информации;
- интегрировать знания из разных областей, создавая инновационные решения.
4. Математический аппарат и логическое мышление
Понимание сложности алгоритмов, работа с параллельными вычислениями, криптография — без серьёзной математической базы здесь не обойтись. Это не просто теоретические знания, а инструменты для создания эффективных и безопасных систем.
Например для аналитиков, математическая статистика, оптимизационные методы, теория игр — эти дисциплины позволяют аналитикам строить модели, которые реально работают и приносят ценность бизнесу, т.е. смотреть более широко.
5. Инженерное и аналитическое мышление
Высшее образование формирует определённый склад ума:
- стремление к оптимизации, надёжности и масштабируемости. Умение предвидеть проблемы и предотвращать их на этапе проектирования и прототипирования;
- способность видеть скрытые зависимости, понимать глубинные причины явлений, предлагать обоснованные рекомендации.
6. Этические и социальные аспекты
Итого, высшее образование — это не просто диплом на полке, как мне кажется, это глубокое понимание принципов, методологий и подходов, которые позволяют решать сложнейшие задачи и видеть решение там, где для многих тупик. Это умение мыслить системно, критически оценивать информацию и постоянно учиться новому.
В мире, где технологии меняются стремительно, фундаментальные знания и навыки, полученные в университете, становятся опорой, которая помогает не только идти в ногу со временем, но и опережать его. Поэтому ни один курс не даст этой базы, это та база, которая идёт от универа.
#почитать #размышления
Часто слышно мнение, что диплом — лишь формальность, подставка для кружки. Мол, освоил пару языков программирования или прошёл курс нкбольшой — и можно покорять вершины. Но так ли это на самом деле? Попробую поразмышлять, почему высшее образование играет ключевую роль как для разработчиков, аналитиков, так и для все ИТ направлений.
1. Глубина мышления и системное видение
Университет даёт не только знания о конкретных технологиях, но и понимание фундаментальных принципов построения систем. Понимание архитектуры, паттернов проектирования, принципов масштабирования — всё это закладывается через изучение базовых дисциплин и сложных проектов.
Аналитика — это не просто сбор требований и построение графиков. Это глубокий анализ бизнес-процессов, понимание причинно-следственных связей, умение формулировать гипотезы и проверять их. Высшее образование обучает системному мышлению, позволяя видеть не отдельные данные, а целостную картину.
2. Проектирование и решение комплексных задач
Создание эффективного и надёжного программного обеспечения требует понимания алгоритмов, структур данных и оптимизаций. Университетские дисциплины по алгоритмам, теория вычислительных машин, операционные системы, да и просто матан— это фундамент для решения нестандартных задач.
Например, для аналитиков: построение моделей прогнозирования, оптимизация бизнес-процессов, проведение A/B тестов — всё это опирается на глубокие знания статистики, теории вероятностей и эконометрики. Высшая школа помогает овладеть этим инструментарием на продвинутом уровне, правда надо реально учиться, а не просиживать штаны.
3. Как добывать знания и как делать инновации
Когда стандартные методы не работают, и задача выходит за рамки привычного — именно тогда на первый план выходит научный подход и высшее образование как раз учит:
- формулировать проблемы так, чтобы их можно было решать методично;
- проводить исследования, искать и критически оценивать источники информации;
- интегрировать знания из разных областей, создавая инновационные решения.
4. Математический аппарат и логическое мышление
Понимание сложности алгоритмов, работа с параллельными вычислениями, криптография — без серьёзной математической базы здесь не обойтись. Это не просто теоретические знания, а инструменты для создания эффективных и безопасных систем.
Например для аналитиков, математическая статистика, оптимизационные методы, теория игр — эти дисциплины позволяют аналитикам строить модели, которые реально работают и приносят ценность бизнесу, т.е. смотреть более широко.
5. Инженерное и аналитическое мышление
Высшее образование формирует определённый склад ума:
- стремление к оптимизации, надёжности и масштабируемости. Умение предвидеть проблемы и предотвращать их на этапе проектирования и прототипирования;
- способность видеть скрытые зависимости, понимать глубинные причины явлений, предлагать обоснованные рекомендации.
6. Этические и социальные аспекты
Итого, высшее образование — это не просто диплом на полке, как мне кажется, это глубокое понимание принципов, методологий и подходов, которые позволяют решать сложнейшие задачи и видеть решение там, где для многих тупик. Это умение мыслить системно, критически оценивать информацию и постоянно учиться новому.
В мире, где технологии меняются стремительно, фундаментальные знания и навыки, полученные в университете, становятся опорой, которая помогает не только идти в ногу со временем, но и опережать его. Поэтому ни один курс не даст этой базы, это та база, которая идёт от универа.
#почитать #размышления
👍6🔥3👎2
ИТ наизнанку | Владимир Ловцов
Немного устал, но уже почти восстановился, до нового года наверное энергии хаватит🏋️♂️ . Короче, обещал не раз про начало курса по Системному анализу, в общем заходите в отдельный чат, данный чат только для обучения, не всех возьму и не всех добавлю, т.к.…
Набор закрыл, в фокус группу войдёт 10 человек.
🔥3😭2
Как ни странно, свалился с болезнью повторно, чуть торможу активности. Голоса почти нет и температура никак не уходит нормально. Но уже лучше, не теряйте!
👍5❤2
Самое обидное, что кажется не попаду в родной университет на Импульс Москва..., надеюсь до Хайлоуда Москва будет лучше. Нельзя такие события пропускать, но вирусы и бактерии не спрашивают😂
В тему набравших популярность постов об отмене отсрочки
Forwarded from Минцифры России
В СМИ появилась информация о том, что в скором времени будет отменена ИТ-отсрочка. Это не так. Отсрочка для ИТ-специалистов, в том числе от прохождения срочной службы, продолжает действовать, здесь ничего не меняется.
Были скорректированы общие правила бронирования сотрудников компаний из всех отраслей экономики. Речь идёт о перечне условий, при которых организация признаётся обеспечивающей устойчивую работу экономики и получает по отдельному решению право бронирования своих сотрудников.
Никаких специальных изменений для ИТ-отрасли нет, уже оформленные брони сотрудникам ИТ-компаний продолжают действовать до 21 марта 2025 года. После этой даты получить бронь можно будет по новым условиям. В течение декабря мы доведём до сведения ИТ-компаний обновлённые условия оформления брони.
@mintsifry
Please open Telegram to view this post
VIEW IN TELEGRAM
👏1
Когда мозг пылает, а задачи не становятся проще....
Сижу, значит, дома, состояние адское — какая то простуда скосила, голова трещит, сил нет, а вот на брейншторм почему-то есть. И вот параллельно с попытками заварить чай без того, чтобы забыть, зачем вообще я на кухню пришел, я ломаю голову над задачей: как, чёрт возьми, обработать таблицу весом в 1 ТБ в своей текущей архитектуре?
Тут не просто «пару строк фильтрануть». Тут джойны. Множество джойнов. Сложные операции над всем массивом данных, где результат зависит от всей картины. И вот я сижу, думаю, что использовать и какие инструменты, возможно как бы заставить Apache Spark и Tarantool, это своеобразное «братство», справиться с этой задачей.
Почему это сложнее, чем кажется?
Во-первых, 1 ТБ — это уже не «загрузим в память и поехали». Тут каждый шаг приходится продумывать:
- как разрезать данные на куски, чтобы всё не утонуло в shuffle?
- как джойнить, когда обе таблицы большие?
- как сделать так, чтобы Tarantool на своей стороне не упал в ступор, пока Spark крутит свои колеса?
Во-вторых, я не хочу Hadoop, есть нюансы. Всё на Kubernetes, где Spark чувствует себя более-менее комфортно, но вот Tarantool — это NoSQL-хранилище, которое изначально не заточено под такие сценарии. И да, оно быстрое, гибкое, поддерживает шардирование, но заставить его дружить с задачами масштаба «обработай 1 ТБ за приемлемое время» — это прям испытание, а ещё и со спарком)
Что я придумал (между приступами кашля)? (Возможно придя в себя, пойму, что создаю монстра)
1. Шардирование спасает мир
Без Tarantool vshard здесь вообще никуда. Распределяю данные по нескольким узлам, чтобы не было узких мест. Spark при этом тоже помогает — можно настроить обработку данных параллельно, забирая части таблиц с каждого узла.
2. Делим на куски
Идея проста: даже 1 ТБ можно разбить на более мелкие порции. Можно агрегировать часть данных до джойнов, чтобы уменьшить их объем.
3. Джойны с умом
Тут выбор подхода: либо джойнить данные в Spark через партиции (если таблицы большие), либо попробовать схитрить и сделать часть работы заранее в Tarantool.
4. Хранилище для промежуточных данных
Иногда проще выгрузить часть расчетов в промежуточное хранилище (тот же S3) и работать с результатами как с новым источником данных.
Вопрос на миллион
А нужен ли мне вообще такой подход? Может, проще выделить одну задачу для Tarantool, другую для Spark? Или всё-таки объединить их возможности, чтобы найти баланс между скоростью Tarantool и мощью Spark?
Сижу, ломаю голову, и понимаю: такие задачи — это как раз тот случай, когда тебе одновременно нужен грамотный подход и хороший аспирин.
P.S. параллельно кручу другие связки, но пока ещё не взвесил все за и против.
Сижу, значит, дома, состояние адское — какая то простуда скосила, голова трещит, сил нет, а вот на брейншторм почему-то есть. И вот параллельно с попытками заварить чай без того, чтобы забыть, зачем вообще я на кухню пришел, я ломаю голову над задачей: как, чёрт возьми, обработать таблицу весом в 1 ТБ в своей текущей архитектуре?
Тут не просто «пару строк фильтрануть». Тут джойны. Множество джойнов. Сложные операции над всем массивом данных, где результат зависит от всей картины. И вот я сижу, думаю, что использовать и какие инструменты, возможно как бы заставить Apache Spark и Tarantool, это своеобразное «братство», справиться с этой задачей.
Почему это сложнее, чем кажется?
Во-первых, 1 ТБ — это уже не «загрузим в память и поехали». Тут каждый шаг приходится продумывать:
- как разрезать данные на куски, чтобы всё не утонуло в shuffle?
- как джойнить, когда обе таблицы большие?
- как сделать так, чтобы Tarantool на своей стороне не упал в ступор, пока Spark крутит свои колеса?
Во-вторых, я не хочу Hadoop, есть нюансы. Всё на Kubernetes, где Spark чувствует себя более-менее комфортно, но вот Tarantool — это NoSQL-хранилище, которое изначально не заточено под такие сценарии. И да, оно быстрое, гибкое, поддерживает шардирование, но заставить его дружить с задачами масштаба «обработай 1 ТБ за приемлемое время» — это прям испытание, а ещё и со спарком)
Что я придумал (между приступами кашля)? (Возможно придя в себя, пойму, что создаю монстра)
1. Шардирование спасает мир
Без Tarantool vshard здесь вообще никуда. Распределяю данные по нескольким узлам, чтобы не было узких мест. Spark при этом тоже помогает — можно настроить обработку данных параллельно, забирая части таблиц с каждого узла.
2. Делим на куски
Идея проста: даже 1 ТБ можно разбить на более мелкие порции. Можно агрегировать часть данных до джойнов, чтобы уменьшить их объем.
3. Джойны с умом
Тут выбор подхода: либо джойнить данные в Spark через партиции (если таблицы большие), либо попробовать схитрить и сделать часть работы заранее в Tarantool.
4. Хранилище для промежуточных данных
Иногда проще выгрузить часть расчетов в промежуточное хранилище (тот же S3) и работать с результатами как с новым источником данных.
Вопрос на миллион
А нужен ли мне вообще такой подход? Может, проще выделить одну задачу для Tarantool, другую для Spark? Или всё-таки объединить их возможности, чтобы найти баланс между скоростью Tarantool и мощью Spark?
Сижу, ломаю голову, и понимаю: такие задачи — это как раз тот случай, когда тебе одновременно нужен грамотный подход и хороший аспирин.
P.S. параллельно кручу другие связки, но пока ещё не взвесил все за и против.
🔥4😱2👍1
Короче, не знаю, что за ерунду я подхватил в поездке... Но не вылечился до сих пор, а пообщавшись с несколькими руководителями из разных компаний узнал, что у некоторых сейчас чуть ли не половина болеет и вроде как всё начинается с горла.... У меня вот за последние 4 недели 3 раза голос пропадал полностью... В общем, будьте здоровы и берегите себя) Т.к. на больничном особо не поваляешься: коллеги "скучают", твою работу никто не сделает и CФР много не заплатит. А чтобы не было скушно, небольшое чтиво - ссылка
P.S. мини-статейка навеяна общением с СА))) Расписывать много не стал, так о чем подумал)
P.S. мини-статейка навеяна общением с СА))) Расписывать много не стал, так о чем подумал)
👏3😭1