ИТ наизнанку | Владимир Ловцов – Telegram
ИТ наизнанку | Владимир Ловцов
1.07K subscribers
137 photos
10 videos
1 file
99 links
Будни ИТ без «ванили».
Реальные истории, хаос и управление проектами.
Помогаю специалистам — от старта в ИТ до роста в лиды.
Консультирую компании — продукты под ключ, команды на максимум.

Ассистент для связи: @VMLovtsov_assistant
Download Telegram
⚙️ Проектирование системы для обработки данных в реальном времени

Доброй ночи, товарищи ИТшники! 😴 Хочу немного поделиться мыслями о последних вызовах, с которыми пришлось столкнуться в рамках моего текущего проекта. На повестке дня — проектирование системы для обработки больших массивов клиентских данных за определённый временной промежуток. Архитектурные решения основываются на существующей концептуальной модели моего текущего 🌟 real-time решения. Такая вот задача. 🙂

🗝️ Ключевые аспекты проектирования

В таких задачах критически важно не просто учитывать ключевые параметры — такие как производительность, масштабируемость, отказоустойчивость, эластичность и т.п. — но и обеспечивать баланс между вычислительными ресурсами и требованиями к SLA, которые исходят от бизнеса. Мы говорим здесь о high-load архитектуре, где даже незначительная ошибка в оценке ресурсов или архитектурных паттернов может привести к деградации системы.

🏗️ Архитектурные решения

Архитектура строится на базе микросервисного подхода с активным использованием контейнеризации (Kubernetes) для лучшей управляемости и гибкости. Применяются такие шаблоны, как sidecar для мониторинга и управления конфигурациями, а также для обеспечения сетевой безопасности через service mesh. Строгая изоляция сервисов и возможность горизонтального масштабирования обеспечиваются с учётом потенциальных узких мест, таких как лимиты на пул соединений с базами данных и необходимость оптимизации состояния контейнеров через автоскейлинг на основе HPA (Horizontal Pod Autoscaler).

⚖️ Управление согласованностью данных

Для управления согласованностью данных и поддержания eventual consistency применяем паттерны CQRS и Saga. В частности, для координации распределённых транзакций используем оркестрацию через специализированные инструменты, что позволяет более гибко управлять сложными бизнес-процессами. Важно также учитывать стратегию обработки ошибок и повторных попыток (retry policies), чтобы минимизировать влияние транзиентных отказов на пользовательский опыт.

🔄 Потоки данных и взаимодействие между сервисами

Потоки данных организованы через асинхронные механизмы с использованием Apache Kafka как основной системы очередей, а также для обеспечения Pub/Sub взаимодействия между микросервисами. В случае обработки данных в реальном времени интегрированы Apache Flink, что позволяет поддерживать высокую пропускную способность и низкие задержки. Взаимодействие между сервисами осуществляется через REST API в зависимости от требований к производительности и объему данных, при этом применяется API Gateway для унификации внешних интерфейсов и обеспечения дополнительных механизмов безопасности, таких как rate limiting и авторизация.

🗄️ Кэширование

Архитектура предусматривает применение различных стратегий кэширования — от локального кэша в каждом сервисе до распределенного кэша на базе Tarantool, что существенно сокращает нагрузку на основную базу данных и снижает время отклика для конечных пользователей.

🌟 Уникальность проекта

Этот проект уникален не только в рамках компании 🏢, где я работаю, но и в рамках СНГ 🌍 по масштабу и по сложности. Это серьёзный вызов не только для меня, но и для команды 👥, но именно такие задачи позволяют максимально раскрыть потенциал архитектурных решений 🏗️, синхронизировать технологии и бизнес-цели 💼. Создать такую систему — значит заложить фундамент 🧱 для масштабирования и эволюции бизнеса 📈 в условиях непрерывно растущих требований.

В общем, доброй ночи! 🌙🙂 Это так, мысли на ночь. А в ноябре я всё-таки выйду на конференцию "Импульс" и расскажу о своём решении. Буду рад пообщаться в кулуарах. 💬

#ИнженерныеПрактики
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍32
Тут небольшие новости для мира ИТ

1. Наших ребят выкинули из Линекс.... эта новость крайне отвратительная, т.к. нанесён как по мне серьёзный ущерб open community и Linux уже кажется не такой прекрасной ОС. Что дальше?

2. У части компаний в РФ "убили" оплаченные лицензии на продукты JetBrains, пока слухи, но не верю, что они на пустом месте

3. Apple выплатит до $1 млн за взлом системы Private Cloud Compute, в общем пытаются найти уязвимости...

4. Nvidia, та самая компания, которая делает видеокарты для ML и вообще AI стала самой дорогой, но долго там не продержалась


Но если честно, меня больше беспокоит вторая и первая))) после такого, хочется просто крякать ПО и забыть о лицензиями внешнего мира...
😱7😭1
Немного устал, но уже почти восстановился, до нового года наверное энергии хаватит🏋️‍♂️. Короче, обещал не раз про начало курса по Системному анализу, в общем заходите в отдельный чат, данный чат только для обучения, не всех возьму и не всех добавлю, т.к. есть ограничения по количеству.

@it_underside
Please open Telegram to view this post
VIEW IN TELEGRAM
👍61😁1
Это прям правда и огромная боль ⬇️
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from СофтТех
Управляющий партнер и основатель российского хостинг-провайдера RUVDS опубликовал на Habr’е длинный текст о положении дел в отрасли. Спойлер – все тяжело.

Дефицит ЦОДов


Из-за высоких ставок Центробанка исчезла возможность строить ЦОДы в кредит. Иных способов строить дата-центры нет из-за невероятно высокой их стоимости. Раньше брался кредит, а потом он выплачивался из продажи мощностей. Больше такой опции нет.

При этом, дефицит стойко-мест растет. В прошлом при постройке ЦОДа 80% мощностей раскупалось на стадии строительства. Сейчас ситуация еще хуже. При этом, цена размещения уже выросла на 9-21% в зависимости от колокации в России. Впрочем, это и неудивительно – сами сервера тоже дорожают.

IPO как решение


Для многих компаний IPO стало единственным выходом получить капитал – акционерный капитал стал выгоднее заемного. Именно с этим связан бум на IPO в последнее время.

Однако, у этого решения тоже есть свои «минусы» – рынок не в лучшем состоянии, сами компании будут оценены не слишком высоко. К тому же, много внешних рисков. Иными словами, выход на IPO сегодня – это выход за мелкий прайс.

Налоговая реформа

Новые налоговые правила тоже сказываются на IT-бизнесе. В первую очередь, речь о НДС: раньше на «упрощенке» почти все работали на налоговой ставке без НДС, но сегодня компаниям приходится платить 5% или 7%.

Это приводит к подорожанию товаров и услуг – заплаченный НДС включается в цену. Многие из IT-компаний не зарегистрированы в реестре ПО и не имеют льгот по НДС. Компаниям приходится принимать решение – оставаться на «упрощенке» или переходить на общую систему налогообложения. Выбор между тем чтобы оставаться на этой схеме и вести учёт или тоже менять кучу процессов и строить отдел бухгалтерии.

Админов. net

RUVDS прособеседовали порядка 200 человек на роль DevOps чтобы найти двоих, которые подходят по компетенциям. Всех хороших специалистов собирают крупные компании, например, Сбер, а на рынке труда остаются специалисты средней и низкой квалификации.

Из-за этого, создать хостинговую компанию сегодня с нуля невозможно – набор команды, который раньше занимал 2-3 месяца сегодня займет год. И не забываем про недоступность кредитных средств.

В следующем году новые бизнесы запускаться не будут. По крайней мере, в нашей сфере. Ну только если слабоумие, отвага, Сбер и Яндекс.


Сильные не смогли поглотить слабых

Вместо ожидаемого поглощения малых игроков крупными гигантами, на рынке для мелких игроков началось телепередача «сдохни или умри». Наибольшее влияние оказывают действия регуляторки – расходы растут и требуют поднимать цены чуть ли не каждый месяц.

Есть и другой вариант – экономить на качестве, но многие компании, чтобы хорошо чувствовать себя на рынке, не могут себе позволить покупать некачественное «железо». Использование множества разных систем также приведет к повышению цен на администрирование.

В итоге, у малых игроков рынка две опции: не входить в реестр и «делать вид, что эта ситуация происходит не с ними» ил нести убытки, повышать цены, но не быть по итогу купленными. Их не купят из-за уже упомянутого отсутствия возможности взять кредит.
👍3🔥3😱1
К посту выше, вообще сейчас сложное время, нужно быть супер адаптирующимся и готовым моментально подстроиться под любые изменения во внешней среде, что является ценой?

- Ценник на профи экспертов должен сдвинуться вверх, т.к. они незаменимые единицы сейчас и компании должны это понимать

- HR рынок подстраивается под работника

- ИТ спецам приходится работать в недостатке ресурсов и на сырых решениях

- фокус на ИБ и кибербезопастноть по максиму

- просто нервы ит спецов, т.к. постоянно отваливаются опоры


Но зато, лет через 10 у нас будет множество великолепных ит решений и продуктов, которые будут полностью конкурентно способны и в большинстве отраслей
👍7🤔3
Важно ли иметь высшее образование в ИТ?
Anonymous Poll
57%
Да
43%
Нет
Зачем IT-специалисту высшее образование? (в продолжении опроса)

Часто слышно мнение, что диплом — лишь формальность, подставка для кружки. Мол, освоил пару языков программирования или прошёл курс нкбольшой — и можно покорять вершины. Но так ли это на самом деле? Попробую поразмышлять, почему высшее образование играет ключевую роль как для разработчиков, аналитиков, так и для все ИТ направлений.

1. Глубина мышления и системное видение

Университет даёт не только знания о конкретных технологиях, но и понимание фундаментальных принципов построения систем. Понимание архитектуры, паттернов проектирования, принципов масштабирования — всё это закладывается через изучение базовых дисциплин и сложных проектов.
Аналитика — это не просто сбор требований и построение графиков. Это глубокий анализ бизнес-процессов, понимание причинно-следственных связей, умение формулировать гипотезы и проверять их. Высшее образование обучает системному мышлению, позволяя видеть не отдельные данные, а целостную картину.

2. Проектирование и решение комплексных задач

Создание эффективного и надёжного программного обеспечения требует понимания алгоритмов, структур данных и оптимизаций. Университетские дисциплины по алгоритмам, теория вычислительных машин, операционные системы, да и просто матан— это фундамент для решения нестандартных задач.

Например, для аналитиков: построение моделей прогнозирования, оптимизация бизнес-процессов, проведение A/B тестов — всё это опирается на глубокие знания статистики, теории вероятностей и эконометрики. Высшая школа помогает овладеть этим инструментарием на продвинутом уровне, правда надо реально учиться, а не просиживать штаны.

3. Как добывать знания и как делать инновации

Когда стандартные методы не работают, и задача выходит за рамки привычного — именно тогда на первый план выходит научный подход и высшее образование как раз учит:

- формулировать проблемы так, чтобы их можно было решать методично;
- проводить исследования, искать и критически оценивать источники информации;
- интегрировать знания из разных областей, создавая инновационные решения.

4. Математический аппарат и логическое мышление

Понимание сложности алгоритмов, работа с параллельными вычислениями, криптография — без серьёзной математической базы здесь не обойтись. Это не просто теоретические знания, а инструменты для создания эффективных и безопасных систем.

Например для аналитиков, математическая статистика, оптимизационные методы, теория игр — эти дисциплины позволяют аналитикам строить модели, которые реально работают и приносят ценность бизнесу, т.е. смотреть более широко.

5. Инженерное и аналитическое мышление

Высшее образование формирует определённый склад ума:

- стремление к оптимизации, надёжности и масштабируемости. Умение предвидеть проблемы и предотвращать их на этапе проектирования и прототипирования;
- способность видеть скрытые зависимости, понимать глубинные причины явлений, предлагать обоснованные рекомендации.

6. Этические и социальные аспекты

Итого, высшее образование — это не просто диплом на полке, как мне кажется, это глубокое понимание принципов, методологий и подходов, которые позволяют решать сложнейшие задачи и видеть решение там, где для многих тупик. Это умение мыслить системно, критически оценивать информацию и постоянно учиться новому.
В мире, где технологии меняются стремительно, фундаментальные знания и навыки, полученные в университете, становятся опорой, которая помогает не только идти в ногу со временем, но и опережать его. Поэтому ни один курс не даст этой базы, это та база, которая идёт от универа.

#почитать #размышления
👍6🔥3👎2
Как ни странно, свалился с болезнью повторно, чуть торможу активности. Голоса почти нет и температура никак не уходит нормально. Но уже лучше, не теряйте!
👍52
Самое обидное, что кажется не попаду в родной университет на Импульс Москва..., надеюсь до Хайлоуда Москва будет лучше. Нельзя такие события пропускать, но вирусы и бактерии не спрашивают😂
В тему набравших популярность постов об отмене отсрочки
ИТ-отсрочка продолжает действовать

В СМИ появилась информация о том, что в скором времени будет отменена ИТ-отсрочка. Это не так. Отсрочка для ИТ-специалистов, в том числе от прохождения срочной службы, продолжает действовать, здесь ничего не меняется.

Были скорректированы общие правила бронирования сотрудников компаний из всех отраслей экономики. Речь идёт о перечне условий, при которых организация признаётся обеспечивающей устойчивую работу экономики и получает по отдельному решению право бронирования своих сотрудников.

Никаких специальных изменений для ИТ-отрасли нет, уже оформленные брони сотрудникам ИТ-компаний продолжают действовать до 21 марта 2025 года. После этой даты получить бронь можно будет по новым условиям. В течение декабря мы доведём до сведения ИТ-компаний обновлённые условия оформления брони.

@mintsifry
Please open Telegram to view this post
VIEW IN TELEGRAM
👏1
Когда мозг пылает, а задачи не становятся проще....

Сижу, значит, дома, состояние адское — какая то простуда скосила, голова трещит, сил нет, а вот на брейншторм почему-то есть. И вот параллельно с попытками заварить чай без того, чтобы забыть, зачем вообще я на кухню пришел, я ломаю голову над задачей: как, чёрт возьми, обработать таблицу весом в 1 ТБ в своей текущей архитектуре?

Тут не просто «пару строк фильтрануть». Тут джойны. Множество джойнов. Сложные операции над всем массивом данных, где результат зависит от всей картины. И вот я сижу, думаю, что использовать и какие инструменты, возможно как бы заставить Apache Spark и Tarantool, это своеобразное «братство», справиться с этой задачей.

Почему это сложнее, чем кажется?
Во-первых, 1 ТБ — это уже не «загрузим в память и поехали». Тут каждый шаг приходится продумывать:
- как разрезать данные на куски, чтобы всё не утонуло в shuffle?
- как джойнить, когда обе таблицы большие?
- как сделать так, чтобы Tarantool на своей стороне не упал в ступор, пока Spark крутит свои колеса?

Во-вторых, я не хочу Hadoop, есть нюансы. Всё на Kubernetes, где Spark чувствует себя более-менее комфортно, но вот Tarantool — это NoSQL-хранилище, которое изначально не заточено под такие сценарии. И да, оно быстрое, гибкое, поддерживает шардирование, но заставить его дружить с задачами масштаба «обработай 1 ТБ за приемлемое время» — это прям испытание, а ещё и со спарком)

Что я придумал (между приступами кашля)? (Возможно придя в себя, пойму, что создаю монстра)

1. Шардирование спасает мир
Без Tarantool vshard здесь вообще никуда. Распределяю данные по нескольким узлам, чтобы не было узких мест. Spark при этом тоже помогает — можно настроить обработку данных параллельно, забирая части таблиц с каждого узла.

2. Делим на куски
Идея проста: даже 1 ТБ можно разбить на более мелкие порции. Можно агрегировать часть данных до джойнов, чтобы уменьшить их объем.

3. Джойны с умом
Тут выбор подхода: либо джойнить данные в Spark через партиции (если таблицы большие), либо попробовать схитрить и сделать часть работы заранее в Tarantool.

4. Хранилище для промежуточных данных
Иногда проще выгрузить часть расчетов в промежуточное хранилище (тот же S3) и работать с результатами как с новым источником данных.

Вопрос на миллион

А нужен ли мне вообще такой подход? Может, проще выделить одну задачу для Tarantool, другую для Spark? Или всё-таки объединить их возможности, чтобы найти баланс между скоростью Tarantool и мощью Spark?

Сижу, ломаю голову, и понимаю: такие задачи — это как раз тот случай, когда тебе одновременно нужен грамотный подход и хороший аспирин.

P.S. параллельно кручу другие связки, но пока ещё не взвесил все за и против.
🔥4😱2👍1
Короче, не знаю, что за ерунду я подхватил в поездке... Но не вылечился до сих пор, а пообщавшись с несколькими руководителями из разных компаний узнал, что у некоторых сейчас чуть ли не половина болеет и вроде как всё начинается с горла.... У меня вот за последние 4 недели 3 раза голос пропадал полностью... В общем, будьте здоровы и берегите себя) Т.к. на больничном особо не поваляешься: коллеги "скучают", твою работу никто не сделает и CФР много не заплатит. А чтобы не было скушно, небольшое чтиво - ссылка

P.S. мини-статейка навеяна общением с СА))) Расписывать много не стал, так о чем подумал)
👏3😭1
Говорят, что растут, но надо понимать, что инфляция адская и об этом не говорят😁
Forwarded from СофтТех
Зарплаты IT-шников растут из-за дефицита кадров

Глава Минцифры Максут Шадаев на совещании президента с членами кабинета министров заявил, что средняя зарплата IT-специалистов в стране достигла 185 тыс. рублей. И виноват в этом дефицит кадров:

Только за восемь месяцев этого года еще 100 тыс. человек пришли в IT-отрасль. Зарплата средняя — 185 тыс. руб. То есть у нас серьёзным образом разрыв между средней зарплатой в экономике и средней зарплатой в IT-отрасли растёт. Это свидетельствует о том, что нам не хватает кадров.


Причину дефицита кадров глава Минцифры видит в быстром росте отрасли – лишь за 6 месяцев текущего года IT-сфера выросла на 63% по сравнению с концом прошлого. Естественно растут не только объемы рынка и выручки компаний, но и спрос на сотрудников.

Чтобы справиться с дефицитом кадров (и, следовательно, ростом оплаты труда), Минцифры планирует привлечь в IT-сферу 700 тыс. новых разработчиков до 2030 года. Это почти удвоение текущего количества – сегодня в IT-компаниях занято около 850 тыс. человек. Фокус должен быть сделан на специалистов в области ИИ и робототехники.

™️ Как бы то ни было, нужно понимать, что дефицит кадров не только в IT-отрасли, и разрыв по зарплатам не так велик, как может показаться. Растут зарплаты и в обычных рабочих профессиях. 185 тыс. рублей средней зарплаты как будто даже меркнут после разговоров о том, что зарплаты курьеров в Москве в декабре составят 300 тыс. рублей в месяц. Зарплаты в IT будут и должны расти дальше, иначе образ сферы как привлекательной и высокооплачиваемой может схлопнуться📌
Please open Telegram to view this post
VIEW IN TELEGRAM
5😱2🤮1
Что и ожидалось, но затронет это пока только большие корпорации
Китайские компании массово заменяют HR-специалистов на искусственный интеллект. ИИ способен проводить до 2500 собеседований в день, что привлекает работодателей. Кандидаты также оценили нововведение: общение с программой вызывает меньше стресса, чем с живыми рекрутерами. @bezposhady
🤣9👍1
В общем сдигаю свой курс на 20 января!!

Владимир, почему такие перемены? Вы не держите сроков!

Ах, если бы! Как говорится порой у человека написана в душе: "люблю и жду сложностей, особенно их решать"😂😂

Сначала крайне сложная продажа квартиры, потом ребёнок после больницы оправлялся и затем в добавок микоплазма на всю семью, да так что уже пошла шестая неделя отвратительного самочувствия, вот как то так. ДУМАЕТЕ ВСЁ? Нет, переезд и уже 2й по счёту за год... Я своё слово держу, только вот из непредсказуемых ad-hoc событий планы меняются так, что предсказать некоторые события не просто крайне сложно, а практически невозможно, а вероятность того, что в небольшой промежуток времени выстрелит всё.. ну не знаю)))
5👍2😱2