С вас честное мнение, с нас приятный бонус 👀
Помогите нам сделать следующую конференцию Data Internals X еще лучше и полезнее, пройдя небольшой опрос!
В конце опроса — ссылки на ранний доступ к видео с докладами
Помогите нам сделать следующую конференцию Data Internals X еще лучше и полезнее, пройдя небольшой опрос!
В конце опроса — ссылки на ранний доступ к видео с докладами
❤6👍3
В IT и науке в России полно крутых экспертов, которые делают масштабные tech проекты, но редко выходят в публичное пространство.
Мы, Tech Kitchen, делаем так, чтобы это менялось:
🙌 Помогаем экспертам делиться знаниями и получать обратную связь от сообщества
🚀 Создаем точку притяжения для тех, кто любит науку, технологии и хочет прокачивать экспертизу
🧠 Показываем технологии «под другим соусом», чтобы заглянуть на технологическую кухню и удивиться, что даже серьезные вещи могут быть увлекательными!
Подписывайся и залипай на тех, кто двигает tech!
Мы, Tech Kitchen, делаем так, чтобы это менялось:
🙌 Помогаем экспертам делиться знаниями и получать обратную связь от сообщества
🚀 Создаем точку притяжения для тех, кто любит науку, технологии и хочет прокачивать экспертизу
🧠 Показываем технологии «под другим соусом», чтобы заглянуть на технологическую кухню и удивиться, что даже серьезные вещи могут быть увлекательными!
Подписывайся и залипай на тех, кто двигает tech!
❤4👍2🔥2
Media is too big
VIEW IN TELEGRAM
Современный data engineering — это искусство управления потоками данных в реальном времени.
Как построить надежные ETL/ELT пайплайнов, работать с Apache Kafka и Spark в production, организовать data lake и data mesh архитектур?
🖐️ Приглашаем вас на HighLoad++ 2025 — в секции «Data Engineering» вас ждут 9 докладов с ответами на эти вопросы. Вы разберете весь путь данных: от сбора и валидации до обработки и доставки в хранилища. Речь пойдет о системах, обрабатывающих миллиарды событий в день.
Узнайте, как обеспечить качество данных, минимизировать задержки и масштабировать обработку.
Приходите и забирайте готовые решения для своих проектов!
🔴 Форматы участия: онлайн и офлайн
Проходите на сайт, выбирайте доклады на актуальные для вас темы и присоединяйтесь к нам 6 и 7 ноября на HighLoad++ 2025 🙌
Как построить надежные ETL/ELT пайплайнов, работать с Apache Kafka и Spark в production, организовать data lake и data mesh архитектур?
🖐️ Приглашаем вас на HighLoad++ 2025 — в секции «Data Engineering» вас ждут 9 докладов с ответами на эти вопросы. Вы разберете весь путь данных: от сбора и валидации до обработки и доставки в хранилища. Речь пойдет о системах, обрабатывающих миллиарды событий в день.
Узнайте, как обеспечить качество данных, минимизировать задержки и масштабировать обработку.
Приходите и забирайте готовые решения для своих проектов!
Проходите на сайт, выбирайте доклады на актуальные для вас темы и присоединяйтесь к нам 6 и 7 ноября на HighLoad++ 2025 🙌
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍2🔥2
Система управления базами данных — звучит страшно и очень громоздко. Но мы сегодня остановимся только на ключевом с точки зрения производительности компоненте — системе хранения данных.
Программист Владимир Комаров рассказал, как развивались системы управления базами данных:
✦ С чего все начиналось
✦ Как система хранения данных СУБД эволюционировала
✦ В каком состоянии эта область находится сейчас
✦ Существует ли идеальная СУБД, и если нет, то как приблизиться к идеалу
Читать статью
🔥 — уже читаю
❤️ — сохраню, вернусь позже
👍 — отправлю друллеге
Программист Владимир Комаров рассказал, как развивались системы управления базами данных:
✦ С чего все начиналось
✦ Как система хранения данных СУБД эволюционировала
✦ В каком состоянии эта область находится сейчас
✦ Существует ли идеальная СУБД, и если нет, то как приблизиться к идеалу
Читать статью
🔥 — уже читаю
❤️ — сохраню, вернусь позже
👍 — отправлю друллеге
Хабр
Эволюция архитектуры баз данных
Система управления базами данных — крайне сложный программный продукт, и рассказ о его архитектуре потянет на целый увесистый том. А поскольку заголовок обещает нам не просто «архитектуру», а даже...
❤4🔥4👍3🌚1
🚀 Ищем волонтеров на крупнейшие IT-конференции в Москве!
HighLoad++ — это конференция в России и СНГ, посвященная разработке высоконагруженных систем, архитектуре, инфраструктуре и масштабированию.
TeamLead Conf — единственная профессиональная конференция для тимлидов и руководителей не только из IT.
Если тебе интересно увидеть закулисье одного из самых масштабных IT-событий страны, получить опыт организации конференции и стать частью сильной команды — присоединяйся к волонтерам 💪
🗓 Даты участия: 4–11 ноября (можно выбрать 4 дня или один из дней)
📍 Место проведения: Технопарк «Сколково»
Что тебя ждет:
– доступ к записям выступлений и атмосфера закулисья
– уникальный опыт работы на ведущих конференциях в России
– общение с экспертами и профессионалами из крупнейших IT-компаний
– понятные задачи и поддержка координаторов
– полноценное питание в дни работы
– и, конечно, участие в легендарном afterparty 🎉
Задачи волонтеров: работа в залах, помощь в логистике на площадке, регистрация участников, помощь в зоне выставки.
Участие предполагает присутствие в день до конференции, чтобы познакомиться с командой, подготовиться к работе и пройти инструктаж, и два дня самого события.
📩 Чтобы присоединиться, заполни анкету волонтера — мы свяжемся с тобой после рассмотрения заявки.
Расскажи о наборе друзьям, приходите вместе — давайте создавать легендарную атмосферу 🔥
HighLoad++ — это конференция в России и СНГ, посвященная разработке высоконагруженных систем, архитектуре, инфраструктуре и масштабированию.
TeamLead Conf — единственная профессиональная конференция для тимлидов и руководителей не только из IT.
Если тебе интересно увидеть закулисье одного из самых масштабных IT-событий страны, получить опыт организации конференции и стать частью сильной команды — присоединяйся к волонтерам 💪
🗓 Даты участия: 4–11 ноября (можно выбрать 4 дня или один из дней)
📍 Место проведения: Технопарк «Сколково»
Что тебя ждет:
– доступ к записям выступлений и атмосфера закулисья
– уникальный опыт работы на ведущих конференциях в России
– общение с экспертами и профессионалами из крупнейших IT-компаний
– понятные задачи и поддержка координаторов
– полноценное питание в дни работы
– и, конечно, участие в легендарном afterparty 🎉
Задачи волонтеров: работа в залах, помощь в логистике на площадке, регистрация участников, помощь в зоне выставки.
Участие предполагает присутствие в день до конференции, чтобы познакомиться с командой, подготовиться к работе и пройти инструктаж, и два дня самого события.
📩 Чтобы присоединиться, заполни анкету волонтера — мы свяжемся с тобой после рассмотрения заявки.
Расскажи о наборе друзьям, приходите вместе — давайте создавать легендарную атмосферу 🔥
🔥5❤4👌3
🔥1
Data Internals
Redpanda VS Apache Kafka
Между стабильностью и скоростью: Redpanda или Kafka?
Своим мнением на этот счёт поделился член ПК Data Internals X и спикер HighLoad ++ 2024, Петр Гуринов:
Своим мнением на этот счёт поделился член ПК Data Internals X и спикер HighLoad ++ 2024, Петр Гуринов:
Интересно, как поделились голоса: 40% и 60%. Хотя я и отдал свой голос за Redpanda, ожидал большего разрыва в пользу Kafka.
В проде мы с командой по-прежнему используем Kafka и постепенно переезжаем на KRaft. Остаёмся на ней, потому что за годы работы накопили большой опыт её поддержки: от эксплуатации и тюнинга до мониторинга и быстрого решения инцидентов. А главное — мы любим Kafka за большое комьюнити и зрелую экосистему.
Но для новых продуктов руки «чешутся» запуститься с Redpanda: один бинарный файл, меньше накладных расходов и более эффективное использование ресурсов. По бенчмаркам она выдаёт более высокую скорость и низкую задержку. Из дополнительных плюсов — совместимость с Kafka API.
Но перед тем как смело идти в прод с Redpanda, нужна экспертиза, чтобы уверенно закрывать SLA и обеспечивать доступность без сюрпризов. И вот мы оказываемся в ситуации «палка о двух концах»: без настоящего опыта экспертиза не растёт, а без экспертизы тащить в прод — опасно.
Компромисс: пилот на некритичном контуре и релиз с возможностью быстрого отката.
А как у вас идет переход на Kafka Kraft? Или уже смигрировали на Redpanda?
❤3👍1
Друзья, добрый день!
Мы хотим обсудить с вами первые выводы из нашего двухмесячного исследования на тему "Что же не так с IT-конференциями?".
Конечно, очень хочется сказать - это всё экономический кризис, конференции тут ни при чём 🙂 Но это было бы непростительно поверхностно.
За последние пару месяцев мы (Онтико) поговорили с парой сотен человек: CTO, HRD, T&D, L&D, спикерами, членами ПК, участниками, в общем - с рынком.
Вот что получилось:
1. Знания стали commodity, знания легко найти (как в Интернете / GPT, так и на вендорских конференциях);
2. На первое место вышел контекст, самое сложное - интегрировать знания и решения в свой контур;
3. Взросление индустрии привело к сдвигу в сторону смысла - мы не просто что-то внедряем, мы задаемся вопросом - зачем, почему именно так и сейчас?
4. Лекционный формат перестал быть эффективным, он более не может быть единственным инструментом;
5. Усталость участников от лекционных форматов;
6. Программы конференций сфокусированы на бигтехах, интересы и запросы других акторов рынка учитываются слабо. И если раньше никого кроме бигтехов то и не было, то сейчас есть;
7. Мы наблюдаем смещение фокуса конференций с обмена прикладным опытом в сторону ярмарок тщеславия;
8. Экономическая ситуация требует жесткой связи с производительностью труда и финансовым результатом, многие технические роли начинают включать в себя продуктовое мышление;
9. IV промышленная революция видоизменяет систему разделения труда. EdTech, в целом, и конференции, в частности, не всегда это замечают.
Что бы вы добавили? С чем бы поспорили?
Мы хотим обсудить с вами первые выводы из нашего двухмесячного исследования на тему "Что же не так с IT-конференциями?".
Конечно, очень хочется сказать - это всё экономический кризис, конференции тут ни при чём 🙂 Но это было бы непростительно поверхностно.
За последние пару месяцев мы (Онтико) поговорили с парой сотен человек: CTO, HRD, T&D, L&D, спикерами, членами ПК, участниками, в общем - с рынком.
Вот что получилось:
1. Знания стали commodity, знания легко найти (как в Интернете / GPT, так и на вендорских конференциях);
2. На первое место вышел контекст, самое сложное - интегрировать знания и решения в свой контур;
3. Взросление индустрии привело к сдвигу в сторону смысла - мы не просто что-то внедряем, мы задаемся вопросом - зачем, почему именно так и сейчас?
4. Лекционный формат перестал быть эффективным, он более не может быть единственным инструментом;
5. Усталость участников от лекционных форматов;
6. Программы конференций сфокусированы на бигтехах, интересы и запросы других акторов рынка учитываются слабо. И если раньше никого кроме бигтехов то и не было, то сейчас есть;
7. Мы наблюдаем смещение фокуса конференций с обмена прикладным опытом в сторону ярмарок тщеславия;
8. Экономическая ситуация требует жесткой связи с производительностью труда и финансовым результатом, многие технические роли начинают включать в себя продуктовое мышление;
9. IV промышленная революция видоизменяет систему разделения труда. EdTech, в целом, и конференции, в частности, не всегда это замечают.
Что бы вы добавили? С чем бы поспорили?
👍1👏1
Целых полтора года в VK Tech строили MemCS — новый колоночный движок Tarantool для HTAP. И даже с индексами иногда не удавалось уйти от сплошного прохода таблицы.
Разработчик СУБД Tarantool Андрей Саранчин поделился в этой статье, почему команда не смогла миновать Sequential Scan и как удалось смягчить эту проблему с помощью Data Skipping ⚡️
Разработчик СУБД Tarantool Андрей Саранчин поделился в этой статье, почему команда не смогла миновать Sequential Scan и как удалось смягчить эту проблему с помощью Data Skipping ⚡️
Хабр
Когда Seq Scan не миновать: Data Skipping в новом колоночном движке Tarantool
Привет, Хабр! Меня зовут Андрей Саранчин, и я разработчик СУБД Tarantool в VK Tech. Вот уже полтора года мы строим MemCS — новый колоночный движок Tarantool для HTAP. И вот парадокс: даже с индексами...
❤2👍1
«Я устал слушать доклады, где всё идеально»
«Я уже ничего не внедряю после конференций»
«Я не могу услышать опыт компаний, похожих на мою»
«Бигтехи говорят на своём языке, а мне это бесполезно»
«У меня нет инсайтов — только слайды»
Знакомые мысли?
Мы это изменим, для этого наша команда придумала новый формат конференций — конференции развития.
Конференция развития — инструмент решения задач, а не потребления контента. Конференция становится больше практикумом, чем лекциями, а ты — действительно участником, а не просто слушателем (послушать можно и YouTube). Больше интерактивных форматов и нетворкинга:
Доклады, конечно, останутся. Но среди них будет больше докладов с нестандартными ходами и нестандартными решениями. Ведь именно на таких лекциях и рождаются инсайты о себе и своей деятельности.
Все подробности о том, как мы планируем пересобрать конференции можно узнать по ссылке. Мы открыты к новому: новая механика, идея, формат — давайте обсуждать!
«Я уже ничего не внедряю после конференций»
«Я не могу услышать опыт компаний, похожих на мою»
«Бигтехи говорят на своём языке, а мне это бесполезно»
«У меня нет инсайтов — только слайды»
Знакомые мысли?
Мы это изменим, для этого наша команда придумала новый формат конференций — конференции развития.
Конференция развития — инструмент решения задач, а не потребления контента. Конференция становится больше практикумом, чем лекциями, а ты — действительно участником, а не просто слушателем (послушать можно и YouTube). Больше интерактивных форматов и нетворкинга:
🔴 ты получишь решение своих задач в брейнштормах;🔴 прокачаешь нужные тебе навыки на мастер-классах;🔴 получишь ответы на свои вопросы в экспертных зонах;🔴 прожаришь свой кейс на прожарке;🔴 обсудишь важную для тебя тему в world cafe;🔴 найдешь решение для своего кейса в case clinic;🔴 вступишь в интересное тебе сообщество в community lab;🔴 зафиксируешь опыт, полученный на конференции и спланируешь дальнейшие шаги на ретро-сессии.
Доклады, конечно, останутся. Но среди них будет больше докладов с нестандартными ходами и нестандартными решениями. Ведь именно на таких лекциях и рождаются инсайты о себе и своей деятельности.
Все подробности о том, как мы планируем пересобрать конференции можно узнать по ссылке. Мы открыты к новому: новая механика, идея, формат — давайте обсуждать!
Please open Telegram to view this post
VIEW IN TELEGRAM
Поздравляем с наступающим Новым годом ⭐️
Пусть в новом году ваши кластеры держатся устойчиво, реплики всегда догоняют мастера, а бэкапы проверяются не «на авось», а успешно. Пусть запросы оптимизируются с первого EXPLAIN, алерты срабатывают только на проде по расписанию, а не в 3:17 ночи.
Желаем, чтобы данные были консистентными, нагрузки — предсказуемыми, а решения — масштабируемыми не только технически, но и карьерно. Пусть 2026-й принесёт новые архитектуры, смелые миграции без даунтайма и проекты, которыми захочется гордиться (и показывать на нашей конференции 😉).
Сохраняйте данные. Масштабируйте идеи. И пусть Новый год закоммитится без конфликтов! 🚀
Пусть в новом году ваши кластеры держатся устойчиво, реплики всегда догоняют мастера, а бэкапы проверяются не «на авось», а успешно. Пусть запросы оптимизируются с первого EXPLAIN, алерты срабатывают только на проде по расписанию, а не в 3:17 ночи.
Желаем, чтобы данные были консистентными, нагрузки — предсказуемыми, а решения — масштабируемыми не только технически, но и карьерно. Пусть 2026-й принесёт новые архитектуры, смелые миграции без даунтайма и проекты, которыми захочется гордиться (и показывать на нашей конференции 😉).
Сохраняйте данные. Масштабируйте идеи. И пусть Новый год закоммитится без конфликтов! 🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🔥1