Да вот, кстати. История того как в крупных компаниях (и у нас тоже) совершили неудачный переход на GreenPlum стоит отдельного изучения.

Одно сейчас ясно на 100% - GreenPlum не оправдал возложенных на него надежд.

Возможно, с подобной задачей справился бы кластерный Postgres Pro. Но кто его знает.

Одна из основных проблем ГП - отсутствие нормального механизма выделения и разделения ресурсов. Все падает в одну общую коммунальную очередь, и лучшее что с этим можно сделать - разделять выполнение потоков по времени.

Вторая - удивительная способность ГП занимать буквально все выделенное ему пространство под логи и временные файлы. По идее, это должно ускорять его работу и улучшать стабильность, но скорее наоборот.

Третья - в целом крайняя нестабильность работы ГП. У нас буквально целый департамент присматривает за ним в режиме 24/7, но все равно постоянно происходят какие-то аварии и что-то ломается.

#dataengineering #greenplum

Секрет успешных выступлений.

На самой заре моей скромной бизнес-карьеры, я помню, как-то сидел где-то в 7 ряду какой-то бизнес-конференции, слушал очередной доклад, и меня распирало: «Почему он на сцене?! Спикер дурак, он все говорит не так! Там на сцене должен быть я» - ну вы понимаете...

Когда же я сам стал выступать (а у меня тут есть некоторый опыт), я обратил внимание, что в седьмом ряду всегда сидит какой-то хрен, которого бомбит. Ему всё всегда не нравится, вы для него говорите всё не то и не так. Но есть и хорошая новость. Где-то во втором ряду всегда сидит позитивная дама, которая смеется на все твои шутки и которая в полном восторге от тебя и твоего выступления.

Так вот. Секрет успешных публичных выступлений очень простой. Надо забить хер на хрена в седьмом ряду. Вы здесь, чтобы доставить радость даме во втором ряду - это ваш зритель и вы здесь для неё.

Из Физтеха в бигтехи - 1

Вы знали, что на Физтехе учат высоким нагрузкам? В прошлом году я познакомился с Константином Ратвиным, сотрудником кафедры Банковских Информационных Технологий Физтеха. Оказывается, на кафедре делается много интересного в сотрудничестве с такими компаниями как Сбер, Тарантул Лабз, Постгрес Про и других. Мы взяли небольшое интервью о том, как кафедра взаимодействует с бигтехами, и какие интересные проекты студенты выполняют.

Как Физтех в целом и ваша кафедра взаимодействует с компаниями?

Все кафедры действуют независимо друг от друга, у каждой свои уникальные договоренности. Расскажу про мою кафедру Банковских Информационных Технологий (БИТ) при Сбербанк-Технологиях. У БИТ есть программы для бакалавриата и магистратуры. Основные направления: Машинное обучение и анализ данных и Высоконагруженные распределённые системы. Мы стараемся, чтобы наши студенты знакомились с продуктами компании СберТех и после окончания академических программ смогли проще адаптироваться в компании.

Компании-вендоры могут привлекаться для чтения приглашенных лекций и демонстрации работы их продуктов. Например, есть тема в лекции, рассказать о распределенных СУБД. У нас в РФ есть продукт YDB. Почему бы не попросить вендора рассказать о ней на занятии? Или например рассказать о СУБД Redis. Преподаватель может рассказать какие-то общие факты. Возможно было бы здорово привлечь специалиста, который работает с этой СУБД довольно долго и может рассказать какие-то интересные жизненные примеры из разработки эксплуатации этой СУБД.

Такое партнертво резко увеличивает вовлеченность студентов в дисциплину, т.к. знания при таком подходе самые актуальные и востребованные. В конце обучения все студенты пишут своих выпускные квалификационные работы (ВКР). Это самая сложная пора для научного руководителя. Надо придумать 100500 вариантов тем и затем студенты должны что-то выбрать и далее начинается тяжелый путь исследования и разработки.

Каждый год составлять список уникальный тем задача крайне сложная. Но и это не самая большая проблема. Положа руку на сердце, почти все ВКР пишутся в отрыве от практических задач, «в стол». Но компании-вендоры могут сами предложить темы для исследования и проработки. И такой подход имеет смысл для компании, для сообщества, и значительно повышает мотивацию юного ученого, т.к. он видит, что его труд нужен еще кому-то кроме кафедры и научрука.

Дипломный проект с компаниями - что это за формат, предполагает ли он стажировки? Как производится отбор на стажировки?

Дипломный проект с вендором – это привилегия, а не стандартный формат. И как любую привилегию её нужно заслужить.

Приведу пример с Tarantool Labs. Студент подает заявку на участие. Затем проходит 2 этапа собеседования. После чего принимается решение о его зачислении. Этапы не простые. В прошлом году из четырех заявок моих студентов одобрили только одну.

В этой лаборатории студентам предлагаю темы потенциальных исследование. Студент выбирает её и затем ему назначается куратор. Далее этот куратор на протяжении месяцев ведет свою работу. По окончанию у студента есть реальный практических опыт работы с продуктом Tarantool и фактичски готовая ВКР.
Это уникальное взаимодействие. Чаще всего мое взаимодействие с вендором сводится к выпрашиваю списка тем для исследований. Если студенту тема понравилась, то он начинает её самостоятельную проработку и может иногда задавать вопросу какому-нибудь специалисту от вендора и не более того. В любом случае это лучше, чем ничего.

В следущих постах - три студенческих проекта:
- встраивание векторного поиска в Apache Ignite
- тесты детерминированного исполнения для СУБД Tarantool
- генератор повреждений и метод восстановления данных из СУБД PostgreSQL

(продолжение следует)