Любителям использовать ответы нейросетей как аргумент в спорах посвящается

Далее репост.

Мужчины: «да нет у меня никакой депрессии», также мужчины:

Источник.

Также посвящается внедрившим API LLM в боты суппорта компаний.

Также надеящимся, что Алиса - грамотный ассистент для домашней работы. Как в романе "Алмазный Век" Нила Стивенсона, ага.

Вебинар по Трино и Лейкхаус

Кто пользуется VK Cloud, уже получил приглашение на вебинар по почте.

В телеграме будут рассылки чуть позже

Встречаемся 11 февраля вечером.

Алгосики

Вечная тема в ИТ и (около-)разработческих кругах. Нужны ли? Правильно ли делать алго-секции если ты чуть меньше Яндекса/Авито/Тинька?

Очередной пост у Киры Кузьменко (осторожно много букв!) поднимает тему.

Мое мнение - алгоритмы на собеседованиях в ИТ - это явление из средневекового цеха. Многие ИТ-ники очень стремятся выделить себя в отдельную касту или "цех". Претендуешь попасть в нее - докажи, что ты можешь общаться с нами на равных. Только если разврнешь список рекурсией, мы согласимся что ты не чушпан не подведешь высокое звание ИТ-шника.

А как без алгосиков, скажут иные.

Ловите, к примеру, такой лайвхак.

Первый собес. Находишь тему, которую наш герой а) точно не знает и б) точно нужна на позиции. Глубоко в нее копаешь и четко и прозрачно говоришь - вот это надо. Во-первых, видишь поведение человка, когда он не знает ответ на вопрос. Выкручивается ли? Бегают ли глазки в гугл/ЧатГПТ в соседней вкладке? Уже полезно.

Во-вторых, на следующей встрече повторяешь этот же вопрос. И смотришь, есть ли дельта в знаниях. Отсюда сразу видна тяга/способность к изучению нового и быстро. И мотивация попасть конкретно к тебе.

Придумал это, когда надо было из 200 резюме выбрать себе 2 падаванов. Работает.

Мой топ алго собеса.

В очень маленькой компании на позицию дата инженера. Пришел разработчик и задал литкод - что-то вроде найти три наименьших расстояния в массиве чисел без сортировки.

Только после решения такой задачи человека можно было допустить к перекладыванию данных из Монго в Кликхаус.

Я не справился. Потому что не люблю литкод.

Спасибо всем кто смотрел вебинар!

Запись тут: https://vkvideo.ru/video-164978780_456239621

Спасибо всем, кто задавал вопросы! Продолжить дискуссию можно в комментариях.

Всем привет!

Презентация со вчерашнего вебинара.

Всем ли нужно заниматься данными?

Нередко заказчики спрашивают что-то подобное. Что, прямо в каждой компании должен быть стек обработки [больших] данных?

Сложилась аналогия.

Всем ли нужно заниматься спортом?
Нет, не всем. Можно прожить вообще без этого и быть довольным.

Ведет ли занятие спортом к улучшению жизни?
Разумеется, ведет!

Требует ли занятие спортом дополнительных вложений денег/времени/сил?
Конечно, требует.

Вот вам и уравнение. И с данными точно так же.

Huge Data

На этой неделе общался с боссами дата офиса ВК. Господа управляют всеми данными 3 соцсетей группы ВК, а также ВК Видео, РуСтора, и многих десятков других бизнес-юнитов группы. Масштабы впечатляют. Счет идет на сотни петабайт полезных данных, а планы - на многие сотни петабайт. Кластера из тысяч нод под 100% нагрузкой.

Ни в какие хадупы это уже не влезает. Без всяких шансов.

И я задумался. Есть такая штука как BigData. У нее есть много определений, таких как 3-V, или «нечто, что бесполезно даже пытаться уместить на одной машине». Там правят бал системы наподобие Hadoop, Greenplum, Vertica, Trino. Системы с шардированием и горизонтальным масштабированием из-коробки, которые можно проскейлить от 10 до 200 узлов, не меняя подходы к управлению данными. Большинству компаний этого хватает.

Но в какой-то момент начинается HugeData. По аналогии, это то, что бесполезно даже пытаться поместить в один Хадуп. Как быть, если есть планы на 100 ПБ в одном кластере? Что если бизнес видит в этом пользу?

Можно подумать так. Допустим в России 10к платформ данных. То есть 10 тысяч компаний, которые занимаются обработкой данных много и профессионально. Крупный бизнес. Топ-2% из них это BigData - те, кто ставят себе большие планы на развитие, которые видят ценность накопить 50 или 1000 ТБ. Получаем 200 платформ. Топ-2% от этих топ-2% это и есть HugeData. Всего 3-5 платформ данных, которые метят в экзабайты.

Интересно, какая статистика в других странах? Кто знает, как в Европе, США, Китае? Есть ли в Японии или Германии компании с данными такого размера и команды, которые берутся за такие задачи?

Депрессия в профессии

Продолжаю получать по разным каналам инсайды о сокращениях в проектах, связанных с данными. Кампании подбивают финансовые результаты года и сокращают бюджеты на ИТ. Высокие процентные ставки выедают маржу, продажи не растут, аренда и персонал дорожает.

«Если у вас выполнение выручки 70%, то и бюджет на все 70%!» - один директор ритейла из моего сезона 2014/15 года.

Данные при всей своей полезности, не являются критичной статьей затрат, и идут под нож даже раньше многого другого.

Срезали бюджет - приходится корректировать планы развития. Где-то стопать процессы и удалять данные. Где-то решения принимаются более радикальные вплоть до расформирования дата-офиса целиком. В моменте имеем депрессию в профессии, надеюсь, что локальную.

Облако исторически было в том числе ответом на подобные кризисы. Если альтернатива: сжать облачный КХД или уволить людей, то лучше иметь такой выбор, чем не иметь его. Он-прем КХД на Оракле или Гринпламе само не сожмется и выбора не будет. Еще проще, если используется ЛейкХаус. Можно потушить отдельные кластера Compute или перевести режим хранения данных в S3 на архивный. Так можно сохранить и команду, и данные, которые тоже актив.

Берегите свои БД от доступа. Закрывайте сетевыми экранами!

3 основных кейса применений Лейкхаусов

По наблюдениям, сегодня доминируют эти три основных кейса внедрения домика у озера.

1. КХД+. У нас уже есть достаточно развитое хранилище данных. У нас есть команда в 30-50 человек специалистов по данным. Мы хорошо умеем извлекать из них ценность. И вот у нас появляются данные, которые все еще ценные для бизнеса, но которые уже нецелесообразно загружать в КХД. Логи, события, кликстримы. Нужно решение, которое сохранит простоту и привычность доступа к данным, при этом не разорит нас. Тут и появляется гибко масштабируемый ДатаЛейк[Хаус].

2. Next Gen DataLake. И здесь же миграция с хадупа. Вы не поверите, сколько сейчас хадупов на бесплатном Хортоне, который застыл в развитии в 2016 году. Куда-то надо это везти в перспективе. Менять старый хадуп на более новый - ну такое, это все же очень архаичная система. А что есть современнее? (Желательно не очень дорогое)

3. Технологии+. Некоторые не хотят Мерседес, некоторые фанаты Теслы. Причем, с пониманием, что Тесле нет того и этого, и вообще как машина она, мягко говоря, уступает. Но вот хочется быть на острие прогресса.

Стыдливо опускаем кейс номер три-с-половиной, где нам всем очень хочется поиграться с новой технологией и записать ее себе в CV.