Также посвящается внедрившим API LLM в боты суппорта компаний.

Также надеящимся, что Алиса - грамотный ассистент для домашней работы. Как в романе "Алмазный Век" Нила Стивенсона, ага.

Вебинар по Трино и Лейкхаус

Кто пользуется VK Cloud, уже получил приглашение на вебинар по почте.

В телеграме будут рассылки чуть позже

Встречаемся 11 февраля вечером.

Алгосики

Вечная тема в ИТ и (около-)разработческих кругах. Нужны ли? Правильно ли делать алго-секции если ты чуть меньше Яндекса/Авито/Тинька?

Очередной пост у Киры Кузьменко (осторожно много букв!) поднимает тему.

Мое мнение - алгоритмы на собеседованиях в ИТ - это явление из средневекового цеха. Многие ИТ-ники очень стремятся выделить себя в отдельную касту или "цех". Претендуешь попасть в нее - докажи, что ты можешь общаться с нами на равных. Только если разврнешь список рекурсией, мы согласимся что ты не чушпан не подведешь высокое звание ИТ-шника.

А как без алгосиков, скажут иные.

Ловите, к примеру, такой лайвхак.

Первый собес. Находишь тему, которую наш герой а) точно не знает и б) точно нужна на позиции. Глубоко в нее копаешь и четко и прозрачно говоришь - вот это надо. Во-первых, видишь поведение человка, когда он не знает ответ на вопрос. Выкручивается ли? Бегают ли глазки в гугл/ЧатГПТ в соседней вкладке? Уже полезно.

Во-вторых, на следующей встрече повторяешь этот же вопрос. И смотришь, есть ли дельта в знаниях. Отсюда сразу видна тяга/способность к изучению нового и быстро. И мотивация попасть конкретно к тебе.

Придумал это, когда надо было из 200 резюме выбрать себе 2 падаванов. Работает.

Мой топ алго собеса.

В очень маленькой компании на позицию дата инженера. Пришел разработчик и задал литкод - что-то вроде найти три наименьших расстояния в массиве чисел без сортировки.

Только после решения такой задачи человека можно было допустить к перекладыванию данных из Монго в Кликхаус.

Я не справился. Потому что не люблю литкод.

Спасибо всем кто смотрел вебинар!

Запись тут: https://vkvideo.ru/video-164978780_456239621

Спасибо всем, кто задавал вопросы! Продолжить дискуссию можно в комментариях.

Всем привет!

Презентация со вчерашнего вебинара.

Всем ли нужно заниматься данными?

Нередко заказчики спрашивают что-то подобное. Что, прямо в каждой компании должен быть стек обработки [больших] данных?

Сложилась аналогия.

Всем ли нужно заниматься спортом?
Нет, не всем. Можно прожить вообще без этого и быть довольным.

Ведет ли занятие спортом к улучшению жизни?
Разумеется, ведет!

Требует ли занятие спортом дополнительных вложений денег/времени/сил?
Конечно, требует.

Вот вам и уравнение. И с данными точно так же.

Huge Data

На этой неделе общался с боссами дата офиса ВК. Господа управляют всеми данными 3 соцсетей группы ВК, а также ВК Видео, РуСтора, и многих десятков других бизнес-юнитов группы. Масштабы впечатляют. Счет идет на сотни петабайт полезных данных, а планы - на многие сотни петабайт. Кластера из тысяч нод под 100% нагрузкой.

Ни в какие хадупы это уже не влезает. Без всяких шансов.

И я задумался. Есть такая штука как BigData. У нее есть много определений, таких как 3-V, или «нечто, что бесполезно даже пытаться уместить на одной машине». Там правят бал системы наподобие Hadoop, Greenplum, Vertica, Trino. Системы с шардированием и горизонтальным масштабированием из-коробки, которые можно проскейлить от 10 до 200 узлов, не меняя подходы к управлению данными. Большинству компаний этого хватает.

Но в какой-то момент начинается HugeData. По аналогии, это то, что бесполезно даже пытаться поместить в один Хадуп. Как быть, если есть планы на 100 ПБ в одном кластере? Что если бизнес видит в этом пользу?

Можно подумать так. Допустим в России 10к платформ данных. То есть 10 тысяч компаний, которые занимаются обработкой данных много и профессионально. Крупный бизнес. Топ-2% из них это BigData - те, кто ставят себе большие планы на развитие, которые видят ценность накопить 50 или 1000 ТБ. Получаем 200 платформ. Топ-2% от этих топ-2% это и есть HugeData. Всего 3-5 платформ данных, которые метят в экзабайты.

Интересно, какая статистика в других странах? Кто знает, как в Европе, США, Китае? Есть ли в Японии или Германии компании с данными такого размера и команды, которые берутся за такие задачи?

Депрессия в профессии

Продолжаю получать по разным каналам инсайды о сокращениях в проектах, связанных с данными. Кампании подбивают финансовые результаты года и сокращают бюджеты на ИТ. Высокие процентные ставки выедают маржу, продажи не растут, аренда и персонал дорожает.

«Если у вас выполнение выручки 70%, то и бюджет на все 70%!» - один директор ритейла из моего сезона 2014/15 года.

Данные при всей своей полезности, не являются критичной статьей затрат, и идут под нож даже раньше многого другого.

Срезали бюджет - приходится корректировать планы развития. Где-то стопать процессы и удалять данные. Где-то решения принимаются более радикальные вплоть до расформирования дата-офиса целиком. В моменте имеем депрессию в профессии, надеюсь, что локальную.

Облако исторически было в том числе ответом на подобные кризисы. Если альтернатива: сжать облачный КХД или уволить людей, то лучше иметь такой выбор, чем не иметь его. Он-прем КХД на Оракле или Гринпламе само не сожмется и выбора не будет. Еще проще, если используется ЛейкХаус. Можно потушить отдельные кластера Compute или перевести режим хранения данных в S3 на архивный. Так можно сохранить и команду, и данные, которые тоже актив.

Берегите свои БД от доступа. Закрывайте сетевыми экранами!

3 основных кейса применений Лейкхаусов

По наблюдениям, сегодня доминируют эти три основных кейса внедрения домика у озера.

1. КХД+. У нас уже есть достаточно развитое хранилище данных. У нас есть команда в 30-50 человек специалистов по данным. Мы хорошо умеем извлекать из них ценность. И вот у нас появляются данные, которые все еще ценные для бизнеса, но которые уже нецелесообразно загружать в КХД. Логи, события, кликстримы. Нужно решение, которое сохранит простоту и привычность доступа к данным, при этом не разорит нас. Тут и появляется гибко масштабируемый ДатаЛейк[Хаус].

2. Next Gen DataLake. И здесь же миграция с хадупа. Вы не поверите, сколько сейчас хадупов на бесплатном Хортоне, который застыл в развитии в 2016 году. Куда-то надо это везти в перспективе. Менять старый хадуп на более новый - ну такое, это все же очень архаичная система. А что есть современнее? (Желательно не очень дорогое)

3. Технологии+. Некоторые не хотят Мерседес, некоторые фанаты Теслы. Причем, с пониманием, что Тесле нет того и этого, и вообще как машина она, мягко говоря, уступает. Но вот хочется быть на острие прогресса.

Стыдливо опускаем кейс номер три-с-половиной, где нам всем очень хочется поиграться с новой технологией и записать ее себе в CV.

Освежаем статистику.

Без статистики никуда. Даже продактов уже спрашивают на собесах, что такое p-value и как правильно интерпретировать результаты АВ-теста.

По крайней мере, я спрашиваю. 😄

В репосте обзор на книгу. И там же в канале более научпопная "Статистика и Котики".

Данные как "секретный соус" b2b сервиса

На днях смотрел интервью, которое заставило меня задуматься. Оно было не про данные, я бы более того сказал: основная тема диалога довольно далека от ИТ и всех этих наших дата-дривенов.

Разговор был про бизнес в области доставки еды. Кроме всех знакомых сервисов Яндекса и Сбербанка существует множество более мелких агрегаторов. Это и естественно: крупный поставщик работает с крупными сетями, мелкий и региональный - с местными более мелкими или нишевыми. На видео ребята из небольшого регионального агрегатора доставки Чиббис.

А заставило меня задуматься вот что. Вот у нас есть агрегатор доставки. Его основной клиент - ресторатор, это B2B-сервис в чистом виде. Как сделать клиенту агрегатора хорошо?

Ребята открыли то что они называют "Академией Чиббис". Дело в том, что средний ресторатор не слишком искушен в вопросах управления своим предприятием. Там очень много молодых и начинающих предпринимателей, для которых это первый бизнес в жизни. В то же время агрегатор кровно заинтересован в том, чтобы у них все получилось, и их клиент-ресторан не разорился в первый год.

Вот примеры инсайтов Академии, которыми поделились владельцы.

Ты закрываешься слишком рано. Пик заказов приходится на вечер, в 9 вечера заказы вполне себе еще идут. Закрывать кухню в 10-11 вечера, а не в 9 вполне экономически эффективно.

У тебя неправильные промо. Ты лучше вместо скидки в 500р рублями дай блюдо в подарок за 500р. Для клиента это по-прежнему подарок ценностью в 500р, но для ресторана это затраты в районе 150-200. Плюс согласно исследованиям ретеншена и вовлеченности, клиенты, привлеченные подарком, остаются дольше и приносят больший CLTV.

Я ловлю себя на мысли: это же по сути сервисный data-driven!

Сами герои это назвали их "секретным соусом". Ну знаете, когда все бургеры одинаковые, но один вот чем-то лучше. Вот так - ненавязчивая сервисная аналитика - серкетный соус b2b продукта.

Если вы делаете сервисный софт для общепила, парикмахерских, автосервисов, гостиниц, и вы видите их транзакции, действия клиентов и персонала - предложите клиентам проанализировать их данные! Дайте им инсайты и вы получите секретный соус в свое меню!

В конце концов, поднимите опенсорсный BI (SuperSet, DataLenz) и берите деньги на отрисовку дашбордов в нем!

Интервью тут.

Преподносим аналитическую инициативу правильно

Все мы хотим получить проекты поинтереснее и посложнее! (Мы ведь все хотим?)

Как донести свою инициативу до потенциального ЛПР? Для этого тренируем упражнение "Разговор в лифте". У вас 1 минута: объясните высокому ЛПРу как ваша инициатива поможет ему решить его проблемы. Просто, да?

Неиссякаемая сложность простоты. Что нужно для успеха?
1. Понимать, о чем именно болит голова у этого конкретного Директора.
2. Иметь компетенции для решения задач.
3. Иметь репутацию человека, способного взять на себя решение задач такой сложности и довести ее до конца.
4. Уметь рассказать за 1 минуту и пользу, и общий ход решения, и нужные вам для этого ресурсы, развеять риски и типовые возражения.
5. Иметь под рукой более детальный план, чтобы отправить на стол Директору, пока история не остыла.

Берем и тренируем ваши рассказы на тему "У нас так плохо с продажами. Давай я сделаю комплексный дашборд по отработке лидов". "Я знаю, как по показателям спрогнозировать в середине квартала риски невыполнения плана". "Чат-бот на опенсорсной LLM-ке улучшит показатели саппорта, у меня как раз есть демо-стенд!"

Но будьте готовы что
1. Ваше предложение не сработает с первого раза. И через полгода вы скажете: а помните, я предлагал вот это и вот так. Предложение еще в силе.
2. Предлагаемое вами решение находится на чьей-то полянке, и со стороны владельца полянки можно встретить организованное сопротивление инициативе. Будьте готовы поделиться с другими достигнутыми успехами и даже полностью отдать их - все ради п.3 "Репутация".
3. Вы просто не угадали с потребностями и моментом.

Мы аналитики. Нередко ЛПР плохо понимают, что могут данные в части улучшения процессов. Инициативы в наших головах возникают часто, но мало кто умеет их правильно презентовать. Если научиться делать правильно, будет эффект "А что так можно было??" и вы будете ее (со-)автором.

Тренируйте (дома перед зеркалом) упражнение "Разговор в лифте". Имейте загашничек из хороших идей, актуальных для разных ЛПРов. Держите их при себе до подходящего момента.