Миграция Huge Data
Одно дело просто работать с гигантскими данными и уметь извлекать из них ценность на объемах 200-500 ПБайт. Совсем другое - мигриговать одни системы в другие.
Сегодня на Кейсариуме обсуждали, как проходит централизация 5 бизнесов группы ВК с точки зрения данных. Тысячи вовлеченных людей, колоссальное поле для улучшения бизнес-перфа данных. И в довесок - практически не берущиеся челенжи как технические, так и организационные.
Есть над чем подумать, есть где поразмыслить.
Какие ваши топ советы по консолидации нескольких уже сложившихся хранилищ данных с устоявшимися практиками сбора и потребления данных?
Одно дело просто работать с гигантскими данными и уметь извлекать из них ценность на объемах 200-500 ПБайт. Совсем другое - мигриговать одни системы в другие.
Сегодня на Кейсариуме обсуждали, как проходит централизация 5 бизнесов группы ВК с точки зрения данных. Тысячи вовлеченных людей, колоссальное поле для улучшения бизнес-перфа данных. И в довесок - практически не берущиеся челенжи как технические, так и организационные.
Есть над чем подумать, есть где поразмыслить.
Какие ваши топ советы по консолидации нескольких уже сложившихся хранилищ данных с устоявшимися практиками сбора и потребления данных?
❤5🤔3✍1🏆1
Ваше мнение. Объединение нескольких разрозненных КХД компании в единое - это:
Anonymous Poll
38%
Больше бизнесовая задача
41%
Больше техническая задача
22%
Посмотреть ответы
Архитектор Данных
Ваше мнение. Объединение нескольких разрозненных КХД компании в единое - это:
Опрос естественно провокационный.
Как это может быть не бизнес - или даже правильнее сказать административная - задача, когда мы устраиваем трансформацию? А трансформация это всегда революция, срыв с насиженных мест, слом устоявшихся практик и так далее.
Как это может быть не технической задачей, когда предполагается строительство нового большого ИТ комплекса с кучей потребителей и интеграций.
Так что и то, и другое!
Как это может быть не бизнес - или даже правильнее сказать административная - задача, когда мы устраиваем трансформацию? А трансформация это всегда революция, срыв с насиженных мест, слом устоявшихся практик и так далее.
Как это может быть не технической задачей, когда предполагается строительство нового большого ИТ комплекса с кучей потребителей и интеграций.
Так что и то, и другое!
😁8
Топ мыслей по итогам общения на South Hub - Data Edition
1⃣ Переезд по схеме (старое хд на Oracle, ms, whatever) - (Green plum) - (Lake house, Trino S3) повсеместно. Лейкхаус решает проблемы роста нагрузки, которую перестаёт вывозить ГП.
2⃣ Никто так и не знает ответ, кто должен нести ответственность за загрузку данных и качество данных. Источник или команда ХД. Дата контракты на бумаге красивы, на практике не работают.
3⃣ Покровительство высокого бизнеса при строительстве аналитики - определяющий фактор. Без него не получится.
4⃣ Продвинутые фичи современных каталогов данных такие как Time travel, версионирование датасетов, бранчевание данных гит-стайл нужны и востребованы.
5⃣ DBT отличный инструмент разработки хд при всех его ограничениях.
Последнее по порядку, но не по значению
6⃣ Без ИИ бюджетов не дадут!
Спасибо!
1⃣ Переезд по схеме (старое хд на Oracle, ms, whatever) - (Green plum) - (Lake house, Trino S3) повсеместно. Лейкхаус решает проблемы роста нагрузки, которую перестаёт вывозить ГП.
2⃣ Никто так и не знает ответ, кто должен нести ответственность за загрузку данных и качество данных. Источник или команда ХД. Дата контракты на бумаге красивы, на практике не работают.
3⃣ Покровительство высокого бизнеса при строительстве аналитики - определяющий фактор. Без него не получится.
4⃣ Продвинутые фичи современных каталогов данных такие как Time travel, версионирование датасетов, бранчевание данных гит-стайл нужны и востребованы.
5⃣ DBT отличный инструмент разработки хд при всех его ограничениях.
Последнее по порядку, но не по значению
6⃣ Без ИИ бюджетов не дадут!
Спасибо!
🔥14⚡5👍3😁2
Кажется в агентных средах изобрели map-reduce 😂
- В системе ведущий агент анализирует запрос и создает подагентов, которые параллельно ищут информацию каждый по своему направлению. Это совсем другая логика работы с задачами, где заранее непонятно, какие шаги потребуются.
- Архитектура построена по схеме “оркестратор-воркер”: ведущий планирует и делит задачи, подагенты ищут и фильтруют, дальше всё собирается и проходит через агент-цитировщик
- Параллелизация ускоряет исследования в разы: ввод нескольких подагентов и параллельных инструментов сокращает время до 90%
- В системе ведущий агент анализирует запрос и создает подагентов, которые параллельно ищут информацию каждый по своему направлению. Это совсем другая логика работы с задачами, где заранее непонятно, какие шаги потребуются.
- Архитектура построена по схеме “оркестратор-воркер”: ведущий планирует и делит задачи, подагенты ищут и фильтруют, дальше всё собирается и проходит через агент-цитировщик
- Параллелизация ускоряет исследования в разы: ввод нескольких подагентов и параллельных инструментов сокращает время до 90%
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Всеволод Устинов (канал)
Anthropic выложил разбор того, как они делали своего агента - исследователя для Claude. Не то чтобы я не сталкивался раньше с проблемами оркестрации и оценки сложных агентов - но тут столько интересных деталей, что нельзя не написать.
Кратко, что важно:…
Кратко, что важно:…
👍6🔥4😁4
Если у вас нет Хранилища Данных (КХД)
Оно на самом деле есть. Оно на экселях и битриксах. Оно неудобное.
Оно на самом деле есть. Оно на экселях и битриксах. Оно неудобное.
💯12🔥4👌2👍1
Про KPI
Как сломать процесс найма в стране, вкрутив неправильные KPI отдельно взятому продакту. Найм через HH сломан, подтвердят все кто в теме рекрутинга.
(См репост)
Когда яна почте служил ямщиком начинал карьеру аналитиком в ритейле, мы по крайней мере делали двух-ходовку.
1. Менеджер придумывает KPI
2. Вызывается кто-то из розницы и ему задается вопрос: как отреагирует средний директор магазина, увидев такой план.
Поверьте, результат такой виртуальной обратной связи был крайне неочевидным. А предполагаемые последствия - почти противоположными.
Как сломать процесс найма в стране, вкрутив неправильные KPI отдельно взятому продакту. Найм через HH сломан, подтвердят все кто в теме рекрутинга.
(См репост)
Когда я
1. Менеджер придумывает KPI
2. Вызывается кто-то из розницы и ему задается вопрос: как отреагирует средний директор магазина, увидев такой план.
Поверьте, результат такой виртуальной обратной связи был крайне неочевидным. А предполагаемые последствия - почти противоположными.
🤝8❤4😁4😢1
Forwarded from Айтишник в ватничке
Ойтишно-кадровое. Занимаюсь тут собеседованием специалистов на одну позицию. И как-то дело туговато в этом году идёт - то люди вообще из другой отрасли попадаются, то их квалификация не позволит вытянуть предполагаемый объём и сложность задач. Возникли вопросы к подборщику сначала, который HR - типа а как так?
А она говорит, у неё после публикации вакансии примерно две тысячи откликов, причём далеко не все от программистов. Там и студенты, и продажники, и просто начинающие, а также чуть ли не врачи. И вот она сидит денно и нощно разгребает эти отклики. И они продолжают наваливаться.
Ну, начали разбираться почему так. Как оказалось - кадровый портал "Всея Руси" не так давно изменил алгоритмы ранжирования резюме кандидатов. Важным фактором стала "активность" - то есть кандидат, желающий найти работу, должен как можно больше откликаться на вакансии, фактор активности выше, соответственно тот, кто откликается больше - в результатах поиска по специальности тоже будет выше.
И нет, при этом соответствие опыта для опубликованной вакансии не проверяется :) Поэтому народ эту "фишку" просёк, и теперь просто откликается вообще на всё. Есть уже даже специальные автоматические скрипты - чтобы на новые вакансии можно было вообще бездумно реагировать. Неважно, что ты технолог химического производства какого, например. Можно откликнуться и на продавца, и на программиста, и на охранника, и на сварщика - чем больше, тем лучше. А уж "своя работа меня найдёт".
HH похоже всё равно, кто там на что отклики отправляет, учитывается только метрика количественная, но не по соответствию. Ну, забавно, конечно. Найм у нас и так поломан более чем, а теперь его умудрились поломать и того больше. Но зато какая-нибудь метрика вроде MAU/DAU, важная для того, чтобы "продакт" в хх, это придумавший, получил премию - наверное на высоте.
Ну, успехов им. Пламенный привет. И, конечно, улыбок, как тому деду Макару.
@it_vatnik
А она говорит, у неё после публикации вакансии примерно две тысячи откликов, причём далеко не все от программистов. Там и студенты, и продажники, и просто начинающие, а также чуть ли не врачи. И вот она сидит денно и нощно разгребает эти отклики. И они продолжают наваливаться.
Ну, начали разбираться почему так. Как оказалось - кадровый портал "Всея Руси" не так давно изменил алгоритмы ранжирования резюме кандидатов. Важным фактором стала "активность" - то есть кандидат, желающий найти работу, должен как можно больше откликаться на вакансии, фактор активности выше, соответственно тот, кто откликается больше - в результатах поиска по специальности тоже будет выше.
И нет, при этом соответствие опыта для опубликованной вакансии не проверяется :) Поэтому народ эту "фишку" просёк, и теперь просто откликается вообще на всё. Есть уже даже специальные автоматические скрипты - чтобы на новые вакансии можно было вообще бездумно реагировать. Неважно, что ты технолог химического производства какого, например. Можно откликнуться и на продавца, и на программиста, и на охранника, и на сварщика - чем больше, тем лучше. А уж "своя работа меня найдёт".
HH похоже всё равно, кто там на что отклики отправляет, учитывается только метрика количественная, но не по соответствию. Ну, забавно, конечно. Найм у нас и так поломан более чем, а теперь его умудрились поломать и того больше. Но зато какая-нибудь метрика вроде MAU/DAU, важная для того, чтобы "продакт" в хх, это придумавший, получил премию - наверное на высоте.
Ну, успехов им. Пламенный привет. И, конечно, улыбок, как тому деду Макару.
@it_vatnik
😁7🫡3❤2😱2👍1
Архитектор Данных pinned «Топ мыслей по итогам общения на South Hub - Data Edition 1⃣ Переезд по схеме (старое хд на Oracle, ms, whatever) - (Green plum) - (Lake house, Trino S3) повсеместно. Лейкхаус решает проблемы роста нагрузки, которую перестаёт вывозить ГП. 2⃣ Никто так и…»
Как откликаться
Следствие сломанного процесса найма.
Нашли интересную позицию - идите на сайт работодателя, заходите в раздел вакансии / карьера и откликайтесь там. Пишите на почту hr@company.name, или в телеграм аккаунт рекрутеров.
Это и раньше было полезно, а сейчас и просто необходимо чтобы не потонуть в резюме сгенеренных ИИ, а также просто грузчиках и маркетологах.
В начале карьеры мне это сильно помогало. То ли это, то ли все-таки 2 диплома и раскачанный пет-проект😂
Следствие сломанного процесса найма.
Нашли интересную позицию - идите на сайт работодателя, заходите в раздел вакансии / карьера и откликайтесь там. Пишите на почту hr@company.name, или в телеграм аккаунт рекрутеров.
Это и раньше было полезно, а сейчас и просто необходимо чтобы не потонуть в резюме сгенеренных ИИ, а также просто грузчиках и маркетологах.
В начале карьеры мне это сильно помогало. То ли это, то ли все-таки 2 диплома и раскачанный пет-проект
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Архитектор Данных
Про KPI
Как сломать процесс найма в стране, вкрутив неправильные KPI отдельно взятому продакту. Найм через HH сломан, подтвердят все кто в теме рекрутинга.
(См репост)
Когда я на почте служил ямщиком начинал карьеру аналитиком в ритейле, мы по крайней…
Как сломать процесс найма в стране, вкрутив неправильные KPI отдельно взятому продакту. Найм через HH сломан, подтвердят все кто в теме рекрутинга.
(См репост)
Когда я на почте служил ямщиком начинал карьеру аналитиком в ритейле, мы по крайней…
🔥6💯4👍3🙏1👌1
Forwarded from Data Express
Да вот, кстати. История того как в крупных компаниях (и у нас тоже) совершили неудачный переход на GreenPlum стоит отдельного изучения.
Одно сейчас ясно на 100% - GreenPlum не оправдал возложенных на него надежд.
Возможно, с подобной задачей справился быкластерный Postgres Pro . Но кто его знает.
Одна из основных проблем ГП - отсутствие нормального механизма выделения и разделения ресурсов. Все падает в одну общую коммунальную очередь, и лучшее что с этим можно сделать - разделять выполнение потоков по времени.
Вторая - удивительная способность ГП занимать буквально все выделенное ему пространство под логи и временные файлы. По идее, это должно ускорять его работу и улучшать стабильность, но скорее наоборот.
Третья - в целом крайняя нестабильность работы ГП. У нас буквально целый департамент присматривает за ним в режиме 24/7, но все равно постоянно происходят какие-то аварии и что-то ломается.
#dataengineering #greenplum
Одно сейчас ясно на 100% - GreenPlum не оправдал возложенных на него надежд.
Возможно, с подобной задачей справился бы
Одна из основных проблем ГП - отсутствие нормального механизма выделения и разделения ресурсов. Все падает в одну общую коммунальную очередь, и лучшее что с этим можно сделать - разделять выполнение потоков по времени.
Вторая - удивительная способность ГП занимать буквально все выделенное ему пространство под логи и временные файлы. По идее, это должно ускорять его работу и улучшать стабильность, но скорее наоборот.
Третья - в целом крайняя нестабильность работы ГП. У нас буквально целый департамент присматривает за ним в режиме 24/7, но все равно постоянно происходят какие-то аварии и что-то ломается.
#dataengineering #greenplum
✍9😁3🤔3❤2💯2
Безумству храбрых поем мы песнь
Привет всем тем кто считает что достаточно сказать нейронке: «не ври, не выдумывай» - и она перестанет врать и выдумывать.
Привет всем тем кто считает что достаточно сказать нейронке: «не ври, не выдумывай» - и она перестанет врать и выдумывать.
Telegram
Нажми Enter | Тренды, IT и бизнес
Врубаем «режим Бога» в ChatGPT — ловим 7 промтов, в которые вшиты техники для буста нейронки и её ответов:
• Даём нейронке роль, а не задачу:
Ведите себя как [эксперт мирового класса в X]. Отвечайте так, как будто вы консультируете первоклассного клиента…
• Даём нейронке роль, а не задачу:
Ведите себя как [эксперт мирового класса в X]. Отвечайте так, как будто вы консультируете первоклассного клиента…
😁7❤4👏3🔥2👍1
Очевидные результаты АБ-тестирования ИИ-копилота на людях.
Узнано тут
Как быть с кодом и архитектурой, написанной с помощью копилота и которые никто не понимает?
А никак, никто никогда не понимает код и архитектуру🙂
В июне (три дня назад) появилось уже нашумевшее исследование медиалаборатории MIT, заставившей состязаться людей, использовавших свой мозг, с людьми, использовавшими чатбот GPT. Из итогов:
"Группа, которая писала эссе с использованием ChatGPT, представила чрезвычайно похожие друг на друга сочинения, в которых отсутствовала оригинальная мысль и которые опирались на одни и те же выражения и идеи. ЭЭГ выявили низкий уровень исполнительного контроля и вовлеченности внимания. А к третьему эссе многие из авторов просто дали ChatGPT промпт и заставили его сделать почти всю работу... После написания трех эссе испытуемым было предложено переписать одно из их предыдущих сочинений, но группе ChatGPT пришлось сделать это без инструмента. Группа, как оказалось, мало что запомнила из своих собственных эссе".
Узнано тут
Как быть с кодом и архитектурой, написанной с помощью копилота и которые никто не понимает?
А никак, никто никогда не понимает код и архитектуру
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Мараховское время
Минутка навигации.
Иногда, ув. друзья, что я что-нибудь заносчиво предсказываю, думая, что делаю прогноз на десятилетия — а предсказание сбывается через пару лет. Или того смешнее — через пару месяцев.
Например, в апреле текущего года я написал: "Грань…
Иногда, ув. друзья, что я что-нибудь заносчиво предсказываю, думая, что делаю прогноз на десятилетия — а предсказание сбывается через пару лет. Или того смешнее — через пару месяцев.
Например, в апреле текущего года я написал: "Грань…
👍8❤3😱2😢1
Стадии карьеры
1. Офигеваешь от кринжа
2. Управляешь кринжом
3. Создаешь кринж
1. Офигеваешь от кринжа
2. Управляешь кринжом
3. Создаешь кринж
😁17❤13👍8👏2