Как нас с другом приняли за ***
Предыстория. Приехали мы в командировку в СПб, чтобы посидеть вместе с сейлзами и послушать, как они общаются с клиентами.
Я обожаю все, что касается общения с клиентами. На такое у нас кстати берут не только менеджеров, но и обычных дата сайнтистов. Но к теме
Мы с Денисом заходим в отель. Отель шикарный, исторический - нам открывают дверь швейцары, интерьер с вензелями, вид на Исакий. Мы даем паспорта. Мой паспорт что-то долго смотрят и ничего не говорят. Берут паспорт Дениса и говорят - нашли вашу бронь.
Спрашивают - вы вдвоем? А к Денису должна приехать жена. Он говорит - да, вдвоем, до выходных. Нам улыбаются и начинают оформлять 😅
Я понимаю, что что-то не так. Проверяю бронь и понимаю, что у меня другой отель. К счастью он в соседнем доме. Я об этом говорю, возникает неловкая пауза, мы с Денисом заливаемся смехом, а ресепшионист нет 😂 Я забираю паспорт и поспешно ретируюсь.
Совет: внимательнее проверяйте отель в который вы заселяетесь 😀
Предыстория. Приехали мы в командировку в СПб, чтобы посидеть вместе с сейлзами и послушать, как они общаются с клиентами.
Я обожаю все, что касается общения с клиентами. На такое у нас кстати берут не только менеджеров, но и обычных дата сайнтистов. Но к теме
Мы с Денисом заходим в отель. Отель шикарный, исторический - нам открывают дверь швейцары, интерьер с вензелями, вид на Исакий. Мы даем паспорта. Мой паспорт что-то долго смотрят и ничего не говорят. Берут паспорт Дениса и говорят - нашли вашу бронь.
Спрашивают - вы вдвоем? А к Денису должна приехать жена. Он говорит - да, вдвоем, до выходных. Нам улыбаются и начинают оформлять 😅
Я понимаю, что что-то не так. Проверяю бронь и понимаю, что у меня другой отель. К счастью он в соседнем доме. Я об этом говорю, возникает неловкая пауза, мы с Денисом заливаемся смехом, а ресепшионист нет 😂 Я забираю паспорт и поспешно ретируюсь.
Совет: внимательнее проверяйте отель в который вы заселяетесь 😀
😁45❤2🔥1
Поиск и LLM. Как сломался data-driven подход
Из разговоров на кухне☕ . Я уже давно перестал пользоваться традиционным поиском, таким как Яндекс и Google, и перешел на ChatGPT. Это глобальный тренд. ChatGPT и его аналоги существенно лучше работают. Кто-то использует Perplexity, например
Что мне меньше нравится в обычном поиске - это качество источников. Вводишь условно «как лучше спать», тебе выходят статьи из комсомольской правды. А ChatGPT даст саммари и подкрепит ссылками на рецензируемые статьи с PubMed. Это конечно круто.
Необычность ситуации в том, что поиск - зрелая индустрия. В технологических гигантах сотни людей годами качают метрики качества поиска. Например, релевантность или конверсию в клик в ранжировании. И тут такой заметный скачок в пользовательском восприятии.
Почему так произошло? У меня одно объяснение. Традиционные метрики поиска на самом деле паршивые. Они недостаточно хорошо отражают пользовательское качество. Надеюсь не сильно расстроил читателей, который обучают ML модели в поиске на эти метрики (я сам из них🤷♂ ). Может быть поисковикам стоит начать показывать две выдачи слева и справа как ChatGPT?
#tech@big_ledovsky
Из разговоров на кухне
Что мне меньше нравится в обычном поиске - это качество источников. Вводишь условно «как лучше спать», тебе выходят статьи из комсомольской правды. А ChatGPT даст саммари и подкрепит ссылками на рецензируемые статьи с PubMed. Это конечно круто.
Необычность ситуации в том, что поиск - зрелая индустрия. В технологических гигантах сотни людей годами качают метрики качества поиска. Например, релевантность или конверсию в клик в ранжировании. И тут такой заметный скачок в пользовательском восприятии.
Почему так произошло? У меня одно объяснение. Традиционные метрики поиска на самом деле паршивые. Они недостаточно хорошо отражают пользовательское качество. Надеюсь не сильно расстроил читателей, который обучают ML модели в поиске на эти метрики (я сам из них
#tech@big_ledovsky
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥10❤2
Forwarded from Доска AI-объявлений
Собеседование в прямом эфире: ML system design
13 октября | 18:30 мск
Что будет на стриме:
1️⃣ Разберём ML system design кейс, который ещё в недавнем прошлом предлагали на реальных собеседованиях.
2️⃣ Поговорим про компетенции, которые в Авито ждут от DS-инженеров.
3️⃣ Разберём результаты по итогам решения кейса и ответим на ваши вопросы.
Кто будет на стриме:
👤 Интервьюеры — Саша Ледовский, руководитель DS команд монетизации Авито и Максим Каширин, руководитель Data Science направления в модерации Авито.
👤 Кандидат —Дмитрий Савелко, LLM-инженер в R&D команде банка Точка.
Больше информации про событие и регистрация на Timepad.
Пришлём вам ссылку с напоминанием за 5 минут до старта 🚀
13 октября | 18:30 мск
Что будет на стриме:
1️⃣ Разберём ML system design кейс, который ещё в недавнем прошлом предлагали на реальных собеседованиях.
2️⃣ Поговорим про компетенции, которые в Авито ждут от DS-инженеров.
3️⃣ Разберём результаты по итогам решения кейса и ответим на ваши вопросы.
Кто будет на стриме:
👤 Интервьюеры — Саша Ледовский, руководитель DS команд монетизации Авито и Максим Каширин, руководитель Data Science направления в модерации Авито.
👤 Кандидат —Дмитрий Савелко, LLM-инженер в R&D команде банка Точка.
Больше информации про событие и регистрация на Timepad.
Пришлём вам ссылку с напоминанием за 5 минут до старта 🚀
🔥18👍6❤2🤡1
Карьерные изменения и вакансии
Всем привет! У меня две новости 🙂
Во-первых, я постепенно перехожу на новую позицию внутри Авито. Я не могу рассказать подробности, но это новое направление бизнеса, и я буду отвечать там за DS. Я очень воодушевлен и верю, что новое направление будет очень успешным!
Во-вторых, у меня открываются вакансии. В новом направлении нужно будет собрать поиск и рекомендации практически с нуля. Конечно, мы по-максимуму используем все наработки, которые уже есть внутри компании. Но специфика нового направления очень велика. И это будет отдельно работающая система.
Кого ищу
Сейчас я ищу трех ребят уровня DS4 и DS5 по уровням Авито: мидл+ и синьоры. Ожидаю, что у вас есть опыт продового ML. Замечательно если в поиске, рекомендациях или рекламе. Но может быть это что-то другое, например чат-боты, автоматизация поддержки или модерация. Будет сложно, но очень интересно! Искренне думаю, что это одна из наиболее интересных позиций сейчас на рынке.
💎 Пишите в личку @aledovsky
Всем привет! У меня две новости 🙂
Во-первых, я постепенно перехожу на новую позицию внутри Авито. Я не могу рассказать подробности, но это новое направление бизнеса, и я буду отвечать там за DS. Я очень воодушевлен и верю, что новое направление будет очень успешным!
Во-вторых, у меня открываются вакансии. В новом направлении нужно будет собрать поиск и рекомендации практически с нуля. Конечно, мы по-максимуму используем все наработки, которые уже есть внутри компании. Но специфика нового направления очень велика. И это будет отдельно работающая система.
Кого ищу
Сейчас я ищу трех ребят уровня DS4 и DS5 по уровням Авито: мидл+ и синьоры. Ожидаю, что у вас есть опыт продового ML. Замечательно если в поиске, рекомендациях или рекламе. Но может быть это что-то другое, например чат-боты, автоматизация поддержки или модерация. Будет сложно, но очень интересно! Искренне думаю, что это одна из наиболее интересных позиций сейчас на рынке.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥40⚡8🍾7👍3❤1
Нестандартные инсайты с Data-Driven
На Data-Driven было много интересных докладов. Я не буду их пересказывать. Можете посмотреть сами на x1.5, это недолго. Вместо этого делюсь личными инсайтами, которые отходят от основного повествования
📌 Яндекс Поиск в Межнаре (Роман Васильев) VK
Одна из основных метрик международного поиска - Side by Side like NPS Яндекс vs Google. Удивительно, что я совсем недавно писал об этой метрике в предыдущем посте про поиск и LLM. И сейчас еще больше задумался, чтобы ее внедрить в некоторые задачи
📌 Метрики качестве и эффективности в Яндекс Картах (Тимофей Струнков) VK
Одна из ключевых метрик Карт, полнота организаций на карте, считается ML-based. Раньше я крайне негативно относился к ML-based метрикам и предпочитал твердые метрики, которые не поедут от переобучения модели. Но увидев какое-то количество кейсов, я поменял мнение. ML-based метрики при аккуратном обращении вполне жизнеспособны
Если что, моделью там предсказывается популярность, на которую взвешивается метрика. Наличие организаций проверяется специальными пешеходами-исследователями 🙂
📌 End-to-end качество Алисы (Мария Акопян) VK
Разметка качества Алисы LLM+асессор почти также хороша как полностью асессорская. Интересная часть - консенсус легких LLM на первом этапе. Если модели дают одинаковый ответ, он принимается. Если нет, задача идет на более дорогую оценку
Такое ансамблирование LLM - это сильный метод. Сильнее, чем может показаться на первый взгляд
Заключение
Плейлисты со всеми докладами тут:
- Трек "Data to Artifacts": YT | VK
- Трек "Data to Insights": YT | VK
Пост предложили написать ребята из PR Яндекса. С удовольствием согласился. Как вам формат?
На Data-Driven было много интересных докладов. Я не буду их пересказывать. Можете посмотреть сами на x1.5, это недолго. Вместо этого делюсь личными инсайтами, которые отходят от основного повествования
📌 Яндекс Поиск в Межнаре (Роман Васильев) VK
Одна из основных метрик международного поиска - Side by Side like NPS Яндекс vs Google. Удивительно, что я совсем недавно писал об этой метрике в предыдущем посте про поиск и LLM. И сейчас еще больше задумался, чтобы ее внедрить в некоторые задачи
📌 Метрики качестве и эффективности в Яндекс Картах (Тимофей Струнков) VK
Одна из ключевых метрик Карт, полнота организаций на карте, считается ML-based. Раньше я крайне негативно относился к ML-based метрикам и предпочитал твердые метрики, которые не поедут от переобучения модели. Но увидев какое-то количество кейсов, я поменял мнение. ML-based метрики при аккуратном обращении вполне жизнеспособны
Если что, моделью там предсказывается популярность, на которую взвешивается метрика. Наличие организаций проверяется специальными пешеходами-исследователями 🙂
📌 End-to-end качество Алисы (Мария Акопян) VK
Разметка качества Алисы LLM+асессор почти также хороша как полностью асессорская. Интересная часть - консенсус легких LLM на первом этапе. Если модели дают одинаковый ответ, он принимается. Если нет, задача идет на более дорогую оценку
Такое ансамблирование LLM - это сильный метод. Сильнее, чем может показаться на первый взгляд
Заключение
Плейлисты со всеми докладами тут:
- Трек "Data to Artifacts": YT | VK
- Трек "Data to Insights": YT | VK
Пост предложили написать ребята из PR Яндекса. С удовольствием согласился. Как вам формат?
👍14🔥5
Как инженеру качать навыки общения
Откровенно, многим инженерам чтобы расти, нужно качать софты😀 . Особенно, коммуникацию. И я на самом деле могу порекомендовать только один путь - поработать в колл-центре в холодных продажах позаниматься в актерской студии. Я ходил на голос и речь в мае, а потом продолжил с сентября и это очень круто.
Речь, пластика, то, как мы себя ведем, меняется очень медленно и регулярными усилиями. Совсем как тело меняется в спортзале. Однодневные тренинги по публичным выступлениям - это полнейшая шляпа.
А знаете эти обсуждения на 1-1? "Давай качать коммуникацию, сейчас составим роадмап, в этом квартале тебе нужно прочитать две книги и выступать на митапе" 😂
По итогу, мне занятия очень понравились. Я поразился насколько велика пропасть между профессиональным актером и обычным человеком с точки зрения владения собой. И ощутил эффект от того, что у меня что-то начало лучше получаться. Например, я научишся держать зрительный контакт с аудиторией.
Имплементировать в жизнь получается сильно не все. Я не понимаю как так происходит, что когда я забываюсь, начинаю быстро говорить, глотать слова и заполнять речь словами-паразитами. Но, все чаще я учусь это замечать и исправлять.
На фото - на мини-спектакле по Евгению Онегину. Столько стихов не учил во всей жизни 😁
PS. Хожу сюда, студию очень рекомендую
#career@big_ledovsky
Откровенно, многим инженерам чтобы расти, нужно качать софты
Речь, пластика, то, как мы себя ведем, меняется очень медленно и регулярными усилиями. Совсем как тело меняется в спортзале. Однодневные тренинги по публичным выступлениям - это полнейшая шляпа.
А знаете эти обсуждения на 1-1? "Давай качать коммуникацию, сейчас составим роадмап, в этом квартале тебе нужно прочитать две книги и выступать на митапе" 😂
По итогу, мне занятия очень понравились. Я поразился насколько велика пропасть между профессиональным актером и обычным человеком с точки зрения владения собой. И ощутил эффект от того, что у меня что-то начало лучше получаться. Например, я научишся держать зрительный контакт с аудиторией.
Имплементировать в жизнь получается сильно не все. Я не понимаю как так происходит, что когда я забываюсь, начинаю быстро говорить, глотать слова и заполнять речь словами-паразитами. Но, все чаще я учусь это замечать и исправлять.
На фото - на мини-спектакле по Евгению Онегину. Столько стихов не учил во всей жизни 😁
PS. Хожу сюда, студию очень рекомендую
#career@big_ledovsky
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥39❤16👍7
Вчера от Авито проводили мероприятие-вечеринку для DS тимлидов и менеджеров. Было много друзей и знакомых, много с кем познакомился впервые.
Сразу хочу извиниться, что кого-то не позвали. Собирать гостей на ивенты без открытой регистрации дело не самое простое.
Душевный получился вечер. Одной из наших целей было создавать сильное комьюнити вокруг нас, и я считаю это удалось.
#lifestyle@big_ledovsky
Сразу хочу извиниться, что кого-то не позвали. Собирать гостей на ивенты без открытой регистрации дело не самое простое.
Душевный получился вечер. Одной из наших целей было создавать сильное комьюнити вокруг нас, и я считаю это удалось.
#lifestyle@big_ledovsky
🔥23❤11👍7
Потестировал Shopping Research в ChatGPT
На мой взгляд получилось ужасно. Причем именно с точки зрения продуктового флоу
🔸 Сперва даешь задачу на поиск какой-то вещи. Я попросил подобрать мне телефон на Андроиде
🔸 Проходишь небольшой опрос. Ответов на большинство вопросов я не знал. Например, что для меня важнее - основная камера или камера для селфи
🔸 Затем начинается tiktok. Смотришь ленту телефонов и нажимаешь нравится/не нравится
🔸 Затем ChatGPT выдает портянку с описанием нескольких моделей, которые по его мнению подходят тебе больше всего
Ключевая проблема - текущая реализация не помогает разобраться, что тебе нужно
Я использую ChatGPT для выбора вещей в трех сценариях: попросить сравнить набор моделей, попросить гайд на что смотреть при выборе вещи и попросить аналоги определенной модели.
Новый функционал пока не выглядит улучшением. Зато дает ссылки на магазины))
На мой взгляд получилось ужасно. Причем именно с точки зрения продуктового флоу
🔸 Сперва даешь задачу на поиск какой-то вещи. Я попросил подобрать мне телефон на Андроиде
🔸 Проходишь небольшой опрос. Ответов на большинство вопросов я не знал. Например, что для меня важнее - основная камера или камера для селфи
🔸 Затем начинается tiktok. Смотришь ленту телефонов и нажимаешь нравится/не нравится
🔸 Затем ChatGPT выдает портянку с описанием нескольких моделей, которые по его мнению подходят тебе больше всего
Ключевая проблема - текущая реализация не помогает разобраться, что тебе нужно
Я использую ChatGPT для выбора вещей в трех сценариях: попросить сравнить набор моделей, попросить гайд на что смотреть при выборе вещи и попросить аналоги определенной модели.
Новый функционал пока не выглядит улучшением. Зато дает ссылки на магазины))
👍5❤2
Forwarded from Доска AI-объявлений
Всем привет! Я Саша, DS-менеджер в Авито. Знакомые из других компаний часто задают мне такой вопрос: что значит «DS-менеджер»? Раскрываю карты.
Какие у него обязанности
DS-менеджер — это руководитель нескольких команд. Что он делает, можно посмотреть в матрице компетенций.
Ключевые вещи: формирование стратегии, архитектурного видения, выстраивание процессов и бОльший по сравнению с тимлидом горизонт планирования. Ну и конечно работа с руководителями — тимлидами.
На что я трачу своё время
Объяснить структуру рабочего дня по матрице компетенций сложно. Для себя я делю время по характеру деятельности. В таком виде, мне кажется, вам будет понятнее. Цифры ниже основаны на моих личных заметках за последние недели.
👉 Операционная работа: 2 часа в день. В основном статусы, дейли, 1-1, собеседования. Всё, чтобы поддерживать эффективную работу команды. Бывают периоды, когда много собеседований, но это случается эпизодически.
👉 Экспертная работа: 2.5 часа в день. Пишу документы, стратегии, веду консультации, провожу ревью кода, прорабатываю архитектуру решений.
👉 Техническая работа: 1 час в день. Всегда стараюсь чуть-чуть работать руками. Чаще всего это тестирование чужой работы или вспомогательные задачи.
👉 Занятость: 2.5 часа в день. Переписки, решение проблем, организационные вопросы, ответы на запросы.
Бонус: как не потонуть в менеджерской рутине
Операционную работу фиксируем в необходимом разумном количестве. Занятость снижаем, насколько можно. Экспертную работу увеличиваем. Техническую не забрасываем.
Повторюсь, что вышеописанное — личный опыт. На холивар и просто с вопросами приглашаю в комментарии! 👇
Какие у него обязанности
DS-менеджер — это руководитель нескольких команд. Что он делает, можно посмотреть в матрице компетенций.
Ключевые вещи: формирование стратегии, архитектурного видения, выстраивание процессов и бОльший по сравнению с тимлидом горизонт планирования. Ну и конечно работа с руководителями — тимлидами.
На что я трачу своё время
Объяснить структуру рабочего дня по матрице компетенций сложно. Для себя я делю время по характеру деятельности. В таком виде, мне кажется, вам будет понятнее. Цифры ниже основаны на моих личных заметках за последние недели.
👉 Операционная работа: 2 часа в день. В основном статусы, дейли, 1-1, собеседования. Всё, чтобы поддерживать эффективную работу команды. Бывают периоды, когда много собеседований, но это случается эпизодически.
👉 Экспертная работа: 2.5 часа в день. Пишу документы, стратегии, веду консультации, провожу ревью кода, прорабатываю архитектуру решений.
👉 Техническая работа: 1 час в день. Всегда стараюсь чуть-чуть работать руками. Чаще всего это тестирование чужой работы или вспомогательные задачи.
👉 Занятость: 2.5 часа в день. Переписки, решение проблем, организационные вопросы, ответы на запросы.
Бонус: как не потонуть в менеджерской рутине
Операционную работу фиксируем в необходимом разумном количестве. Занятость снижаем, насколько можно. Экспертную работу увеличиваем. Техническую не забрасываем.
Повторюсь, что вышеописанное — личный опыт. На холивар и просто с вопросами приглашаю в комментарии! 👇
👍10🔥5👌2❤1