🍜 Что происходит на рынке DS
Пару мыслей по поводу отчета dev crowd, который вышел в августе.
Мне было приятно приятно увидеть, что Авито продвинулся с пятого на второе место в рейтинге работодателей. Я участвую в рабочей группе DS PR. Этот год мы системно вкладывались в наш DS бренд. Короче, мы большие молодцы 🔥
Что насторожило. Большая часть DS-ов работает в крупных компаниях. Это ожидаемо. Но при этом, лишь у 20% респондентов результат измеряется в бизнес-метриках. Больше половины не видят прямого влияния на бизнес.
Как так? Вроде DS уже зрелая функция, во многих компаниях существует лет 10. И большинство людей не видят влияния на бизнес. Вопрос риторический.
#career@big_ledovsky
Пару мыслей по поводу отчета dev crowd, который вышел в августе.
Мне было приятно приятно увидеть, что Авито продвинулся с пятого на второе место в рейтинге работодателей. Я участвую в рабочей группе DS PR. Этот год мы системно вкладывались в наш DS бренд. Короче, мы большие молодцы 🔥
Что насторожило. Большая часть DS-ов работает в крупных компаниях. Это ожидаемо. Но при этом, лишь у 20% респондентов результат измеряется в бизнес-метриках. Больше половины не видят прямого влияния на бизнес.
Как так? Вроде DS уже зрелая функция, во многих компаниях существует лет 10. И большинство людей не видят влияния на бизнес. Вопрос риторический.
#career@big_ledovsky
👍5🔥5❤3💯2🤔1
This media is not supported in your browser
VIEW IN TELEGRAM
❤11🔥6
Почему рекомедации популярнее поиска?
С интересом читаю посты ребят, кто сейчас на конфе RecSys (например Кирилла Хрыльченко и Никиту Зелинского). Если вы специализируйтесь на рекомендациях, наверное следите тоже.
Мне не дает покоя вопрос, почему в DS сообществе рекомендации сейчас так популярны, а поиск как будто нет?
Да, в рекомендациях есть прикольные трансформерные модели. Но и в поиске есть DSSM модели. С точки зрения пользы бизнесу - и поиск, и рекомендации приносят сравнимые аплифты метрик.
💎 Почему так? У кого какие мнения?
Моя версияЭто как горные лыжи и сноуборд. Поиск просто вышел из моды
С интересом читаю посты ребят, кто сейчас на конфе RecSys (например Кирилла Хрыльченко и Никиту Зелинского). Если вы специализируйтесь на рекомендациях, наверное следите тоже.
Мне не дает покоя вопрос, почему в DS сообществе рекомендации сейчас так популярны, а поиск как будто нет?
Да, в рекомендациях есть прикольные трансформерные модели. Но и в поиске есть DSSM модели. С точки зрения пользы бизнесу - и поиск, и рекомендации приносят сравнимые аплифты метрик.
Моя версия
Please open Telegram to view this post
VIEW IN TELEGRAM
😁9🔥3❤1
Сегодня на Practical ML
Уже третий раз на этой конференции. Она опять круто сделана. Качество докладов очень высокое.
Мы и в этот раз с докладом. Ходили с ребятами поддержать Антона с его выступлением про DL CTR.
И, конечно, подходите познакомится и пообщаться! Буду очень рад 🙂
Уже третий раз на этой конференции. Она опять круто сделана. Качество докладов очень высокое.
Мы и в этот раз с докладом. Ходили с ребятами поддержать Антона с его выступлением про DL CTR.
И, конечно, подходите познакомится и пообщаться! Буду очень рад 🙂
🔥20❤5👍3
Как нас с другом приняли за ***
Предыстория. Приехали мы в командировку в СПб, чтобы посидеть вместе с сейлзами и послушать, как они общаются с клиентами.
Я обожаю все, что касается общения с клиентами. На такое у нас кстати берут не только менеджеров, но и обычных дата сайнтистов. Но к теме
Мы с Денисом заходим в отель. Отель шикарный, исторический - нам открывают дверь швейцары, интерьер с вензелями, вид на Исакий. Мы даем паспорта. Мой паспорт что-то долго смотрят и ничего не говорят. Берут паспорт Дениса и говорят - нашли вашу бронь.
Спрашивают - вы вдвоем? А к Денису должна приехать жена. Он говорит - да, вдвоем, до выходных. Нам улыбаются и начинают оформлять 😅
Я понимаю, что что-то не так. Проверяю бронь и понимаю, что у меня другой отель. К счастью он в соседнем доме. Я об этом говорю, возникает неловкая пауза, мы с Денисом заливаемся смехом, а ресепшионист нет 😂 Я забираю паспорт и поспешно ретируюсь.
Совет: внимательнее проверяйте отель в который вы заселяетесь 😀
Предыстория. Приехали мы в командировку в СПб, чтобы посидеть вместе с сейлзами и послушать, как они общаются с клиентами.
Я обожаю все, что касается общения с клиентами. На такое у нас кстати берут не только менеджеров, но и обычных дата сайнтистов. Но к теме
Мы с Денисом заходим в отель. Отель шикарный, исторический - нам открывают дверь швейцары, интерьер с вензелями, вид на Исакий. Мы даем паспорта. Мой паспорт что-то долго смотрят и ничего не говорят. Берут паспорт Дениса и говорят - нашли вашу бронь.
Спрашивают - вы вдвоем? А к Денису должна приехать жена. Он говорит - да, вдвоем, до выходных. Нам улыбаются и начинают оформлять 😅
Я понимаю, что что-то не так. Проверяю бронь и понимаю, что у меня другой отель. К счастью он в соседнем доме. Я об этом говорю, возникает неловкая пауза, мы с Денисом заливаемся смехом, а ресепшионист нет 😂 Я забираю паспорт и поспешно ретируюсь.
Совет: внимательнее проверяйте отель в который вы заселяетесь 😀
😁45❤2🔥1
Поиск и LLM. Как сломался data-driven подход
Из разговоров на кухне☕ . Я уже давно перестал пользоваться традиционным поиском, таким как Яндекс и Google, и перешел на ChatGPT. Это глобальный тренд. ChatGPT и его аналоги существенно лучше работают. Кто-то использует Perplexity, например
Что мне меньше нравится в обычном поиске - это качество источников. Вводишь условно «как лучше спать», тебе выходят статьи из комсомольской правды. А ChatGPT даст саммари и подкрепит ссылками на рецензируемые статьи с PubMed. Это конечно круто.
Необычность ситуации в том, что поиск - зрелая индустрия. В технологических гигантах сотни людей годами качают метрики качества поиска. Например, релевантность или конверсию в клик в ранжировании. И тут такой заметный скачок в пользовательском восприятии.
Почему так произошло? У меня одно объяснение. Традиционные метрики поиска на самом деле паршивые. Они недостаточно хорошо отражают пользовательское качество. Надеюсь не сильно расстроил читателей, который обучают ML модели в поиске на эти метрики (я сам из них🤷♂ ). Может быть поисковикам стоит начать показывать две выдачи слева и справа как ChatGPT?
#tech@big_ledovsky
Из разговоров на кухне
Что мне меньше нравится в обычном поиске - это качество источников. Вводишь условно «как лучше спать», тебе выходят статьи из комсомольской правды. А ChatGPT даст саммари и подкрепит ссылками на рецензируемые статьи с PubMed. Это конечно круто.
Необычность ситуации в том, что поиск - зрелая индустрия. В технологических гигантах сотни людей годами качают метрики качества поиска. Например, релевантность или конверсию в клик в ранжировании. И тут такой заметный скачок в пользовательском восприятии.
Почему так произошло? У меня одно объяснение. Традиционные метрики поиска на самом деле паршивые. Они недостаточно хорошо отражают пользовательское качество. Надеюсь не сильно расстроил читателей, который обучают ML модели в поиске на эти метрики (я сам из них
#tech@big_ledovsky
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥10❤2
Forwarded from Доска AI-объявлений
Собеседование в прямом эфире: ML system design
13 октября | 18:30 мск
Что будет на стриме:
1️⃣ Разберём ML system design кейс, который ещё в недавнем прошлом предлагали на реальных собеседованиях.
2️⃣ Поговорим про компетенции, которые в Авито ждут от DS-инженеров.
3️⃣ Разберём результаты по итогам решения кейса и ответим на ваши вопросы.
Кто будет на стриме:
👤 Интервьюеры — Саша Ледовский, руководитель DS команд монетизации Авито и Максим Каширин, руководитель Data Science направления в модерации Авито.
👤 Кандидат —Дмитрий Савелко, LLM-инженер в R&D команде банка Точка.
Больше информации про событие и регистрация на Timepad.
Пришлём вам ссылку с напоминанием за 5 минут до старта 🚀
13 октября | 18:30 мск
Что будет на стриме:
1️⃣ Разберём ML system design кейс, который ещё в недавнем прошлом предлагали на реальных собеседованиях.
2️⃣ Поговорим про компетенции, которые в Авито ждут от DS-инженеров.
3️⃣ Разберём результаты по итогам решения кейса и ответим на ваши вопросы.
Кто будет на стриме:
👤 Интервьюеры — Саша Ледовский, руководитель DS команд монетизации Авито и Максим Каширин, руководитель Data Science направления в модерации Авито.
👤 Кандидат —Дмитрий Савелко, LLM-инженер в R&D команде банка Точка.
Больше информации про событие и регистрация на Timepad.
Пришлём вам ссылку с напоминанием за 5 минут до старта 🚀
🔥18👍6❤2🤡1
Карьерные изменения и вакансии
Всем привет! У меня две новости 🙂
Во-первых, я постепенно перехожу на новую позицию внутри Авито. Я не могу рассказать подробности, но это новое направление бизнеса, и я буду отвечать там за DS. Я очень воодушевлен и верю, что новое направление будет очень успешным!
Во-вторых, у меня открываются вакансии. В новом направлении нужно будет собрать поиск и рекомендации практически с нуля. Конечно, мы по-максимуму используем все наработки, которые уже есть внутри компании. Но специфика нового направления очень велика. И это будет отдельно работающая система.
Кого ищу
Сейчас я ищу трех ребят уровня DS4 и DS5 по уровням Авито: мидл+ и синьоры. Ожидаю, что у вас есть опыт продового ML. Замечательно если в поиске, рекомендациях или рекламе. Но может быть это что-то другое, например чат-боты, автоматизация поддержки или модерация. Будет сложно, но очень интересно! Искренне думаю, что это одна из наиболее интересных позиций сейчас на рынке.
💎 Пишите в личку @aledovsky
Всем привет! У меня две новости 🙂
Во-первых, я постепенно перехожу на новую позицию внутри Авито. Я не могу рассказать подробности, но это новое направление бизнеса, и я буду отвечать там за DS. Я очень воодушевлен и верю, что новое направление будет очень успешным!
Во-вторых, у меня открываются вакансии. В новом направлении нужно будет собрать поиск и рекомендации практически с нуля. Конечно, мы по-максимуму используем все наработки, которые уже есть внутри компании. Но специфика нового направления очень велика. И это будет отдельно работающая система.
Кого ищу
Сейчас я ищу трех ребят уровня DS4 и DS5 по уровням Авито: мидл+ и синьоры. Ожидаю, что у вас есть опыт продового ML. Замечательно если в поиске, рекомендациях или рекламе. Но может быть это что-то другое, например чат-боты, автоматизация поддержки или модерация. Будет сложно, но очень интересно! Искренне думаю, что это одна из наиболее интересных позиций сейчас на рынке.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥40⚡8🍾7👍3❤1
Нестандартные инсайты с Data-Driven
На Data-Driven было много интересных докладов. Я не буду их пересказывать. Можете посмотреть сами на x1.5, это недолго. Вместо этого делюсь личными инсайтами, которые отходят от основного повествования
📌 Яндекс Поиск в Межнаре (Роман Васильев) VK
Одна из основных метрик международного поиска - Side by Side like NPS Яндекс vs Google. Удивительно, что я совсем недавно писал об этой метрике в предыдущем посте про поиск и LLM. И сейчас еще больше задумался, чтобы ее внедрить в некоторые задачи
📌 Метрики качестве и эффективности в Яндекс Картах (Тимофей Струнков) VK
Одна из ключевых метрик Карт, полнота организаций на карте, считается ML-based. Раньше я крайне негативно относился к ML-based метрикам и предпочитал твердые метрики, которые не поедут от переобучения модели. Но увидев какое-то количество кейсов, я поменял мнение. ML-based метрики при аккуратном обращении вполне жизнеспособны
Если что, моделью там предсказывается популярность, на которую взвешивается метрика. Наличие организаций проверяется специальными пешеходами-исследователями 🙂
📌 End-to-end качество Алисы (Мария Акопян) VK
Разметка качества Алисы LLM+асессор почти также хороша как полностью асессорская. Интересная часть - консенсус легких LLM на первом этапе. Если модели дают одинаковый ответ, он принимается. Если нет, задача идет на более дорогую оценку
Такое ансамблирование LLM - это сильный метод. Сильнее, чем может показаться на первый взгляд
Заключение
Плейлисты со всеми докладами тут:
- Трек "Data to Artifacts": YT | VK
- Трек "Data to Insights": YT | VK
Пост предложили написать ребята из PR Яндекса. С удовольствием согласился. Как вам формат?
На Data-Driven было много интересных докладов. Я не буду их пересказывать. Можете посмотреть сами на x1.5, это недолго. Вместо этого делюсь личными инсайтами, которые отходят от основного повествования
📌 Яндекс Поиск в Межнаре (Роман Васильев) VK
Одна из основных метрик международного поиска - Side by Side like NPS Яндекс vs Google. Удивительно, что я совсем недавно писал об этой метрике в предыдущем посте про поиск и LLM. И сейчас еще больше задумался, чтобы ее внедрить в некоторые задачи
📌 Метрики качестве и эффективности в Яндекс Картах (Тимофей Струнков) VK
Одна из ключевых метрик Карт, полнота организаций на карте, считается ML-based. Раньше я крайне негативно относился к ML-based метрикам и предпочитал твердые метрики, которые не поедут от переобучения модели. Но увидев какое-то количество кейсов, я поменял мнение. ML-based метрики при аккуратном обращении вполне жизнеспособны
Если что, моделью там предсказывается популярность, на которую взвешивается метрика. Наличие организаций проверяется специальными пешеходами-исследователями 🙂
📌 End-to-end качество Алисы (Мария Акопян) VK
Разметка качества Алисы LLM+асессор почти также хороша как полностью асессорская. Интересная часть - консенсус легких LLM на первом этапе. Если модели дают одинаковый ответ, он принимается. Если нет, задача идет на более дорогую оценку
Такое ансамблирование LLM - это сильный метод. Сильнее, чем может показаться на первый взгляд
Заключение
Плейлисты со всеми докладами тут:
- Трек "Data to Artifacts": YT | VK
- Трек "Data to Insights": YT | VK
Пост предложили написать ребята из PR Яндекса. С удовольствием согласился. Как вам формат?
👍14🔥5
Как инженеру качать навыки общения
Откровенно, многим инженерам чтобы расти, нужно качать софты😀 . Особенно, коммуникацию. И я на самом деле могу порекомендовать только один путь - поработать в колл-центре в холодных продажах позаниматься в актерской студии. Я ходил на голос и речь в мае, а потом продолжил с сентября и это очень круто.
Речь, пластика, то, как мы себя ведем, меняется очень медленно и регулярными усилиями. Совсем как тело меняется в спортзале. Однодневные тренинги по публичным выступлениям - это полнейшая шляпа.
А знаете эти обсуждения на 1-1? "Давай качать коммуникацию, сейчас составим роадмап, в этом квартале тебе нужно прочитать две книги и выступать на митапе" 😂
По итогу, мне занятия очень понравились. Я поразился насколько велика пропасть между профессиональным актером и обычным человеком с точки зрения владения собой. И ощутил эффект от того, что у меня что-то начало лучше получаться. Например, я научишся держать зрительный контакт с аудиторией.
Имплементировать в жизнь получается сильно не все. Я не понимаю как так происходит, что когда я забываюсь, начинаю быстро говорить, глотать слова и заполнять речь словами-паразитами. Но, все чаще я учусь это замечать и исправлять.
На фото - на мини-спектакле по Евгению Онегину. Столько стихов не учил во всей жизни 😁
PS. Хожу сюда, студию очень рекомендую
#career@big_ledovsky
Откровенно, многим инженерам чтобы расти, нужно качать софты
Речь, пластика, то, как мы себя ведем, меняется очень медленно и регулярными усилиями. Совсем как тело меняется в спортзале. Однодневные тренинги по публичным выступлениям - это полнейшая шляпа.
А знаете эти обсуждения на 1-1? "Давай качать коммуникацию, сейчас составим роадмап, в этом квартале тебе нужно прочитать две книги и выступать на митапе" 😂
По итогу, мне занятия очень понравились. Я поразился насколько велика пропасть между профессиональным актером и обычным человеком с точки зрения владения собой. И ощутил эффект от того, что у меня что-то начало лучше получаться. Например, я научишся держать зрительный контакт с аудиторией.
Имплементировать в жизнь получается сильно не все. Я не понимаю как так происходит, что когда я забываюсь, начинаю быстро говорить, глотать слова и заполнять речь словами-паразитами. Но, все чаще я учусь это замечать и исправлять.
На фото - на мини-спектакле по Евгению Онегину. Столько стихов не учил во всей жизни 😁
PS. Хожу сюда, студию очень рекомендую
#career@big_ledovsky
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥39❤17👍7