Как связаны А/B тестирование и хэш функции? Рассказываю:

На курсах по аб тестированию, как правило, акцент на теоретическую часть анализа результатов аб и культуру аб, но вот вам несколько технических нюансов, которые полезно учесть в коде, когда формируем сам сплит.

🙌 Реализовал для вас коротенькую и почти идеальную функцию для аб сплита. Учитывает сразу много подводных камней, на которые можно напороться по незнанию. Вот некоторые из них.

⚡️ Не стоит заранее рассчитывать группу для аб - это долго, ресурсоёмко при большой клиентской базе, не гибко для быстрых изменений, не эффективно по памяти, плодит «легаси», сложный код и тп

⚡️ Важно, чтоб сплит был полностью воспроизводим при одних и тех же данных. Причем важно, чтоб воспроизводимость была на разных машинах! Так вы легко сможете ловить косяки модели, воспроизводить и выяснять причину, даже если ваша модель параллелится на несколько инстансов.

⚡️ Если даже отбросить воспроизводимость ради оперативного анализа результата, то можно испортить клиентский опыт, если решение отрабатывает в разные моменты времени по-разному. (сейчас у вас минималка 500 рублей, а через секунду 2000 рублей. Клиент удивится)

⚡️ Название сплита можно делать интерпретируемым и логировать на бэке. Так ускоряется разработка дашбордов вашей фичи.

⚡️ Формирую группу эксперимента хэш функцией, а не рандомом с фиксированным сидом. Так в одну строчку можно изящно заложить контекст и «соль» эксперимента. А еще сохраним возможность делать switch-back или дополнительно стратифицировать группу по полу или городу.

Пишите критику в комменты. Может у вас есть пример получше моего?

Выходные все… Снова пора работку работать!

🤗 Во-первых, накидайте в комменты фоток, как провели эти прекрасные дни! Сам в горах пробыл 🏂

💪 Во вторых, помните пост про быстрые планировки пиццерий? Продолжаю заводить новые экзотические ML направления.

🍕 Любуйтесь залипательной гифкой MVP по автоматической подборке планировки. Именно под этот проект я ищу к нам в команду нового бойца.

🎥 Придется почти с нуля строить алгоритм подробора оптимальных планировок под заданные входные параметры. Если вам такое интересно, дайте знать @Aleron (Сразу кидайте резюме и свои мысли, как бы решали задачку)

Как я не дожал до результата в 2023-м ?

🍕 По итогам 2023-го года было выдвинуто 65 проектов в номинации «лучший проект для бизнеса».

🔨 Проект моей команды - «динамическая минималка» вошел в топ-3, но не стал победителем … 🤪

🤔 Приятно, что дошли до финала, но с другой стороны обидное ощущение, что не дожали, хотя все для этого было. Ох, уж этот мой максимализм 😅

😌 Спасибо моей команде и бизнес лидеру 💪. В 2024-м будем дожимать проекты до конца!

Кстати, теперь в Dodo Brands новый CEO - Алёна Тихова - вот ее крутое выступление)

🔹 Недавно все узнали, что если обещать gpt моделям чаевые, то снижается капризность модели (+5-11% качества).

🔹 И вот опять. Было интуитивно ясно, но недавно это еще и доказали численно, что если указывать роль, в которой должна прибывать gpt модель, то качество увеличивается в 20 раз.

🔹Прикладываю вам видос с ботом, которого настроили работать в роли вашего препода по англу, добавив сюда транскрибацию и синтез речь.

огонь?

🤩 И не надо мне врать, что после моего поста вы не побежали пилить такого же бота или не подумали запустить стартапчик!

🤫 Кстати, такой бот это выпускной проект в нашем курсе по LLM

Вот вам промик DATAFEELING

💪 Я завел себе привычку мониторить сливы данных и искать себя там.

🤩 И вот знали ли вы про недавний скандал? Покидающий свою родину немецкий автогигант Mercedes-Benz напоследок слил все свои наработки, оставив в сети токен доступа GitHub Enterprise Server Mercedes, который давал неограниченный и неконтролируемый доступ.

🤯 Репозитории содержали большой объем интеллектуальной собственности, включая ключи доступа к Microsoft Azure и AWS, чертежи, проектную документацию, пароли, ключи API, базу данных Postgres и исходный код Mercedes, а также другую важную корпоративную информацию.

🤫 Утечку ключа нашли в общедоступном репозитории GitHub в ходе планового сканирования в январе.

Ниже пост про ребят, которые похожие проблемы решают

После поста про AI планировки пиццерий мне написал Александр (автор канала), основавший свою студию AI разработки.

🤝 Мы с ним созвонились и совместно побрейнштормили, как проще подступиться к этой задаче. Забились обмениваться опытом/кодом по ходу дела. (!) Вот вам и польза открытого ведения канала и рассказа про проекты)

💪 А еще узнал от него прикольную фишку. Если человек проходит мимо пиццерии, то в этом момент можно отправить ему пуш уведомление. Как? Оказывается, легко трекать мак адреса телефонов, находящихся рядом в сети. Не без сложностей, но вполне рабочий метод. Вот тебе и гео персонализация.

✔️ Такой пуш лучше пуша по расписанию. А вообще, пуш с промо предложением нельзя отправить чаще, чем раз в недельку. Пользуйтесь и подписывайтесь на канал Саши!

Не надо мне говорить, что в РФ c прикольными вакансиями проблемы!

Вот вам крутая ML вакансия в Таиланде в русско-говорящей команде!

Чуть сам не подался, но я больше по 🌯 и 🍕 чем по ✈️ и 🎫

Нашел тут @hiring_relocatin_hr_it

✔️ Два «прорыва года» по версии Степик за одним столом.

😜 Удивительное асинхронное совпадение. Узнали, что оба из Сочи только после номинации. Слева Павел Хошев, а справа Алерон.

👨‍💻 Паше удается два года подряд выигрывать в таких номинациях как «Лучший платный курс» и «Прорыв года».

🤔 Уже месяц думаем, как же нам так спартнёриться, чтоб получилась формула «1+1 = 11».

😜 Вы как думаете, нужно ли знать асинхронное програмирование аналитику данных вообще? А ML инженеру?

🤫 Мой опрос показал, что обычно про Пашу знают только сеньёристые ребята.

DS ребятам, аларм!

🤗 На kaggle завезли табличную сореву по кредитному скорингу

🔥 Таблички! Скоринг! $105к! Вкуснотища, в которую надо залетать с головой. Идеально, чтоб вкатиться в соревы и прокачаться в классике.

👨‍💻 Вот мой прошлый разбор похожего чемпионата на серебро…

🤝 Что ж, легкно не будет, но отбросьте все сомнения. Время фармить титулы! Встретимся на лидерборде 😜🤹

🤖Dodo AI Day 🍕

AI, AI, AI — за последний год мы столько раз слышали эту аббревиатуру, что кажется, искусственный интеллект уже захватил мир. Но это не так — на постоянной основе, для оптимизации своих рабочих процессов и решения повседневных задач, их используют только новаторы и ранние последователи.

🎙 Однако количество мифов, которым успел обрасти искусственный интеллект — велико, и один страшнее другого. Нам рассказывают о том, что ИИ отберёт у людей работу или о том, что он сможет обучаться всему без помощи человека и т.д.

🫣 Все ли эти утверждения — мифы? Стоит ли бояться ИИ, как можно использовать его в бизнесе Dodo :dodobrands: и в каких сферах он уже нам помогает, мы расскажем на Dodo AI Day вместе с командами AI Lab и ML Core. Наша первая встреча, посвящённая использованию искусственного интеллекта состоится уже 28 февраля в 11:00! Ждём вас!

🍕 Это наша первая AI конфа) Приглашаю всех, кому интересна тема AI и ML - оставляйте здесь почту, добавим всех🤝️️️️️️. Ссылку на трансляцию дополнительно пришлю отдельным постом сюда в канал. Включайте оповещения)

🔥Кстати, создание видоса и афиши факультативно доверил тоже AI. Бахнул через DALLE-3. Круто?

@datafeeling

🤩 Если вы до сих пор не понимаете, зачем вам разбираться в LLM технологиях, то вот классный пример)

🔬Парень автоматически отобрал 4 лучших варианта из 5к кандидаток в приложении для знакомств - серьезная автоматизация 😜

🚀 Услышав второй раз про звездный час Александра - я удивился, подумал: «Вот это да! Качественно у парня получается залетать с новаторскими идеями в топовые СМИ». Надо бы узнать у него секрет!

А потом мы случайно встретились на AI-бранче