Forwarded from ДНСЙ 🫀
Какие алгоритмы необходимы на собеседованиях? Лови подборку алгоритмической базы, с которой можно начать подготовку 👆
PS: мы упустили одну важну тему🤨 Напиши ее и самые частые задачи в комментах и получи по задаче с собесов в Яндекс, Meta, Jane Street, Amazon в лс🤘
PS: мы упустили одну важну тему🤨 Напиши ее и самые частые задачи в комментах и получи по задаче с собесов в Яндекс, Meta, Jane Street, Amazon в лс🤘
#dl
Материалы по диалоговым ассистентам
Не так давно искал материал по диалоговым ассистентам, скину то, что нашел в диалогах у себя, может что-то полезно будет.
Понравились статьи от DeepPavlov:
https://habr.com/ru/company/mipt/blog/527670/
https://medium.com/deeppavlov/how-to-build-simple-ai-assistant-with-deeppavlov-dream-b2bba1412eb2
https://deeppavlov-agent.readthedocs.io/en/latest/intro/overview.html
https://medium.com/deeppavlov/how-did-we-enhance-dialogue-management-in-dream-socialbot-d88057999132
https://d7qzviu3xw2xc.cloudfront.net/alexa/alexaprize/docs/sgc4/MIPT-DREAM.pdf
Сбер - 1. https://habr.com/ru/company/sberdevices/blog/589969/
2. https://sbercloud.ru/ru/datahub/rugpt3family/demo-ru-gpt3-xl
Создание генеративного чат-бота с личностью на основе GPT - https://medium.com/huggingface/how-to-build-a-state-of-the-art-conversational-ai-with-transfer-learning-2d818ac26313
MEND - https://sites.google.com/view/mend-editing
DialoGPT -
1. https://towardsdatascience.com/make-your-own-rick-sanchez-bot-with-transformers-and-dialogpt-fine-tuning-f85e6d1f4e30
2. https://github.com/microsoft/DialoGPT
3. https://arxiv.org/pdf/1911.00536.pdf
4. https://nathancooper.io/i-am-a-nerd/chatbot/deep-learning/gpt2/2020/05/12/chatbot-part-1.html
Тут по метрикам что-то было вроде:
https://arxiv.org/abs/2001.09977
https://ai.googleblog.com/2020/01/towards-conversational-agent-that-can.html
Остальное:
https://www.youtube.com/watch?v=lM6a9e1t-mA
https://arxiv.org/abs/1909.05858
Материалы по диалоговым ассистентам
Не так давно искал материал по диалоговым ассистентам, скину то, что нашел в диалогах у себя, может что-то полезно будет.
Понравились статьи от DeepPavlov:
https://habr.com/ru/company/mipt/blog/527670/
https://medium.com/deeppavlov/how-to-build-simple-ai-assistant-with-deeppavlov-dream-b2bba1412eb2
https://deeppavlov-agent.readthedocs.io/en/latest/intro/overview.html
https://medium.com/deeppavlov/how-did-we-enhance-dialogue-management-in-dream-socialbot-d88057999132
https://d7qzviu3xw2xc.cloudfront.net/alexa/alexaprize/docs/sgc4/MIPT-DREAM.pdf
Сбер - 1. https://habr.com/ru/company/sberdevices/blog/589969/
2. https://sbercloud.ru/ru/datahub/rugpt3family/demo-ru-gpt3-xl
Создание генеративного чат-бота с личностью на основе GPT - https://medium.com/huggingface/how-to-build-a-state-of-the-art-conversational-ai-with-transfer-learning-2d818ac26313
MEND - https://sites.google.com/view/mend-editing
DialoGPT -
1. https://towardsdatascience.com/make-your-own-rick-sanchez-bot-with-transformers-and-dialogpt-fine-tuning-f85e6d1f4e30
2. https://github.com/microsoft/DialoGPT
3. https://arxiv.org/pdf/1911.00536.pdf
4. https://nathancooper.io/i-am-a-nerd/chatbot/deep-learning/gpt2/2020/05/12/chatbot-part-1.html
Тут по метрикам что-то было вроде:
https://arxiv.org/abs/2001.09977
https://ai.googleblog.com/2020/01/towards-conversational-agent-that-can.html
Остальное:
https://www.youtube.com/watch?v=lM6a9e1t-mA
https://arxiv.org/abs/1909.05858
Хабр
Все началось с Dream — новый ИИ-помощник от проекта DeepPavlov
Команда лаборатории нейронных систем и глубокого обучения МФТИ, работающая над проектом DeepPavlov, создала интеллектуального помощника с искусственным интеллект...
Forwarded from Reliable ML
АБ-тесты - это не только ценный мех… Но еще и процессы.
Цикл постов про АБ-тестирование. Пост 1.
О математических нюансах АБ-тестирования есть много замечательной литературы, подборку которой мы дадим в конце этой серии постов.
Но почти нигде нет информации о том, каким образом в компаниях выстраивать сам процесс применения АБ-тестирования. За исключением отдельных отраслей (игры, интернет-коммерция), где уже сформировались зрелые практики.
При этом для офлайн-бизнеса внедрение АБ-тестирования во многом организационная, а не математическая проблема.
На первый взгляд, кажется, что достаточно отработать методику АБ-тестирования на уровне объектов тестирования (например, точек продаж для офлайн ритейла). Но на практике правильно выстроить бизнес-процесс применения АБ и позиционирования его внутри компании едва ли не сложнее, чем создать правильную статистическую методологию.
С точки зрения бизнес-процессов компании АБ-тестирование - часть инвестиционного цикла проектов и продуктов, за который отвечает финансовое подразделение. Внутри инвестиционного цикла АБ-тестирование – это один из способов дизайна и оценки пилотных экспериментов компании для того, чтобы принять решение о дальнейших инвестициях в проект.
Обобщенно инвестиционный цикл можно разбить на этапы:
- Заявка на проект. Процедура отбора проектов, в которые компания готова инвестировать. Здесь АБ-тестирование может участвовать, дополняя критерии отбора проектов возможностью проведения статистически корректного АБ-теста.
На практике это, к сожалению, происходит редко, что приводит к значительным денежным потерям. Проект запустили, а вывод о том, эффективен ли он, сделать невозможно.
- Инвестиционный комитет по процедурам компании для решения о том, идет ли проект дальше по циклу.
- Разработка MVP. Разрабатывается прототип решения.
- Пилот. После разработки MVP нужно как можно дешевле (на минимальном числе объектов) оценить финансовый эффект проекта, чтобы принять решение о продолжении или прекращении инвестиций в проект.
Чтобы понять, окупятся ли дальнейшие инвестиции в проект, нам нужно быть уверенными, что мы получили достоверную оценку финансового эффекта.
Как тут помогает АБ тестирование: математически корректная методика дизайна и оценки результатов экспериментов дает возможность сделать правильные выводы о ценности разработанного MVP.
- Инвестиционный комитет по процедурам компании для решения о том, идет ли проект дальше по циклу.
- Ролл-аут. Осуществляется внедрение проекта на все целевые объекты в масштабе компании.
- Пост-инвест анализ. Чтобы отслеживать эффективность инвестиционной деятельности, компании нужно оценить итоговый финансовый эффект ролл-аута. Какие статистические инструменты доступны?
Прежде всего - контрфактические методы причинно-следственного анализа. Мы писали о них в начале года (тут, тут и тут).
Важно помнить, что АБ-тестирование – лишь часть (пусть и очень важная) методов причинно-следственного анализа. АБ-тесты - только один из способов дизайна и оценки пилотных экспериментов. Они хорошо работают в типовых случаях, а для сложных случаев помогут контрфактические методы. При использовании контрфактических методов критически важно обеспечить робастность применения моделей.
Эту структуру полезно иметь в виду при интеграции АБ-тестирования в бизнес-процессы компании.
В следующих постах цикла речь пойдет о детальном бизнес-процессе дизайна и оценки пилота, а также о том, какие этапы в нем закрывает математическая методика АБ-тестирования, а какие этапы нужно дополнительно продумать и упорядочить при ее внедрении.
#business #ab_testing
Цикл постов про АБ-тестирование. Пост 1.
О математических нюансах АБ-тестирования есть много замечательной литературы, подборку которой мы дадим в конце этой серии постов.
Но почти нигде нет информации о том, каким образом в компаниях выстраивать сам процесс применения АБ-тестирования. За исключением отдельных отраслей (игры, интернет-коммерция), где уже сформировались зрелые практики.
При этом для офлайн-бизнеса внедрение АБ-тестирования во многом организационная, а не математическая проблема.
На первый взгляд, кажется, что достаточно отработать методику АБ-тестирования на уровне объектов тестирования (например, точек продаж для офлайн ритейла). Но на практике правильно выстроить бизнес-процесс применения АБ и позиционирования его внутри компании едва ли не сложнее, чем создать правильную статистическую методологию.
С точки зрения бизнес-процессов компании АБ-тестирование - часть инвестиционного цикла проектов и продуктов, за который отвечает финансовое подразделение. Внутри инвестиционного цикла АБ-тестирование – это один из способов дизайна и оценки пилотных экспериментов компании для того, чтобы принять решение о дальнейших инвестициях в проект.
Обобщенно инвестиционный цикл можно разбить на этапы:
- Заявка на проект. Процедура отбора проектов, в которые компания готова инвестировать. Здесь АБ-тестирование может участвовать, дополняя критерии отбора проектов возможностью проведения статистически корректного АБ-теста.
На практике это, к сожалению, происходит редко, что приводит к значительным денежным потерям. Проект запустили, а вывод о том, эффективен ли он, сделать невозможно.
- Инвестиционный комитет по процедурам компании для решения о том, идет ли проект дальше по циклу.
- Разработка MVP. Разрабатывается прототип решения.
- Пилот. После разработки MVP нужно как можно дешевле (на минимальном числе объектов) оценить финансовый эффект проекта, чтобы принять решение о продолжении или прекращении инвестиций в проект.
Чтобы понять, окупятся ли дальнейшие инвестиции в проект, нам нужно быть уверенными, что мы получили достоверную оценку финансового эффекта.
Как тут помогает АБ тестирование: математически корректная методика дизайна и оценки результатов экспериментов дает возможность сделать правильные выводы о ценности разработанного MVP.
- Инвестиционный комитет по процедурам компании для решения о том, идет ли проект дальше по циклу.
- Ролл-аут. Осуществляется внедрение проекта на все целевые объекты в масштабе компании.
- Пост-инвест анализ. Чтобы отслеживать эффективность инвестиционной деятельности, компании нужно оценить итоговый финансовый эффект ролл-аута. Какие статистические инструменты доступны?
Прежде всего - контрфактические методы причинно-следственного анализа. Мы писали о них в начале года (тут, тут и тут).
Важно помнить, что АБ-тестирование – лишь часть (пусть и очень важная) методов причинно-следственного анализа. АБ-тесты - только один из способов дизайна и оценки пилотных экспериментов. Они хорошо работают в типовых случаях, а для сложных случаев помогут контрфактические методы. При использовании контрфактических методов критически важно обеспечить робастность применения моделей.
Эту структуру полезно иметь в виду при интеграции АБ-тестирования в бизнес-процессы компании.
В следующих постах цикла речь пойдет о детальном бизнес-процессе дизайна и оценки пилота, а также о том, какие этапы в нем закрывает математическая методика АБ-тестирования, а какие этапы нужно дополнительно продумать и упорядочить при ее внедрении.
#business #ab_testing
Forwarded from Victor Kozlov
Коллеги, добрый день
Выкладываем книги Schweser Level 1 2023 - https://disk.yandex.ru/d/JBpVS6t-kKylyg
Также хотим напомнить, что у нас есть отдельная группа для каждого левела, а также можем прислать мануал для подготовки.
11 сентября начинается курс Артура Сорочинского (Hock) по подготовке к первому левелу (https://vimeo.com/429619522?embedded=true&source=vimeo_logo&owner=56305744). Если кому-то интересно, то пишите (для нашего сообщества будет 10% скидка)
Всем успешной недели!
Выкладываем книги Schweser Level 1 2023 - https://disk.yandex.ru/d/JBpVS6t-kKylyg
Также хотим напомнить, что у нас есть отдельная группа для каждого левела, а также можем прислать мануал для подготовки.
11 сентября начинается курс Артура Сорочинского (Hock) по подготовке к первому левелу (https://vimeo.com/429619522?embedded=true&source=vimeo_logo&owner=56305744). Если кому-то интересно, то пишите (для нашего сообщества будет 10% скидка)
Всем успешной недели!
Forwarded from Victor Kozlov
Коллеги, давайте освежим правила чата!
Для подготовки к CFA созданы 3 чата для каждого левела и чат для чартеров. Если вы хотите присоединиться, пишите мне в личку @vic_lamberg.
В России сдача в ближ будущем не планируется, однако, можно записаться в другие страны. Если есть вопросы, пишите мне в личку.
Тут актуальные материалы для подготовки:
CFA Level 1 - https://yadi.sk/d/ZnBuVHEjJmkc-w (отправлю мануал в личку)
CFA Level 2 - https://yadi.sk/d/lpdbZmNZQ8OFZw
CFA Level 3 - https://yadi.sk/d/wEgrpmnJUBlJgQ
Другие полезные книги: https://disk.yandex.ru/d/ux28mKMS3RLTL3
Аналитические отчеты - https://disk.yandex.ru/d/1EILWHgkv9sLHg
Размещение вакансий платное (в @cfa_club 3500 рублей, совместно с @tpeople 5000)
Мы тесно сотрудничаем с курсами для подготовки к CFA (SF Education и Hock). Для всех наших участников скидка 10% (она распространяется на все курсы SF Education)
В данном чате вы можете задавать любые вопросы про сертификат, образовательные и профессиональные вопросы. Но ЗАПРЕЩЕНО пересылать ссылки с других каналов/групп в Телеграме и другие коммерческие ссылки.
Также наши проекты:
@tpeople - рекрутинговый канал
@acca_club - чат по подготовке к асса
@esg_club - чат по ESG сертификату
@cima_community - чат по подготовке к cima
@expertosphere - база отраслевых отчетов
Если кто-то хочет отправить донаты или помочь в развитие, то welcome (сбербанк/альфа (89055067770). Заранее спасибо!
И запрещены любые ссылки и/или репосты с других каналов.
Для подготовки к CFA созданы 3 чата для каждого левела и чат для чартеров. Если вы хотите присоединиться, пишите мне в личку @vic_lamberg.
В России сдача в ближ будущем не планируется, однако, можно записаться в другие страны. Если есть вопросы, пишите мне в личку.
Тут актуальные материалы для подготовки:
CFA Level 1 - https://yadi.sk/d/ZnBuVHEjJmkc-w (отправлю мануал в личку)
CFA Level 2 - https://yadi.sk/d/lpdbZmNZQ8OFZw
CFA Level 3 - https://yadi.sk/d/wEgrpmnJUBlJgQ
Другие полезные книги: https://disk.yandex.ru/d/ux28mKMS3RLTL3
Аналитические отчеты - https://disk.yandex.ru/d/1EILWHgkv9sLHg
Размещение вакансий платное (в @cfa_club 3500 рублей, совместно с @tpeople 5000)
Мы тесно сотрудничаем с курсами для подготовки к CFA (SF Education и Hock). Для всех наших участников скидка 10% (она распространяется на все курсы SF Education)
В данном чате вы можете задавать любые вопросы про сертификат, образовательные и профессиональные вопросы. Но ЗАПРЕЩЕНО пересылать ссылки с других каналов/групп в Телеграме и другие коммерческие ссылки.
Также наши проекты:
@tpeople - рекрутинговый канал
@acca_club - чат по подготовке к асса
@esg_club - чат по ESG сертификату
@cima_community - чат по подготовке к cima
@expertosphere - база отраслевых отчетов
Если кто-то хочет отправить донаты или помочь в развитие, то welcome (сбербанк/альфа (89055067770). Заранее спасибо!
И запрещены любые ссылки и/или репосты с других каналов.
Forwarded from Deleted Account
Могу кстати порекомендовать этот канал по алгосам
https://www.youtube.com/c/pavelmavrin
https://www.youtube.com/c/pavelmavrin
Forwarded from Alexander Gorodnev
https://neerc.ifmo.ru/teaching/algo/year2020-eng/tasks35.pdf давать домашку в виде пдф-ок в наш век немного кринжово
#ml #interpretable
Интерпретируемость для диффузионных моделей https://github.com/JoaoLages/diffusers-interpret
Интерпретируемость для диффузионных моделей https://github.com/JoaoLages/diffusers-interpret
GitHub
GitHub - JoaoLages/diffusers-interpret: Diffusers-Interpret 🤗🧨🕵️♀️: Model explainability for 🤗 Diffusers. Get explanations for…
Diffusers-Interpret 🤗🧨🕵️♀️: Model explainability for 🤗 Diffusers. Get explanations for your generated images. - JoaoLages/diffusers-interpret
Forwarded from Data Science Private Sharing
#Tip25 #TimeSeries #Valid
TimeSeriesSplit - известный способ разбиения временных данных для кросс-валидации из скалерна.
Метод разбиения, который в нем реализован называется Expanding window.
Но наука о временных рядах знает гораздо больше способов разбить временные данные. Основных два:
- Expanding Window
- Sliding Window
А дальше включается воображение:
- Нахлесты между периодами
- Пробел между трейном/валидом/тестом
- Способ выделения тестовой выборки
Как уже было сказано, Expanding Window можно найти в скалерне. Для Sliding Window и других ухищрений нужно либо писать свой код (основные ML-библиотеки принимают готовые сплиты в виде индексов строк), либо поискать на гитхабе:
https://github.com/WenjieZ/TSCV
https://github.com/AaronOS0/Time-series-Cross-validation
https://github.com/marmurar/jano
и прочие...
TimeSeriesSplit - известный способ разбиения временных данных для кросс-валидации из скалерна.
Метод разбиения, который в нем реализован называется Expanding window.
Но наука о временных рядах знает гораздо больше способов разбить временные данные. Основных два:
- Expanding Window
- Sliding Window
А дальше включается воображение:
- Нахлесты между периодами
- Пробел между трейном/валидом/тестом
- Способ выделения тестовой выборки
Как уже было сказано, Expanding Window можно найти в скалерне. Для Sliding Window и других ухищрений нужно либо писать свой код (основные ML-библиотеки принимают готовые сплиты в виде индексов строк), либо поискать на гитхабе:
https://github.com/WenjieZ/TSCV
https://github.com/AaronOS0/Time-series-Cross-validation
https://github.com/marmurar/jano
и прочие...
Forwarded from Compilation Еггор
Combinatorial Purged Cross-Validation с эмбарго часто используют кванты
https://www.google.com/amp/s/towardsai.net/p/l/the-combinatorial-purged-cross-validation-method%3famp=1
https://www.google.com/amp/s/towardsai.net/p/l/the-combinatorial-purged-cross-validation-method%3famp=1
towardsai.net
The Combinatorial Purged Cross-Validation method | Towards AI
Last Updated on March 31, 2022 by Editorial Team Author(s): Berend Originally published on Towards AI the World’s Leading AI and Technology News and M ...