Необычный выпуск Data Zen Podcast: поговорим о психологии в IT.
Премьера 1 декабря 12.00 (UTC+3)!
▫️Что нужно знать, чтобы выгорать ровно к началу отпуска?
▫️Как ходить по грани и при этом сохранять рассудок и эффективность?
▫️Как работать 24/7, но продержаться дольше, чем тот парень напротив?
Ирина Каленчук, психолог, карьерный консультант, поделится с нами опытом и подскажет, где искать ментальные силы, когда всё плохо.
Узнаем, кто виноват в выгорании и как понять, что ты следующий, а также зададим интересующие вас вопросы - присылайте их нам.
👁🗨 Анонимность, как и полагается в психологии, гарантируем.
Премьера 1 декабря 12.00 (UTC+3)!
▫️Что нужно знать, чтобы выгорать ровно к началу отпуска?
▫️Как ходить по грани и при этом сохранять рассудок и эффективность?
▫️Как работать 24/7, но продержаться дольше, чем тот парень напротив?
Ирина Каленчук, психолог, карьерный консультант, поделится с нами опытом и подскажет, где искать ментальные силы, когда всё плохо.
Узнаем, кто виноват в выгорании и как понять, что ты следующий, а также зададим интересующие вас вопросы - присылайте их нам.
👁🗨 Анонимность, как и полагается в психологии, гарантируем.
Machine Learning in Production: Why You Should Care About Data and Concept Drift
https://towardsdatascience.com/machine-learning-in-production-why-you-should-care-about-data-and-concept-drift-d96d0bc907fb
https://towardsdatascience.com/machine-learning-in-production-why-you-should-care-about-data-and-concept-drift-d96d0bc907fb
Medium
Machine Learning in Production: Why You Should Care About Data and Concept Drift
No model lasts forever. Even if the data quality is fine, the model itself can start degrading. What does this mean in practice?
Labs for 'Introduction to Machine Learning in Production' course on Coursera
https://github.com/https-deeplearning-ai/machine-learning-engineering-for-production-public
https://github.com/https-deeplearning-ai/machine-learning-engineering-for-production-public
GitHub
GitHub - https-deeplearning-ai/machine-learning-engineering-for-production-public: Public repo for DeepLearning.AI MLEP Specialization
Public repo for DeepLearning.AI MLEP Specialization - https-deeplearning-ai/machine-learning-engineering-for-production-public
Towards ML Engineering: A Brief History
Of TensorFlow Extended (TFX)
https://arxiv.org/pdf/2010.02013.pdf
Of TensorFlow Extended (TFX)
https://arxiv.org/pdf/2010.02013.pdf
👍1
Top 10 MLOps Tools to Optimize & Manage Machine Learning Lifecycle
What is Machine Learning Lifecycle?
What is MLOps?
Top 10 MLOps Tools/Platforms for Machine Learning Lifecycle Management
New in the Market
https://www.kdnuggets.com/2022/10/top-10-mlops-tools-optimize-manage-machine-learning-lifecycle.html
#MLOps
What is Machine Learning Lifecycle?
What is MLOps?
Top 10 MLOps Tools/Platforms for Machine Learning Lifecycle Management
New in the Market
https://www.kdnuggets.com/2022/10/top-10-mlops-tools-optimize-manage-machine-learning-lifecycle.html
#MLOps
KDnuggets
Top 10 MLOps Tools to Optimize & Manage Machine Learning Lifecycle - KDnuggets
As more businesses experiment with data, they realize that developing a machine learning (ML) model is only one of many steps in the ML lifecycle.
Интересный пост о том, как стать дата-инженером в 2023 году.
#DataEngineer
https://www.datacamp.com/blog/how-to-become-a-data-engineer
#DataEngineer
https://www.datacamp.com/blog/how-to-become-a-data-engineer
Datacamp
How to Become a Data Engineer in 2025: 5 Steps for Career Success
Learn what a data engineer does and what it takes to land a job in one of the most in-demand careers in data science.
Как стать дата-инженером?
Вот подборка любопытных статей на тему, а также список вопросов и ответов для прохождения интервью.
1. Data Engineer Learning Path, Career Track & Roadmap for 2023: https://www.projectpro.io/article/data-engineer-learning-path/550
2. The Complete Data Engineering Study Roadmap: https://www.kdnuggets.com/2022/11/complete-data-engineering-study-roadmap.html
3. The Top 21 Data Engineering Interview Questions and Answers: https://www.datacamp.com/blog/top-21-data-engineering-interview-questions-and-answers
4. Roadmap to becoming a data engineer in 2021 (немного устаревшее, но пока актуальное): https://github.com/datastacktv/data-engineer-roadmap
Вот подборка любопытных статей на тему, а также список вопросов и ответов для прохождения интервью.
1. Data Engineer Learning Path, Career Track & Roadmap for 2023: https://www.projectpro.io/article/data-engineer-learning-path/550
2. The Complete Data Engineering Study Roadmap: https://www.kdnuggets.com/2022/11/complete-data-engineering-study-roadmap.html
3. The Top 21 Data Engineering Interview Questions and Answers: https://www.datacamp.com/blog/top-21-data-engineering-interview-questions-and-answers
4. Roadmap to becoming a data engineer in 2021 (немного устаревшее, но пока актуальное): https://github.com/datastacktv/data-engineer-roadmap
www.projectpro.io
Data Engineering Roadmap, Learning Path,& Career Track | ProjectPro
The Only step-by-step Data Engineer Learning Path with a completely hands-on and project-driven approach to make you job-ready | ProjectPro
Forwarded from HABR FEED + OPENNET
Библиотека ML Tuning: как подобрать гиперпараметры модели GBTRegressor в PySpark #habr
https://habr.com/ru/post/715678/
Tags: Блог компании Сбер, Машинное обучение, Big Data, Python, python, bigdata, big data, машинное+обучение, машинное обучение, программирование
Author: NewTechAudit
https://habr.com/ru/post/715678/
Tags: Блог компании Сбер, Машинное обучение, Big Data, Python, python, bigdata, big data, машинное+обучение, машинное обучение, программирование
Author: NewTechAudit
Хабр
Библиотека ML Tuning: как подобрать гиперпараметры модели GBTRegressor в PySpark
Привет, Хабр! Меня зовут Никита Морозов, я Data Scientist в Сбере. Сегодня поговорим о том, как при помощи библиотеки ML Tuning осуществить подбор гиперпараметров модели...
👍1
Про схему звезды в РБД
1. Star Schema in Data Warehouse modeling: https://www.geeksforgeeks.org/star-schema-in-data-warehouse-modeling/
2. star schema (с примерами, видео, за и против): https://www.techtarget.com/searchdatamanagement/definition/star-schema
Рекомендую также ознакомиться со статьей на Хабре, написанную понятным языком: Архитектура хранилищ данных: традиционная и облачная: https://habr.com/ru/post/441538/
1. Star Schema in Data Warehouse modeling: https://www.geeksforgeeks.org/star-schema-in-data-warehouse-modeling/
2. star schema (с примерами, видео, за и против): https://www.techtarget.com/searchdatamanagement/definition/star-schema
Рекомендую также ознакомиться со статьей на Хабре, написанную понятным языком: Архитектура хранилищ данных: традиционная и облачная: https://habr.com/ru/post/441538/
GeeksforGeeks
Star Schema in Data Warehouse modeling - GeeksforGeeks
Your All-in-One Learning Portal: GeeksforGeeks is a comprehensive educational platform that empowers learners across domains-spanning computer science and programming, school education, upskilling, commerce, software tools, competitive exams, and more.
👍1
Неплохой список инструментов MLOps с открытым программным кодом.
The Best Open-Source MLOps Tools You Should Know: https://neptune.ai/blog/best-open-source-mlops-tools
#MLOps #OpenSource
The Best Open-Source MLOps Tools You Should Know: https://neptune.ai/blog/best-open-source-mlops-tools
#MLOps #OpenSource
neptune.ai
Open Source MLOps: Platforms, Frameworks and Tools
Overview of essential open-source MLOps tools, focusing on their functionality and integration within the machine learning landscape.
Самая модная метапоисковая система теневых библиотек Anna's Archive:
annas-archive.org
Запустилась 7 месяцев назад, и стала самой актуальной точкой входа для поиска научной информации, книг, журналов и тд
annas-archive.org
Запустилась 7 месяцев назад, и стала самой актуальной точкой входа для поиска научной информации, книг, журналов и тд
annas-archive.org
Anna’s Archive: LibGen (Library Genesis), Sci-Hub, Z-Library in one place - Anna’s Archive
The world’s largest open-source open-data library. Mirrors Sci-Hub, Library Genesis, Z-Library, and more.
🔥4👍3❤1🤩1
Claude обгоняет ChatGPT.
Есть сильные подозрения, что скоро мы увидим "гонки интеллектов":
https://www.kdnuggets.com/2023/07/chatgpt-dethroned-claude-became-new-ai-leader.html
Есть сильные подозрения, что скоро мы увидим "гонки интеллектов":
https://www.kdnuggets.com/2023/07/chatgpt-dethroned-claude-became-new-ai-leader.html
KDnuggets
ChatGPT Dethroned: How Claude Became the New AI Leader
Putting the world to shame.
Планирую писать посты с использованием подсказок от ChatGPT-4.
Такие посты буду помечать тегом #ChatGPTprocessed.
Во-первых, чтобы Вы были в курсе того, что за основу брались ответы бота, которые затем подверглись проверке и обработке, во-вторых, чтобы собрать статистику таких постов.
Такие посты буду помечать тегом #ChatGPTprocessed.
Во-первых, чтобы Вы были в курсе того, что за основу брались ответы бота, которые затем подверглись проверке и обработке, во-вторых, чтобы собрать статистику таких постов.
👍4😱1
Любопытная статья про Claude
https://www.kdnuggets.com/2023/07/chatgpt-dethroned-claude-became-new-ai-leader.html
https://www.kdnuggets.com/2023/07/chatgpt-dethroned-claude-became-new-ai-leader.html
Forwarded from kyrillic
Вчера смотрел YC Alumni Demo Day - питчи всех 200+ стартапов S23 батча главного в мире акселератора. Для выпускников прошлых лет demo day проходит на несколько дней раньше, чем для инвесторов!
Писал ранее, зачем следить за YC стартапами (не только фаундерам), а также есть наблюдения после демо дня S22 (пост) и W23 (раз, два)
Выводы-статистика будут попозже, сейчас хочу поделится просто впечатлениями.
1️⃣ В шоке от бэкграунда команд! И раньше было очень много Стэнфорда-MIT-Йеля-FAANG и тд, а также фаундеров с миллионными экзитами. Но в этот раз почти нет других! Четверть фаундеров - из топовых американских университетов. А если считать по стартапам то думаю почти у половины (!!) есть хотя бы один человек из Ivy Leauge, Стэнфорда, MIT и др.
На это наверняка повлияли увольнения прошлого года - в фаундеры пошли невероятно квалифицированные люди.
2️⃣ Прикольно наблюдение, что если фаундер питчит что-то очень размытое вроде "платформа для автоматизации цепочек поставок", то у него наверняка многомилионных экзит. "Вот я - крутой фаундер, вот рынок, где будет стартап, остальное пока непонятно. Рейзю $3m seed!" Ну что, имеет право! Уже доказал предыдущим бизнесом, что умеет-могет.
3️⃣ Жесткий фокус на американский рынок - такого в стартапах не было! Почти полность отвалились ЛатАм, ЮВА, даже Африка. С маркоэкономикой не поспоришь: инвесторы всех типов стали осторожнее относиться к развивающимся рынкам.
Поэтому значительно меньше international founders. Да и те, в большинстве своем учились и работали в США.
Можно много говорить, как плохо американской экономике, но по факту из рецессии она выходит с наименьшими потерями.
4️⃣ "Занимался узкой задачей страхования здоровья в Амазоне, теперь делаю b2b для больших страховых, решая те же проблемы" - так выглядит самый популярный подход к поиску идеи для стартапа.
То есть свою экспертизу конкретных процессов из большой компании фаундеры оборачивают в стартап. Конечно нужно знать и проблему, и контекст рынка, и американский культурный код!
Я пытался сделать упражнение: среди 200+ стартапов найти идеи, которые может делать человек без глубокой экспертизы. Например талантливый амбизиозный айтишник из Европы, без специфических знаний какой-то американской индустрии, хочет запилить MVP, получить трекшн и пройти в YC.
Таких идей почти нет (!!!)
Мы скоро будем разбирать "нормальные" для нашего ru-бэкграунда идеи YC компаний (и не только) в kyrillic is doing.
5️⃣ 3/4 стартапов - b2b! Ушло много "романтики" - почти нет web3, mental health, productivity tools, edtech, горизонтальных b2c, hrtech и т.д. Финтех просел ожидаемо - из за макроэкономики и ставок. Любопытно, что стало сильно меньше real estate стартапов.
Даже вечно популярные devtools просели! Много open source - хвалятся количеством звезд на github. Забавно, что происходит "инфляция github-звезд" - когда-то 500 - было круто, а сейчас уже нужны тысячи!
6️⃣ Интересно с ML/AI: стартапов, употребляющих термины LLM, AI, ML - очень много, также много ML-инженеров среди CTO. А значит есть реальное использование ML.
Но часть стартапов могла бы решать проблему на рынке и без AI (то есть он там скорее для маркетинга).
Другая часть - реально использует например LLM. Иногда с простыми сценариями: "вот есть куча данных, мы суммируем/приведем к нужному виду" - в лучших традициях бутстраперов из Твиттера. Но есть нюанс... Делают YC-стартапы такое в очень конкретном бизнес-процессе, где у фаундеров очевидная экспертиза. Например часть процесса закупок в какой-то индустрии.
7️⃣ Подытожу, для нашего ru-контекста: лучший способ попасть в следующие батчи YC - ехать в США. Учиться в университете (пост) или несколько лет поработать в большой компании, чтобы найти там интересную задачу/проблему, которую можно выделить в отдельный стартап!
Самое главное: тренды YC demo days - это тренды всего венчурного рынка. Они задаются в YC, а потом расходятся по другим индустриям и странам. Полезно видеть старт движения идей сверху вниз. Про это я как-то писал в одном из постов про YC, с примерами из фешна! 🙂
@kyrillic
Писал ранее, зачем следить за YC стартапами (не только фаундерам), а также есть наблюдения после демо дня S22 (пост) и W23 (раз, два)
Выводы-статистика будут попозже, сейчас хочу поделится просто впечатлениями.
1️⃣ В шоке от бэкграунда команд! И раньше было очень много Стэнфорда-MIT-Йеля-FAANG и тд, а также фаундеров с миллионными экзитами. Но в этот раз почти нет других! Четверть фаундеров - из топовых американских университетов. А если считать по стартапам то думаю почти у половины (!!) есть хотя бы один человек из Ivy Leauge, Стэнфорда, MIT и др.
На это наверняка повлияли увольнения прошлого года - в фаундеры пошли невероятно квалифицированные люди.
2️⃣ Прикольно наблюдение, что если фаундер питчит что-то очень размытое вроде "платформа для автоматизации цепочек поставок", то у него наверняка многомилионных экзит. "Вот я - крутой фаундер, вот рынок, где будет стартап, остальное пока непонятно. Рейзю $3m seed!" Ну что, имеет право! Уже доказал предыдущим бизнесом, что умеет-могет.
3️⃣ Жесткий фокус на американский рынок - такого в стартапах не было! Почти полность отвалились ЛатАм, ЮВА, даже Африка. С маркоэкономикой не поспоришь: инвесторы всех типов стали осторожнее относиться к развивающимся рынкам.
Поэтому значительно меньше international founders. Да и те, в большинстве своем учились и работали в США.
Можно много говорить, как плохо американской экономике, но по факту из рецессии она выходит с наименьшими потерями.
4️⃣ "Занимался узкой задачей страхования здоровья в Амазоне, теперь делаю b2b для больших страховых, решая те же проблемы" - так выглядит самый популярный подход к поиску идеи для стартапа.
То есть свою экспертизу конкретных процессов из большой компании фаундеры оборачивают в стартап. Конечно нужно знать и проблему, и контекст рынка, и американский культурный код!
Я пытался сделать упражнение: среди 200+ стартапов найти идеи, которые может делать человек без глубокой экспертизы. Например талантливый амбизиозный айтишник из Европы, без специфических знаний какой-то американской индустрии, хочет запилить MVP, получить трекшн и пройти в YC.
Таких идей почти нет (!!!)
Мы скоро будем разбирать "нормальные" для нашего ru-бэкграунда идеи YC компаний (и не только) в kyrillic is doing.
5️⃣ 3/4 стартапов - b2b! Ушло много "романтики" - почти нет web3, mental health, productivity tools, edtech, горизонтальных b2c, hrtech и т.д. Финтех просел ожидаемо - из за макроэкономики и ставок. Любопытно, что стало сильно меньше real estate стартапов.
Даже вечно популярные devtools просели! Много open source - хвалятся количеством звезд на github. Забавно, что происходит "инфляция github-звезд" - когда-то 500 - было круто, а сейчас уже нужны тысячи!
6️⃣ Интересно с ML/AI: стартапов, употребляющих термины LLM, AI, ML - очень много, также много ML-инженеров среди CTO. А значит есть реальное использование ML.
Но часть стартапов могла бы решать проблему на рынке и без AI (то есть он там скорее для маркетинга).
Другая часть - реально использует например LLM. Иногда с простыми сценариями: "вот есть куча данных, мы суммируем/приведем к нужному виду" - в лучших традициях бутстраперов из Твиттера. Но есть нюанс... Делают YC-стартапы такое в очень конкретном бизнес-процессе, где у фаундеров очевидная экспертиза. Например часть процесса закупок в какой-то индустрии.
7️⃣ Подытожу, для нашего ru-контекста: лучший способ попасть в следующие батчи YC - ехать в США. Учиться в университете (пост) или несколько лет поработать в большой компании, чтобы найти там интересную задачу/проблему, которую можно выделить в отдельный стартап!
Самое главное: тренды YC demo days - это тренды всего венчурного рынка. Они задаются в YC, а потом расходятся по другим индустриям и странам. Полезно видеть старт движения идей сверху вниз. Про это я как-то писал в одном из постов про YC, с примерами из фешна! 🙂
@kyrillic
👍4❤2🔥2
26 принципов построения промптов для LLaMA-1/2, GPT-3.5/4:
https://github.com/VILA-Lab/ATLAS/blob/main/data/README.md
Статья: https://arxiv.org/abs/2312.16171
Данные: https://github.com/VILA-Lab/ATLAS?tab=readme-ov-file
https://github.com/VILA-Lab/ATLAS/blob/main/data/README.md
Статья: https://arxiv.org/abs/2312.16171
Данные: https://github.com/VILA-Lab/ATLAS?tab=readme-ov-file
GitHub
ATLAS/data/README.md at main · VILA-Lab/ATLAS
A principled instruction benchmark on formulating effective queries and prompts for large language models (LLMs). Our paper: https://arxiv.org/abs/2312.16171 - VILA-Lab/ATLAS
👍1
Полезная статья про MLOps со ссылками на платформы, связанные статьи и всякие полезные ML-сервисы
MLOps Landscape in 2024: Top Tools and Platforms
https://neptune.ai/blog/mlops-tools-platforms-landscape
MLOps Landscape in 2024: Top Tools and Platforms
https://neptune.ai/blog/mlops-tools-platforms-landscape
neptune.ai
MLOps Landscape in 2025: Top Tools and Platforms
Check the key players in the MLOps and FMOps (or LLMOps) ecosystems of 2025, encompassing both open-source and closed-source tools.