📊Data science — наука о данных, как стать data scientist с нуля
В этой статье автор расскажет, что такое data science, почему такую профессию нельзя получить в университетах, и почему человек, решивший пройти обучение в сфере Data science, должен взвесить все «за» и «против», чтобы не пожалеть о своем выборе в дальнейшем, а также вы узнаете как дата-сайентист может повысить стоимость своих услуг, соблюдая ряд простых правил.
Читать...
В этой статье автор расскажет, что такое data science, почему такую профессию нельзя получить в университетах, и почему человек, решивший пройти обучение в сфере Data science, должен взвесить все «за» и «против», чтобы не пожалеть о своем выборе в дальнейшем, а также вы узнаете как дата-сайентист может повысить стоимость своих услуг, соблюдая ряд простых правил.
Читать...
🤔Как стать аналитиком данных
В этой статье автор расскажет, почему в технологических компаниях очень востребованы системные- и бизнес- аналитики, но их работа отличается своей особой спецификой и в данной статье я буду говорить не о них, и почему сегодня сложно представить себе по-настоящему большую компанию, которая не использует машинное обучение, а также вы узнаете как почти вся математика, которая преподается в университетах в той или иной степени пригождается в работе аналитика.
Читать...
В этой статье автор расскажет, почему в технологических компаниях очень востребованы системные- и бизнес- аналитики, но их работа отличается своей особой спецификой и в данной статье я буду говорить не о них, и почему сегодня сложно представить себе по-настоящему большую компанию, которая не использует машинное обучение, а также вы узнаете как почти вся математика, которая преподается в университетах в той или иной степени пригождается в работе аналитика.
Читать...
🧐В чем разница между Data Analytics и статистикой
В этой статье автор расскажет, почему статистика и аналитика это два раздела дата сайнс, у которых было много предшественников, и почему на практике современные программы обучения, которые содержат в названиях эти термины, разбирают совершенно разные задачи, а также вы узнаете как можно прямо сейчас увидеть базовую аналитику в действии.
Читать...
В этой статье автор расскажет, почему статистика и аналитика это два раздела дата сайнс, у которых было много предшественников, и почему на практике современные программы обучения, которые содержат в названиях эти термины, разбирают совершенно разные задачи, а также вы узнаете как можно прямо сейчас увидеть базовую аналитику в действии.
Читать...
🚀7 способов освоить Data Science и получить работу c Big Data
В этой статье автор расскажет, что нужно знать, чтобы стать Data Scientist, и зачем нужно знать математику, математическую статистику, программирование, принципы машинного обучения и отрасль, где это будет использоваться, а также вы узнаете какие основные знания, должен иметь специалист в сфере Data Science.
Читать...
В этой статье автор расскажет, что нужно знать, чтобы стать Data Scientist, и зачем нужно знать математику, математическую статистику, программирование, принципы машинного обучения и отрасль, где это будет использоваться, а также вы узнаете какие основные знания, должен иметь специалист в сфере Data Science.
Читать...
👨💻Как пройти отбор на Python-разработчика в Data Science
В этой статье автор расскажет, почему у тимлидов разработки не может быть единого шаблона с критериями отбора специалистов в свою команду, и почему основное внимание стоит обращать на те особенности Python, которые важны именно для компании, куда вы хотите попасть, а также вы узнаете почему от Middle-разработчика тимлид уже может ожидать углубленные знания технических особенностей языка Python и разработки в целом.
Читать...
В этой статье автор расскажет, почему у тимлидов разработки не может быть единого шаблона с критериями отбора специалистов в свою команду, и почему основное внимание стоит обращать на те особенности Python, которые важны именно для компании, куда вы хотите попасть, а также вы узнаете почему от Middle-разработчика тимлид уже может ожидать углубленные знания технических особенностей языка Python и разработки в целом.
Читать...
🤔Что такое Data Science: определение, роли, карьера и сферы применения
В этой статье автор расскажет, почему сфера науки о данных стремительно развивается и революционизирует очень многие отрасли, как она приносит неисчислимую пользу в бизнесе, научных исследованиях и в нашей повседневной жизни, а также вы узнаете почему Типичный специалист по работе с данными обладает глубокими знаниями в области математики и статистики, а также опытом использования таких языков программирования, как R, Python и SQL.
Читать...
В этой статье автор расскажет, почему сфера науки о данных стремительно развивается и революционизирует очень многие отрасли, как она приносит неисчислимую пользу в бизнесе, научных исследованиях и в нашей повседневной жизни, а также вы узнаете почему Типичный специалист по работе с данными обладает глубокими знаниями в области математики и статистики, а также опытом использования таких языков программирования, как R, Python и SQL.
Читать...
😵Как научиться data science
В этой статье автор расскажет, почему data analyst'ы занимаются анализом информации для получения наглядных, воспринимаемых человеком результатов и почему к таким людям обычно причисляют специалистов по big data, data mining, машинному обучению, анализу систем, бизнес-аналитиков, а также вы узнаете почему программы курсов предназначены для учащихся нескольких вузов, но доступны любым желающим.
Читать...
В этой статье автор расскажет, почему data analyst'ы занимаются анализом информации для получения наглядных, воспринимаемых человеком результатов и почему к таким людям обычно причисляют специалистов по big data, data mining, машинному обучению, анализу систем, бизнес-аналитиков, а также вы узнаете почему программы курсов предназначены для учащихся нескольких вузов, но доступны любым желающим.
Читать...
📊Наиболее полный гайд по работе с SQL в Data Science
Прочитав этот гайд вы узнаете, как специалисты в Data Science с помощью SQL предварительно обрабатывают информацию и решают вопросы машинного обучения, и почему в реальном мире реляционные базы данных интенсивно используются для размещения всех типов корпоративных данных, а также вы узнаете почему начинающему Data Scientistу, который разобрался в алгоритмах машинного обучения, участвовал в соревнованиях Kaggle и активно манипулировал данными с помощью Pandas, покажется шокирующим собеседование с вопросами по SQL.
Читать...
Прочитав этот гайд вы узнаете, как специалисты в Data Science с помощью SQL предварительно обрабатывают информацию и решают вопросы машинного обучения, и почему в реальном мире реляционные базы данных интенсивно используются для размещения всех типов корпоративных данных, а также вы узнаете почему начинающему Data Scientistу, который разобрался в алгоритмах машинного обучения, участвовал в соревнованиях Kaggle и активно манипулировал данными с помощью Pandas, покажется шокирующим собеседование с вопросами по SQL.
Читать...
🧐Как следовать за Big Data: обзор книг и блогов по большим данным
В этой статье автор расскажет, как можно быстро освоить базовые концепции языка программирования, и почему даже опытным специалистам по Big Data приходится постоянно учиться, а новичкам в профессии нужно стараться гораздо тщательней, а также вы узнаете какие блоги и книги, могут пригодиться в работе и учебе, если вы интересуетесь сферой Big Data.
Читать...
В этой статье автор расскажет, как можно быстро освоить базовые концепции языка программирования, и почему даже опытным специалистам по Big Data приходится постоянно учиться, а новичкам в профессии нужно стараться гораздо тщательней, а также вы узнаете какие блоги и книги, могут пригодиться в работе и учебе, если вы интересуетесь сферой Big Data.
Читать...
🤔Кто такие Data-специалисты, чем они занимаются и как строится работа
В этой статье автор расскажет, почему если сейчас зайти на любой карьерный сайт и поискать вакансии по слову Data, то поиск выдаст результаты на десятки страниц, и почему несмотря на то, что в компаниях есть разные Data-роли, они всё равно тесно переплетаются, а также вы узнаете зачем Data Engineer нужны навыки Data Analyst.
Читать...
В этой статье автор расскажет, почему если сейчас зайти на любой карьерный сайт и поискать вакансии по слову Data, то поиск выдаст результаты на десятки страниц, и почему несмотря на то, что в компаниях есть разные Data-роли, они всё равно тесно переплетаются, а также вы узнаете зачем Data Engineer нужны навыки Data Analyst.
Читать...
👤Что ждёт дата-инжиниринг в 2023 году
В этой статье автор расскажет, почему команды дата-инженеров раньше делали упор на скорость и гибкость, чтобы выполнить наложенные на них исключительные требования, а основная часть их времени уходила на написание новых запросов или передачу новых данных, а не на оптимизацию тяжёлых/некачественных запросов, а также вы узнаете почему в этом году big data станут меньше и удобнее для управления.
Читать...
В этой статье автор расскажет, почему команды дата-инженеров раньше делали упор на скорость и гибкость, чтобы выполнить наложенные на них исключительные требования, а основная часть их времени уходила на написание новых запросов или передачу новых данных, а не на оптимизацию тяжёлых/некачественных запросов, а также вы узнаете почему в этом году big data станут меньше и удобнее для управления.
Читать...
⚡️Работа с научными данными в рамках data-driven подхода
В этой статье автор расскажет, Data-Driven подход используют для построения бизнес-модели или маркетинговой стратегии, при составлении плана продаж, в программировании и даже в дизайне, и почему после этапа сбора данных следует этап очистки данных, а также вы узнаете почему всегда проверять записи на наличие опечаток и, при их наличии, их исправлять.
Читать...
В этой статье автор расскажет, Data-Driven подход используют для построения бизнес-модели или маркетинговой стратегии, при составлении плана продаж, в программировании и даже в дизайне, и почему после этапа сбора данных следует этап очистки данных, а также вы узнаете почему всегда проверять записи на наличие опечаток и, при их наличии, их исправлять.
Читать...
🤔Что нужно знать на позицию junior Data Science и как подготовиться к собеседованию
В этой статье авто расскажет, почему Data Science является одной из самых востребованных, высокооплачиваемых и перспективных профессий в современном мире, и почему каждый работодатель хотел бы, чтобы junior мог работать без постоянного контроля и развивался под руководством тимлида, а также вы узнаете зачем нужно изучить основы математического анализа, линейной алгебры и теории вероятностей.
Читать...
В этой статье авто расскажет, почему Data Science является одной из самых востребованных, высокооплачиваемых и перспективных профессий в современном мире, и почему каждый работодатель хотел бы, чтобы junior мог работать без постоянного контроля и развивался под руководством тимлида, а также вы узнаете зачем нужно изучить основы математического анализа, линейной алгебры и теории вероятностей.
Читать...
🤔Как структурировать проекты машинного обучения с помощью GitHub и VS Code
В этой статье вы узнаете, как хорошо продуманный процесс структурирования проектов машинного обучения поможет быстро создавать новые репозитории GitHub и с самого начала ориентироваться на элегантную программную архитектуру, и почему когда пишешь код на Python в VS Code, многое зависит от анализатора кода и инструмента форматирования, а также вы узнаете почему в качестве диспетчера среды для Python лучше использовать Miniconda.
Читать...
В этой статье вы узнаете, как хорошо продуманный процесс структурирования проектов машинного обучения поможет быстро создавать новые репозитории GitHub и с самого начала ориентироваться на элегантную программную архитектуру, и почему когда пишешь код на Python в VS Code, многое зависит от анализатора кода и инструмента форматирования, а также вы узнаете почему в качестве диспетчера среды для Python лучше использовать Miniconda.
Читать...
👤PySpark для аналитика. Как правильно просить ресурсы и как понять, сколько нужно брать
В этой статье автор расскажет, как правильно задавать параметры Spark-сессии, чтобы получить ресурсы, и почему аналитику нужно не только учиться писать код на Spark, но и важно уметь правильно инициализировать сессию и запрашивать ресурсы, а также вы узнаете почему драйвер в Spark выполняет две основных задачи: планирование расчётов и сбор результатов.
Читать...
В этой статье автор расскажет, как правильно задавать параметры Spark-сессии, чтобы получить ресурсы, и почему аналитику нужно не только учиться писать код на Spark, но и важно уметь правильно инициализировать сессию и запрашивать ресурсы, а также вы узнаете почему драйвер в Spark выполняет две основных задачи: планирование расчётов и сбор результатов.
Читать...
👨💻Новые горизонты в оценке рисков: как источники данных помогают создать точные модели
В этой статье автор расскажет, для чего вообще нужны скоринговые модели в банке, и как скоринговые модели и модели оценки вероятности дефолта заемщика (PD модели) оказывают существенное влияние на все процессы банка и его доход, а также вы узнаете почему такие модели используются как при принятии решений по заемщикам в качестве Cut-off при одобрении сделки, так и в подходах Risk Based Limit (RBL), Risk Based Pricing (RBP).
Читать...
В этой статье автор расскажет, для чего вообще нужны скоринговые модели в банке, и как скоринговые модели и модели оценки вероятности дефолта заемщика (PD модели) оказывают существенное влияние на все процессы банка и его доход, а также вы узнаете почему такие модели используются как при принятии решений по заемщикам в качестве Cut-off при одобрении сделки, так и в подходах Risk Based Limit (RBL), Risk Based Pricing (RBP).
Читать...
🧐DevOps для данных: как ускорить обработку и передачу информации за счет принципов DataOps
В этой статье автор расскажет, почему для создания продукта данных приходится использовать более крупные наборы технологий, чем в случае с отдельным программным продуктом, и почему данные обычно поступают из разных источников и часто перемещаются по системе нелинейно, а также вы узнаете как DataOps помогает упростить проектировании системы с помощью концепции центрального репозитория, который служит единым источником истины для любого кода и конфигурации в вашей системе.
Читать...
В этой статье автор расскажет, почему для создания продукта данных приходится использовать более крупные наборы технологий, чем в случае с отдельным программным продуктом, и почему данные обычно поступают из разных источников и часто перемещаются по системе нелинейно, а также вы узнаете как DataOps помогает упростить проектировании системы с помощью концепции центрального репозитория, который служит единым источником истины для любого кода и конфигурации в вашей системе.
Читать...
🤔Big Data в облаках
В этой статье автор расскажет, почему данные, к которым не требуется быстрый доступ, часто предпочитают “охладить”, их удаляют с дорогих дисков основной платформы хранения (DWH или Data Lake) и перемещают в архив, и почему технически архив может быть устроен как массив устройств хранения, а также вы узнаете почему в качестве платформы для DWH или Data Lake может быть выбрана одна из MPP-систем, часто разворачиваемых on-prem.
Читать...
В этой статье автор расскажет, почему данные, к которым не требуется быстрый доступ, часто предпочитают “охладить”, их удаляют с дорогих дисков основной платформы хранения (DWH или Data Lake) и перемещают в архив, и почему технически архив может быть устроен как массив устройств хранения, а также вы узнаете почему в качестве платформы для DWH или Data Lake может быть выбрана одна из MPP-систем, часто разворачиваемых on-prem.
Читать...
👤Лучшие практики при работе с мастер-данными
В этой статье автор расскажет, почему основная цель управления мастер‑данными — сформировать единое представление об объектах, над которыми компания осуществляет свою деятельность, и почему когда офлайн‑компании начали запускать онлайн‑сервисы, управление мастер‑данными потребовало своевременной модернизации для соответствия новой реальности, а также вы узнаете почему если вы рассылаете изменения в мастер данных, то обязательно нужно реализовать метод инициализации нового потребителя.
Читать...
В этой статье автор расскажет, почему основная цель управления мастер‑данными — сформировать единое представление об объектах, над которыми компания осуществляет свою деятельность, и почему когда офлайн‑компании начали запускать онлайн‑сервисы, управление мастер‑данными потребовало своевременной модернизации для соответствия новой реальности, а также вы узнаете почему если вы рассылаете изменения в мастер данных, то обязательно нужно реализовать метод инициализации нового потребителя.
Читать...
🤠Частотный vs байесовский подходы: оцениваем True Positive Rate при неполной разметке данных
В этой статье автор расскажет, как на основе серии проверки гипотез получить доверительный интервал, используя под капотом гипергеометрическое распределение, что будет, если скрестить биномиальное распределение с бета-распределением, и как этот гибрид используется в качестве сопряженного априорного распределения для гипергеометрического распределения, а также вы узнаете почему аналитики центра должны расследовать каждый алерт и в случае обнаружения угроз предупреждать клиентов, формируя рекомендации по устранению опасности.
Читать...
В этой статье автор расскажет, как на основе серии проверки гипотез получить доверительный интервал, используя под капотом гипергеометрическое распределение, что будет, если скрестить биномиальное распределение с бета-распределением, и как этот гибрид используется в качестве сопряженного априорного распределения для гипергеометрического распределения, а также вы узнаете почему аналитики центра должны расследовать каждый алерт и в случае обнаружения угроз предупреждать клиентов, формируя рекомендации по устранению опасности.
Читать...
🖥Кто я аналитик данных или датасаентист
В этой статье автор расскажет, почему в 50% статей в интернете написано, что аналитик данных и Data Scientist это одно и тоже, а другие 50% - за абсолютную разницу данных профессий, и почему одной из ключевых задач аналитика является обработка данных, а также вы узнаете почему аналитическая работа часто предполагает работу в команде, особенно над крупным проектом, взаимодействие с другими сотрудниками, сбор информации для анализа.
Читать...
В этой статье автор расскажет, почему в 50% статей в интернете написано, что аналитик данных и Data Scientist это одно и тоже, а другие 50% - за абсолютную разницу данных профессий, и почему одной из ключевых задач аналитика является обработка данных, а также вы узнаете почему аналитическая работа часто предполагает работу в команде, особенно над крупным проектом, взаимодействие с другими сотрудниками, сбор информации для анализа.
Читать...