Краткое руководство по переходу с SQL на PySpark
_____________________
В этом посте мы воспользуемся Spark: полное руководство и последовательно обработаем каждое предложение в базовом SQL-запросе и объясним, как дублировать эту логику в PySpark.
Без лишних слов, давайте углубимся…
_____________________
В этом посте мы воспользуемся Spark: полное руководство и последовательно обработаем каждое предложение в базовом SQL-запросе и объясним, как дублировать эту логику в PySpark.
Без лишних слов, давайте углубимся…
Medium
SQL to PySpark
A quick guide for moving from SQL to PySpark.
Учитесь кодить?
Мы создали курс «Профессия Data Scientist PRO» как раз затем, чтобы с нуля обучать людей науке о данных. Подробности по ссылке: https://clc.to/GqtiUA
Многие думают, что для работы в Data Science нужно закончить технический вуз и пройти через все круги матана. Конечно, лишним не будет, но опыт говорит, что заниматься работой с данными можно и без такого бэкграунда.
Для кого этот курс:
- для новичков;
- для программистов;
- для начинающих аналитиков.
Вы с нуля освоите Python, SQL, научитесь собирать и анализировать данные, получите необходимый теоретический минимум по математике, теории вероятности и статистике. Знания закрепите на практике — решите задачи на основе реальных кейсов и добавите проекты в портфолио. Устроитесь на стажировку по выбранной специальности уже во время обучения.
Мы создали курс «Профессия Data Scientist PRO» как раз затем, чтобы с нуля обучать людей науке о данных. Подробности по ссылке: https://clc.to/GqtiUA
Многие думают, что для работы в Data Science нужно закончить технический вуз и пройти через все круги матана. Конечно, лишним не будет, но опыт говорит, что заниматься работой с данными можно и без такого бэкграунда.
Для кого этот курс:
- для новичков;
- для программистов;
- для начинающих аналитиков.
Вы с нуля освоите Python, SQL, научитесь собирать и анализировать данные, получите необходимый теоретический минимум по математике, теории вероятности и статистике. Знания закрепите на практике — решите задачи на основе реальных кейсов и добавите проекты в портфолио. Устроитесь на стажировку по выбранной специальности уже во время обучения.
Работа с функцией SQL MIN в SQL Server
_______________
Функция SQL MIN — это агрегатная функция, которая используется для поиска минимальных значений в столбцах или строках таблицы.
https://shly.link/ZmYTK
_______________
Функция SQL MIN — это агрегатная функция, которая используется для поиска минимальных значений в столбцах или строках таблицы.
https://shly.link/ZmYTK
SQL Shack - articles about database auditing, server performance, data recovery, and more
Working with the SQL MIN function in SQL Server
The SQL MIN function is an aggregate function that is used to find the minimum values in columns or rows in a table.
Как рисовать с помощью SQL?
___________________________
Давайте разберемся, как рисовать с помощью SQL, и при этом ощущать себя настоящим творцом!
https://shly.link/habrzyAT
___________________________
Давайте разберемся, как рисовать с помощью SQL, и при этом ощущать себя настоящим творцом!
https://shly.link/habrzyAT
Habr
Как рисовать с помощью SQL?
Видимо я сделала какое-то очень плохое зло, поэтому живу во время перемен. Справиться с эмоциями и повысить свою конкурентоспособность на рынке Data Enigneer’ов мне помогает сайт Hackerrank. На пути...
Начните свой путь в Data Science! Присоединяйтесь к прямым трансляциям с 16 по 18 мая в 19:00 по московскому времени. В роли спикера выступит руководитель направления по исследованию данных в Сбере с семилетним опытом в программировании — Анастасия Борнева.
🔸Записывайтесь на бесплатный онлайн-интенсив по анализу данных: 👉 https://clc.to/iffHjQ.
Чему вы научитесь:
📎 находить аномалии, выявлять ложные зависимости и выделять главные факторы в моделях данных;
📎 визуализировать и анализировать данные с помощью Python-библиотек;
📎 автоматизировать решение бизнес-задач с помощью искусственного интеллекта и машинного обучения.
🎁 Все участники при регистрации получат чек-лист с информацией о том, чем занимается специалист по DS, где он может работать, какие знания и навыки ему нужны, а также где новичку найти первые проекты. Дошедшим до финала интенсива подарим электронную книгу Пола Доэрти и Джеймса Уилсона «Человек + машина» издательства МИФ.
Участвуйте, задавайте вопросы и получите сертификат на 10 тысяч рублей на любой курс Skillbox.
Присоединяйтесь к прямым эфирам 16–18 мая в 19:00 по московскому времени!
🔸Записывайтесь на бесплатный онлайн-интенсив по анализу данных: 👉 https://clc.to/iffHjQ.
Чему вы научитесь:
📎 находить аномалии, выявлять ложные зависимости и выделять главные факторы в моделях данных;
📎 визуализировать и анализировать данные с помощью Python-библиотек;
📎 автоматизировать решение бизнес-задач с помощью искусственного интеллекта и машинного обучения.
🎁 Все участники при регистрации получат чек-лист с информацией о том, чем занимается специалист по DS, где он может работать, какие знания и навыки ему нужны, а также где новичку найти первые проекты. Дошедшим до финала интенсива подарим электронную книгу Пола Доэрти и Джеймса Уилсона «Человек + машина» издательства МИФ.
Участвуйте, задавайте вопросы и получите сертификат на 10 тысяч рублей на любой курс Skillbox.
Присоединяйтесь к прямым эфирам 16–18 мая в 19:00 по московскому времени!
Когда Python встречается с SQL
_______________
В этой публикации я объясню, как можно использовать Python и SQL для извлечения информации из MySQL.
https://shly.link/mdmp7xi
_______________
В этой публикации я объясню, как можно использовать Python и SQL для извлечения информации из MySQL.
https://shly.link/mdmp7xi
Хотите узнать больше о профессии SQL-разработчика и аналитика данных? Тогда регистрируйтесь на бесплатный онлайн-интенсив Skillbox, который пройдёт 19–21 мая в 19:00 по московскому времени.
Запись и подробная информация: 👉 https://clc.to/LH7nvA.
● Научитесь работать с базами данных — и получите навык, необходимый каждому программисту.
● Поймёте, как оптимизировать рутинные задачи при помощи SQL-запросов и получить повышение.
● Прокачаете знания SQL.
● Узнаете, как стать более востребованным специалистом.
● Научитесь использовать сложные конструкции SQL.
Разобраться в теме поможет профи — специалист по анализу данных, сертифицированный SQL-разработчик Microsoft Мкртич Пудеян. Он 8 лет работал специалистом по хранилищам данных в Tele2.
🎁 Все участники получат электронную книгу издательства МИФ. Участвуйте, задавайте вопросы и получите сертификат на 10 тысяч рублей на любой курс Skillbox. Сразу после регистрации дарим чек-лист для проверки базовых навыков по SQL, которые требуют на собеседованиях.
Присоединяйтесь!
Запись и подробная информация: 👉 https://clc.to/LH7nvA.
● Научитесь работать с базами данных — и получите навык, необходимый каждому программисту.
● Поймёте, как оптимизировать рутинные задачи при помощи SQL-запросов и получить повышение.
● Прокачаете знания SQL.
● Узнаете, как стать более востребованным специалистом.
● Научитесь использовать сложные конструкции SQL.
Разобраться в теме поможет профи — специалист по анализу данных, сертифицированный SQL-разработчик Microsoft Мкртич Пудеян. Он 8 лет работал специалистом по хранилищам данных в Tele2.
🎁 Все участники получат электронную книгу издательства МИФ. Участвуйте, задавайте вопросы и получите сертификат на 10 тысяч рублей на любой курс Skillbox. Сразу после регистрации дарим чек-лист для проверки базовых навыков по SQL, которые требуют на собеседованиях.
Присоединяйтесь!
Forwarded from Шпаргалки для айтишников
🚀 Попробуйте себя в качестве разработчика программных роботов! 🚀
В OTUS пройдет интенсив «Разработка RPA-решений на платформе PIX» в OTUS.
В первый день мы рассмотрим работу со студией на примере сквозного процесса: активности ML, продвинутое тестирование и отладку и взаимодействие с БД.
Во второй день рассмотрим работу с мастером: версионирование проектов, работу с процессами и очередями.
Интенсив пройдет в рамках онлайн-курса «Разработчик программных роботов (RPA) на базе UiPath и PIX». Для обучения достаточно базовых знаний одного из языков: Java, C, C++ или C#.
👉🏻 Пройдите вступительный тест, чтобы зарегистрироваться на вебинар
В OTUS пройдет интенсив «Разработка RPA-решений на платформе PIX» в OTUS.
В первый день мы рассмотрим работу со студией на примере сквозного процесса: активности ML, продвинутое тестирование и отладку и взаимодействие с БД.
Во второй день рассмотрим работу с мастером: версионирование проектов, работу с процессами и очередями.
Интенсив пройдет в рамках онлайн-курса «Разработчик программных роботов (RPA) на базе UiPath и PIX». Для обучения достаточно базовых знаний одного из языков: Java, C, C++ или C#.
👉🏻 Пройдите вступительный тест, чтобы зарегистрироваться на вебинар
Что такое CRUD-приложение и как его создать?
_______________
Практически любое приложение предполагает взаимодействие пользователей или других приложений, с которыми оно связано, с данными, хранящимися в базе данных. Эти взаимодействия можно свести к четырем операциям: создание, чтение (или просмотр), обновление и удаление. Это операции CRUD.
https://shly.link/devDNa5
_______________
Практически любое приложение предполагает взаимодействие пользователей или других приложений, с которыми оно связано, с данными, хранящимися в базе данных. Эти взаимодействия можно свести к четырем операциям: создание, чтение (или просмотр), обновление и удаление. Это операции CRUD.
https://shly.link/devDNa5
10 операций SQL для 80% ваших операций с данными
_______________
В этом блоге я познакомлю вас с 10 наиболее часто используемыми операциями SQL, которые должен знать каждый начинающий ученый/аналитик данных. Давайте начнем:
https://shly.link/unr68
_______________
В этом блоге я познакомлю вас с 10 наиболее часто используемыми операциями SQL, которые должен знать каждый начинающий ученый/аналитик данных. Давайте начнем:
https://shly.link/unr68
Вы неправильно выполняете разбиение на страницы SQL
________________________________
Почти все приложения, использующие SQL, попадают в эту распространенную ловушку производительности.
https://shly.link/ZCUnw
________________________________
Почти все приложения, использующие SQL, попадают в эту распространенную ловушку производительности.
https://shly.link/ZCUnw
Что означает понятие «состояние» в шаблонах проектирования?
💻 Узнайте сегодня 18 мая в 20.00 мск на открытом вебинаре OTUS с Евгением Непомнящим, C++ и Java-разработчиком с 16-летним опытом.
За 1,5 часа на уроке:
✔️ Рассмотрим понятие «состояние»
✔️ Посмотрим, как работать с диаграммой состояний и переходов
✔️ Проведем обзор конечных автоматов
✔️ Поймем, как от простой реализации объектов перейти к интерфейсам
Используйте эту возможность, чтобы попробовать обучение на онлайн-курсе «Архитектура и шаблоны проектирования» в OTUS и познакомиться с преподавателем. Программа не привязана к конкретному языку программирования.
➡️ Для регистрации на вебинар пройдите небольшой тест https://otus.pw/BTl9/
💻 Узнайте сегодня 18 мая в 20.00 мск на открытом вебинаре OTUS с Евгением Непомнящим, C++ и Java-разработчиком с 16-летним опытом.
За 1,5 часа на уроке:
✔️ Рассмотрим понятие «состояние»
✔️ Посмотрим, как работать с диаграммой состояний и переходов
✔️ Проведем обзор конечных автоматов
✔️ Поймем, как от простой реализации объектов перейти к интерфейсам
Используйте эту возможность, чтобы попробовать обучение на онлайн-курсе «Архитектура и шаблоны проектирования» в OTUS и познакомиться с преподавателем. Программа не привязана к конкретному языку программирования.
➡️ Для регистрации на вебинар пройдите небольшой тест https://otus.pw/BTl9/
Различные способы SQL для удаления повторяющихся строк из таблицы SQL
_________________________
В этой статье объясняется процесс выполнения операции удаления SQL для повторяющихся строк из таблицы SQL.
https://shly.link/4Axbu
_________________________
В этой статье объясняется процесс выполнения операции удаления SQL для повторяющихся строк из таблицы SQL.
https://shly.link/4Axbu
SQL Shack - articles about database auditing, server performance, data recovery, and more
Different ways to SQL delete duplicate rows from a SQL Table
This article explains the process of performing SQL Delete activity for duplicate rows from a SQL table
Как правильно выбрать базу данных для вашего приложения
_____________________________
В этой статье мы рассмотрим факторы, которые следует учитывать при выборе любой базы данных.
https://shly.link/DwyaY
_____________________________
В этой статье мы рассмотрим факторы, которые следует учитывать при выборе любой базы данных.
https://shly.link/DwyaY
🚀Усильте свои навыки работы со Spark, Hadoop и Hive!
Ждем дата-инженеров на новом потоке онлайн-курса «Spark Developer» от OTUS.
📚За 4 месяца живых лекций от ведущих экспертов вы научитесь писать распределенные приложения, работать с потоками данных, оптимизировать приложения и решать многие другие задачи обработки данных.
🔥В качестве выпускного проекта вы построите собственную ETL-систему на основе Hadoop.
Пройдите вступительный тест и присоединяйтесь к группе по специальной цене!
👉🏻ПРОЙТИ ТЕСТ: https://otus.pw/k2j9/
Ждем дата-инженеров на новом потоке онлайн-курса «Spark Developer» от OTUS.
📚За 4 месяца живых лекций от ведущих экспертов вы научитесь писать распределенные приложения, работать с потоками данных, оптимизировать приложения и решать многие другие задачи обработки данных.
🔥В качестве выпускного проекта вы построите собственную ETL-систему на основе Hadoop.
Пройдите вступительный тест и присоединяйтесь к группе по специальной цене!
👉🏻ПРОЙТИ ТЕСТ: https://otus.pw/k2j9/
Microsoft отмечает атаки, направленные на SQL-серверы, с помощью нового подхода
______________________________
На этой неделе Microsoft Security Intelligence опубликовала в Твиттере предупреждение о кампании атаки, нацеленной на серверы SQL и использующей новый подход для уклонения от мониторинга PowerShell.
Вместо PowerShell эти угрозы используют sqlps.exe, утилиту, которая входит в стандартную поставку каждой версии SQL и функционирует как "обертка для запуска CMDlets, созданных для SQL, для выполнения команд и изменения режима запуска службы SQL на LocalSystem", - пояснили представители Microsoft в твиттере. Новая кампания начинается с атаки методом перебора и в конечном итоге позволяет злоумышленникам захватить целевые серверы и развернуть на них вредоносные программы, такие как майнеры монет.
https://shly.link/QjzsY
______________________________
На этой неделе Microsoft Security Intelligence опубликовала в Твиттере предупреждение о кампании атаки, нацеленной на серверы SQL и использующей новый подход для уклонения от мониторинга PowerShell.
Вместо PowerShell эти угрозы используют sqlps.exe, утилиту, которая входит в стандартную поставку каждой версии SQL и функционирует как "обертка для запуска CMDlets, созданных для SQL, для выполнения команд и изменения режима запуска службы SQL на LocalSystem", - пояснили представители Microsoft в твиттере. Новая кампания начинается с атаки методом перебора и в конечном итоге позволяет злоумышленникам захватить целевые серверы и развернуть на них вредоносные программы, такие как майнеры монет.
https://shly.link/QjzsY