PySpark
PySpark — это Python API для Apache Spark. Он позволяет выполнять обработку больших данных в реальном времени в распределенной среде с помощью Python. Он также предоставляет оболочку PySpark для интерактивного анализа данных.
PySpark сочетает в себе удобство использования и простоту Python с мощностью Apache Spark, что позволяет обрабатывать и анализировать данные любого размера для всех, кто знаком с Python. PySpark поддерживает все функции Spark, такие как Spark SQL, DataFrames, Structured Streaming, Machine Learning (MLlib) и Spark Core.
Код с картинки создаст контекст Spark, прочитает набор данных из файла CSV с именем "data.csv" и выведет его в консоль.
Разъяснивший Python
PySpark — это Python API для Apache Spark. Он позволяет выполнять обработку больших данных в реальном времени в распределенной среде с помощью Python. Он также предоставляет оболочку PySpark для интерактивного анализа данных.
PySpark сочетает в себе удобство использования и простоту Python с мощностью Apache Spark, что позволяет обрабатывать и анализировать данные любого размера для всех, кто знаком с Python. PySpark поддерживает все функции Spark, такие как Spark SQL, DataFrames, Structured Streaming, Machine Learning (MLlib) и Spark Core.
Код с картинки создаст контекст Spark, прочитает набор данных из файла CSV с именем "data.csv" и выведет его в консоль.
Разъяснивший Python
❤1👍1🔥1
Функция betavariate
Функция
Разъяснивший Python
Функция
betavariate в Python используется для генерации случайных чисел из бета-распределения. Бета-распределение - это непрерывное распределение вероятностей, которое часто используется для моделирования пропорций или вероятностей.Разъяснивший Python
Singledispatch
Универсальная функция — это функция, которая может работать с объектами разных типов.
Одиночная диспетчеризация — это метод выбора реализации функции на основе типа одного из ее аргументов.
Разъяснивший Python
Singledispatch — это декоратор из стандартной библиотеки Python functools, который позволяет создавать универсальные функции с одиночной диспетчеризацией.Универсальная функция — это функция, которая может работать с объектами разных типов.
Одиночная диспетчеризация — это метод выбора реализации функции на основе типа одного из ее аргументов.
Разъяснивший Python
🤔2
Декораторы в Python: Способ разделения задач
Идея декораторов Python состоит в том, чтобы позволить разработчику добавлять новые функциональные возможности к существующему объекту без изменения его исходной логики.
Мы можем сами определить декораторов. А также есть множество замечательных встроенных декораторов, готовых к использованию.
Например, статические методы в классе Python не привязаны к экземпляру или классу. Они включены в класс просто потому, что они логически принадлежат ему.
Разъяснивший Python
Идея декораторов Python состоит в том, чтобы позволить разработчику добавлять новые функциональные возможности к существующему объекту без изменения его исходной логики.
Мы можем сами определить декораторов. А также есть множество замечательных встроенных декораторов, готовых к использованию.
Например, статические методы в классе Python не привязаны к экземпляру или классу. Они включены в класс просто потому, что они логически принадлежат ему.
Разъяснивший Python
👍1
Функция islice()
islice() — это функция из модуля
Разъяснивший Python
islice() — это функция из модуля
itertools, которая используется для создания итератора, возвращающего выбранные элементы из итерируемого объекта. Она похожа на срезы списков, но имеет некоторые отличия.Разъяснивший Python
Функция gammavariate
Функция
Разъяснивший Python
Функция
gammavariate из модуля random в Python используется для генерации случайных чисел из гамма-распределения.Разъяснивший Python
Списковое включение (быстрый способ)
Списковое включение — самый эффективный способ итерации любого списка. Это итерирование однострочного списка с включением в него цикла. Посмотрите приведенный ниже пример кода, чтобы понять, как это работает.
Разъяснивший Python
Списковое включение — самый эффективный способ итерации любого списка. Это итерирование однострочного списка с включением в него цикла. Посмотрите приведенный ниже пример кода, чтобы понять, как это работает.
Разъяснивший Python
🤡5❤2
Перебираем все возможные 8 значные пароли состоящие из букв и цифр с помощью Python
В этом примере используется модуль
Обратите внимание, что перебор всех возможных 8-значных паролей может занять большое количество времени, особенно если количество символов в
Разъяснивший Python
В этом примере используется модуль
itertools, который позволяет генерировать все возможные комбинации символов из списка characters длиной password_length. Затем перебираются все комбинации и выводятся на экран.Обратите внимание, что перебор всех возможных 8-значных паролей может занять большое количество времени, особенно если количество символов в
characters большое. Будьте осторожны и убедитесь, что ваше намерение соответствует законам и этическим правилам.Разъяснивший Python
👍1
Функция lognormvariate
Функция
Синтаксис:
Аргументы:
Возвращаемое значение:
Случайное число из логарифмически нормального распределения с заданными
Разъяснивший Python
Функция
lognormvariate из модуля random в Python используется для генерации случайных чисел из логарифмически нормального распределения.Синтаксис:
random.lognormvariate(mu, sigma)
Аргументы:
mu (вещественное число): среднее значение логарифма случайной величины.sigma (вещественное число): стандартное отклонение логарифма случайной величины.Возвращаемое значение:
Случайное число из логарифмически нормального распределения с заданными
mu и sigma.Разъяснивший Python
👍1
Удаляем файл из папки на компьютере
Для удаления файла из папки на ПК в Python можно использовать модуль os.
Здесь сначала мы импортируем модуль os. Затем указываем полный путь к удаляемому файлу в переменной
Если файл существует, мы удаляем его с помощью функции
Разъяснивший Python
Для удаления файла из папки на ПК в Python можно использовать модуль os.
Здесь сначала мы импортируем модуль os. Затем указываем полный путь к удаляемому файлу в переменной
file_path. С помощью функции os.path.exists() проверяем, существует ли файл по указанному пути. Если файл существует, мы удаляем его с помощью функции
os.remove(). В противном случае выводим информацию, что такой файл не найден.Разъяснивший Python
👍1
Cравнение 2 аудиосообщений
Для сравнения двух аудиосообщений в Python нужно использовать библиотеку для анализа звука, например, librosa или PyAudio.
Здесь мы загружаем два файла и вычисляем их характеристики MFCC (Mel Frequency Cepstral Coefficients), которые представляют собой набор коэффициентов, описывающих звуковое пространство. Затем мы вычисляем расстояние между характеристиками с помощью функции dtln из librosa.core. Результат будет выведен в консоль.
Обратите внимание, что для сравнения аудиосообщений нужно, чтобы они имели одинаковую продолжительность и были записаны в одинаковых условиях (например, громкость, обработка шума).
Разъяснивший Python
Для сравнения двух аудиосообщений в Python нужно использовать библиотеку для анализа звука, например, librosa или PyAudio.
Здесь мы загружаем два файла и вычисляем их характеристики MFCC (Mel Frequency Cepstral Coefficients), которые представляют собой набор коэффициентов, описывающих звуковое пространство. Затем мы вычисляем расстояние между характеристиками с помощью функции dtln из librosa.core. Результат будет выведен в консоль.
Обратите внимание, что для сравнения аудиосообщений нужно, чтобы они имели одинаковую продолжительность и были записаны в одинаковых условиях (например, громкость, обработка шума).
Разъяснивший Python
👍1
Функция vonmisesvariate
Функция
Аргументы функции:
Разъяснивший Python
Функция
vonmisesvariate из модуля random в Python используется для генерации случайных чисел, подчиненных распределению фон Мизеса, также известному как круговое нормальное распределение или распределение Тихонова.Аргументы функции:
mu: Среднее значение угла, выраженное в радианах в диапазоне от 0 до 2π.kappa: Параметр концентрации, который должен быть больше или равен 0. Чем больше значение kappa, тем более концентрируется распределение вокруг среднего значения.Разъяснивший Python
🤓1
👩💻 Как работать с паттернами проектирования в Python?
Расскажет Станислав Ступников — руководитель разработки в VK.
Встречаемся на бесплатном практическом уроке от OTUS, где мы:
▫️займемся классификацией паттернов;
▫️покажем, насколько хорошо и ровно они транслируются в мир Python-разработки;
▫️ обсудим, как с ними работать.
📢 Занятие пройдёт 28 февраля в 20:00 мск и будет приурочено к старту курса «Python Developer. Professional». Доступна рассрочка на обучение!
⬇️ Пройдите короткий тест прямо сейчас, чтобы занять место на открытом уроке и получить запись: пройти тест
Расскажет Станислав Ступников — руководитель разработки в VK.
Встречаемся на бесплатном практическом уроке от OTUS, где мы:
▫️займемся классификацией паттернов;
▫️покажем, насколько хорошо и ровно они транслируются в мир Python-разработки;
▫️ обсудим, как с ними работать.
📢 Занятие пройдёт 28 февраля в 20:00 мск и будет приурочено к старту курса «Python Developer. Professional». Доступна рассрочка на обучение!
⬇️ Пройдите короткий тест прямо сейчас, чтобы занять место на открытом уроке и получить запись: пройти тест
Списковое включение: Создайте список в одной строке кода
Python известен своей лаконичностью, которая в значительной степени объясняется его хорошо продуманным синтаксисом.
Со списковым включением мы можем поместить циклы
Разъяснивший Python
Python известен своей лаконичностью, которая в значительной степени объясняется его хорошо продуманным синтаксисом.
Со списковым включением мы можем поместить циклы
for и условия if в одну строку кода для создания списка на Python:Разъяснивший Python
Автоматизация скриптов на Python при помощи AWS Lightsail
Теперь вы закончили и ваш скрипт будет запускаться с интервалом, определённым в службе Cron.
Если хотите проверить их, можете запустить командный crontab -l. Так вы увидите текущие службы Cron.
Разъяснивший Python
Теперь вы закончили и ваш скрипт будет запускаться с интервалом, определённым в службе Cron.
Если хотите проверить их, можете запустить командный crontab -l. Так вы увидите текущие службы Cron.
Разъяснивший Python
🗿3
5 ошибок Python-разработчиков, которые выдают новичка. Давайте понятные имена функции и переменным
Бывает обратная ситуация, когда название становится слишком длинным, чтобы вынести всю логику. Например, произвольная функция может быть существенно упрощена несколькими способами.
Разъяснивший Python
Бывает обратная ситуация, когда название становится слишком длинным, чтобы вынести всю логику. Например, произвольная функция может быть существенно упрощена несколькими способами.
Разъяснивший Python
🔥 Годнота: чувак запустил сайт, на котором собрано 1000 вопросов с собеседований на Python разработчика. Фишка в том что просчитана вероятность с которой вопрос буден задан и есть примеры ответов. Весь список вопросов можно посмотреть здесь
👍2👎1
Ищем опечатки
Пакет
Разъяснивший Python
Пакет
spellchecker позволяет отыскать ошибки в тексте, а также может предложить варианты исправлений. В примере проходимся по списку из двух слов, из которых одно ('therre') написано с опечаткой. Функция correction замечает это и предлагает одно самое вероятное исправление, а candidates — несколько.Разъяснивший Python
👍1
Как преобразовать Word, Excel и PowerPoint в PDF в Python. Установите необходимые зависимости
Это решение опирается на Spire.Office for Python, который представляет собой комбинацию Spire.Doc for Python, Spire.XLS for Python, Spire.Presentation for Python и Spire.PDF for Python.
Как следует из названия, они представляют собой модули для обработки документов Word, Excel, PowerPoint и PDF соответственно.
Разъяснивший Python
Это решение опирается на Spire.Office for Python, который представляет собой комбинацию Spire.Doc for Python, Spire.XLS for Python, Spire.Presentation for Python и Spire.PDF for Python.
Как следует из названия, они представляют собой модули для обработки документов Word, Excel, PowerPoint и PDF соответственно.
Разъяснивший Python
👍3
Узнаем сколько свободной памяти на компьютере
Для того, чтобы узнать сколько свободной памяти доступно на компьютере с помощью Python можно использовать модуль psutil.
Метод virtual_memory() возвращает объект с информацией о памяти системы. Свойство available объекта содержит количество свободной памяти в байтах.
Разъяснивший Python
Для того, чтобы узнать сколько свободной памяти доступно на компьютере с помощью Python можно использовать модуль psutil.
Метод virtual_memory() возвращает объект с информацией о памяти системы. Свойство available объекта содержит количество свободной памяти в байтах.
Разъяснивший Python
👍1
Сравниваем 2 лица на фото с помощью Python
Для сравнения двух лиц на фото в Python можно использовать библиотеку
В этом примере мы сначала загружаем изображения лиц и находим лица на изображениях с помощью функции
Затем мы кодируем найденные лица с помощью функции
Разъяснивший Python
Для сравнения двух лиц на фото в Python можно использовать библиотеку
face_recognition.В этом примере мы сначала загружаем изображения лиц и находим лица на изображениях с помощью функции
face_locations(). Затем мы кодируем найденные лица с помощью функции
face_encodings() и сравниваем их между собой с помощью функции compare_faces(). Результат сравнения - список булевых значений (True или False), которые сообщают, совпадают ли два лица на фото.Разъяснивший Python
🔥2👍1