Data Science | Machinelearning [ru] – Telegram
Data Science | Machinelearning [ru]
20.1K subscribers
629 photos
39 videos
29 files
3.52K links
Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM.

По вопросам рекламы или разработки - @g_abashkin

РКН: https://vk.cc/cJPGXD
Download Telegram
🤔 Прогнозирование продаж с использованием библиотеки Prophet

Статья посвящена прогнозированию продаж FTTB-FMC для ежедневной отчетности. Рассматриваются подходы к анализу данных, ключевые KPI и методы, используемые для прогнозирования продаж в сегменте ШПД и конвергентных продуктов.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
⚙️ Что такое декораторы в Python и как они работают?

Декораторы — это функции в Python, которые принимают другую функцию в качестве аргумента и возвращают новую функцию с добавленным поведением. Это удобный способ модификации или расширения функциональности без изменения исходного кода функции.

➡️ Пример:

# Декоратор для логирования вызовов функции
def log_call(func):
def wrapper(*args, **kwargs):
print(f"Вызов функции {func.__name__} с аргументами: {args}, {kwargs}")
result = func(*args, **kwargs)
print(f"Результат: {result}")
return result
return wrapper

# Применение декоратора
@log_call
def add(a, b):
return a + b

add(3, 5)


🗣️ В этом примере декоратор log_call добавляет логирование вызовов и результатов функции add. Декораторы позволяют делать код более модульным и удобным для повторного использования.


🖥 Подробнее тут
Please open Telegram to view this post
VIEW IN TELEGRAM
🔎 Подборка зарубежных вакансий

Продакт Разработчик Python AI (удаленно)
🟢Python, Node.js, React, PostgreSQL, JavaScript, TypeScript, Django Framework, Redux
🟢от 1 900 до 2 700 $ до вычета налогов | 3–6 лет

QA automation team lead (Python)
🟢Python, QA, BDD, Selenium
🟢до 4 000 $ до вычета налогов | 3–6 лет

Founding NLP/LLM/AI Engineer
🟢Python, LLM, NLP, AI, RAG, NER
🟢от 4 000 до 7 000 $ до вычета налогов | 3–6 лет

Senior Python Developer
🟢Python, Flask, REST, API, JavaScript, MySQL, GitHub, Celery, Django, Linux, PHP, Java, Django Framework, Bash, Redis, Frontend, Backend, REST API, PostgreSQL, Unit Testing, jQuery, Ansible, Clickhouse, Gitlab, FastAPI, RestAPI, SQL, Git
🟢Уровень дохода не указан | 3–6 лет

Senior DevOps Engineer
🟢Docker, Bash, Git, Английский язык, AWS, Kubernetes, Terraform, Jenkins, Gitlab, Grafana, ELK, Linux, Python
🟢от 6 000 до 7 000 $ на руки | более 6 лет
Please open Telegram to view this post
VIEW IN TELEGRAM
⚙️ Инфраструктура для Data-Engineer BI-tools

В этой статье я хотел бы показать куда уходят данные и что с ними происходит, когда пайплайны дата-инженеров заканчивают работу.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
👩‍💻 Задачка по Python

Напишите функцию, которая принимает строку и возвращает новую строку, из которой удалены все гласные буквы (a, e, i, o, u в любом регистре).

➡️ Пример:

print(remove_vowels("Hello World"))  # Ожидаемый результат: "Hll Wrld"
print(remove_vowels("Python is great")) # Ожидаемый результат: "Pythn s grt"


Решение задачи ⬇️

def remove_vowels(s):
vowels = "aeiouAEIOU"
return ''.join(char for char in s if char not in vowels)

# Пример использования:
print(remove_vowels("Hello World")) # Ожидаемый результат: "Hll Wrld"
print(remove_vowels("Python is great")) # Ожидаемый результат: "Pythn s grt"
Please open Telegram to view this post
VIEW IN TELEGRAM
✔️ Big Data мертвы, да здравствуют Smart Data

Давайте рассмотрим концепцию Smart Data и выясним, действительно ли Big Data превращаются во что-то более интеллектуальное.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥 Дообучаем языковую модель GPT2 с помощью Torch

Статья углубляется в дообучение языковых моделей, используя DistilGPT2 на данных QuyenAnhDE/Diseases_Symptoms. Рассматривается процесс настройки модели для генерации симптомов на основе заболеваний, с возможностью расширения логики.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
👩‍💻 Задачка по Python

Напишите функцию, которая принимает текст и возвращает наиболее часто встречающееся слово. Игнорируйте регистр и знаки препинания.

➡️ Пример:

text = "Data science is fun. Science makes data fun, and data makes science better."
print(most_frequent_word(text))
# Ожидаемый результат: "data"


Решение задачи ⬇️

import re
from collections import Counter

def most_frequent_word(text):
# Убираем знаки препинания и приводим текст к нижнему регистру
words = re.findall(r'\b\w+\b', text.lower())
# Подсчитываем частоту слов
word_counts = Counter(words)
# Возвращаем слово с максимальной частотой
return word_counts.most_common(1)[0][0]

# Пример использования:
text = "Data science is fun. Science makes data fun, and data makes science better."
print(most_frequent_word(text))
Please open Telegram to view this post
VIEW IN TELEGRAM
🔎 Подборка вакансий для джунов

Junior разработчик Python/Стажер (удаленно)
🟢Python, MongoDB, REST API, Bash, Linux, Git, FastAPI, Celery
🟢до 50 000 ₽ | 1–3 года

Младший инженер-программист (стажер)
🟢Python, JavaScript, API, Linux, Docker, IoT, Сетевые технологии, Базы данных
🟢Уровень дохода не указан | Без опыта

Junior Python developer
🟢Python, SQL, FastAPI, Aiohttp, PostgreSQL, MySQL, Docker, RabbitMQ, Kafka, SQLAlchemy
🟢Уровень дохода не указан | 1–3 года

Junior Data Analyst / Младший Аналитик
🟢SQL, Python, Power BI, Исследовательский анализ данных, Визуализация данных, Математическая статистика, Аналитика продаж, Бизнес-анализ
🟢от 70 000 до 100 000 ₽ | 1–3 года

Младший аналитик данных/Junior Data Analyst
🟢PostgreSQL, Airflow, Metabase, Clickhouse, Debezium, DataLens, SQL, Python
🟢Уровень дохода не указан | 1–3 года
Please open Telegram to view this post
VIEW IN TELEGRAM
📊 ИИ в Крипто-Торговле: Возможен ли Успех?

Статья описывает процесс создания успешных ИИ-моделей для автоматизированной крипто-торговли на ByBit. Рассматриваются три стратегии, их разработка, оптимизация и результаты, превысившие убытки.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
⚙️ Что такое @staticmethod и @classmethod в Python, и чем они отличаются?

Декораторы @staticmethod и @classmethod используются для создания методов, которые не требуют экземпляра класса. @staticmethod — это метод, который не зависит от экземпляра или самого класса, а @classmethod получает доступ к самому классу через первый параметр cls.

➡️ Пример:

class MyClass:
@staticmethod
def static_method():
return "Это статический метод"

@classmethod
def class_method(cls):
return f"Это метод класса {cls.__name__}"

# Использование
print(MyClass.static_method()) # Это статический метод
print(MyClass.class_method()) # Это метод класса MyClass


🗣️ В этом примере static_method ничего не знает о классе, в то время как class_method может взаимодействовать с классом, к которому он принадлежит. Используйте их в зависимости от того, нужно ли вам взаимодействие с классом.


🖥 Подробнее тут
Please open Telegram to view this post
VIEW IN TELEGRAM
📝 Подборка вакансий для мидлов

Data Scientist
Python, SQL, MS SQL Server, PostgreSQL, A/B тестирование, ML-модели, Ad-Hoc аналитика
Уровень дохода не указан | Средний (Middle)

Data Scientist (Моделирование РБ)
Python, Spark, SQL, ML, DL, NLP, Apache Spark
Уровень дохода не указан | Средний (Middle)

ML Engineer / Инженер машинного обучения
Python, PyTorch, PostgreSQL, FastAPI, LLM, MLOps, Git, Docker, AirFlow
Уровень дохода не указан | Средний (Middle)

Python разработчик
Python, FastAPI, PostgreSQL, React
от 150 000 ₽ | Средний (Middle)

Python разработчик
Python, Flask, FastAPI, PostgreSQL, MySQL
Уровень дохода не указан | Средний (Middle)
Please open Telegram to view this post
VIEW IN TELEGRAM
1
⚙️ Как я учился писать промпты для RAG пайплайна. Разбор 3-го места на AI Journey 24 E-com AI assistant

Статья описывает опыт создания RAG-пайплайна с использованием Gigachat API для участия в AI Journey. Автор делится инсайтами, полученными в процессе разработки ассистента для рекомендаций товаров, который занял 3-е место.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
👩‍💻 Задачка по Python

Напишите функцию, которая принимает DataFrame и возвращает имена двух столбцов с наибольшей положительной корреляцией.

➡️ Пример:

data = pd.DataFrame({
'A': [1, 2, 3, 4],
'B': [2, 4, 6, 8],
'C': [1, 0, 1, 0],
'D': [10, 20, 30, 40]
})

print(find_highest_correlation(data))
# Ожидаемый результат: ('B', 'D')


Решение задачи ⬇️

def find_highest_correlation(df):
corr_matrix = df.corr()
max_corr = 0
columns = (None, None)

for col1 in corr_matrix.columns:
for col2 in corr_matrix.columns:
if col1 != col2 and corr_matrix[col1][col2] > max_corr:
max_corr = corr_matrix[col1][col2]
columns = (col1, col2)

return columns

# Пример использования:
import pandas as pd

data = pd.DataFrame({
'A': [1, 2, 3, 4],
'B': [2, 4, 6, 8],
'C': [1, 0, 1, 0],
'D': [10, 20, 30, 40]
})

print(find_highest_correlation(data)) # Ожидаемый результат: ('B', 'D')
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔 Размер имеет значение: как исторические данные помогают на этапе дизайна A/B-теста

Статья изучает применение метода CUPED в A/B-тестах для повышения чувствительности и сокращения выборок. Рассматривается его использование на этапе дизайна эксперимента без потери статистической мощности.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
📝 Подборка вакансий для сеньоров

Data engineer
SQL, Python, Apache Hadoop
Уровень дохода не указан | от 3 лет

Data Engineer
SQL, Python, Apache Airflow, Greenplum, Apache Spark
от 250 000 ₽ | от 2 лет

Senior Data Scientist
Python
Уровень дохода не указан | опыт не указан

ML-инженер
Машинное обучение, Deep Learning, Нейронные сети, Python, TensorFlow, PyTorch, Keras, Linux, Git, Docker
Уровень дохода не указан | опыт не указан

Разработчик БД (PostgreSQL, прикладные витрины)
SQL, PostgreSQL, ETL, Apache Airflow, Greenplum
Уровень дохода не указан | от 3 лет
Please open Telegram to view this post
VIEW IN TELEGRAM
⚙️ Как обеспечить Data Quality терабайтов данных и зачем: опыт СИБУРа

Статья посвящена опыту СИБУРа в создании DQ-сервиса для обеспечения качества данных. Рассматриваются задачи DQ, архитектура решения и универсальные подходы, применимые для анализа данных в крупных компаниях.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
📝 Подборка вакансий для лидов

TeamLead Data Analyst
Python, DWH, ClickHouse
до 5 000 $ | от 3 лет

Главный администратор данных (Chief Data Steward) [Governance]
Git, SQL, Apache Kafka, NoSQL, PostgreSQL
Уровень дохода не указан | опыт не указан

Аналитик данных, senior/lead
SQL, Python, Apache Airflow, ETL, DWH
Уровень дохода не указан | от 3 лет

Lead/Senior Automation QA (Python or Java)
Python, Linux, Java, CI/CD, Docker, Тестирование API, Тестирование UI, Разработка тест-кейсов
Уровень дохода не указан | от 4 лет

Ведущий питонист
Python, Django, PostgreSQL, Docker
от 150 000 до 250 000 ₽ | опыт не указан
Please open Telegram to view this post
VIEW IN TELEGRAM
Многие из вас знают, что ШАД - одна из сильнейших школ для подготовки специалистов по анализу данных

Однако попасть в ШАД не так просто, нужно иметь сильную математическую базу и успешно пройти все этапы отбора.

Shad Helper готовит студентов к поступлению в Школу Анализа Данных Яндекса, AI Masters и магистратуру по анализу данных. В школе в основном ведутся занятия по высшей математике и программированию.
Все преподаватели кандидаты и доктора наук из МГУ, МФТИ, ВШЭ.

2 декабря 2024 года запускается новый поток подготовки к ШАД

💎Все преподаватели кандидаты и доктора наук из МГУ, МФТИ, ВШЭ
💎Есть система скидок за хорошую успеваемость
💎Длительность курса: ~6 месяцев
💎Оплата курса еженедельная (можно остановить обучение в любой момент)
💎Регулярные персонализированные домашние задания
💎Работа в мини-группах
💎Есть умный чат бот для студентов ( на базе gpt4)

🔗 Ссылка на телеграм @shadhelper

🎁 Для подписчиков канала скидка 30% на первоначальный взнос по промокоду DEVSP30

Реклама. ООО "Школа высшей математики". ИНН: 9728100991
erid: 2VtzqwmcPtb