Data Science | Machinelearning [ru] – Telegram
Data Science | Machinelearning [ru]
20.1K subscribers
628 photos
39 videos
29 files
3.52K links
Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM.

По вопросам рекламы или разработки - @g_abashkin

РКН: https://vk.cc/cJPGXD
Download Telegram
💳 Как мы провели ИИ-трансформацию стратегических процессов Сбера

Статья рассказывает об ИИ-трансформации Сбера, включая ключевые задачи, такие как стресс-тестирование, анализ рынков и прогнозирование эффективности сотрудников. Рассматривается использование ИИ до и после трансформации.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
⚙️ Что такое генераторы в Python и зачем они нужны?

Генераторы — это функции в Python, которые возвращают значения по одному с помощью ключевого слова yield, вместо полного возврата всех значений сразу. Они полезны для работы с большими объемами данных, так как сохраняют память, генерируя значения на лету.

➡️ Пример:

# Генератор для получения первых N чисел Фибоначчи
def fibonacci(n):
a, b = 0, 1
for _ in range(n):
yield a
a, b = b, a + b

# Используем генератор
for num in fibonacci(5):
print(num)

# Вывод: 0, 1, 1, 2, 3


🗣️ В этом примере генератор fibonacci вычисляет числа по запросу, вместо сохранения всех значений в памяти. Это делает генераторы особенно удобными для работы с потоками данных или бесконечными последовательностями.


🖥 Подробнее тут
Please open Telegram to view this post
VIEW IN TELEGRAM
📝 Подборка вакансий для лидов

Team Lead Data Scientist (кредитный скоринг)
Python, SQL, Scikit-learn, Pandas, NumPy, XGBoost, LightGBM, Matplotlib, Seaborn, Plotly
Уровень дохода не указан | от 3 лет

Ведущий аналитик
Microsoft Excel, Pandas, Tableau, PowerBI, SQL, Python, NumPy, SQLAlchemy
от 100 000 ₽ | опыт не указан

Team Lead
Java, Golang, Python, C++, .NET
Уровень дохода не указан | от 1,5 лет

QAA Lead в Сервис Транспорта
Python, Linux, Git, Docker
Уровень дохода не указан | от 5 лет
Please open Telegram to view this post
VIEW IN TELEGRAM
📖 «Охота на электроовец: большая книга искусственного интеллекта» или как написать книгу про ИИ без регистрации и SMS

История о том, как за 6 лет я написал двухтомник, посвящённый искусственному интеллекту и машинному обучению.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
🔍 Учись читать чужой код, как книгу

Работаешь над багом или новым функционалом, но каждый раз стопоришься на чужом коде? Это не только твоя боль — многим сложно понять чужую логику.

👉 Совет: подходи к коду как к истории. Читай, где начинается действие (инициализация), как развивается сюжет (основной алгоритм) и где развязка (возврат результата). Комментарии, даже редкие, — это подсказки от автора, используй их. Так ты научишься быстрее ориентироваться и даже предугадывать ошибки.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔎 Подборка зарубежных вакансий

Senior Data Engineer
🟢Python, Java, AWS, MS SQL
🟢от 4 000 до 6 000 $ до вычета налогов | от 3 до 6 лет

Data Engineer AI (удаленно)
🟢Python, DWH, SQL, ETL, PostgreSQL, Power BI
🟢от 2 200 до 3 400 $ на руки | от 1 до 3 лет

Senior Data Scientist
🟢RecSys, Uplift modeling, Churn prediction, LTV prediction, Forecasting, A/B тестирование, MLOps, SQL
🟢от 4 500 до 6 500 $ до вычета налогов | более 6 лет

Junior Consultant / German AI consulting company
🟢Английский язык, B2B маркетинг, Социальный маркетинг, Email маркетинг, Data Analysis, Python, Контент-маркетинг, B2B Продажи, Автоматизация, Нейронные сети, ChatGPT, Lean Startup, CRM,
🟢от 500 € на руки | от 1 до 3 лет
Please open Telegram to view this post
VIEW IN TELEGRAM
🤖 Псст, ИИ нужен? 5 полезных инструментов для разработчика

Статья предлагает подборку инструментов, платформ и шаблонов для работы с языковыми моделями и создания ИИ-ассистентов. Рассматриваются протестированные в МТС решения, упрощающие разработку и интеграцию.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
👩‍💻 Нормализация набора данных

Напишите функцию, которая принимает pandas.DataFrame и нормализует все числовые столбцы в диапазон от 0 до 1.

Пример:

import pandas as pd

data = pd.DataFrame({
'feature1': [10, 20, 30, 40],
'feature2': [1, 2, 3, 4],
'feature3': ['A', 'B', 'C', 'D'] # Не числовой столбец
})

result = normalize_dataframe(data)
print(result)
# Ожидаемый результат:
# feature1 feature2 feature3
# 0 0.0 0.0 A
# 1 0.333 0.333 B
# 2 0.667 0.667 C
# 3 1.0 1.0 D


Решение задачи🔽

import pandas as pd

def normalize_dataframe(df):
df_normalized = df.copy()
for col in df.select_dtypes(include='number').columns:
min_val = df[col].min()
max_val = df[col].max()
df_normalized[col] = (df[col] - min_val) / (max_val - min_val)
return df_normalized

# Пример использования:
data = pd.DataFrame({
'feature1': [10, 20, 30, 40],
'feature2': [1, 2, 3, 4],
'feature3': ['A', 'B', 'C', 'D']
})

result = normalize_dataframe(data)
print(result)
Please open Telegram to view this post
VIEW IN TELEGRAM
➡️ Машинное обучение: общие принципы и концепции

В этой статье я рассказываю про основные концепции, типы обучения, типы задач в машинном обучении и также делаю постановку задачи машинного обучения (МО). Все это я рассказываю в своем стиле и понимании.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
👩‍💻 Поиск числа с максимальной суммой цифр

Напишите функцию, которая принимает список положительных чисел и возвращает число с наибольшей суммой цифр. Если таких чисел несколько, вернуть первое из них.

Пример:

numbers = [123, 456, 789, 234]
result = max_digit_sum(numbers)
print(result)
# Ожидаемый результат: 789 (7+8+9=24, это максимальная сумма)


Решение задачи🔽

def max_digit_sum(numbers):
def digit_sum(n):
return sum(int(digit) for digit in str(n))

return max(numbers, key=digit_sum)

# Пример использования:
numbers = [123, 456, 789, 234]
result = max_digit_sum(numbers)
print(result) # Ожидаемый результат: 789
Please open Telegram to view this post
VIEW IN TELEGRAM
🔎 Подборка вакансий для джунов

Junior Data Analyst
🟢SQL, Python, BI-инструменты, математическая статистика, A/B-тестирование
🟢от 70 000 ₽ на руки | от 1 до 3 лет

Junior AI Engineer
🟢Python 3.x, PyTorch, TensorFlow, Pandas, NumPy, ETL, Reinforcement Learning, ChatGPT API, Английский язык (B2)
🟢от 1 000 до 1 500 $ до вычета налогов | от 1 до 3 лет

Python developer Junior+/Middle
🟢Python, Flask, Asyncio, Websockets, RabbitMQ, Docker, PostgreSQL, Clickhouse, Redis, Kafka, Kubernetes, Grafana, Celery, Prometheus
🟢Уровень дохода не указан | от 1 до 3 лет

Junior Data Analyst
🟢SQL, Python, Tableau, BI-системы, Английский язык (B1 и выше)
🟢Уровень дохода не указан | от 1 до 3 лет
Please open Telegram to view this post
VIEW IN TELEGRAM
⚙️ Physics-based и data-driven моделирование

Статья объясняет различия между физически обоснованными моделями и моделями, основанными на данных, с примерами задач машинного обучения. Рассматривается подход к обработке данных, выбору моделей и их обучению.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
⚙️ Что такое модуль collections в Python и как он используется?

collections — это стандартный модуль Python, который предоставляет высокопроизводительные контейнеры данных, такие как Counter, deque, и defaultdict. Он используется для более удобной работы со структурами данных.

➡️ Пример:

from collections import Counter

data = ['apple', 'banana', 'apple', 'orange', 'banana', 'apple']
counter = Counter(data)
print(counter) # Counter({'apple': 3, 'banana': 2, 'orange': 1})


🗣️ В этом примере Counter подсчитывает количество каждого элемента в списке data. Это полезно для анализа данных, работы с частотами или подсчёта элементов в коллекциях.


🖥 Подробнее тут
Please open Telegram to view this post
VIEW IN TELEGRAM
📝 Подборка вакансий для мидлов

DevOps-инженер в Data Platform (Big Data)
Linux, Kubernetes, CI/CD
Уровень дохода не указан | от 3 лет

Data Analyst
Python, Apache Spark, SQL, Apache Hadoop
Уровень дохода не указан | от 2 лет

ML-инженер
Python, TensorFlow, PyTorch, Keras
Уровень дохода не указан | от 1 года

Middle Python Developer [Bridge]
Python, REST, Apache Kafka, RabbitMQ, Asyncio, AIOHTTP, ООП
Уровень дохода не указан | от 1 года
Please open Telegram to view this post
VIEW IN TELEGRAM
➡️ Машинное обучение: Линейная регрессия. Теория и реализация. С нуля. На чистом Python

В этой статье я рассказываю про линейную регрессию, свойства, которыми должны обладать данные для модели, процесс обучения, регуляризацию, метрики качества. Кроме чистой теории я показываю как это все реализовать. Я рассказываю все в своем стиле и понимании - с инженерной точки зрения, с точки зрения того, как реализовывать с нуля.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
👩‍💻 Поиск корреляции между столбцами

Напишите функцию, которая принимает pandas.DataFrame и возвращает два столбца с наибольшей корреляцией.

Пример:

import pandas as pd

data = pd.DataFrame({
"A": [1, 2, 3, 4],
"B": [2, 4, 6, 8],
"C": [5, 3, 6, 2],
"D": [10, 20, 30, 40]
})

result = find_highest_correlation(data)
print(result)
# Ожидаемый результат: ('B', 'D')


Решение задачи🔽

import pandas as pd

def find_highest_correlation(df):
corr_matrix = df.corr()
max_corr = 0
columns = (None, None)

for col1 in corr_matrix.columns:
for col2 in corr_matrix.columns:
if col1 != col2 and corr_matrix[col1][col2] > max_corr:
max_corr = corr_matrix[col1][col2]
columns = (col1, col2)

return columns

# Пример использования:
data = pd.DataFrame({
"A": [1, 2, 3, 4],
"B": [2, 4, 6, 8],
"C": [5, 3, 6, 2],
"D": [10, 20, 30, 40]
})

result = find_highest_correlation(data)
print(result)
Please open Telegram to view this post
VIEW IN TELEGRAM
➡️ DeepSeek AI: От инъекции промпта до захвата аккаунта

Статья рассказывает о новой AI-модели DeepSeek-R1-Lite, созданной для логических рассуждений. Рассматриваются её возможности, тестирование и перспективы применения в задачах анализа и вычислений.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
Машинное обучение для начинающих: Введение в нейронные сети

Этот пост предназначен для абсолютных новичков и предполагает НУЛЕВЫЕ предварительные знания машинного обучения. Мы разберемся, как работают нейронные сети, и реализуем одну из них с нуля на Python.

Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
📝 Подборка вакансий для сеньоров

Аналитик данных / Data Analyst
SQL (Clickhouse, Postgres, MS SQL), Python, статистика, A/B тестирование, Jupyter Notebook, GIT, BI-системы (Datalens, Superset), ML-подходы
от 300 000 до 400 000 ₽ | от 3 лет

Senior Data Scientist (Recsys)
Python, PyTorch, машинное обучение, глубокое обучение, свёрточные нейросети, трансформеры
Уровень дохода не указан | Требуемый опыт не указан

Эксперт по безопасности инфраструктуры Big Data
Hadoop, Clickhouse, Kafka, Airflow, Zeppelin, Apache Ranger, IDM, k8s, деперсонализация данных, обфускация
Уровень дохода не указан | Требуемый опыт не указан

Senior Python developer (Evolution Openstack)
Python 3.10, PostgreSQL, SQLAlchemy, Linux, OpenStack, KVM, Ansible, RabbitMQ, Docker, Kubernetes
Уровень дохода не указан | от 3 лет
Please open Telegram to view this post
VIEW IN TELEGRAM