Статья посвящена опыту СИБУРа в создании DQ-сервиса для обеспечения качества данных. Рассматриваются задачи DQ, архитектура решения и универсальные подходы, применимые для анализа данных в крупных компаниях.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
TeamLead Data Analyst
• Python, DWH, ClickHouse• до 5 000 $ | от 3 летГлавный администратор данных (Chief Data Steward) [Governance]
• Git, SQL, Apache Kafka, NoSQL, PostgreSQL• Уровень дохода не указан | опыт не указанАналитик данных, senior/lead
• SQL, Python, Apache Airflow, ETL, DWH• Уровень дохода не указан | от 3 летLead/Senior Automation QA (Python or Java)
• Python, Linux, Java, CI/CD, Docker, Тестирование API, Тестирование UI, Разработка тест-кейсов• Уровень дохода не указан | от 4 летВедущий питонист
• Python, Django, PostgreSQL, Docker• от 150 000 до 250 000 ₽ | опыт не указанPlease open Telegram to view this post
VIEW IN TELEGRAM
Многие из вас знают, что ШАД - одна из сильнейших школ для подготовки специалистов по анализу данных
Однако попасть в ШАД не так просто, нужно иметь сильную математическую базу и успешно пройти все этапы отбора.
Shad Helper готовит студентов к поступлению в Школу Анализа Данных Яндекса, AI Masters и магистратуру по анализу данных. В школе в основном ведутся занятия по высшей математике и программированию.
Все преподаватели кандидаты и доктора наук из МГУ, МФТИ, ВШЭ.
2 декабря 2024 года запускается новый поток подготовки к ШАД
💎Все преподаватели кандидаты и доктора наук из МГУ, МФТИ, ВШЭ
💎Есть система скидок за хорошую успеваемость
💎Длительность курса: ~6 месяцев
💎Оплата курса еженедельная (можно остановить обучение в любой момент)
💎Регулярные персонализированные домашние задания
💎Работа в мини-группах
💎Есть умный чат бот для студентов ( на базе gpt4)
🔗 Ссылка на телеграм @shadhelper
🎁 Для подписчиков канала скидка 30% на первоначальный взнос по промокоду DEVSP30
Реклама. ООО "Школа высшей математики". ИНН: 9728100991
erid: 2VtzqwmcPtb
Однако попасть в ШАД не так просто, нужно иметь сильную математическую базу и успешно пройти все этапы отбора.
Shad Helper готовит студентов к поступлению в Школу Анализа Данных Яндекса, AI Masters и магистратуру по анализу данных. В школе в основном ведутся занятия по высшей математике и программированию.
Все преподаватели кандидаты и доктора наук из МГУ, МФТИ, ВШЭ.
2 декабря 2024 года запускается новый поток подготовки к ШАД
💎Все преподаватели кандидаты и доктора наук из МГУ, МФТИ, ВШЭ
💎Есть система скидок за хорошую успеваемость
💎Длительность курса: ~6 месяцев
💎Оплата курса еженедельная (можно остановить обучение в любой момент)
💎Регулярные персонализированные домашние задания
💎Работа в мини-группах
💎Есть умный чат бот для студентов ( на базе gpt4)
🔗 Ссылка на телеграм @shadhelper
🎁 Для подписчиков канала скидка 30% на первоначальный взнос по промокоду DEVSP30
Реклама. ООО "Школа высшей математики". ИНН: 9728100991
erid: 2VtzqwmcPtb
Статья предлагает разобраться в устройстве Diffusion моделей, их математике и принципах работы. Автор делится простыми объяснениями, примерами кода и результатами генерации изображений на собственной модели.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
🕵️♂️ Держи код чистым
Никогда не думал, что через пару недель сам не разберёшься в своём коде? А коллеги тем более. Это реальность, если писать быстро и «как получится».
✔️ Совет: трать 10 минут после завершения задачи, чтобы убрать мусор, оставить комментарии и структурировать код. Это спасёт и тебя, и тех, кто будет работать с ним после тебя.
Никогда не думал, что через пару недель сам не разберёшься в своём коде? А коллеги тем более. Это реальность, если писать быстро и «как получится».
Please open Telegram to view this post
VIEW IN TELEGRAM
Python Developer/Data Scientist
• Python, Pandas, NumPy, NLP, TensorFlow, Keras, SQL, Git, Docker, NoSQL• от 5 500 $ | от 3 летDatabase Administrator
• ClickHouse, PostgreSQL, Python, Linux, Bash, LVM• до 5 000 $ | опыт не указанPython QA automation developer
• Python, Linux, HTTP, TCP, CI/CD, DevOps• до 5 000 $ | опыт не указаPlease open Telegram to view this post
VIEW IN TELEGRAM
Статья рассказывает, как с помощью нейросетей улучшить качество старых видеозаписей, включая VHS и DVD. Описываются инструменты, процесс и результаты с примерами, доступные каждому без глубоких технических знаний.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
Напишите функцию, которая принимает две строки и проверяет, являются ли они анаграммами. Анаграммы — это слова, которые содержат одинаковые буквы в одинаковом количестве, но в разном порядке. Игнорируйте регистр и пробелы.
Пример:
result1 = are_anagrams("listen", "silent")
print(result1) # Ожидаемый результат: True
result2 = are_anagrams("hello", "world")
print(result2) # Ожидаемый результат: FalseРешение задачи
def are_anagrams(str1, str2):
# Удаляем пробелы и приводим к одному регистру
str1 = ''.join(str1.lower().split())
str2 = ''.join(str2.lower().split())
# Проверяем, равны ли отсортированные символы
return sorted(str1) == sorted(str2)
# Пример использования:
result1 = are_anagrams("listen", "silent")
print(result1) # Ожидаемый результат: True
result2 = are_anagrams("hello", "world")
print(result2) # Ожидаемый результат: False
Please open Telegram to view this post
VIEW IN TELEGRAM
• Делают всё роботы, а не человек! Как работать меньше, но продуктивнее? Обзор шести нейросервисов
• Пишем свою Diffusion модель с нуля
• Apple Intelligence на Андроид? Обзор ИИ, портированных на мобильные устройства с локальным запуском
• Как мы обучали LLM для поиска уязвимостей в смарт-контрактах Solidity
• Нейросети, мошенники и «мамонты»: как искусственный интеллект меняет кибермошенничество
Please open Telegram to view this post
VIEW IN TELEGRAM
Статья рассказывает, как с помощью Python и ChatGPT создать скрипт для автоматической загрузки видео с YouTube и генерации метаданных (описаний и обложек) для интеграции с медиацентром Kodi.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
Напишите функцию, которая принимает список и возвращает элемент, который встречается чаще всего. Если таких элементов несколько, вернуть любой из них.
Пример:
numbers = [1, 3, 2, 3, 4, 1, 3, 2, 1]
result = most_frequent(numbers)
print(result)
# Ожидаемый результат: 3 (или 1, если в списке оба встречаются одинаково часто)
Решение задачи
from collections import Counter
def most_frequent(lst):
count = Counter(lst)
return max(count, key=count.get)
# Пример использования:
numbers = [1, 3, 2, 3, 4, 1, 3, 2, 1]
result = most_frequent(numbers)
print(result) # Ожидаемый результат: 3
Please open Telegram to view this post
VIEW IN TELEGRAM
QA Automation Engineer Junior (Python)
• Python, PyTest, ООП, SQL, PostgreSQL• Уровень дохода не указан | от 1 годаData Engineer
• Python, SQL, ETL, Docker, Kubernetes, Apache Airflow• Уровень дохода не указан | опыт не указанИнженер данных/Data Engineer в Управление анализа данных
• SQL, Jira, Confluence, Hadoop, Bitbucket• Уровень дохода не указан | опыт не указанМладший аналитик
• Python, SQL, Microsoft Excel, Английский язык, Анализ данных, Машинное обучение, Нейронные сети• от 130 000 ₽ | опыт не указанPlease open Telegram to view this post
VIEW IN TELEGRAM
Статья исследует развитие ИИ в общении с клиентами и его интеграцию в бизнес. Обсуждаются успехи и сложности внедрения чат-ботов, важность настройки под бизнес-цели и перспективы замены сотрудников ИИ.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
train_test_split в Scikit-learn и зачем он используется?train_test_split — это функция из библиотеки Scikit-learn, которая используется для разделения данных на тренировочный и тестовый наборы. Это необходимо для оценки качества модели на данных, которые она не видела во время обучения.from sklearn.model_selection import train_test_split
import numpy as np
# Данные
X = np.array([[1], [2], [3], [4], [5]])
y = np.array([10, 20, 30, 40, 50])
# Разделение данных (80% на обучение, 20% на тест)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
print("Тренировочные данные:", X_train, y_train)
print("Тестовые данные:", X_test, y_test)
🗣️ В этом примере данные разделяются на тренировочный и тестовый наборы в соотношении 80/20. Это позволяет модели обучаться на одной части данных и проверять точность на другой, что предотвращает переобучение.
Please open Telegram to view this post
VIEW IN TELEGRAM
Data engineer (Python Hadoop Spark)
• Python 3.8+, Hadoop, Hive, Spark (PySpark), Airflow, PostgreSQL, ClickHouse, Kubernetes• Уровень дохода не указан | от 2 летData Engineer
• Python или Scala, SQL, Apache Spark, CI/CD, Airflow• Уровень дохода не указан | от 1-2 летData Analyst
• SQL, PL/SQL, Oracle, Jira, Confluence• Уровень дохода не указан | от 3 летРазработчик AI
• Python, Pandas, NumPy, SQL, LangChain, LlamaIndex, OpenAI API, RAG, Faiss, Qdrant, Chroma, Elasticsearch, Git• Уровень дохода не указан | от 1 года с LLM, от 3 лет с PythonPython Developer
• Python, Django, Linux, PostgreSQL, Celery, Redis, Pandas, NumPy• до 250 000 ₽ | от 3 летPlease open Telegram to view this post
VIEW IN TELEGRAM
В статье обсуждаются возможности Flux1.1 Pro и SD3.5 Large в генерации фотореалистичных изображений. Описаны различия моделей и их результаты после разделения команды разработчиков.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
Напишите функцию, которая принимает строку и возвращает словарь, где ключами являются слова из строки, а значениями — количество их вхождений. Игнорируйте регистр и знаки препинания.
Пример:
text = "Hello, world! Hello Python world."
result = count_words(text)
print(result)
# Ожидаемый результат: {'hello': 2, 'world': 2, 'python': 1}
Решение задачи
import re
from collections import Counter
def count_words(text):
# Убираем знаки препинания и приводим к нижнему регистру
words = re.findall(r'\b\w+\b', text.lower())
# Подсчитываем количество вхождений каждого слова
return Counter(words)
# Пример использования:
text = "Hello, world! Hello Python world."
result = count_words(text)
print(result)
# Ожидаемый результат: {'hello': 2, 'world': 2, 'python': 1}
Please open Telegram to view this post
VIEW IN TELEGRAM
Статья представляет перевод работы о нейронных сетях на основе алгоритма Колмогорова-Арнольда (KAN). Рассматриваются новые исследования, связь с наукой и использование библиотеки pykan на Python для практических задач.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
Статья объясняет, как нейросети помогают оптимизировать юнит-экономику продавцов на WB, особенно при работе с большим ассортиментом. Рассматриваются подходы к автоматизации анализа и принятию решений.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
Data Engineer
• Python, SQL, pandas, PostgreSQL, Docker, Redis, ClickHouse, Airflow, Spark, Git, Django, Node.js, React, Kubernetes• Уровень дохода не указан | от 2 летSenior Data Scientist (Ценообразование)
• Spark, Hadoop, S3• до 420 000 ₽ | опыт не указанData-аналитик (Senior)
• SQL, DWH, PostgreSQL, ETL, Greenplum• Уровень дохода не указан | от 2 летSenior Data Scientist [NUUM]
• Python, SQL, Машинное обучение• Уровень дохода не указан | опыт не указанPlease open Telegram to view this post
VIEW IN TELEGRAM