Давайте рассмотрим концепцию Smart Data и выясним, действительно ли Big Data превращаются во что-то более интеллектуальное.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
Статья углубляется в дообучение языковых моделей, используя DistilGPT2 на данных QuyenAnhDE/Diseases_Symptoms. Рассматривается процесс настройки модели для генерации симптомов на основе заболеваний, с возможностью расширения логики.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
Напишите функцию, которая принимает текст и возвращает наиболее часто встречающееся слово. Игнорируйте регистр и знаки препинания.
text = "Data science is fun. Science makes data fun, and data makes science better."
print(most_frequent_word(text))
# Ожидаемый результат: "data"
Решение задачи
import re
from collections import Counter
def most_frequent_word(text):
# Убираем знаки препинания и приводим текст к нижнему регистру
words = re.findall(r'\b\w+\b', text.lower())
# Подсчитываем частоту слов
word_counts = Counter(words)
# Возвращаем слово с максимальной частотой
return word_counts.most_common(1)[0][0]
# Пример использования:
text = "Data science is fun. Science makes data fun, and data makes science better."
print(most_frequent_word(text))
Please open Telegram to view this post
VIEW IN TELEGRAM
Junior разработчик Python/Стажер (удаленно)
Младший инженер-программист (стажер)
Junior Python developer
Junior Data Analyst / Младший Аналитик
Младший аналитик данных/Junior Data Analyst
Please open Telegram to view this post
VIEW IN TELEGRAM
Статья описывает процесс создания успешных ИИ-моделей для автоматизированной крипто-торговли на ByBit. Рассматриваются три стратегии, их разработка, оптимизация и результаты, превысившие убытки.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
@staticmethod и @classmethod в Python, и чем они отличаются?Декораторы
@staticmethod и @classmethod используются для создания методов, которые не требуют экземпляра класса. @staticmethod — это метод, который не зависит от экземпляра или самого класса, а @classmethod получает доступ к самому классу через первый параметр cls.class MyClass:
@staticmethod
def static_method():
return "Это статический метод"
@classmethod
def class_method(cls):
return f"Это метод класса {cls.__name__}"
# Использование
print(MyClass.static_method()) # Это статический метод
print(MyClass.class_method()) # Это метод класса MyClass
🗣️ В этом примере static_method ничего не знает о классе, в то время как class_method может взаимодействовать с классом, к которому он принадлежит. Используйте их в зависимости от того, нужно ли вам взаимодействие с классом.
Please open Telegram to view this post
VIEW IN TELEGRAM
Data Scientist
• Python, SQL, MS SQL Server, PostgreSQL, A/B тестирование, ML-модели, Ad-Hoc аналитика• Уровень дохода не указан | Средний (Middle)Data Scientist (Моделирование РБ)
• Python, Spark, SQL, ML, DL, NLP, Apache Spark• Уровень дохода не указан | Средний (Middle)ML Engineer / Инженер машинного обучения
• Python, PyTorch, PostgreSQL, FastAPI, LLM, MLOps, Git, Docker, AirFlow• Уровень дохода не указан | Средний (Middle)Python разработчик
• Python, FastAPI, PostgreSQL, React• от 150 000 ₽ | Средний (Middle)Python разработчик
• Python, Flask, FastAPI, PostgreSQL, MySQL• Уровень дохода не указан | Средний (Middle)Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Статья описывает опыт создания RAG-пайплайна с использованием Gigachat API для участия в AI Journey. Автор делится инсайтами, полученными в процессе разработки ассистента для рекомендаций товаров, который занял 3-е место.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
Напишите функцию, которая принимает DataFrame и возвращает имена двух столбцов с наибольшей положительной корреляцией.
data = pd.DataFrame({
'A': [1, 2, 3, 4],
'B': [2, 4, 6, 8],
'C': [1, 0, 1, 0],
'D': [10, 20, 30, 40]
})
print(find_highest_correlation(data))
# Ожидаемый результат: ('B', 'D')Решение задачи
def find_highest_correlation(df):
corr_matrix = df.corr()
max_corr = 0
columns = (None, None)
for col1 in corr_matrix.columns:
for col2 in corr_matrix.columns:
if col1 != col2 and corr_matrix[col1][col2] > max_corr:
max_corr = corr_matrix[col1][col2]
columns = (col1, col2)
return columns
# Пример использования:
import pandas as pd
data = pd.DataFrame({
'A': [1, 2, 3, 4],
'B': [2, 4, 6, 8],
'C': [1, 0, 1, 0],
'D': [10, 20, 30, 40]
})
print(find_highest_correlation(data)) # Ожидаемый результат: ('B', 'D')
Please open Telegram to view this post
VIEW IN TELEGRAM
• Разбей и властвуй: как создать кастомный токенизатор в SpaCy
• Функция property() в Python: добавляем управляемые атрибуты в классы
• Что, если не трансформеры: какие альтернативы главной архитектуре нейросетей у нас есть в 2024 году
• cgroups и namespaces в Linux: как это работает?
• ML-тренды рекомендательных технологий: шесть приёмов, которые помогают угадывать желания пользователя
Please open Telegram to view this post
VIEW IN TELEGRAM
Статья изучает применение метода CUPED в A/B-тестах для повышения чувствительности и сокращения выборок. Рассматривается его использование на этапе дизайна эксперимента без потери статистической мощности.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
Data engineer
• SQL, Python, Apache Hadoop• Уровень дохода не указан | от 3 летData Engineer
• SQL, Python, Apache Airflow, Greenplum, Apache Spark• от 250 000 ₽ | от 2 летSenior Data Scientist
• Python• Уровень дохода не указан | опыт не указанML-инженер
• Машинное обучение, Deep Learning, Нейронные сети, Python, TensorFlow, PyTorch, Keras, Linux, Git, Docker• Уровень дохода не указан | опыт не указанРазработчик БД (PostgreSQL, прикладные витрины)
• SQL, PostgreSQL, ETL, Apache Airflow, Greenplum• Уровень дохода не указан | от 3 летPlease open Telegram to view this post
VIEW IN TELEGRAM
Статья посвящена опыту СИБУРа в создании DQ-сервиса для обеспечения качества данных. Рассматриваются задачи DQ, архитектура решения и универсальные подходы, применимые для анализа данных в крупных компаниях.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
TeamLead Data Analyst
• Python, DWH, ClickHouse• до 5 000 $ | от 3 летГлавный администратор данных (Chief Data Steward) [Governance]
• Git, SQL, Apache Kafka, NoSQL, PostgreSQL• Уровень дохода не указан | опыт не указанАналитик данных, senior/lead
• SQL, Python, Apache Airflow, ETL, DWH• Уровень дохода не указан | от 3 летLead/Senior Automation QA (Python or Java)
• Python, Linux, Java, CI/CD, Docker, Тестирование API, Тестирование UI, Разработка тест-кейсов• Уровень дохода не указан | от 4 летВедущий питонист
• Python, Django, PostgreSQL, Docker• от 150 000 до 250 000 ₽ | опыт не указанPlease open Telegram to view this post
VIEW IN TELEGRAM
Многие из вас знают, что ШАД - одна из сильнейших школ для подготовки специалистов по анализу данных
Однако попасть в ШАД не так просто, нужно иметь сильную математическую базу и успешно пройти все этапы отбора.
Shad Helper готовит студентов к поступлению в Школу Анализа Данных Яндекса, AI Masters и магистратуру по анализу данных. В школе в основном ведутся занятия по высшей математике и программированию.
Все преподаватели кандидаты и доктора наук из МГУ, МФТИ, ВШЭ.
2 декабря 2024 года запускается новый поток подготовки к ШАД
💎Все преподаватели кандидаты и доктора наук из МГУ, МФТИ, ВШЭ
💎Есть система скидок за хорошую успеваемость
💎Длительность курса: ~6 месяцев
💎Оплата курса еженедельная (можно остановить обучение в любой момент)
💎Регулярные персонализированные домашние задания
💎Работа в мини-группах
💎Есть умный чат бот для студентов ( на базе gpt4)
🔗 Ссылка на телеграм @shadhelper
🎁 Для подписчиков канала скидка 30% на первоначальный взнос по промокоду DEVSP30
Реклама. ООО "Школа высшей математики". ИНН: 9728100991
erid: 2VtzqwmcPtb
Однако попасть в ШАД не так просто, нужно иметь сильную математическую базу и успешно пройти все этапы отбора.
Shad Helper готовит студентов к поступлению в Школу Анализа Данных Яндекса, AI Masters и магистратуру по анализу данных. В школе в основном ведутся занятия по высшей математике и программированию.
Все преподаватели кандидаты и доктора наук из МГУ, МФТИ, ВШЭ.
2 декабря 2024 года запускается новый поток подготовки к ШАД
💎Все преподаватели кандидаты и доктора наук из МГУ, МФТИ, ВШЭ
💎Есть система скидок за хорошую успеваемость
💎Длительность курса: ~6 месяцев
💎Оплата курса еженедельная (можно остановить обучение в любой момент)
💎Регулярные персонализированные домашние задания
💎Работа в мини-группах
💎Есть умный чат бот для студентов ( на базе gpt4)
🔗 Ссылка на телеграм @shadhelper
🎁 Для подписчиков канала скидка 30% на первоначальный взнос по промокоду DEVSP30
Реклама. ООО "Школа высшей математики". ИНН: 9728100991
erid: 2VtzqwmcPtb
Статья предлагает разобраться в устройстве Diffusion моделей, их математике и принципах работы. Автор делится простыми объяснениями, примерами кода и результатами генерации изображений на собственной модели.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
🕵️♂️ Держи код чистым
Никогда не думал, что через пару недель сам не разберёшься в своём коде? А коллеги тем более. Это реальность, если писать быстро и «как получится».
✔️ Совет: трать 10 минут после завершения задачи, чтобы убрать мусор, оставить комментарии и структурировать код. Это спасёт и тебя, и тех, кто будет работать с ним после тебя.
Никогда не думал, что через пару недель сам не разберёшься в своём коде? А коллеги тем более. Это реальность, если писать быстро и «как получится».
Please open Telegram to view this post
VIEW IN TELEGRAM
Python Developer/Data Scientist
• Python, Pandas, NumPy, NLP, TensorFlow, Keras, SQL, Git, Docker, NoSQL• от 5 500 $ | от 3 летDatabase Administrator
• ClickHouse, PostgreSQL, Python, Linux, Bash, LVM• до 5 000 $ | опыт не указанPython QA automation developer
• Python, Linux, HTTP, TCP, CI/CD, DevOps• до 5 000 $ | опыт не указаPlease open Telegram to view this post
VIEW IN TELEGRAM
Статья рассказывает, как с помощью нейросетей улучшить качество старых видеозаписей, включая VHS и DVD. Описываются инструменты, процесс и результаты с примерами, доступные каждому без глубоких технических знаний.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
Напишите функцию, которая принимает две строки и проверяет, являются ли они анаграммами. Анаграммы — это слова, которые содержат одинаковые буквы в одинаковом количестве, но в разном порядке. Игнорируйте регистр и пробелы.
Пример:
result1 = are_anagrams("listen", "silent")
print(result1) # Ожидаемый результат: True
result2 = are_anagrams("hello", "world")
print(result2) # Ожидаемый результат: FalseРешение задачи
def are_anagrams(str1, str2):
# Удаляем пробелы и приводим к одному регистру
str1 = ''.join(str1.lower().split())
str2 = ''.join(str2.lower().split())
# Проверяем, равны ли отсортированные символы
return sorted(str1) == sorted(str2)
# Пример использования:
result1 = are_anagrams("listen", "silent")
print(result1) # Ожидаемый результат: True
result2 = are_anagrams("hello", "world")
print(result2) # Ожидаемый результат: False
Please open Telegram to view this post
VIEW IN TELEGRAM