#полезное
👨‍💻 Как использовать DuckDB с Python: практическое руководство по аналитике

DuckDB — это современная in-process аналитическая СУБД, разработанная как “SQLite для аналитики”. Она идеально подходит для обработки больших объёмов данных на локальной машине без необходимости поднимать сервер или использовать тяжёлые хранилища.

Что делает DuckDB особенной?
- Работает как библиотека внутри Python (через `duckdb`)
- Поддерживает SQL-запросы напрямую к pandas DataFrame, CSV, Parquet, Arrow и другим источникам
- Оптимизирована под аналитические запросы: агрегации, группировки, фильтрации
- Мгновенно работает с большими файлами без предварительной загрузки

Пример рабочего сценария:

1⃣ Чтение и анализ Parquet-файла:

import duckdb

duckdb.sql("SELECT COUNT(*), AVG(price) FROM 'data.parquet'")

2⃣ Интеграция с pandas:

import pandas as pd

df = pd.read_csv("data.csv")
result = duckdb.sql("SELECT category, AVG(value) FROM df GROUP BY category").df()

3⃣ Объединение нескольких источников:

duckdb.sql("""
    SELECT a.user_id, b.event_time
    FROM 'users.parquet' a
    JOIN read_csv('events.csv') b
    ON a.user_id = b.user_id
""")

Почему это важно:
- Вы можете использовать SQL и pandas одновременно
- DuckDB быстрее pandas в большинстве аналитических задач, особенно на больших данных
- Поддержка стандартов данных (Parquet, Arrow) даёт нативную интеграцию с экосистемой Data Science
- Не требует настройки: просто установите через pip install duckdb

Применения:
🔵 Локальный анализ данных (до десятков ГБ) — без Spark
🔵 Объединение таблиц из разных форматов (Parquet + CSV + DataFrame)
🔵 Прототипирование ETL-пайплайнов и построение дашбордов
🔵 Быстрая агрегация и отчёты по логам, BI-данным, IoT-стримам и пр.

Советы
🟡 Используйте read_parquet, read_csv_auto и from_df() для гибкой загрузки данных
🟡 Результаты запросов можно конвертировать обратно в pandas через .df()
🟡 DuckDB поддерживает оконные функции, GROUP BY, JOIN, UNION, LIMIT, подзапросы и многое другое — это полноценный SQL-движок
Подробный гайд

👉Новости 👉База вопросов

#полезное
👨‍💻 DeepSeek R2 задерживается из-за ограничений и проблем с качеством

🟠 Запуск AI-модели R2 отложен из-за американских экспортных контролей на чипы Nvidia H20
🟠 Чипы H20 были ключевыми для успеха предыдущей модели R1 в Китае; без них инфраструктура для R2 не готова
🟠 CEO Лян Вэньфэн недоволен качеством текущей версии R2 и требует дополнительной доработки
🟠 Облачные провайдеры опасаются, что спрос на H20 превысит доступные запасы
🟠 Альтернативные чипы (например, Huawei) технически менее подходят для R2

👉Новости 👉База вопросов

#Собес #ScikitLearn
🤔 Какие ключевые шаги включает в себя выполнение grid search в Scikit-Learn?

Для выполнения grid search необходимо определить сетку параметров, создать объект GridSearchcv, передать модель и параметры, а затем выполнить подгонку. По завершении можно получить наилучшие параметры через атрибут best_params_ •

👉Новости 👉База вопросов

#полезное
🤓 В Техасе впервые в истории машина полностью автономно доставилась покупателю

Это была Tesla Model Y. Автомобиль выехал с завода Gigafactory Texas в Остине, примерно 30 минут ехал по городу и шоссе, и приехал прямо к дому нового владельца.

При этом в салоне не было ни водителя, ни наблюдающих. Люди не брали на себя управление ни разу за всю поездку, даже дистанционно.

«Насколько нам известно, это первая полностью автономная поездка по шоссе без людей в автомобиле и без дистанционного управления» – написал Маск.

👉Новости 👉База вопросов

#полезное
😱 OpenAI закрывается на неделю

Несколько дней подряд то и дело всплывали новости о том, что из OpenAI в Meta уходят исследователи. Всего на данный момент известно о восьмерых сотрудниках, перешедших к Цукербергу.

На фоне этого Альтман, видимо, решил что-то координально менять. Марк Чен, главный научный сотрудник OpenAI, лично отписался всем в компании и сообщил, что:

1⃣ На этой неделе OpenAI уходит на каникулы, чтобы дать (оставшимся) сотрудникам восстановить силы. Марк признается, что в последнее время они увлеклись гонкой и быстрыми релизами, так что многие в компании работали по 80 часов в неделю.

2⃣ Отдыхать будут все, кроме руководства. «Мы с Сэмом и другими руководителями работаем круглосуточно, чтобы пересмотреть материальные бонусы и найти новые креативные способы вознаграждения талантов»

«Сейчас я чувствую себя так, будто кто-то ворвался в наш дом и что-то украл» – пишет Марк. «Поверьте, мы не сидим сложа руки. Мы будем бороться на каждого из вас, но при этом не ценой проявления несправедливости по отношению к другим»

Для OpenAI, конечно, это все очень некстати. Еще пару недель назад Сэм обещал «лето горячих релизов», а теперь вот вынужден отпустить всех сотрудников в недельный отпуск. Надеемся, что хотя бы ChatGPT не решит тоже уйти к Цукеру

👉Новости 👉База вопросов

#полезное
😵‍💫 Там в открытый доступ вышла самая свежая книга Себастьяна Рашки «Machine Learning Q and AI»

С книгами Рашки, наверное, многие знакомы. Он один из разработчиков scikit learning и просто очень опытный и известный рисерчер, написавший много учебной литературы. Если пока ничего его авторства не читали – сильно рекомендуем.

Конкретно эта книга – сборник всей базы по Deep Learning. В ней 30 больших глав по нейросетям, компьютерному зрению, LLM, эвалу и методам деплоя моделей. Много практики, примеров, схем и картинок.

К каждой главе есть упражнения и список дополнительных источников. Ну, в общем, мед.

Сама книга вышла примерно год назад, но до этого дня ее можно было только заказать с Amazon. Сегодня же Себастьян выложил ее в открытый доступ полностью бесплатно.

«Сейчас лето, сезон стажировок и технических интервью. Надеюсь, моя книга будет полезна» – написал он

Хватаем, пока горячо: sebastianraschka.com/books/ml-q-and-ai-chapters/ch17/

👉Новости 👉База вопросов

#Собес #ScikitLearn
🤔 Как обрабатывать несбалансированные классы в наборе данных с помощью Scikit-Learn?

Для обработки несбалансированных классов в Scikit-Learn можно использовать ресэмплинг (undersampling или oversampling), а также классические веса для алгоритмов, поддерживающих этот метод, например, для SVM или Random Forest. Это помогает модели лучше распознавать редкие классы.

👉Новости 👉База вопросов

#полезное
📞 Ну все, это вайб-кодинг на максималках: Cursor теперь доступен с телефона и в вебе

Прямо со смартфона можно будет добавлять параллельные таски, редактировать код, создавать PR, управлять задачами и так далее. Все изменения, естественно, сохранятся в вашем проекте и потом можно будет продолжить работать с того же места уже с компьютера.

www.cursor.com/agents

👉Новости 👉База вопросов

#полезное
😊 Это делает ваше RAG-приложение в 10 раз лучше

Большинство людей, которых я знаю, просто разбивают документы на чанки и строят эмбеддинги для этих фрагментов.

Но создавать действительно хорошие чанки — сложно. Идеального способа нет, но есть простой приём, который значительно улучшает качество чанков.

Добавьте к каждому чанку дополнительную метаинформацию.

Например, вы работаете с научными статьями. Каждый чанк — это всего лишь абзац, но сам по себе он часто оказывается слишком размытым.

Вместо того чтобы использовать только абзац, я добавляю к каждому чанку следующую информацию:

🟠Название статьи

🟠Номер страницы

🟠Заголовок секции, к которой относится абзац

🟠Ключевые слова или теги, содержащиеся в абзаце

🟠Одно предложение, кратко резюмирующее содержание абзаца

Этот дополнительный контекст делает эмбеддинг гораздо богаче и значительно повышает его полезность при извлечении.

Эту метаинформацию можно либо извлекать автоматически, либо генерировать с помощью LLM.

Это дополнительный шаг. Если вы только начинаете внедрять RAG, можно пока его пропустить. Но как только у вас заработает базовая версия — обязательно реализуйте это улучшение.

👉Новости 👉База вопросов

#полезное
😊 FlexAttention — простой способ писать любое внимание на PyTorch

Зачем городить сложные CUDA-ядра, если можно использовать понятный и мощный абстрактный подход?

FlexAttention — это новая модель программирования, которая позволяет реализовать большинство вариантов attention (внимания) всего в *нескольких строках кода на PyTorch*.

🟠Работает на базе компилятора — автоматически оптимизирует вычисления
🟠 Производительность на уровне кастомных ядер (hand-written kernels)

Что даёт FlexAttention:
🔵 Унифицированный способ писать self-, cross-, local-, sparse-attention
🔵 Без кастомных CUDA/CPP — всё на чистом PyTorch
🔵 Гибкость и читаемость для исследований и прототипов
Смотреть

👉Новости 👉База вопросов

#Собес #ScikitLearn
🤔 Как оптимизировать гиперпараметры в модели Scikit-Learn?

Для оптимизации гиперпараметров в Scikit-Learn используют GridSearchCV или RandomizedSearchcV . GridSearchcv пробует все возможные комбинации параметров, в то время как RandomizedSearchcv выбирает случайные комбинации, что ускоряет процесс. Оба метода возвращают наилучшие параметры для модели.

👉Новости 👉База вопросов

#полезное
👋 Pointblank — мощный инструмент для валидации данных

Если вы дата-сайентист, аналитик или инженер данных — эта библиотека точно заслуживает вашего внимания.

С интуитивным и цепочечным API, Pointblank позволяет:
🟠 запускать точечные проверки качества данных,
🟠 отслеживать критичные ошибки,
🟠 автоматически формировать интерактивные отчёты,
🟠 интегрироваться с Slack и другими системами.

Идеально для пайплайнов на pandas, polars или ibis.

Пример базовой валидации:

import pointblank as pb

validation = (
   pb.Validate(data=pb.load_dataset("small_table"))
   .col_vals_gt(columns="d", value=100)         # Значения > 100
   .col_vals_le(columns="c", value=5)           # Значения <= 5
   .col_exists(columns=["date", "date_time"])   # Проверка наличия колонок
   .interrogate()                               # Выполнить валидацию
)

validation.get_tabular_report().show()

Реальный пример на Polars:

import pointblank as pb
import polars as pl

sales_data = pl.read_csv("sales_data.csv")

validation = (
   pb.Validate(
      data=sales_data,
      tbl_name="sales_data",
      label="Валидация реальных данных",
      thresholds=(0.01, 0.02, 0.05),
      actions=pb.Actions(
         critical="Критичная ошибка качества данных на шаге {step} ({time})."
      ),
      final_actions=pb.FinalActions(
         pb.send_slack_notification("https://hooks.slack.com/services/your/webhook/url")
      ),
      brief=True,
   )
   .col_vals_between(columns=["price", "quantity"], left=0, right=1000)
   .col_vals_not_null(columns=pb.ends_with("_id"))
   .col_vals_regex(columns="email", pattern="^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}$")
   .col_vals_in_set(columns="status", set=["pending", "shipped", "delivered", "returned"])
   .conjointly(
      lambda df: pb.expr_col("revenue") == pb.expr_col("price") * pb.expr_col("quantity"),
      lambda df: pb.expr_col("tax") >= pb.expr_col("revenue") * 0.05
   )
   .interrogate()
)

# HTML-отчёт можно открыть в браузере:
validation.get_tabular_report().show("browser")

Установка:

pip install pointblank
# или с нужным бэкендом:
pip install "pointblank[pl]"       # с Polars
pip install "pointblank[pd]"       # с Pandas
pip install "pointblank[duckdb]"   # с DuckDB (через Ibis)
pip install "pointblank[postgres]" # с PostgreSQL

Под капотом

Pointblank работает с Polars, Pandas и Ibis (через Narwhals) — то есть вы можете валидировать данные не только из CSV, но и из баз данных (PostgreSQL, MySQL, DuckDB и др.).
Ссылка на проект

👉Новости 👉База вопросов

#полезное
🛞 Manim — это мощная библиотека на Python для создания анимаций математических и научных концепций!

Она позволяет визуализировать сложные идеи с высокой точностью и гибкостью, используя код для определения сцен, объектов и их взаимодействия. Manim широко используется в образовательных целях и для создания объясняющих видео. Библиотека поддерживает анимацию графиков, формул, геометрических фигур и других визуальных элементов.
Гитхаб

👉Новости 👉База вопросов

#полезное
🛞 Machine Learning Q and AI — новая книга от мастодонта ML Себастьяна Рашки теперь в открытом доступе!

Автор — core‑разработчик Scikit‑learn, преподаватель, автор культовых пособий по машинному обучению.

Что внутри:
🟠 30 глав по нейросетям, компьютерному зрению, LLM, оценке и деплою моделей
🟠 Чёткая структура: теория → примеры → упражнения
🟠 Много практики, схем, визуализаций и Python‑кода

Это не просто справочник, а полный курс по Deep Learning, от основ до продвинутых тем.
Читать онлайн

👉Новости 👉База вопросов

#Собес #ScikitLearn
🤔 Как реализована кросс-валидация в Scikit-Learn и почему это важная техника?

B Scikit-Learn кросс-валидация реализована через модуль model_selection, с функциями, такими как cross_val_score И cross_validate . Эти функции делят данные на несколько "слоёв" (folds), обучают модель на k-1 из них и тестируют на оставшемся. Этот процесс повторяется к раз с каждым слоем в роли тестового. Кросс-валидация помогает снизить переобучение и даёт более объективную оценку работы модели.

👉Новости 👉База вопросов

#полезное
😵‍💫 Apple рассматривает замену Siri на Claude или ChatGPT

Apple активно изучает возможность использования моделей Claude 3 Opus от Anthropic и GPT-4 Turbo от OpenAI для новой версии Siri, отказавшись от собственных LLM. Компания провела тестирование обеих моделей на закрытой облачной инфраструктуре, чтобы сравнить качество генерации, безопасность и способность к сложным диалогам.

Причины перехода:
— Собственная разработка LLM для Siri задерживается до 2026 года из-за проблем с качеством
— Необходимость ускорить вывод на рынок более интеллектуального голосового ассистента
— Усиленная конкуренция с Google Assistant и Microsoft Copilot

Что уже сделано:
— Тестирование Claude 3 Opus и GPT-4 Turbo на Private Cloud Compute Apple
— Смена руководства AI-подразделения: Майк Рокуэлл занял место Джона Джаннандреа
— Отмена запуска “LLM Siri” на WWDC 2025 из-за неготовности модели
Подробнее

👉Новости 👉База вопросов

#полезное
😎 Apple выложила Sage Mixtral 8x7B fine-tune с лицензией Apache

Это не просто ещё одна доработка LLM — модель использует State-Action Chains (SAC), чтобы встроить в диалоговую генерацию латентные переменные для эмоций и стратегий общения.

Что это даёт:
- SAC vs обычный fine-tune: модель получает грубое управление через state/action токены → диалоги становятся эмоционально насыщеннее, без потери на метриках
- Итеративная доработка: self-play + tree search позволяют оптимизировать диалоги по цепочкам действий, превзойдя базовые модели по оценкам LLM-судей

https://huggingface.co/apple/sage-ft-mixtral-8x7b

👉Новости 👉База вопросов