​​🧑‍💻Пять подходов к созданию ad-hoc-датафреймов в PySpark

В этой статье речь пойдет о создании датафреймов in-place без внешних зависимостей.

Читать...

​​🤖Разработка систем генеративного ИИ на базе ML Platform: создаем конкурента ChatGPT без миллионных инвестиций

В этом материале я расскажу, что такое GPT-модели, как упростить их создание под свои задачи, и покажу на практических примерах, как команда смогла создать GPT-модель при минимуме затрат.

Читать...

​​🙃Искусство ETL. Пишем собственный движок SQL на Spark [часть 3 из 5]

В этой статье я рассказываю о том, как написать собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных.

Читать...

​​🚀Process Mining. «Рентгеновская диагностика» бизнеса

В этой статье я расскажу, как для оптимизации процессов можно использовать технологии Process Mining на примере нашего продукта.

Читать...

​​🤖Есть один нюанс: как мы спасаем нейросети от классификации неоднозначных текстов

В этой статье я расскажу подробнее о нашем методе и процессе его разработки.

Читать...

​​🧑‍💻Дропаем ранжирующие метрики в рекомендательной системе, часть 3: платформа для экспериментов

В этой статье расскажу о workflow экспериментов и пайплайнах обработки данных.

Читать...

​​😉Искусство ETL. Пишем собственный движок SQL на Spark [часть 4 из 5]

В данной статье я расскажу о том, как написать на собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных.

Читать...

​​🤫Reinforcement learning для оптимизации цен в ритейле

В данной статье мы рассмотрим практические проблемы применения модели RL/ST для оптимизации цен, чтобы доказать, что RL/ST - не волшебная палочка и точно также требует глубокой проработки, как и ML подход.

Читать...

​​🗂20 проектов по аналитике данных для новичков в 2023 году

В этой статье мы обсудим 20 проектов по аналитике данных для новичков, которые помогут приобрести базовые и полезные знания в обработке данных.

Читать...

​​🧠Полезные материалы по Data Science и машинному обучению, которые помогут пройти сквозь джунгли из терминов

В этой статье я делюсь полезными материалами, которые помогут найти и заполнить теоретические и практические проблемы и основательно подойти к своему профессиональному развитию.

Читать...

​​⚡️Azure Data Factory + Databricks. Миграция сценариев инициализации в Databricks из DBFS в Workspace 2023/2024

В этой статье поговорим о том, как сделать простой процесс загрузки данных с помощью Microsoft Azure Data Factory и Databricks в 2023/2024 году.

Читать...

​​📊Как сделать вашего телеграм-бота лучше? Конечно, добавить ему аналитику

В этой статье мы рассмотрим как реализовать аналитику для телеграм-бота.

Читать...

​​👾От логики и риторики до теории множеств и матанализа. Полезные материалы по Data Science и машинному обучению

В этой статье автор поделится полезными материалами, которые помогут найти и заполнить теоретические и практические проблемы и основательно подойти к своему профессиональному развитию.

Читать...

​​🌻ML в полях. Как упростить жизнь агрономов?

В этой статье мы обсудим, как ML-решения помогают формировать задания для агрономов, и почему точной модели не всегда достаточно, чтобы спланировать уборку полей.

Читать...

​​📝Форматы ORC и Parquet на базе HDFS

В статье мы рассмотрим тему форматов ORC и Parquet, как их правильно использовать и хранить, чтобы всем было хорошо.

Читать...

​​🛠Искусство ETL. Пишем собственный движок SQL на Spark [часть 5 из 5]

В этой статье автор расскажет об интерактивно-отладочном режиме REPL, клиенте и сервере, а также о генераторе документации.

Читать...

​​🧙Point-in-time Recovery. Как уменьшить RPO для базы данных

В этой статье мы на примере PostgreSQL разберем принципы работы баз данных и поговорим о том, как минимизировать последствия инцидентов с помощью оптимизации RPO.

Читать...

​​🚀Оптимизация работы с Camunda на основе External task

В этой статье речь пойдет об опыте перехода на паттерн external task.

Читать...

​​💾Ещё один рецепт отказоустойчивого файлового сервера средствами PaceMaker

В этой статье автор расскажет как реализовать на площадке клиента хранение пользовательских файлов для разрабатываемого сервиса.

Читать...

Анализируем отзывы пользователей с помощью датасета от Яндекса

В этой статье разработчики Яндекса рассказывают про крупнейший русскоязычный датасет отзывов на организации. Он содержит порядка полумиллиона отзывов пользователей на различные организации, собранных в январе-июне 2023 года.

Читать...

​​🧑‍💻Сам себе BI-аналитик или как навести порядок в отчётности компании

В этой статье автор расскажет как можно навести порядок в отчётности, и с какими проблемами вы можете столкнуться в процессе.

Читать...