​​😵Искусство ETL. Пишем собственный движок SQL на Spark [часть 1 из 5]

В этой статье я расскажу о разработке настоящего production ready инструмента, с интерактивным шеллом с подсветкой синтаксиса и автодополнением, который сможет работать в клиент-серверном режиме, и не только на кластере, но и локально.

Читать...

​​🤖Визуальное RPG с долговременной памятью, генерируемое из 3 нейросетей и LLamы

В этой статье автор покажет простому обывателю механизм безболезненного использования нейросетевых моделей в простых проектах при помощи Python и Hugging Face Transformers.

Читать...

​​🌳Деревья решений в pySpark: от семечка до параметрической оптимизации случайного леса

В этой статье я расскажу о простом для понимания, но в то же время достаточно эффективном алгоритме — дереве решений, а также его расширенной модификацией — случайных лесах решений, и их реализации с помощью PySpark MLib.

Читать...

​​👤Искусство ETL. Пишем собственный движок SQL на Spark [часть 2 из 5]

В данной статье я подробно расскажу о том, как написать на Java собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных.

Читать...

​​🤓Логика и принципы построения BI-дашборда

В этой статье поговорим кратко об общих принципах: с чего начать, какова логика и принципы, какие лучше визуализировать различные типы и срезы данных.

Читать...

​​⚒DVC — прекрасный инструмент для DataScience

В этой статье я расскажу про DVC: инструмент, который многие, незаслуженно, обходят стороной.

Читать...

​​🤖Практическое применение моделей YOLO и ResNet для обнаружения нежелательных предметов на фотографиях

В данной статье мы рассмотрим практическое применение двух из самых популярных моделей YOLO и ResNet для обнаружения нежелательных предметов на фотографиях.

Читать...

​​🤔Разбираемся в отличии среднего чека от ARPU на примере одного интернет-магазина

В этой статье я расскажу то такое ARPU, средний чек, и как их рассчитывать.

Читать...

​​🧑‍💻Пять подходов к созданию ad-hoc-датафреймов в PySpark

В этой статье речь пойдет о создании датафреймов in-place без внешних зависимостей.

Читать...

​​🤖Разработка систем генеративного ИИ на базе ML Platform: создаем конкурента ChatGPT без миллионных инвестиций

В этом материале я расскажу, что такое GPT-модели, как упростить их создание под свои задачи, и покажу на практических примерах, как команда смогла создать GPT-модель при минимуме затрат.

Читать...

​​🙃Искусство ETL. Пишем собственный движок SQL на Spark [часть 3 из 5]

В этой статье я рассказываю о том, как написать собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных.

Читать...

​​🚀Process Mining. «Рентгеновская диагностика» бизнеса

В этой статье я расскажу, как для оптимизации процессов можно использовать технологии Process Mining на примере нашего продукта.

Читать...

​​🤖Есть один нюанс: как мы спасаем нейросети от классификации неоднозначных текстов

В этой статье я расскажу подробнее о нашем методе и процессе его разработки.

Читать...

​​🧑‍💻Дропаем ранжирующие метрики в рекомендательной системе, часть 3: платформа для экспериментов

В этой статье расскажу о workflow экспериментов и пайплайнах обработки данных.

Читать...

​​😉Искусство ETL. Пишем собственный движок SQL на Spark [часть 4 из 5]

В данной статье я расскажу о том, как написать на собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных.

Читать...

​​🤫Reinforcement learning для оптимизации цен в ритейле

В данной статье мы рассмотрим практические проблемы применения модели RL/ST для оптимизации цен, чтобы доказать, что RL/ST - не волшебная палочка и точно также требует глубокой проработки, как и ML подход.

Читать...

​​🗂20 проектов по аналитике данных для новичков в 2023 году

В этой статье мы обсудим 20 проектов по аналитике данных для новичков, которые помогут приобрести базовые и полезные знания в обработке данных.

Читать...

​​🧠Полезные материалы по Data Science и машинному обучению, которые помогут пройти сквозь джунгли из терминов

В этой статье я делюсь полезными материалами, которые помогут найти и заполнить теоретические и практические проблемы и основательно подойти к своему профессиональному развитию.

Читать...

​​⚡️Azure Data Factory + Databricks. Миграция сценариев инициализации в Databricks из DBFS в Workspace 2023/2024

В этой статье поговорим о том, как сделать простой процесс загрузки данных с помощью Microsoft Azure Data Factory и Databricks в 2023/2024 году.

Читать...

​​📊Как сделать вашего телеграм-бота лучше? Конечно, добавить ему аналитику

В этой статье мы рассмотрим как реализовать аналитику для телеграм-бота.

Читать...

​​👾От логики и риторики до теории множеств и матанализа. Полезные материалы по Data Science и машинному обучению

В этой статье автор поделится полезными материалами, которые помогут найти и заполнить теоретические и практические проблемы и основательно подойти к своему профессиональному развитию.

Читать...