Data Science. SQL hub – Telegram
Data Science. SQL hub
36K subscribers
1.02K photos
66 videos
37 files
1.06K links
По всем вопросам- @workakkk

@itchannels_telegram - 🔥лучшие ит-каналы

@ai_machinelearning_big_data - Machine learning

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

РКН: https://vk.cc/cIi9vo
Download Telegram
🔥 Хочешь прокачаться в аналитике, но не просто читать теорию, а решать реальные задачи?

Мы запустили полностью бесплатный телеграм-тренажёр 👇

Тебя ждут сценарии, с которыми сталкиваются аналитики каждый день: от простых запросов до задач уровня собеседований.

Что внутри:

живые кейсы из реальной практики
удобный симулятор - как работа в компании, только бесплатно
разбор ошибок — понимаешь не только «как», но и «почему»
добавляем задачи с интервью и улучшаем бот вместе с сообществом

Начни тренироваться сегодня — и почувствуй уверенность в работе с данными.

t.me/Analitics_databot
🔥8👍52
🖥 Гайд по продвинутому профессиональному использованию SQL

В этом руководстве мы рассмотрим ключевые аспекты работы с SQL на практике. Начнём с сравнения популярных СУБД, затем перейдём к продвинутым приёмам аналитического SQL, оптимизации запросов, администрированию баз данных, и закончится всё интеграцией SQL с Python (SQLAlchemy, pandas и т.д.).

Для каждого раздела приведены примеры на реальных сценариях (интернет-магазин, CRM, аналитика продаж), код и полезные советы.

👉 Читать гайд
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍5🔥2
⚡️ VictoriaLogs - быстрый и экономичный лог-движок от VictoriaMetrics

VictoriaLogs - это специализированная open-source база данных для логов, заточенная под высокую скорость, низкое потребление ресурсов и простоту эксплуатации.

Проект создан той же командой, что и VictoriaMetrics, и следует той же философии: максимум производительности без лишней сложности.

Что важно:

- Высокая скорость записи и поиска логов даже при терабайтах данных
- Очень низкое потребление RAM и диска по сравнению с классическими лог-стеками
- Отлично справляется с высокой кардинальностью (trace_id, user_id, ip и т.д.)
- Нет сложной настройки индексов - система оптимизируется автоматически
- Поддержка полнотекстового поиска и мощного LogsQL
- Live-tail логов (аналог tail -f)
- Можно масштабировать просто добавляя CPU, RAM и диск
- Работает как на маленьких серверах, так и под серьёзную нагрузку
- Написан на Go, с упором на cache-friendly структуры и минимальные аллокации

Особенно хорошо подходит для:
- high-load backend-сервисов
- observability и troubleshooting
- замены тяжёлых ELK/Loki-подобных решений
- долгого хранения логов с быстрым поиском

Философия простая: логи должны писаться и читаться быстро, а не требовать кластера из десятков нод.

https://github.com/VictoriaMetrics/VictoriaLogs/
🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
🛠️ Легкий TUI для работы с SQL базами данных

sqlit - это удобный инструмент для быстрого выполнения запросов к различным SQL базам данных, включая PostgreSQL, MySQL, SQLite и другие. Он предлагает интуитивно понятный интерфейс, позволяя легко управлять соединениями и историей запросов без необходимости в сложных настройках.

🚀Основные моменты:
- Поддержка множества баз данных без дополнительных адаптеров
- Удобный интерфейс для управления соединениями
- Встроенная история запросов с возможностью поиска
- Поддержка SSH туннелей для безопасного подключения
- Редактирование в стиле Vim для терминальных пользователей

📌 GitHub: https://github.com/Maxteabag/sqlit

#python
👍52
🎄 Новый год - идеальный момент перезапустить себя.

Не “с понедельника”.
Не “когда будет время”.
А сейчас.


🔥 Мы собрали Telegram-каналы, где только код, практика и самые передовые инструменты, которые используют разработчики прямо сейчас.👇

🖥 ИИ: t.me/ai_machinelearning_big_data

🖥 Python: t.me/pythonl

🖥 Linux: t.me/linuxacademiya

🖥 C++ t.me/cpluspluc

🖥 Docker: t.me/DevopsDocker

🖥 Хакинг: t.me/linuxkalii

🖥 Devops: t.me/DevOPSitsec

👣 Golang: t.me/Golang_google

🖥 Аналитика: t.me/data_analysis_ml

🖥 Javanoscript: t.me/javanoscriptv

🖥 C#: t.me/csharp_ci

🖥 Java: t.me/javatg

🖥 Базы данных: t.me/databases_tg

👣 Rust: t.me/rust_code

🤖 Робототехника: t.me/vistehno

💼 Актуальные вакансии: t.me/addlist/_zyy_jQ_QUsyM2Vi

📚 Бесплатные ит-книги: https://news.1rj.ru/str/addlist/HwywK4fErd8wYzQy

Самое лучшее в этом: ты учишься даже тогда, когда “нет времени, просто потому что читаешь правильную ленту.
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍2🔥2
🖥 Продвинутый SQL-совет по оптимизации: делай запросы "питающимися индексом" (index-only scan) с правильным составным индексом.

Идея: не просто добавить индекс на один столбец, а так подобрать порядок полей, чтобы запрос вообще не ходил в таблицу, а читал всё из индекса. Это даёт огромный буст на "горячих" таблицах.

Допустим, у тебя часто есть такой запрос:


SELECT
id,
created_at,
total_amount
FROM orders
WHERE user_id = 123
AND status = 'paid'
ORDER BY created_at DESC
LIMIT 20;


Типичная ошибка - делать что-то вроде:


CREATE INDEX idx_orders_user ON orders (user_id);
CREATE INDEX idx_orders_status ON orders (status);
CREATE INDEX idx_orders_created ON orders (created_at);


Планировщику всё равно приходится лазить в таблицу и склеивать условия. Гораздо эффективнее один правильный составной индекс:


CREATE INDEX idx_orders_user_status_created_at
ON orders (user_id, status, created_at DESC)
INCLUDE (total_amount);


Почему это полезно:


user_id, status - фильтруют строки

created_at DESC - сразу даёт нужный порядок для ORDER BY ... DESC

INCLUDE (total_amount) - позволяет взять сумму прямо из индекса


В результате PostgreSQL (и другие СУБД с подобной механикой) могут сделать index-only scan: прочитать подходящие строки в нужном порядке из одного индекса и почти не трогать основную таблицу.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍143🔥3
SQL отработал, но цифры не сходятся?

SQL Логи бизнеса — канал про реальные рабочие задачи аналитика

Здесь:
🔸ловушки с собеседований
🔸разборы запросов, которые «работают, но не так как надо»
🔸кейсы из банковской аналитики
🔸тесты

Канал ведёт действующий банковский аналитик с опытом работы в Сбере и Т-Банке и с дипломом ВШЭ

Если вам нужен SQL для работы и собеседований — добро пожаловать в SQL Логи бизнеса

Вот некоторые посты с канала:
Самая частая ошибка джунов
Когда запрос работает, но выдает не то, что вы ожидаете
Когда действительно нужен self-join
5
⚡️ Vector search: Кидать историю чата в векторную БД - это не «память».

Это просто поиск по смыслу. RAG хорошо достаёт документы,
но не держит состояние пользователя.

Здесь может помочь Mem0 - open-source слой памяти между человеком и LLM.

Он учится на диалогах и сохраняет то, что важно.

Что даёт:

- 🧠 помнит предпочтения (не только факты)
- ✂️ сжимает историю — меньше токенов и быстрее ответы
- 🤝 делится знаниями между несколькими агентами


Если система не помнит опыт - это не агент, а поисковик.
Mem0 делает память - живой и адаптивной.

https://github.com/mem0ai/mem0
👍72🥰2
🎨 TailwindSQL: SQL Queries with Tailwind-style Syntax

TailwindSQL позволяет писать SQL-запросы, используя синтаксис, похожий на классы Tailwind. Просто укажите className в React Server Components, чтобы получать данные из базы данных без лишнего кода на клиенте.

🚀 Основные моменты:
- 🎨 Синтаксис в стиле Tailwind для SQL-запросов
- Поддержка React Server Components без клиентского JavaScript
- 🔒 Использует SQLite для быстрого доступа к локальным базам данных
- 🎯 Запросы обрабатываются на этапе сборки/рендеринга
- 🎭 Разнообразные режимы отображения: текст, списки, таблицы или JSON

📌 GitHub: https://github.com/mmarinovic/tailwindsql

#javanoscript
🤔43🔥3👍2
PostgreSQL: архитектура и тюнинг SQL-запросов

Погрузись в архитектуру и прокачай оптимизацию запросов одной из самых популярных open source СУБД – PostgreSQL.

🌐 В программе курса:

🤩 Разберем, как работают СУБД вообще и PostgreSQL в частности: что такое MVCC, ACID, WAL, LRU, PPC/TPC и другие фундаментальные понятия архитектуры баз данных

🤩 Получите теорию и практику EXPLAIN и EXPLAIN ANALYZE на разных типа запросов: без индексов, с индексами, index only, нормализованные и документ-ориентированные данные и json-поля, изменение параметров сессии/конфигурации для ускорения запросов

🤩 Изучите архитектуру хранения данных в PostgreSQL, типы и особенности индексов, а также получите полезные советы и трюки оптимизации БД

🤩 Получите свой собственный выделенный облачный PostgreSQL-сервер (8 vCPU, 12G RAM, 100G NVMe) – предоставляется БЕСПЛАТНО на время обучения + готовый e-commerce датасет TPC-H (миллион пользователей, несколько миллионов заказов на десятки гигабайт)

🗓 Старт курса: 22 января. 5 недель обучения.

Изучить программу и записаться можно здесь.

🤩Кто мы: R&D-центр Devhands, основатель школы Алексей Рыбак. Автор курса — Николай Ихалайнен, эксперт по СУБД (ex-Percona), со-основатель MyDB, энтузиаст открытого ПО.

Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzqvfphVC
Please open Telegram to view this post
VIEW IN TELEGRAM
6
This media is not supported in your browser
VIEW IN TELEGRAM
🛠️ Легкий TUI для работы с SQL базами данных

sqlit - это удобный инструмент для быстрого выполнения запросов к различным SQL базам данных, включая PostgreSQL, MySQL, SQLite и другие. Он предлагает интуитивно понятный интерфейс, позволяя легко управлять соединениями и историей запросов без необходимости в сложных настройках.

🚀Основные моменты:
- Поддержка множества баз данных без дополнительных адаптеров
- Удобный интерфейс для управления соединениями
- Встроенная история запросов с возможностью поиска
- Поддержка SSH туннелей для безопасного подключения
- Редактирование в стиле Vim для терминальных пользователей

📌 GitHub: https://github.com/Maxteabag/sqlit

#python
👍52🔥1
Stereo Data Ёлка от VK: сведение итогов года в идеальный микс 🎧

Команда VK приглашает специалистов по данным, ML-инженеров и всех, кто следит за трендами, на заключительное событие года — Stereo Data Ёлку, которая пройдёт 24 января в Москве и Санкт-Петербурге.

Мероприятие построено вокруг уникальной концепции «стереозвука» для вашего профессионального восприятия:
Левый канал (аналитика): глубокий разбор итогов по основным направлениям в ML/DS
Правый канал (инсайты): саундчек лучших решений VK RecSys Challenge, который будет доступен только офлайн.

Участвуйте офлайн! Stereo Data Ёлка – это атмосферное пространство с идеальным звуком для общения с коллегами. Вас ждёт афтепати с фирменными угощениями, подарки за активность и нетворкинг с лучшими специалистами индустрии.

Формат: гибридный (онлайн-трансляция будет здесь), но полное стереопогружение — только на офлайн-площадках.
Регистрация открыта до 22 января.

Регистрация для Москвы: https://bit.ly/49O6QSm?erid=2VtzqvwvzEX
Для Санкт-Петербурга: https://bit.ly/3Zg6FtX?erid=2VtzqvwvzEX
👍2👎1
👻 gh-ost - инструмент для миграций схемы MySQL без даунтайма.

Если тебе надо сделать ALTER TABLE на большой продовой таблице и не положить сервис - gh-ost это прям must-have.

Большинство online-schema-change тулов используют триггеры и создают лишнюю нагрузку.
А gh-ost идёт по другому пути:

Triggerless - вообще без триггеров
Читает изменения через binlog stream и асинхронно применяет их к “ghost table”
Даёт полный контроль над процессом миграции:
- пауза/резюм
- throttle (снижение нагрузки)
- аудит и статус
- безопасный cut-over

Как это работает (по-простому):
1) создаётся “ghost table” с новой схемой
2) данные копируются постепенно
3) параллельно изменения ловятся из binlog
4) в конце таблицы меняются местами почти мгновенно

Идеально для:
🔥 таблиц на десятки миллионов строк
🔥 production-систем
🔥 миграций без блокировок

📌 Репо: github.com/github/gh-ost
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🤔32🔥1
🖥 SQL-квест: фэнтезийное приключение для аналитиков данных

Представь фэнтези-мир, где заклинания - это SQL-запросы, а древние артефакты спрятаны в таблицах и JSON-документах.

🧙Ты - боевой дата-аналитик, который с помощью SQL, Python, ETL и визуализаций охотится за харизматичным злодеем Архивариусом Пакостусом, что ломает индексы, крадёт данные и готовит “шторм данных” на столицу.🔮

В каждом эпизоде тебя ждут: выборы с последствиями, хитрые задачи от простых SELECT до рекурсивных CTE и BigQuery, юмор, эпик и неожиданные повороты.

Хочешь проверить, сможешь ли ты спасти королевство не мечом, а запросами? Тогда добро пожаловать в SQL-квест.

🪄 Начать квест: https://uproger.com/sql-kvest-fentezijnoe-priklyuchenie-dlya-analitikov-dannyh/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥203🥰2
Переход в ML часто выглядит как шаг в неизвестность, даже если вы давно в данных.

Вроде бы уже умеешь работать с данными, строить модели, делать выводы, но при этом не совсем понятно, что именно отличает ML-инженера от аналитика на практике. Какие навыки усиливать, как перестроить свой профиль, чтобы он выглядел не как “человек из data”, а как специалист, способный доводить модели до прода.

На мастер-классе по машинному обучению karpovꓸcourses подробно разбирают, как выглядит реальная роль ML-инженера в компании, какие задачи он решает, как обычно строится карьерный путь и какие шаги помогают быстрее и осознаннее перейти в эту роль, не теряя годы на хаотичное обучение.

Узнайте, какие навыки нужны и на примере реальной задачи по обучению модели посмотрите, как работает ML-инженер: https://clc.to/erid_2W5zFG1guAp

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFG1guAp
👍43