SQL и Анализ данных – Telegram
SQL и Анализ данных
12.5K subscribers
672 photos
64 videos
3 files
684 links
Базы данных и всё, что с ними связано!

Сотрудничество: @haarrp

РКН № 6520279766
Download Telegram
🎮 Elden GitHub: Погрузитесь в мир Elden Ring на GitHub!

Этот репозиторий предлагает уникальный опыт взаимодействия с GitHub, вдохновленный атмосферой Elden Ring. Исследуйте, создавайте и делитесь своими проектами в стиле любимой игры.

🚀Основные моменты:
- Интерактивные элементы, основанные на Elden Ring.
- Уникальный интерфейс для работы с репозиториями.
- Возможность делиться опытом с другими пользователями.
- Поддержка различных функций GitHub в игровом контексте.

📌 GitHub: https://github.com/SaltyAom/elden-github
👍31
🔗 PGMCP: AI-Driven PostgreSQL Queries 🚀

PGMCP позволяет взаимодействовать с любыми базами данных PostgreSQL через естественные языковые запросы. Пользователи могут задавать вопросы на английском и получать структурированные результаты SQL с автоматической обработкой ошибок и потоковой передачей данных.

🚀Основные моменты:
- Поддержка любого PostgreSQL без изменений схемы
- Безопасный доступ только для чтения
- Автоматическая потоковая передача больших наборов данных
- Интеллектуальное понимание запросов
- Множественные форматы вывода (таблица, JSON, CSV)

📌 GitHub: https://github.com/subnetmarco/pgmcp
👍61
Какая команда используется для объединения результатов запроса без удаления дубликатов?
Anonymous Quiz
17%
UNION
60%
UNION ALL
23%
FULL JOIN
👍121
⚡️ Неочевидный SQL-совет

Иногда нужно выбрать строки, где значение в одной колонке соответствует экстремальному (минимальному или максимальному) значению в другой колонке.
Вместо подзапросов с JOIN можно использовать WITH TIES (поддерживается в PostgreSQL 13+, SQL Server, Oracle, MySQL 8.0+):


SELECT *
FROM orders
ORDER BY created_at DESC
FETCH FIRST 1 ROW WITH TIES;


👉 Результат: вернутся все заказы с максимальной датой (например, если несколько заказов сделаны в одну и ту же последнюю минуту).

WITH TIES особенно удобно, когда вам нужно не одно значение, а все «равные лидеры» по условию сортировки.
👍24🔥32
🧠 Qwen3-ASR Toolkit: Умный инструмент для транскрипции аудио

Qwen3-ASR Toolkit — это мощный Python-инструмент для работы с API Qwen-ASR, позволяющий обрабатывать аудио и видео любой длины. Он преодолевает ограничение в 3 минуты, умно разбивая длинные файлы и обрабатывая их параллельно, что значительно ускоряет транскрипцию.

🚀 Основные моменты:
- Обходит 3-минутное ограничение API для транскрипции.
- Умное разделение аудио с использованием детекции активности голоса.
- Параллельная обработка для быстрого получения результатов.
- Автоматическая очистка текста от артефактов ASR.
- Поддержка множества форматов медиа благодаря FFmpeg.

📌 GitHub: https://github.com/QwenLM/Qwen3-ASR-Toolkit

#python
1
2 в 1: бесплатная теория и практика по расширениям PostgreSQL 🐘

В мини-курсе Академии Selectel рассказали, как улучшить работу с СУБД при помощи полезных расширений.

Открытый гид по PostgreSQL научит вас:
🔹 шифровать данные прямо в PostgreSQL,
🔹 ускорять выборки из JSONB,
🔹 работать с геоданными с помощью PostGIS,
🔹 адаптировать базу под конкретные задачи.

Практические примеры и разбор популярных расширений помогут вам использовать PostgreSQL на максимум — от безопасности и оптимизации до работы с геоданными.

Жмите на ссылку, чтобы пройти курс бесплатно ➡️

Реклама. АО "Селектел". erid:2W5zFHvwwtU
1🔥1💯1
🧩 Devsyringe

Devsyringe — это CLI-инструмент, который позволяет инжектить динамические значения из внешних команд и внедрять их в конфигурационные файлы с помощью декларативного YAML.

Он упрощает работу с параметрами, такими как токены API и домены, без необходимости использования шаблонов.

🚀Основные моменты:
- Инъекция значений в любые целевые файлы.
- Поддержка извлечения данных из командной строки.
- Конфигурация через YAML-файлы.
- Удобный интерфейс для управления процессами.

📌 GitHub: https://github.com/alchemmist/devsyringe

#go
👍42
⚡️SQL на собеседованиях: где тренироваться

Принесли вам отличный ресурс, который собрал огромное количество практических задач по SQL.

Там можно найти всё: от базовых упражнений до сложных вопросов, включая отдельный блок с заданиями от FAANG.

Но самое ценное здесь не сами вопросы, а структура подачи:
- Формулировка задачи в формате собеседования
- Подробное решение с объяснением
- Встроенный редактор, чтобы попробовать свои силы прямо на месте

И главное — доступ полностью бесплатный.

Начать тренироваться
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
🔥Прими участие в Хакатоне от ИТ-холдинга Т1 в Екатеринбурге и поборись за призовой фонд 600 000 рублей!


📅 Когда: 30 сентября–3 октября
🌐Формат: онлайн + финал на площадке

Участвуй, если ты:

🔹обучаешься на технической или ИТ-специальности;
🔹развиваешься в направлении разработки, аналитики, информационной безопасности или DevOp;
🔹сможешь быть в Екатеринбурге 3 октября.

Выбери свой кейс:

🔸 Terraform LogViewer: от хаоса к порядку. Разработай инструмент, который автоматизирует визуализацию и поиск проблем при развертывании и использовании инфраструктуры.

🔸 Обход защиты Web Application Firewall. Найди уязвимости, замаскируй атаки и попытайся «обойти» инструменты защиты ИБ.

Почему стоит участвовать:

🔻Кейс в портфолио и полезная обратная связь от менторов Т1;
🔻Шанс проявить себя, чтобы начать карьеру в одной из крупнейших ИТ-компаний;
🔻Реальный опыт командной работы;
🔻Мерч и атмосфера сильного комьюнити — в Т1 более 5 000 джунов из 580+ вузов России и Беларуси.

Регистрация открыта!

➡️ Успей до 28 сентября по ссылке.


#реклама
О рекламодателе
2
PostgreSQL 18 — что нового?

В свежем релизе PostgreSQL 18 появилось несколько долгожданных возможностей, которые заметно ускоряют работу с базой.

Главное
- Index Skip Scans — теперь можно использовать индекс даже при фильтрации по *второму столбцу*.

Ещё интересное
1️⃣ Асинхронный I/O при сканировании страниц с диска — меньше задержек при больших запросах.
2️⃣ Виртуальные колонки, вычисляемые во время запроса (особенно полезно для индексации по JSON path).
3️⃣ UUIDv7() — новые, *времясортированные* UUID, удобные для упорядочивания данных.

Подробнее:
https://crunchydata.com/blog/get-excited-about-postgres-18
🔥8👍21
🔥Не упустите шанс прокачать свой скилл и решать проблемы с производительностью на опережение!

Думаете, что знаете об оптимизации PostgreSQL всё? Проверим.

Приглашаем разработчиков и администраторов БД на интенсивный практикум, где мы не будем говорить об очевидных вещах. 

1 октября в 20:00 технический директор 1С-Старт Дмитрий Кириллов разберет "по косточкам" оптимизацию PostgreSQL на открытом практическом уроке "Неочевидные оптимизации PostgreSQL на основе его исходного кода".

👨‍💻 Разработчики, научитесь писать запросы, учитывая скрытые механизмы планировщика, и использовать индексы максимально эффективно
👨‍💻Администраторы БД, поймете, какие параметры конфигурации реально влияют на производительность, а какие можно не трогать
👨‍💻Архитекторы систем, сможете лучше проектировать структуру БД и прогнозировать ее масштабирование на основе «внутренней логики» PostgreSQL

А в подарок - три мини-курса для практической работы с SQL от OTUS.

Бесплатно по предварительной записи - практикум для тех, кто хочет докопаться до сути: https://tglink.io/8656fd984b77

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: 2W5zFGCSFvG
2
🖥 SQL: быстрый топ-1 на группу в Postgres

Вместо оконных функций используем DISTINCT ON + индекс.


-- индекс под запрос
CREATE INDEX idx_events_user_score
ON events (user_id, score DESC, event_time DESC);

-- топ-1 событие на пользователя
SELECT DISTINCT ON (user_id) user_id, id, score, event_time
FROM events
ORDER BY user_id, score DESC, event_time DESC;


@databases_tg
Please open Telegram to view this post
VIEW IN TELEGRAM
👍72🔥1
✔️ Математика в машинном обучении» - бесплатный курс, который предназначен для тех, кто хочет углубить свои знания в области математики, необходимой для понимания и применения методов машинного обучения и искусственного интеллекта.

Этот курс охватывает ключевые математические концепции, лежащие в основе современных алгоритмов машинного обучения, таких как линейная алгебра, теория вероятностей, статистика и оптимизация.

Курс
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6👍52
Полезный продвинутый совет по SQL 👇

Используй FILTER в агрегатах, вместо сложных CASE WHEN внутри SUM или COUNT. Это делает код короче и читаемее:


SELECT
COUNT(*) AS total_users,
COUNT(*) FILTER (WHERE is_active) AS active_users,
SUM(amount) FILTER (WHERE status = 'paid') AS total_revenue
FROM users;


Так ты можешь сразу строить несколько условий в одной выборке, не дублируя подзапросы и не нагружая CASE.

👉 Совет: работает во всех современных СУБД (Postgres, SQL Server 2023+, SQLite 3.30+, DuckDB и др.), но в MySQL придётся заменить на SUM(CASE WHEN ...).
👍185🔥4
⚡️ Pytest совет: экономим время на тестах с большими данными

Если в тестах используется тяжёлый датасет, важно правильно выбрать scope для фикстуры.

По умолчанию (`scope="function"`) данные будут загружаться заново для каждого теста. Это тратит ресурсы и замедляет выполнение.

С scope="session" датасет загружается один раз и переиспользуется во всех тестах. Это ускоряет процесс и снижает нагрузку.

Используйте session scope для больших и неизменяемых данных, чтобы тесты работали быстрее и стабильнее.
7👍5🔥4
📈 Гайд по продвинутым вопросам для разработчика LLM

Собеседования на позицию разработчика больших языковых моделей (LLM) в топовых AI-компаниях предъявляют высокие требования к знаниям.

Кандидату необходимо понимать устройство архитектуры трансформеров, владеть методами эффективного обучения и инференса, разбираться в оптимизациях памяти и скорости (таких как LoRA, FlashAttention, vLLM, ZeRO), знать тонкости распределённого тренинга, принципов LLMOps (MLOps для больших моделей) и нюансов продакшн-развертывания LLM.

Также часто проверяют умение решать реальные задачи: от проектирования пайплайна для Sparse MoE до анализа проблем с памятью на GPU, понимания различий между методами обучения с подкреплением (RLHF vs DPO) и способов масштабирования моделей.

Этот гайд структурирован по ключевым темам, соответствующим областям знаний, которые обычно проверяются на собеседованиях. Для каждой темы мы рассмотрим, что пытаются проверить интервьюеры, приведём пример формулировки вопроса и дадим подробный разбор ответа с обсуждением трэйд-оффов, примеров кода или схем, где это уместно. Вы можете изучать материал по разделам, чтобы сфокусироваться на интересующей области.

👉 Гайд
Please open Telegram to view this post
VIEW IN TELEGRAM
2