SQL и Анализ данных – Telegram
SQL и Анализ данных
12.5K subscribers
671 photos
64 videos
3 files
683 links
Базы данных и всё, что с ними связано!

Сотрудничество: @haarrp

РКН № 6520279766
Download Telegram
PostgreSQL 18 — что нового?

В свежем релизе PostgreSQL 18 появилось несколько долгожданных возможностей, которые заметно ускоряют работу с базой.

Главное
- Index Skip Scans — теперь можно использовать индекс даже при фильтрации по *второму столбцу*.

Ещё интересное
1️⃣ Асинхронный I/O при сканировании страниц с диска — меньше задержек при больших запросах.
2️⃣ Виртуальные колонки, вычисляемые во время запроса (особенно полезно для индексации по JSON path).
3️⃣ UUIDv7() — новые, *времясортированные* UUID, удобные для упорядочивания данных.

Подробнее:
https://crunchydata.com/blog/get-excited-about-postgres-18
🔥8👍21
🔥Не упустите шанс прокачать свой скилл и решать проблемы с производительностью на опережение!

Думаете, что знаете об оптимизации PostgreSQL всё? Проверим.

Приглашаем разработчиков и администраторов БД на интенсивный практикум, где мы не будем говорить об очевидных вещах. 

1 октября в 20:00 технический директор 1С-Старт Дмитрий Кириллов разберет "по косточкам" оптимизацию PostgreSQL на открытом практическом уроке "Неочевидные оптимизации PostgreSQL на основе его исходного кода".

👨‍💻 Разработчики, научитесь писать запросы, учитывая скрытые механизмы планировщика, и использовать индексы максимально эффективно
👨‍💻Администраторы БД, поймете, какие параметры конфигурации реально влияют на производительность, а какие можно не трогать
👨‍💻Архитекторы систем, сможете лучше проектировать структуру БД и прогнозировать ее масштабирование на основе «внутренней логики» PostgreSQL

А в подарок - три мини-курса для практической работы с SQL от OTUS.

Бесплатно по предварительной записи - практикум для тех, кто хочет докопаться до сути: https://tglink.io/8656fd984b77

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: 2W5zFGCSFvG
2
🖥 SQL: быстрый топ-1 на группу в Postgres

Вместо оконных функций используем DISTINCT ON + индекс.


-- индекс под запрос
CREATE INDEX idx_events_user_score
ON events (user_id, score DESC, event_time DESC);

-- топ-1 событие на пользователя
SELECT DISTINCT ON (user_id) user_id, id, score, event_time
FROM events
ORDER BY user_id, score DESC, event_time DESC;


@databases_tg
Please open Telegram to view this post
VIEW IN TELEGRAM
👍72🔥1
✔️ Математика в машинном обучении» - бесплатный курс, который предназначен для тех, кто хочет углубить свои знания в области математики, необходимой для понимания и применения методов машинного обучения и искусственного интеллекта.

Этот курс охватывает ключевые математические концепции, лежащие в основе современных алгоритмов машинного обучения, таких как линейная алгебра, теория вероятностей, статистика и оптимизация.

Курс
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6👍52
Полезный продвинутый совет по SQL 👇

Используй FILTER в агрегатах, вместо сложных CASE WHEN внутри SUM или COUNT. Это делает код короче и читаемее:


SELECT
COUNT(*) AS total_users,
COUNT(*) FILTER (WHERE is_active) AS active_users,
SUM(amount) FILTER (WHERE status = 'paid') AS total_revenue
FROM users;


Так ты можешь сразу строить несколько условий в одной выборке, не дублируя подзапросы и не нагружая CASE.

👉 Совет: работает во всех современных СУБД (Postgres, SQL Server 2023+, SQLite 3.30+, DuckDB и др.), но в MySQL придётся заменить на SUM(CASE WHEN ...).
👍185🔥4
⚡️ Pytest совет: экономим время на тестах с большими данными

Если в тестах используется тяжёлый датасет, важно правильно выбрать scope для фикстуры.

По умолчанию (`scope="function"`) данные будут загружаться заново для каждого теста. Это тратит ресурсы и замедляет выполнение.

С scope="session" датасет загружается один раз и переиспользуется во всех тестах. Это ускоряет процесс и снижает нагрузку.

Используйте session scope для больших и неизменяемых данных, чтобы тесты работали быстрее и стабильнее.
7👍5🔥4
📈 Гайд по продвинутым вопросам для разработчика LLM

Собеседования на позицию разработчика больших языковых моделей (LLM) в топовых AI-компаниях предъявляют высокие требования к знаниям.

Кандидату необходимо понимать устройство архитектуры трансформеров, владеть методами эффективного обучения и инференса, разбираться в оптимизациях памяти и скорости (таких как LoRA, FlashAttention, vLLM, ZeRO), знать тонкости распределённого тренинга, принципов LLMOps (MLOps для больших моделей) и нюансов продакшн-развертывания LLM.

Также часто проверяют умение решать реальные задачи: от проектирования пайплайна для Sparse MoE до анализа проблем с памятью на GPU, понимания различий между методами обучения с подкреплением (RLHF vs DPO) и способов масштабирования моделей.

Этот гайд структурирован по ключевым темам, соответствующим областям знаний, которые обычно проверяются на собеседованиях. Для каждой темы мы рассмотрим, что пытаются проверить интервьюеры, приведём пример формулировки вопроса и дадим подробный разбор ответа с обсуждением трэйд-оффов, примеров кода или схем, где это уместно. Вы можете изучать материал по разделам, чтобы сфокусироваться на интересующей области.

👉 Гайд
Please open Telegram to view this post
VIEW IN TELEGRAM
2
💡 Репозиторий, где собрано 100+ проектов с нуля - от веба до ИИ. Всё максимально практично 👇

- 100+ готовых проектов: сайты, игры, нейросети, тулзы

- Современные технологии: ReactJS, NodeJS, VueJS, Flutter, Unity, TensorFlow, OpenCV и другие

- Пошаговые гайды с разными уровнями сложности — подойдёт даже новичку

- У каждого проекта указан технологический стек

Без воды - только практика и понятные объяснения.

🚀 https://github.com/Xtremilicious/projectlearn-project-based-learning
🔥82👍1😁1
С помощью какого ключевого слова в SQL отменяется транзакция?
Anonymous Quiz
6%
CANCEL
5%
REVERT TRANSACTION
4%
UNDO
4%
RESET TRANSACTION()
6%
ABORT
1%
STOP
61%
ROLLBACK
5%
DISCARD TRANSACTION
4%
TERMINATE
4%
RECALL TRANSACTION (name)
2
🚀 Мониторинг PostgreSQL с pgexporter

pgexporter — это экспортер для Prometheus, который позволяет отслеживать работу нескольких экземпляров PostgreSQL. Он поддерживает безопасное соединение через TLS и предоставляет различные метрики для мониторинга.

🚀 Основные моменты:
- Экспортер для Prometheus
- Поддержка JSON и удаленного управления
- Режим демона
- Безопасность через TLS v1.2+
- Использует нативный протокол PostgreSQL

📌 GitHub: https://github.com/pgexporter/pgexporter
👍3🔥1
🖥 Свежий курс на Stepik: PostgreSQL для разработчиков: от основ к созданию API

Курс научит создавать надёжные REST API-сервисы на базе PostgreSQL, используя FastAPI на Python.

Пошаговое объяснение материала - от установки среды и основ SQL до полноценного API-приложения с безопасностью, связями и масштабируемостью.

На практике разбирается:

работу с таблицами, типами данных, фильтрацией и агрегатами

группировки, подзапросы и оптимизацию SQL-запросов

взаимодействие Python с базой данных

создание REST API с FastAPI и подключением PostgreSQL

проектирование структуры БД и нормализацию

реализацию CRUD-операций и валидацию данных

postgres для профессионалов

разбор вопросов с реальных собеседований технические вопросы, SQL-задачи, разбор хитрых приемов.

⚡️ После прохождения вы создадите готовый API-проект и уверенные навыки работы с PostgreSQL в продакшене.

Сегодня дарим промокод на скидку - 30%, действует

🚀 Начать учиться
Please open Telegram to view this post
VIEW IN TELEGRAM
👍63🔥2🥰1
This media is not supported in your browser
VIEW IN TELEGRAM
💻 OctoSQL — работа с разными БД и файлами посредством единого интерфейса

brew install cube2222/octosql

OctoSQL — CLI-инструмент, который позволяет работать с множеством баз данных (и файлов) с помощью SQL через единый интерфейс и выполнять JOIN между ними.
Например, OctoSQL может помочь объединить JSON-файл с таблицей PostgreSQL.

В то же время OctoSQL — это легко расширяемый движок потока данных, и его можно использовать для добавления SQL-интерфейса в свои собственные приложения.

🖥 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍2🔥2
Шпаргалка по SQL-функциям

-
Агрегатные функции (COUNT, SUM, AVG, MIN, MAX),
- оконные функции (ROW_NUMBER, RANK, LAG, LEAD),
- строковые функции (LOWER, SUBSTRING, CONCAT),
- работа с датами (NOW, DATE_PART, TRUNC),
- управление потоком (CASE, COALESCE),
- фильтры (IN, LIKE),
- математика (ROUND, MOD).
👍205🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
😈 Sora 2 сгенерировала утренник по «Берсерку»:
«Я — Гатс, иду по дороге меча».

Теперь такие видео можно делать в два клика — хоть про «Берсерк», хоть про ваш выпускной, хоть про корпоратив.
Просто вставляете тему, и нейросеть ставит сцену, пишет сценарий и снимает всё за вас.

Вот промпт:
Локация:
Пост-советская школа

— Качество видео как будто снято на слегка пиксельную камеру 90-х, школьный спектакль в день выступления
— Группа детей в костюмах на тематику разговаривает друг с другом
— Дети показывают сценку и читают слова на тему, будто в школе рассказывая тематику
— Аудитория поддерживающих родителей тихо ахает, и одна из мам в зале шепчет себе под нос что-то на тему выступления
Please open Telegram to view this post
VIEW IN TELEGRAM
👍81🔥1
🖥 Полный гайд: защита от SQL-инъекций для разработчиков

SQL-инъекции остаются одной из самых частых и опасных уязвимостей в веб-приложениях. Ошибка в одном запросе — и злоумышленник получает доступ к базе данных, паролям и пользовательским данным.

В этом материале — полный практический разбор:
как именно происходят SQL-инъекции, какие ошибки разработчиков к ним приводят, как их распознать в коде и главное — как защититься.

Разберём реальные примеры на Python, PHP и Go, посмотрим, как атакующий «взламывает» запрос, и научимся писать безопасный код с параметризованными запросами и ORM.

Это не теория, а руководство, которое поможет понять уязвимость изнутри и навсегда закрыть её в своих проектах.

👉 Читать гайд
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍3🥰1
Других советов у меня для вас нет
👍15🥰5😁51🆒1
🖥 Гайд по PostgreSQL для продвинутых разработчиков

PostgreSQL – одна из самых мощных СУБД с открытым исходным кодом. Этот гайд подробно охватывает ключевые аспекты PostgreSQL: от внутренней архитектуры до приёмов оптимизации. Мы рассмотрим администрирование, производительность, расширения, инструменты, а также сравним популярные ORM для Python и Go. В конце приведён список продвинутых вопросов, часто встречающихся на собеседованиях.

🟠Гайд
Please open Telegram to view this post
VIEW IN TELEGRAM
5
🪄 Открытая альтернатива Firebase — на стероидах PostgreSQL

Платформа, которая даёт всё, чтобы собрать современное веб-, мобильное или AI-приложение — без проприетарных SDK и боли.

Что внутри:
⚙️ Хостинг Postgres с realtime-синхронизацией
🧩 Автогенерация REST и GraphQL API
🔐 Аутентификация и авторизация через JWT
Edge-функции и серверные триггеры
📦 Хранилище файлов с поддержкой S3
🧠 AI-инструменты: векторные индексы, эмбеддинги, семантический поиск
🪶 Всё open source и доступно для self-host.

По сути это Firebase-опыт, но построенный на «взрослых» open-source технологиях:
PostgreSQL, Elixir, GoTrue, PostgREST, pg_graphql.

Платформа, где можно запустить идею, вырастить продукт и не упереться в чьи-то закрытые лимиты.
#Postgres #OpenSource #Backend #AI #GraphQL #Realtime #FirebaseAlternative

https://github.com/supabase/supabase
2👍1
Какой SQL-оператор отвечает за удаление всей таблицы?
Anonymous Quiz
14%
DELETE
0%
EVAPORATE
1%
ALTER
65%
DROP
12%
TRUNCATE
1%
UPDATE
4%
REMOVE
2%
ERASE
👍12😁7💯1
Forwarded from Machinelearning
✔️ Подборка полезных бесплатных курсов и гайдов на выходные.

🖥 Microsoft представила свежий цикл лекций по Python и и ИИ.

Содержание: Курс включает 9 лекций, дополненных видео, подробными презентациями и примерами кода. Цикла - обучение разработке ИИ-агентов доступен написан понятно, даже для новичков в программирование.
Темы: В лекциях рассматриваются такие темы, такие как RAG (Retrieval-Augmented Generation), эмбеддинги, агенты и протокол MCP.
👉 Курс

💡Гарвардский курс по машинному обучению

Культовый трек CS 249 превратили в интерактивный учебник - и это, пожалуй, один из лучших стартов для инженеров, которые хотят делать реальные ML-системы, а не просто играться с моделями.

• Вся база по ML: объясняют фундамент с нуля, нужно только знание Python
• Проектирование систем и инженерия данных
• Подготовка датасетов, MLOps и мониторинг
• Развёртывание ИИ в IoT и продакшене

Это практический курс: не о формулах, а о том, как внедрять ML так, чтобы он приносил бизнесу прибыль.
Если хочешь понять, как модели живут в проде - идеальный вариант для старта.
👉Курс

🖥 Создай своего Bash-агента с NVIDIA Nemotron за 1 час

NVIDIA показала, как собрать AI-агента, который понимает твои запросы на естественном языке и сам выполняет команды Bash.
В основе модель Nemotron Nano 9B v2: компактная, быстрая, идеально подходит для локального эксперимента.

Агент умеет:
- распознавать команды на естественном языке («создай папку», «покажи файлы»),
- превращать эти команды в рабочие Bash-срипты
- спрашивать подтверждение перед выполнением.

Весь код занимает ~200 строк Python, работает через FastAPI и LangGraph.
Можно расширить под DevOps, Git-операции, анализ логов или управление сервером.
👉Гайд

⚡️ Kaggle Learn: интерактивные мини-курсы по Python, Data Science и машинному обучению.
Полностью бесплатно и максимально практично.


Что внутри:
• Python, Pandas, визуализация
• Основы машинного обучения и фичеринжиниринг
• Подготовка данных и работа с моделями

Практика без лишней теории учишься и сразу применяешь.
👉Курс

🖥 Гайд по шардингу баз данных от PlanetScale

Вы узнаете, как масштабировать базы данных через шардинг - разбиение данных по серверам для роста производительности и отказоустойчивости.

Главное:
• Шардинг нужен, когда одна база больше не справляется с нагрузкой.
• Есть два популярных подхода — по диапазону (range) и по хешу (hash).
• Важно выбрать стабильный ключ (например, user_id) и избегать кросс-шардовых запросов.
• Прокси-слой немного увеличивает задержку, но даёт масштабируемость.

Отличный материал, если хочешь понять, как строят системы уровня YouTube. А здесь много базы по SQL
Читать

🧠 60 готовых проектов по генеративному ИИ

Список из 60 проектов на GitHub с открытым кодом по генеративному ИИ 0от текстовых моделей до аудио и видео.

Каждый проект - с описанием и ссылкой на репозиторий. Можно выбрать идею, запустить локально и собрать своё AI-портфолио.
👉 Github

👉 Еще больше полезного.

@ai_machinelearning_big_data

#AI #MachineLearning #DataScience #ML #ИИ #freecourses
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍3🔥2