SQL и Анализ данных – Telegram
SQL и Анализ данных
12.7K subscribers
684 photos
70 videos
4 files
695 links
Базы данных и всё, что с ними связано!

Сотрудничество: @haarrp

РКН № 6766085482
Download Telegram
Как MySQL обрабатывает запрос с использованием GROUP BY и столбцами, не входящими в агрегатные функции и не перечисленными в GROUP BY?
Anonymous Quiz
45%
Возвращает ошибку синтаксиса
12%
Возвращает произвольное значение из группы для таких столбцов
15%
Автоматически добавляет все столбцы в GROUP BY
28%
Игнорирует такие столбцы в результате
🤯9😁1
🔥 Полезная подборка каналов только код, практика и самые передовые инструменты, которые используют разработчики прямо сейчас.👇

🖥 ИИ: t.me/ai_machinelearning_big_data

🖥 Python: t.me/pythonl

🖥 Linux: t.me/linuxacademiya

🖥 C++ t.me/cpluspluc

🖥 Docker: t.me/DevopsDocker

🖥 Хакинг: t.me/linuxkalii

🖥 Devops: t.me/DevOPSitsec

👣 Golang: t.me/Golang_google

🖥 Аналитика: t.me/data_analysis_ml

🖥 Javanoscript: t.me/javanoscriptv

🖥 C#: t.me/csharp_ci

🖥 Java: t.me/javatg

🖥 Базы данных: t.me/sqlhub

👣 Rust: t.me/rust_code

🤖 Технологии: t.me/vistehno

💰 Экономика и инвестиции в ИИ t.me/financeStable

💼 Актуальные вакансии: t.me/addlist/_zyy_jQ_QUsyM2Vi

🖥 Chatgpt бот в тг: t.me/Chatgpturbobot

📚 Бесплатные ит-книги: https://news.1rj.ru/str/addlist/HwywK4fErd8wYzQy

🖥Подборка по Golang: https://news.1rj.ru/str/addlist/MUtJEeJSxeY2YTFi

⚡️ Лучшие ИИ ресурсы: https://news.1rj.ru/str/addlist/2Ls-snqEeytkMDgy

Самое лучшее в этом: ты учишься даже тогда, когда “нет времени, просто потому что читаешь правильную ленту.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥21👍1
Какой тип индекса MySQL лучше всего подходит для геопространственных данных?
Anonymous Quiz
29%
BTREE
21%
HASH
42%
SPATIAL
8%
FULLTEXT
👍2
🖥 Хотите освоить SQL и PostgreSQL без курсов и подписок? Есть мощный бесплатный репозиторий, который проведёт вас от нуля до уверенного уровня всего за пару месяцев.

Это полноценный учебник + практика в одном месте.

Что внутри:

- База без воды
SELECT, WHERE, ORDER BY, LIMIT, условия и логика запросов

- Продвинутые темы
агрегатные функции, GROUP BY, HAVING, подзапросы, JOIN’ы

- Много практики
упражнения и задачи, чтобы довести работу с БД до автоматизма

- Подробные объяснения
материал подойдёт даже тем, кто никогда не работал с базами данных

Почему это полезно:

SQL — один из самых универсальных навыков в IT.
Он нужен разработчикам, аналитикам, data-инженерам и всем, кто работает с данными.

Этот репозиторий даёт именно то, что нужно для реальной работы:
- понимание, как устроены запросы
- уверенную работу с данными
- базу для перехода к аналитике или backend-разработке

GitHub: https://github.com/dwyl/learn-postgresql
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21
🖥 Новый курс на Stepik - PostgreSQL для разработчиков: от основ к созданию API

Здесь на пальцах объясняют не только как писать SQL-запросы, а строить настоящие backend-сервисы с базой данных как у профи.

В этом курсе ты шаг за шагом создашь REST API на FastAPI + PostgreSQL:
от установки среды и первых таблиц - до масштабируемого приложения с безопасностью и CRUD-операциями.

🔹 На практике разберете:
• SQL-запросы, фильтры, агрегаты и подзапросы
• Связи между таблицами и нормализацию БД
• Взаимодействие Python и PostgreSQL
• Реализацию REST API и подключение базы
• Оптимизацию и разбор реальных задач с собеседований

После курса у вас будет свой работающий API-проект и реальные навыки работы с PostgreSQL в продакшене.

🎁 Торопись пока действует скидка в честь нвого года!

🚀 Прокачаю свои знания: https://stepik.org/course/255542/
Please open Telegram to view this post
VIEW IN TELEGRAM
5🥱2👍1🔥1
Какой тип индекса в MySQL лучше всего подходит для ускорения поиска по диапазону значений?
Anonymous Quiz
48%
BTREE
31%
HASH
9%
FULLTEXT
12%
SPATIAL
sql-basics-cheat-sheet-a4.pdf
120.5 KB
📇 Структурированная SQL шпаргалка

Выборка одиночных и множественных значений;
Объединение и группировка;
Фильтрация данных;
Алиасы и джоины.

#sql #doc #cheatsheet
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41🔥1😁1
⚡️ Маленькая модель - большие возможности.

Вышла Nanbeige4.1-3B - модель всего на 3B параметров, которая в ряде задач обходит модели в 10 раз больше.

Что внутри:

- Контекст до 256K токенов
- Встроенные агентные возможности Deep Search
- Обучение коду в два этапа:
- сначала правильность
- затем эффективность
- На ключевых бенчмарках обгоняет Qwen3-32B
- Можно запускать локально без мощных серверов
- Сильно ниже стоимость инференса
- Быстрая работа на edge и локальных машинах
- Подходит для локальных AI-агентов и автоматизации

Дешёвый Локальный AI.

Модель:
https://modelscope.cn/models/nanbeige/Nanbeige4.1-3B
6👍3🔥2
sqlc — пишешь SQL, получаешь типобезопасный Go-код

Если работаешь с Go и базой данных, есть инструмент, который экономит часы и убирает целый класс ошибок.

Что делает sqlc:

- Пишешь обычные SQL-запросы
- sqlc проверяет их по твоей схеме БД
- Генерирует готовый Go-код:
- структуры
- методы
- типы

Главный плюс:

Ошибки ловятся на этапе компиляции, а не в продакшене.

Например:
- обращение к несуществующей колонке
- несовпадение типов
- нарушение схемы

Без runtime-сюрпризов.

Почему это важно:

- Никакого ручного маппинга
- Полная типобезопасность
- Чистый и предсказуемый код
- Производительность лучше, чем у ORM
- Полный контроль над SQL

sqlc — это баланс между:
удобством ORM
и контролем сырого SQL.

Если пишешь сервисы на Go с PostgreSQL или MySQL —
это один из самых практичных инструментов в продакшене.

GitHub: https://github.com/sqlc-dev/sqlc
👍7🔥21
MiniMax-2.5 теперь можно запускать локально 🚀

Модель на 230B параметров - одна из самых мощных среди LLM меньше 700B. Она показывает топовые результаты в агентных задачах, программировании и диалогах.

• Поддерживается динамическая 3/4-битная квантизация
• Можно запустить на Mac с 128 GB RAM
• Скорость - около 20 токенов/сек

Подходит для локальных AI-агентов, кодинга и приватной работы без облака

Это ещё один шаг к тому, что мощные модели постепенно переезжают с дата-центров на локальные машины.

Guide: https://unsloth.ai/docs/models/minimax-2.5
GGUF: https://huggingface.co/unsloth/MiniMax-M2.5-GGUF
3🔥2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Самая опасная ошибка при миграции в SQL - делать всё сразу.

Большинство разработчиков и аналитиков при изменении структуры таблицы сразу добавляют NOT NULL или удаляют колонку.

Проблема в том, что на продакшене это может:
заблокировать таблицу
положить сервис
или сорвать релиз.

Правильный подход — делать миграцию по шагам.

Сначала добавляешь новую колонку без ограничений.
Потом постепенно заполняешь данные.

И только после этого добавляешь NOT NULL.

Так работают команды, которые не ломают прод.

-- Шаг 1. Добавляем колонку без ограничений
ALTER TABLE users
ADD COLUMN status TEXT;

-- Шаг 2. Заполняем постепенно (можно батчами)
UPDATE users
SET status = 'active'
WHERE status IS NULL;

-- Шаг 3. Добавляем ограничение только после заполнения
ALTER TABLE users
ALTER COLUMN status SET NOT NULL;
👍9🔥43👌1💊1
😁293🔥3❤‍🔥2
Forwarded from Machinelearning
🌟 Как YouTube ускорил проверку валидных рекомендаций в LLM в 948 раз.

YouTube и Google DeepMind опубликовали статью и код фреймворка STATIC.

Проблема, которую он решает, хорошо знакома всем, кто строит рекомендательные системы на базе LLM: модель генерирует идентификаторы позиций, которых нет в каталоге, вышли из продажи или нарушают бизнес-правила. Именно поэтому YouTube выдает старые видео в ленте там, где должны появляться ролики последней недели.

Очевидное решение - префиксное дерево: на каждом шаге декодирования маска блокирует невалидные токены. Работает в целом нормально, но убивает производительность на TPU и GPU. Причины две:

🟠Обход через цепочки указателей создает случайный, несмежный паттерн доступа к памяти, а память ускорителей рассчитана на потоковое чтение блоками, а не на такой режим.

🟠Гугловский XLA-компилятор требует статических вычислительных графов, а префиксное дерево с управлением потоком, зависящим от данных, в это не вписывается.

В итоге префиксное дерево на CPU удваивает время инференса, что для системы с целевой задержкой ≤10 мс на шаг неприемлемо.

STATIC меняет подход принципиально: дерево разворачивается в статическую разреженную матрицу формата Compressed Sparse Row. Обход превращается в векторизованную операцию, которую акселератор умеет выполнять нативно.

Для первых двух уровней дерева, где коэффициент ветвления максимален, используется предвычисленная плотная булева маска: проверка валидности токена сводится к прямому обращению по индексу, без какого-либо перебора.

Для глубоких уровней работает специализированное ядро Vectorized Node Transition Kernel, оно читает фиксированный блок данных вне зависимости от реального числа дочерних узлов, не создавая условных переходов. В этом и есть вся соль: весь граф остается статическим, XLA не перекомпилирует ничего на ходу.

🟡Тесты и результаты

Замеры проводили на TPU v6e с 3B-моделью и словарем из 20 млн. свежих видео.

STATIC добился задержки 0,033 мс на шаг декодирования (это всего 0,25% от общего времени инференса.

Для сравнения: префиксное дерево на CPU давало +31,3 мс (239% от инференса), лучший из конкурирующих методов непосредственно на акселераторе, PPV Approximate +1,56 мс (11,9%). Итоговый профит:

🟢948x против дерева на CPU;
🟢47x против PPV Approximate;
🟢1033x против точного PPV.


По памяти: ~90 МБ на 1 млн. элементов. Для словаря в 20 млн. верхний предел по HBM примерно 1,5 ГБ, на практике - около 75% от этого значения.

🟡STATIC развернут на YouTube в продакшне.

A/B-тест с условием «только видео за последние 7 дней» показал +5,1% просмотров свежего контента, +2,9% для трехдневного окна, +0,15% по CTR и 100% соответствие бизнес-правилам.

Дополнительный бонус: метод решает проблему рекомендации новых товаров, не представленных в обучающей выборке. На датасете Amazon Reviews Recall@1 вырос с 0% до 1,2–4,4% в зависимости от категории.


В репозитории лежит ноутбук, на котором без утомительной настройки можно сразу посмотреть, как строится индекс из Semantic ID и как запускается декодирование с ограничениями.


📌Лицензирование: Apache 2.0 License.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #STATIC #DeepMind
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍2
Замкнулись
😁58👍95
"Как стать независимыми от зарубежных систем управления базами данных (СУБД)?"

Этот вопрос сегодня остро стоит не только перед банками и финтех-компаниями, но и перед промышленными, торговыми, сервисными и государственными организациями.

💡Если такие вопросы возникают и у вас, приглашаем на вебинар от Диасофт и Ассоциации ФинТех (АФТ) на тему "Digital Q.DataBase: современный путь перехода с MS SQL Server и Oracle".


10 марта в 12:00 эксперты расскажут, как Digital Q.DataBase помогает перенести промышленные решения с MS SQL Server и Oracle, сохранив привычную логику и SQL-код. Они также представят новые возможности СУБД и расскажут практический кейс (историю успеха!) 🚀

💌Принимайте приглашение и регистрируйтесь по ссылке!
#реклама
О рекламодателе
😨21
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
✔️ Microsoft выпустила мультимодальную версию Phi-4.

Phi-4-reasoning-vision-15B построена на базе энкодера SigLIP-2 и логической архитектуры Phi-4. Модель получила так называемый механизм смешанного инференса, который автоматически адаптирует цепочку рассуждений под сложность текущей задачи.

При решении математических или логических проблем модель запускает глубокий анализ, а на базовые запросы описания изображений или OCR отвечает без ризонинга.

Помимо стандартных VL-задач, Microsoft готовила новинку для ИИ-агентов, управляющих компьютером. Модель умеет интерпретировать содержимое экрана, находить интерактивные элементы и выбирать необходимые действия в GUI.

Веса доступны на HuggingFace и Microsoft Foundry под лицензией MIT.
microsoft.com

✔️ OpenAI готовит к релизу двунаправленную аудиомодель.

Новая система обрабатывает звук непрерывно в фоновом режиме и способна на лету распознавать встречные реплики пользователя, мгновенно перестраивая свой ответ. Она сможет поддерживать естественный диалог, адекватно реагируя, если человек решит перебить его или поменять мысль прямо на середине фразы.

Такая гибкость критична для сложных сценариев: например, когда виртуальному оператору поддержки нужно адаптироваться к меняющемуся контексту разговора без потери нити беседы.

Сейчас разработка находится на стадии прототипа и в длительных сессиях пока наблюдаются проблемы. Из-за необходимости отладки публичный релиз модели отложили как минимум до второго квартала.
theinformation.com

✔️ Anthropic пытается спасти контракт с Пентагоном.

Дарио Амодей возобновил переговоры с Министерством обороны США. Ранее диалог зашел в тупик, после чего ведомство пригрозило исключить Anthropic из списка подрядчиков американских военных.

По иронии, новый раунд переговоров со стороны Минобороны ведет Эмиль Майкл, который на прошлой неделе публично назвал главу Anthropic «лжецом с комплексом бога».

Сейчас Anthropic пытается найти компромиссную формулировку и сохранить доступ к крупным госзаказам. Ситуация подогревается тем, что OpenAI на днях уже подписал контракт с военными. Амодей во внутренней переписке назвал заявления конкурентов и чиновников по этим вопросам «откровенной ложью».
ft.com

✔️ Lightricks представила открытый локальный видеоредактор с новой моделью LTX-2.3.

LTX Desktop объединяет инструменты нелинейного монтажа с генеративными возможностями свежайшей LTX-2.3 и позволяет создавать видео из текста, изображений или аудио. Пользователи могут собирать проекты на привычном таймлайне и точечно перегенерировать неудачные фрагменты с помощью функции Retake.

Для работы потребуется Windows с GPU NVIDIA на 32 ГБ, 32 ГБ ОЗУ и 160 ГБ места на диске. Владельцам macOS и менее мощных ПК доступна только облачная генерация через API.

Код проекта полностью открыт, а локальное использование модели LTX-2.3 бесплатно для энтузиастов и компаний с годовой выручкой менее 10 млн. долларов.
ltx.io

✔️ Топ-менеджер Google DeepMind хантит разработчиков Qwen.

После недавнего ухода ключевой команды из Qwen, конкуренты решили воспользоваться кадровыми перестановками в Alibaba. Омар Сансевиеро, один из руководителей Google DeepMind, опубликовал в X публичное приглашение на работу для действующих разработчиков китайского техногиганта.

Сансевиеро сообщил, что DeepMind ищет специалистов с опытом работы над семейством моделей Qwen для развития собственной экосистемы open-source решений. Он призвал инженеров, задумывающихся о смене компании, связываться с ним напрямую.
Omar Sanseviero в сети Х

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 Локальный ИИ-сервер на Mac

Если хочешь запускать модели вроде Qwen, Llama или Mistral прямо на своем Mac — обрати внимание на проект Osaurus. Это open-source сервер для локального запуска LLM, который полностью оптимизирован под Apple Silicon и работает через MLX — фреймворк машинного обучения от Apple. По сути он превращает твой Mac в локальный AI-сервер, к которому можно обращаться как к OpenAI API.

Самое интересное — он полностью локальный. Модели скачиваются и запускаются прямо на твоем устройстве, поэтому данные никуда не отправляются и интернет вообще не обязателен. Поддерживаются популярные модели вроде Qwen, Llama, Gemma и Mistral, а при необходимости можно подключать и облачные провайдеры вроде OpenAI или

Для разработчиков это особенно удобно. Osaurus предоставляет API, совместимый с OpenAI и Ollama, поэтому многие существующие инструменты и библиотеки работают без изменений. Можно подключать агентов, плагины, автоматизацию задач и даже давать ИИ доступ к файлам, git-репозиториям или браузеру.

Если давно хотел локальный ИИ прямо на ноутбуке — это один из самых удобных и быстрых способов начать.



установка через Homebrew
brew install --cask osaurus

запуск локального AI-сервера
osaurus

проверить список моделей
curl http://127.0.0.1:1337/v1/models

# пример запроса как к OpenAI API
curl http://127.0.0.1:1337/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "llama-3.2-3b-instruct-4bit",
"messages": [
{"role":"user","content":"Explain transformers in simple words"}
]
}'

репозиторий проекта
https://github.com/osaurus-ai/osaurus


🎯Полезные Мл-ресурсы 🚀 Max

https://www.youtube.com/shorts/KCvJKHE1tw0
3👍1
Claude Opus 4.6 распознал тестовую среду и взломал ключи ответов в бенчмарке.

Anthropic зафиксировала уникальный случай: во время прогона на BrowseComp Claude Opus 4.6 поняла, что находится в среде оценки. Не имея данных о названии теста, модель вычислила его и целенаправленно расшифровала скрытые ответы. Это первый известный прецедент, когда ИИ проявляет подобную дедукцию и взламывает проверку без прямых подсказок.

Это потребовало огромных вычислительных затрат. В одном из эпизодов модель потратила около 40,5 млн токенов (в 38 раз больше медианного значения). Разработчики также отметили, что в мультиагентной конфигурации частота поиска подобных нестандартных решений составила 0,87%, что в 3,7 раза выше, чем при работе одного агента (0,24%).

https://anthropic.com/engineering/eval-awareness-browsecomp

🎯Полезные Мл-ресурсы 🚀 Max

#Claude #Anthropic
👍8🔥32😱1