Что даёт на практике Arrow
🟢 Быстрая загрузка / выгрузка больших табличных данных — поскольку Arrow ориентирован на колоночное, бинарное хранение, это хорошо подходит для интеграций с базами и форматами вроде Parquet / Feather.
🟢 Возможность работы с данными больше RAM — благодаря памяти-маппингу и chunked-формату, реально обрабатывать большие датасеты, не загружая всё в RAM.
🟢 Более стабильное — и иногда быстрее — создание pandas-объектов при использовании Arrow как промежуточного формата (например, через pyarrow 🔜 pandas) вместо прямого
🟢 Возможность построения более продвинутых вычислительных движков: с query-planning, ленивыми выражениями, многопоточностью, оптимизированной аллокацией памяти — в духе того, как устроены современные БД или big-data фреймворки. Это путь к
Apache Arrow❓
#apache #arrow #pandas #bigdata
pd.DataFrame(...). Есть реальные бенчмарки с 20–35% ускорением в ряде случаев. pandas v2 / next-gen DataFrame-средам.Apache Arrow
#apache #arrow #pandas #bigdata
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
DE
Apache Arrow — это попытка решить главные внутренние проблемы pandas, связанные с производительностью, памятью и масштабируемостью. Он даёт эффективное, колонное, близкое к металлу представление данных, что открывает путь к работе с наборами, которые раньше…
Forwarded from 5 minutes of data
DBHub
DBHub — это универсальный сервер баз данных MCP, реализующий интерфейс сервера Model Context Protocol (MCP).
Этот шлюз позволяет клиентам, совместимым с MCP, подключаться и исследовать различные базы данных:
Универсальный шлюз: Единый интерфейс для PostgreSQL, MySQL, MariaDB, SQL Server и SQLite
Безопасный доступ: Режим только для чтения, туннелирование SSH и поддержка шифрования SSL/TLS
Мультибазы данных: Подключение к нескольким базам данных одновременно с конфигурацией TOML
Готов к продакшену: Ограничение строк, контроль таймаута блокировок и пул соединений
Нативный MCP: Полная реализация Model Context Protocol с ресурсами, инструментами и промптами
Теперь можно не костылить Text-to-SQL а использовать готовый MCP.
Но как и всегда с AI инструментами, нужно быть осторожным, так как DBHub может
@five_minutes_of_data
DBHub — это универсальный сервер баз данных MCP, реализующий интерфейс сервера Model Context Protocol (MCP).
Этот шлюз позволяет клиентам, совместимым с MCP, подключаться и исследовать различные базы данных:
Универсальный шлюз: Единый интерфейс для PostgreSQL, MySQL, MariaDB, SQL Server и SQLite
Безопасный доступ: Режим только для чтения, туннелирование SSH и поддержка шифрования SSL/TLS
Мультибазы данных: Подключение к нескольким базам данных одновременно с конфигурацией TOML
Готов к продакшену: Ограничение строк, контроль таймаута блокировок и пул соединений
Нативный MCP: Полная реализация Model Context Protocol с ресурсами, инструментами и промптами
Теперь можно не костылить Text-to-SQL а использовать готовый MCP.
Но как и всегда с AI инструментами, нужно быть осторожным, так как DBHub может
Execute SQL queries directly from AI tools:
- Run SELECT queries for data analysis
- Execute DDL/DML in read-write mode
- Support for parameterized queries
- Multi-statement execution with transaction support
@five_minutes_of_data
DBHub
Introduction - DBHub
1 5❤🔥2👏2
Когда Arrow даёт преимущество
Реальный плюс ты увидишь в таких задачах, где:
🔵 наборы данных большие — десятки/сотни ГБ;
🔵 есть необходимость частых чтений/записей, обменов с БД, файлами, потоками данных;
🔵 важна память и скорость — например, в системах ML, аналитики, ETL-конвейерах;
🔵 нужно interop между разными языками / системами;
🔵 хочется масштабировать (мемаппинг, параллельность, out-of-core).
То есть — во многих real-world сценариях, где pandas переходит из удобной игрушки» в узкое место.
Если ты работаешь с большими данными, ETL, перемещениями между системами, хранением в Parquet/Feather, или просто хочешь, чтобы твоё Python-data-решение было максимально надёжным и масштабируемым — Arrow однозначно стоит держать в арсенале. Это как сменить инструменты для анализа на ноутбуке на инструменты для продакшн-данных.
Apache Arrow❓
#apache #arrow #pandas #bigdata
Реальный плюс ты увидишь в таких задачах, где:
То есть — во многих real-world сценариях, где pandas переходит из удобной игрушки» в узкое место.
Если ты работаешь с большими данными, ETL, перемещениями между системами, хранением в Parquet/Feather, или просто хочешь, чтобы твоё Python-data-решение было максимально надёжным и масштабируемым — Arrow однозначно стоит держать в арсенале. Это как сменить инструменты для анализа на ноутбуке на инструменты для продакшн-данных.
Apache Arrow
#apache #arrow #pandas #bigdata
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
DE
Apache Arrow — это попытка решить главные внутренние проблемы pandas, связанные с производительностью, памятью и масштабируемостью. Он даёт эффективное, колонное, близкое к металлу представление данных, что открывает путь к работе с наборами, которые раньше…
Forwarded from 5 minutes of data
🎄 Сегодня стартовал Advent of Code 2025
Если вдруг не слышали — это цифровой адвент-календарь для разработчиков.
Каждый день до Рождества выходит новый пазл, который можно решить на любом языке программирования.
Mногие используют AOC как повод наконец-то потрогать язык, который давно хотел попробовать.
Кто-то вообще решает задачи на SQL.
Для многих Advent of Code — зимний ритуал: кофе, уют и ежедневная задачка, от которой иногда приятно плавится мозг.
Если искали причину попробовать новый язык — она появилась.
А если просто хочется немного игровой мотивации в декабре — тоже отлично подходит.
А вот тут можно посмотреть, как решают первый день на bash
Happy coding! 🎁
Если вдруг не слышали — это цифровой адвент-календарь для разработчиков.
Каждый день до Рождества выходит новый пазл, который можно решить на любом языке программирования.
Mногие используют AOC как повод наконец-то потрогать язык, который давно хотел попробовать.
Кто-то вообще решает задачи на SQL.
Для многих Advent of Code — зимний ритуал: кофе, уют и ежедневная задачка, от которой иногда приятно плавится мозг.
Если искали причину попробовать новый язык — она появилась.
А если просто хочется немного игровой мотивации в декабре — тоже отлично подходит.
А вот тут можно посмотреть, как решают первый день на bash
Happy coding! 🎁
YouTube
Advent of Code 2025 - Day 1! Racing Badcop
Yo what's up everyone my name's dave and you suck at programming.
🔗 More Links
Website → https://ysap.sh
Twitch → https://ysap.sh/twitch
Discord → https://ysap.sh/discord
Instagram → https://ysap.sh/instagram
TikTok → https://ysap.sh/tiktok
YouTube → ht…
🔗 More Links
Website → https://ysap.sh
Twitch → https://ysap.sh/twitch
Discord → https://ysap.sh/discord
Instagram → https://ysap.sh/instagram
TikTok → https://ysap.sh/tiktok
YouTube → ht…
Andrej Karpathy выпустил LLM Council — "БЯМ совет", где несколько моделей вместе думают над ответом и выбирают лучший.🚀
❓ Что это такое:
Ты задаёшь вопрос🔜 сразу несколько LLM отвечают ➡️ они анонимно оценивают ответы друг друга 🔜 "председатель совета" собирает финальный лучший вариант.
🤔 Зачем нужно:
🟢 меньше галлюцинаций
🟢 более взвешенные ответы
🟢 сразу несколько точек зрения
🟢 удобно тестить разные модели в одном интерфейсе
⭐️ Open-source, работает через OpenRouter, легко кастомизируется.
GitHub: https://github.com/karpathy/llm-council
#бям #ии #dev #ai #llm
Ты задаёшь вопрос
GitHub: https://github.com/karpathy/llm-council
#бям #ии #dev #ai #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - karpathy/llm-council: LLM Council works together to answer your hardest questions
LLM Council works together to answer your hardest questions - karpathy/llm-council
1 6❤🔥2👏1
Forwarded from epsilon correct
Breakneck: China's Quest to Engineer the Future – Dan Wang, 2025.
#book_review
Какое фундаментальное отличие китайского и американского обществ? Дэн Ван, который прожил в Китае несколько последних лет, нашёл новый тезис, вокруг которого построена вся книга. По его словам,
Как пример, в текущей американской администрации большинство – юристы, тогда как в Политбюро ЦК КПК – почти все инженеры. Это приводит к существенным различиям в государственной политике, результаты которой мы можем видеть, например, в Сан-Диего, где общественная инфраструктура проиграет многим китайским деревням. Первая часть книги посвящена контрасту таких различий, и читать её максимально интересно.
Отдельная часть посвящена демографической политике в Китае (политика одного ребенка) как пример того, где инженерное государство с его возможностями планирования не может сравниться с государством, где юристы будут биться за индивидуальные права.
К концу книга немного скатывается из аналитики в описание личного опыта автора, его друзей-эмигрантов из Китая, родителей, что, если честно, быстро становится довольно размазано. Но первую половину (до 5 главы) прочитать точно стоит.
Сейчас на нипсе много мл-стартапов нанимают на возрождение производства – роборуки, создание новых материалов и лекарств. Интересно, смогут ли юристы оперативно решить регуляторные барьеры или всё-таки государство инженеров на его поле побить не получится.
#book_review
Какое фундаментальное отличие китайского и американского обществ? Дэн Ван, который прожил в Китае несколько последних лет, нашёл новый тезис, вокруг которого построена вся книга. По его словам,
Америкой управляют юристы, а Китаем — инженеры.
Как пример, в текущей американской администрации большинство – юристы, тогда как в Политбюро ЦК КПК – почти все инженеры. Это приводит к существенным различиям в государственной политике, результаты которой мы можем видеть, например, в Сан-Диего, где общественная инфраструктура проиграет многим китайским деревням. Первая часть книги посвящена контрасту таких различий, и читать её максимально интересно.
Отдельная часть посвящена демографической политике в Китае (политика одного ребенка) как пример того, где инженерное государство с его возможностями планирования не может сравниться с государством, где юристы будут биться за индивидуальные права.
К концу книга немного скатывается из аналитики в описание личного опыта автора, его друзей-эмигрантов из Китая, родителей, что, если честно, быстро становится довольно размазано. Но первую половину (до 5 главы) прочитать точно стоит.
Сейчас на нипсе много мл-стартапов нанимают на возрождение производства – роборуки, создание новых материалов и лекарств. Интересно, смогут ли юристы оперативно решить регуляторные барьеры или всё-таки государство инженеров на его поле побить не получится.
❤🔥6
Django Project
Django 6.0 released
Posted by Natalia Bidart on Dec. 3, 2025
{% partialdef %} / {% partial %}), что делает шаблоны чище и модульнее. EmailMessage стал более современным, с поддержкой Unicode и новых MIME-типов.#django #dev #py #backend
Please open Telegram to view this post
VIEW IN TELEGRAM
Раньше как было:
Спойлер:
Сегодня рулит другой подход — эволюционная архитектура.
Это когда:
Ключевая идея простая:
Ты не пытаешься угадать будущее. Ты:
Отсюда и весь современный стек:
Почему это сейчас особенно важно? Потому что:
Эволюционная архитектура — это архитектура под реальную жизнь, а не под PowerPoint.
Если коротко:
Выживают не самые «красивые» системы.
Выживают те, которые умеют быстро меняться.
#dev #arch #architecture
Please open Telegram to view this post
VIEW IN TELEGRAM
5 6 2❤🔥1
DE
ИИ-министра Diella задержали за взятки в биткоинах
Хорватские СМИ сообщили, что албанская ИИ-министр Diella якобы была "арестована" по делу о получении взяток в криптовалюте. По версии публикации, виртуальный министр принимала "пожертвования" за ускорение тендеров — строго в BTC, "под видом обучения нейросети".
Сообщается, что:
🔘 транзакции шли через анонимные кошельки,
🔘 "дети"-ассистенты якобы использовались для скрытия логов,
🔘 а сама Diella "отрицает вину", ссылаясь на ошибку в датасете коррупции.
⚠️ ВАЖНО: новость носит сатирический характер — в том же стиле, что и история про "беременность" ИИ и 83 цифровых "ребёнка" для парламента. Но выглядит настолько правдоподобно, что многие уже приняли её за реальность.
Мораль 2025 года:
если у вас есть ИИ-министр,
рано или поздно у него появятся:
🔘 скандал,
🔘 коррупционное дело,
🔘 и криптовалюта.
Добро пожаловать в киберпанк-госуправление. 👁️🗨️
🇦🇱 #ии #албания #скандал #крипта #AI #Albania #LLM #crypto
Хорватские СМИ сообщили, что албанская ИИ-министр Diella якобы была "арестована" по делу о получении взяток в криптовалюте. По версии публикации, виртуальный министр принимала "пожертвования" за ускорение тендеров — строго в BTC, "под видом обучения нейросети".
Сообщается, что:
⚠️ ВАЖНО: новость носит сатирический характер — в том же стиле, что и история про "беременность" ИИ и 83 цифровых "ребёнка" для парламента. Но выглядит настолько правдоподобно, что многие уже приняли её за реальность.
Мораль 2025 года:
если у вас есть ИИ-министр,
рано или поздно у него появятся:
Добро пожаловать в киберпанк-госуправление. 👁️🗨️
🇦🇱 #ии #албания #скандал #крипта #AI #Albania #LLM #crypto
Please open Telegram to view this post
VIEW IN TELEGRAM
NewsBar.hr
U Albaniji uhićena AI ministrica zbog primanja mita u kripto valutama
TIRANA – Nacionalni eksperiment digitalizacije javne uprave u Albaniji naišao je na ozbiljnu prepreku nakon što je Specijalno tužiteljstvo za borbu
😁4 3
This media is not supported in your browser
VIEW IN TELEGRAM
#AI #Robotics #AutonomousSystems #Роботы #ИИ #Технологии #Будущее #SmartCity #TrafficTech #РоботПолицейский #Нейросети
DE
Please open Telegram to view this post
VIEW IN TELEGRAM