👍 Эффективная работа с JSON Lines в Python: сравнение библиотек
JSON — популярный формат для обмена данными, но его обработка в data science и data engineering может быть сложной. Часто данные представлены в виде JSON Lines (NDJSON), и первый шаг — преобразование их в dataframe.
В статье от Nvidia сравнивают производительность и функциональность Python-библиотек:
✅ pandas
✅ DuckDB
✅ pyarrow
✅ RAPIDS cuDF pandas Accelerator Mode
Результаты:
📊 cuDF.pandas показывает отличное масштабирование и высокую пропускную способность, особенно для сложных данных.
🔧 Широкий набор опций JSON-ридера в cuDF повышает совместимость с Apache Spark и упрощает обработку аномалий в JSON.
🔹 Курс «Программирование на языке Python»
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib
🏃♀️ Proglib Academy
#буст
JSON — популярный формат для обмена данными, но его обработка в data science и data engineering может быть сложной. Часто данные представлены в виде JSON Lines (NDJSON), и первый шаг — преобразование их в dataframe.
В статье от Nvidia сравнивают производительность и функциональность Python-библиотек:
✅ pandas
✅ DuckDB
✅ pyarrow
✅ RAPIDS cuDF pandas Accelerator Mode
Результаты:
📊 cuDF.pandas показывает отличное масштабирование и высокую пропускную способность, особенно для сложных данных.
🔧 Широкий набор опций JSON-ридера в cuDF повышает совместимость с Apache Spark и упрощает обработку аномалий в JSON.
🔹 Курс «Программирование на языке Python»
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib
#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🙏1
😶 Алгоритмы или гугл?
С одной стороны, понимание алгоритмов даёт прочную базу и уверенность в коде. С другой — реальная работа часто требует скорости, а гуглить решения уже стало навыком.
А что важнее для junior-разработчика? Делитесь своим мнением и голосуйте! 👇
❤️ — Алгоритмы, без них никуда
🔥 — Гуглить тоже надо уметь
👍 — Главное — чтобы код работал
🏃♀️ Proglib Academy
#междусобойчик
С одной стороны, понимание алгоритмов даёт прочную базу и уверенность в коде. С другой — реальная работа часто требует скорости, а гуглить решения уже стало навыком.
А что важнее для junior-разработчика? Делитесь своим мнением и голосуйте! 👇
❤️ — Алгоритмы, без них никуда
🔥 — Гуглить тоже надо уметь
👍 — Главное — чтобы код работал
#междусобойчик
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥3
5 распространённых ошибок в Django
1️⃣ Не использование select_related и prefetch_related для FK и M2M запросов
❌ Ошибка: Неоптимизированные запросы к базе данных при работе с внешними ключами и многими ко многим, что приводит к неэффективным запросам (проблема N+1).
2️⃣ Недооценка возможностей Django Admin
❌ Ошибка: Недостаточное использование мощных функций интерфейса администрирования Django.
3️⃣ Обращение с QuerySets как с обычными списками
❌ Ошибка: Неправильное понимание работы QuerySets, что приводит к лишним запросам к базе данных.
4️⃣ Неверное обслуживание статических и медиа-файлов
❌ Ошибка: Использование Django для обслуживания статических и медиа-файлов в продакшене.
5️⃣ Использование `.all() с большими или неупорядоченными наборами данных
❌ Ошибка: Использование
🔹 Курс «Программирование на языке Python»
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib
🏃♀️ Proglib Academy
#буст
1️⃣ Не использование select_related и prefetch_related для FK и M2M запросов
❌ Ошибка: Неоптимизированные запросы к базе данных при работе с внешними ключами и многими ко многим, что приводит к неэффективным запросам (проблема N+1).
2️⃣ Недооценка возможностей Django Admin
❌ Ошибка: Недостаточное использование мощных функций интерфейса администрирования Django.
3️⃣ Обращение с QuerySets как с обычными списками
❌ Ошибка: Неправильное понимание работы QuerySets, что приводит к лишним запросам к базе данных.
4️⃣ Неверное обслуживание статических и медиа-файлов
❌ Ошибка: Использование Django для обслуживания статических и медиа-файлов в продакшене.
5️⃣ Использование `.all() с большими или неупорядоченными наборами данных
❌ Ошибка: Использование
.all() на моделях без дефолтного порядка или с большими наборами данных, что приводит к проблемам с производительностью.🔹 Курс «Программирование на языке Python»
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib
#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Что происходит в офисе РКН последнюю неделю:
🔥 — как же они задолбали
🔥 — как же они задолбали
🔥5😁1
⚡️ Перезапуск курса: «Математика для разработки AI-моделей»
Мы обновили программу и добавили формат, который вы просили — живые вебинары. Первый уже прошёл с отличным фидбеком, но вы успеваете присоединиться к потоку.
Что вас ждет в ближайших блоках:
🔹 Лекция 2: Векторы и матрицы
Теория и практика в
🔹 Лекция 3: Линейная регрессия
Концепция линейной зависимости, метод наименьших квадратов (МНК), интерпретация весов и валидация моделей.
🔹 Лекция 4: Матричные разложения
Собственные векторы, SVD-разложение. Применение для снижения размерности и рекомендательных систем.
Материалы доступны на всех тарифах (Базовый, Стандарт, Ультра, VIP).
⏳ Дедлайн регистрации — 9 декабря.
🔗 Занять место: https://clc.to/LojFzw
Мы обновили программу и добавили формат, который вы просили — живые вебинары. Первый уже прошёл с отличным фидбеком, но вы успеваете присоединиться к потоку.
Что вас ждет в ближайших блоках:
🔹 Лекция 2: Векторы и матрицы
Теория и практика в
NumPy. Операции с массивами, определители, ранги, СЛАУ.🔹 Лекция 3: Линейная регрессия
Концепция линейной зависимости, метод наименьших квадратов (МНК), интерпретация весов и валидация моделей.
🔹 Лекция 4: Матричные разложения
Собственные векторы, SVD-разложение. Применение для снижения размерности и рекомендательных систем.
Материалы доступны на всех тарифах (Базовый, Стандарт, Ультра, VIP).
⏳ Дедлайн регистрации — 9 декабря.
🔗 Занять место: https://clc.to/LojFzw
🙏1
- Обзоры практических AI-инструментов, которые уже работают здесь и сейчас,
- Кейсы, как автоматизировать рутину на следующей неделе, а не «когда-нибудь»,
- Аналитика без хайпа: что из ИИ реально полезно, а что просто модно.
Здесь не учат «писать код с нуля». Здесь учат собирать свои цифровые инструменты - быстро и без лишней сложности.
https://news.1rj.ru/str/addlist/ISqd266_cVpjYzNi
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
IT&AL🖥️
Юлия invites you to add the folder “IT&AL🖥️”, which includes 33 chats.
❤1
❤️ — Страдаю от лени и нихрена не делаю
🔹 Курс «Программирование на языке Python»
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib
#развлекалово
Please open Telegram to view this post
VIEW IN TELEGRAM