Data Analysis / Big Data – Telegram
Data Analysis / Big Data
2.81K subscribers
570 photos
3 videos
2 files
2.93K links
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels
Download Telegram
BI заместитель: Как сейчас быстро и недорого зарезервировать BI

Статья о том, как в нынешних условиях снизить критичность влияния санкций и прочих катаклизмов на пользователей данных в компании.
, про способ резервирования BI

Читать: https://habr.com/ru/post/661417/
Write prepared data directly into JDBC-supported destinations using AWS Glue DataBrew

Read: https://aws.amazon.com/blogs/big-data/write-prepared-data-directly-into-jdbc-supported-destinations-using-aws-glue-databrew/
Датацентрический и моделецентрический подходы в машинном обучении

Код и данные — фундамент ИИ-системы. Оба эти компонента играют важную роль в разработке надёжной модели, но на каком из них следует сосредоточиться больше? В этой статье мы сравним методики, ставящие в центр данные, либо модель, и посмотрим, какая из них лучше; также мы поговорим о том, как внедрять датацентрическую инфраструктуру.


Читать: https://habr.com/ru/post/661457/
What is the difference between a data lake and a data warehouse?

Read: https://www.startdataengineering.com/post/data-lake-warehouse-diff/
Automate notifications on Slack for Amazon Redshift query monitoring rule violations

Read: https://aws.amazon.com/blogs/big-data/automate-notifications-on-slack-for-amazon-redshift-query-monitoring-rule-violation/
Четыре хитрости в работе с пайплайнами данных, о которых знают не все

Dust-n-Rust by Spiritofdarkness

Команда разработки Cloud Big Data от VK Cloud Solution перевела статью с советами, которые касаются общих понятий работы с пайплайнами. Неважно, какую систему управления рабочими процессами вы используете, эти идеи можно применять везде. Сам автор пользуется Apache Airflow и приводит примеры кода на ее основе.

Эта статья будет полезна не только дата-инженерам, но и дата-сайентистам, так как хороший дата-сайентист тоже понимает принципы работы пайплайнов данных.


Читать: https://habr.com/ru/post/659389/
Умный город Ташкент: как Visiology BI и Геоинтеллект помогли создать современный ситуационный центр

Привет, Хабр! Меня зовут Ахрор, и я занимаю должность управляющего проектами в Департаменте Цифрового Развития Ташкента. Сегодня я хочу рассказать вам о том, как мы создавали систему управления Smart City для столицы Узбекистана на базе российских решений — ПО для бизнес-аналитики и визуализации Visiology и платформы “Геоинтеллект”. Новая система объединила более 60 ведомств и стала основой для работы диспетчерского ситуационного центра. В этом посте я подробно расскажу о том, как создавалась и проектировалась платформа, а также о том, какие возможности Геоинтеллекта и Visiology мы использовали.


Читать: https://habr.com/ru/post/662019/
Управление предпочтениями людей через социальные сети



Читать: https://habr.com/ru/post/319596/
Enhance analytics with Google Trends data using AWS Glue, Amazon Athena, and Amazon QuickSight

Read: https://aws.amazon.com/blogs/big-data/enhance-analytics-with-google-trends-data-using-aws-glue-amazon-athena-and-amazon-quicksight/
The Data Founder Story: Joining as a Cofounder after being an Advisor

Read: https://www.dataengineeringweekly.com/p/the-data-founder-story-joining-as
🔥1
Visiology предложила специальные лицензии для миграции с других BI-платформ

Еще в марте 2022 года мы столкнулись с проблемой наших потенциальных клиентов. Потребность в миграции на российскую BI-платформу создала дополнительную финансовую нагрузку на компании. На прошлой неделе мы представили новую линейку тарифов, которые облегчают процесс перехода. Этот пост — для тех, кто уже рассматривает Visiology в качестве альтернативной BI платформы, а под катом — подробности о стоимости лицензий Visiology, с учетом своего рода Trade-In.


Читать: https://habr.com/ru/post/661791/
Machine Learning много не бывает: отчёт с ML-митапа

Выкладываем запись с прошедшего Ozon Tech ML Meetup: были рады поделиться опытом с коллегами из Яндекс Маркета, AliExpress Россия, Циан и увидеть гостей оффлайн, как в старые-добрые времена.

Под катом найдете запись докладов:

— Spark Streaming: в погоне за оптимальной утилизацией и прозрачностью на Hadoop,

— Го обсудим: продакшен ML на Golang,

— Платформенные решения. Решаем проблемы жизненного цикла ML-сервиса,

— Как мы перестали бояться иероглифов и полюбили китайскую инфраструктуру.

После докладов на круглом столе обсудили процессы и роли в ML-командах крупных IT-компаний.
Запись под катом

Читать: https://habr.com/ru/post/661601/
Эволюция рекомендаций в Delivery Club. Часть 2

Всем привет! Это вторая часть статьи об изменении подхода к рекомендациям в Delivery Club. В первой части я подробно описал текущие проблемы нашей рекомендательной системы: локально оптимальный баланс exploitation и cold start, а также недостаточно развитый механизм exploration. А также рассказал, как мы решали проблему exploitation через карусель «Вы заказывали», а проблему cold start — через карусель популярных фастфуд-ресторанов.


Читать: https://habr.com/ru/post/661453/
👍2
Свежие вакансии в Selectel для специалистов в сфере Big Data

Команда BI в Selectel занимается разработкой аналитических инструментов для всей компании. Чтобы культура аналитики продолжала развиваться, ребята ищут опытного Data-инженера, а также BI-разработчика.

Работать можно как полностью удалённо, так из офиса в Санкт-Петербурге (помогают с релокацией). При этом работа из офиса сопровождается кучей плюшек: от ДМС со стоматологией и психолога до внутренних спортивных мероприятий.

Откликнуться на вакансии можно на сайте Selectel:
— Data Engineer: https://tprg.ru/5Qe6
— BI-разработчик: https://tprg.ru/s2gC

#вакансии