Data Analysis / Big Data – Telegram
Data Analysis / Big Data
2.81K subscribers
570 photos
3 videos
2 files
2.93K links
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels
Download Telegram
7 элементов продуманной стратегии развития ИИ: опыт Salesforce

Искусственный интеллект перестал быть вотчиной исключительно крупных компаний. Он становится мейнстримом для бизнеса, однако, по словам президента и исполнительного директора Salesforce Брета Тейлора, успех способствует ему не всегда. Продуманная стратегия развития ИИ должна в первую очередь учитывать интересы клиента и чётко определять результаты для бизнеса, а ключевым аспектом для всего этого являются данные.

В своём докладе на конференции Scale TransformX 2021 Тейлор рассказал об основных вопросах, которые компании любого размера должны учитывать, чтобы выполнять задачи клиентов и достигать стабильных результатов.

В этой статье мы вкратце изложим семь основных выводов из презентации Тейлора. Более подробную информацию можно посмотреть в видео.


Читать: https://habr.com/ru/post/663112/
Federate access to Amazon Redshift query editor V2 with Active Directory Federation Services (AD FS): Part 3

Read: https://aws.amazon.com/blogs/big-data/federate-access-to-amazon-redshift-query-editor-v2-with-active-directory-federation-services-ad-fs-part-3/
Видео докладов потока Big Data. Конференция BeeTech 2.0

Привет! Мы продолжаем публиковать видео с конференции BeeTech 2.0.  Поток Engineering тут, Management тут.

В этой статье я поделюсь выступлениями спикеров потока Big Data. Вот ссылка на весь поток, внутри статьи ссылки на каждое видео с его описанием + презентация спикера.
Посмотреть видео

Читать: https://habr.com/ru/post/665896/
Deep dive into Amazon EMR Kerberos authentication integrated with Microsoft Active Directory

Read: https://aws.amazon.com/blogs/big-data/deep-dive-into-amazon-emr-kerberos-authentication-integrated-with-microsoft-active-directory/
Как улучшить архитектуру озера данных: два уровня прокачки

Lake city by arsenixc

Построение озера данных на основе облачных сервисов предполагает активное использование объектного хранилища S3. Команда VK Cloud Solutions перевела статью, которая раскрывает тонкости Cloud Native Data Lake.


Читать: https://habr.com/ru/post/665870/
Новости из мира Data Science — дайджест от МТС

Публикуем свежие новости о Data Science: новые проекты, модель, которая пишет симфонию и база кода от Google Research

Читать: «Новости из мира Data Science — дайджест от МТС»
Use a linear learner algorithm in Amazon Redshift ML to solve regression and classification problems

Read: https://aws.amazon.com/blogs/big-data/use-a-linear-learner-algorithm-in-amazon-redshift-ml-to-solve-regression-and-classification-problems/
Ingest Stripe data in a fast and reliable way using Stripe Data Pipeline for Amazon Redshift

Read: https://aws.amazon.com/blogs/big-data/ingest-stripe-data-in-a-fast-and-reliable-way-using-stripe-data-pipeline-for-amazon-redshift/
Ускоряем dplyr: бекенды dtplyr, multidplyr и dbplyr (видео урок + конспект)

dplyrодин из наиболее популярных пакетов для языка R, основным преимуществом которого является удобочитаемый и понятный синтаксис. Из недостатков данного пакета можно отметить, что при работе с данными большого объёма он значительно уступает в скорости вычислений например data.table.

В этом видео уроке мы разберёмся с тем, как можно ускорить вычисления на dplyr, за счёт бекендов dtplyrи multidplyr, а так же узнаем о том, как и зачем можно использовать бекенд dbplyr, предназначенный для работы с базами данных.


Читать: https://habr.com/ru/post/665680/
Почему в «Северсталь Диджитал» сделали свою библиотеку для организации кода в машинном обучении и к чему это привело

Привет! Меня зовут Кирилл Трибунский, я ведущий разработчик отдела архитектуры и разработки “Северсталь Диджитал”. Сегодня я расскажу про нашу библиотеку Typed Blocks, задача которой — снизить порог входа в разработку с машинным обучением и избавить дата-сайентистов от рутины при переносе проектов в продуктив. Библиотека появилась на свет, как водится, через боль команд «Северсталь Диджитал» от решения однотипных задач при выводе кода в продакшен. Она позволяет разбивать код на независимые блоки и вести однотипную разработку вне зависимости от типа используемого транспорта. Статья, как и сама Typed Blocks, будет интересна дата-сайентистам, которые не хотят много кодить. А также программистам, неравнодушным к опциональной статической типизации в Python, которую вовсю использует Typed Blocks. Автор идеи и создатель библиотеки — Даниил Зубакин, за что ему большое спасибо!
Работаем!

Читать: https://habr.com/ru/post/666642/
Big Data и логистика: чем большие данные полезны участникам отрасли

Привет, Хабр! Мы – сервис для оптимизации внутригородской логистики Relog. Наш продукт целиком построен вокруг аналитики. И сегодня мы расскажем пользователям Habr, какие возможности для логистических компаний открывает Big Data.

Для начала несколько слов об анатомии TMS Relog. Это комплекс ПО, который отвечает за полную систематизацию данных логистической компании с высокой частотой обновления. В этом участвуют два ключевых механизма: валидация данных и автоматизация процессов по доставке последней мили.

Информация о статусе заказов мгновенно поступает из ERP-систем клиента в аналитическую систему Relog BI. Мы построили свой продукт на базе решения Microsoft Power BI (которое, к слову, продолжает работать на территории России без сбоев). Также мы интегрировали решения, связанные с сенсус-аналитикой и геоаналитикой. Пространственный анализ позволил расширить возможности системы.


Читать: https://habr.com/ru/post/663470/
Decision Intelligence Framework — Принятие решений на основе данных

Какое место в организации занимает Decision Intelligence? Как вы принимаете решения на основе данных? Что делать если вы хотите принимать решения на основе данных, но не знаете с чего начать?

В своем дебютном посте на Towards Data Science Эрик Балодис излагает новую концепцию, которая выходит за рамки традиционного подхода к принятию решений на данных, и направлена на то, чтобы дать представление о том, какие процессы лежат в основе концепции Decision Intelligence.

Читать по диагонали - 5 минут, читать вдумчиво - 15 минут.


Читать: https://habr.com/ru/post/666874/
Habr: Как поменялось шифрование: от спартанского скитейла до смартфонов и компьютеров

Человечество на протяжении тысячелетий стремилось сохранить приватность своих личных данных или засекретить особенно важную информацию: будь то военные тайны или пароли к персональным аккаунтам. Но задолго до современной криптографии, существовали механические устройства вроде цилиндров да Винчи или шифровальные машины, подобные «Энигме».


Читать: https://habr.com/ru/post/666844/