Продолжаем советовать полезные инструменты для Python-разработки. Автор сегодняшней подборки — Максим Вязников, продакт-менеджер Serverless-продуктов в Selectel и «питонист» с восьмилетним стажем.
Что такое Big Data? 🗂
Это Петабайты сложной и необработанной информации, которая постоянно обновляется.
В 2016 году объем мирового рынка ПО, оборудования и сервисов в области бизнес-аналитики и работы с big data составил $130,1 млрд, из них $17 млрд — банковский сектор. С ростом рынка данных, растет и потребность бизнеса.
Например, Netflix предлагает контент, который в 80% случаев опирается на существующий пользовательский опыт зрителя и данные из аккаунтов на Facebook и Twitter. Для оптимизации выдачи сервис использует поисковые запросы пользователя, историю просмотров, информацию о повторных просмотрах, паузах и перемотках.
Как собирают Big Data?
Сам процесс сбора данных называют дата майнингом. Автоматизировать его можно с помощью специализированных приложений для бизнес-аналитики: например, Vertica, Tableau, Power BI или Qlik. Источниками могут быть:
— интернет — от соцсетей и СМИ до интернета вещей (IoT);
— корпоративные данные: логи, транзакции, архивы;
— другие устройства, которые собирают информацию, например, «умные колонки».
Как хранят Big Data?
Чаще всего «сырые» данные хранятся в data lake — «озере данных» в разных форматах и степенях структурированности.
Как работают с большими данными?
Когда данные получены и сохранены, их нужно проанализировать и представить в понятном для клиента виде: графиках, таблицах, изображениях или готовых алгоритмах. С этим отлично справляются отдельные технологии — СУБД NoSQL, алгоритмы MapReduce, R и Python, продукты Apache и Hadoop.
→ Читать статью полностью
Это Петабайты сложной и необработанной информации, которая постоянно обновляется.
В 2016 году объем мирового рынка ПО, оборудования и сервисов в области бизнес-аналитики и работы с big data составил $130,1 млрд, из них $17 млрд — банковский сектор. С ростом рынка данных, растет и потребность бизнеса.
Например, Netflix предлагает контент, который в 80% случаев опирается на существующий пользовательский опыт зрителя и данные из аккаунтов на Facebook и Twitter. Для оптимизации выдачи сервис использует поисковые запросы пользователя, историю просмотров, информацию о повторных просмотрах, паузах и перемотках.
Как собирают Big Data?
Сам процесс сбора данных называют дата майнингом. Автоматизировать его можно с помощью специализированных приложений для бизнес-аналитики: например, Vertica, Tableau, Power BI или Qlik. Источниками могут быть:
— интернет — от соцсетей и СМИ до интернета вещей (IoT);
— корпоративные данные: логи, транзакции, архивы;
— другие устройства, которые собирают информацию, например, «умные колонки».
Как хранят Big Data?
Чаще всего «сырые» данные хранятся в data lake — «озере данных» в разных форматах и степенях структурированности.
Как работают с большими данными?
Когда данные получены и сохранены, их нужно проанализировать и представить в понятном для клиента виде: графиках, таблицах, изображениях или готовых алгоритмах. С этим отлично справляются отдельные технологии — СУБД NoSQL, алгоритмы MapReduce, R и Python, продукты Apache и Hadoop.
→ Читать статью полностью
👍1
Быстрые новости за последнюю неделю 🏃♂️
Подборка событий на ИТ-рынке России и мира
1. NASA с Nokia хотят развернуть 4G-сеть на Луне.
К 2028 году сеть будет обеспечивать связью лунные посадочные модули, луноходы и все прочие системы, которые к тому времени появятся на Луне.
— Узнать больше: https://slc.tl/HzgPQ
2. Китайская компания Chuwi выпустила миниатюрный ПК, который помещается на ладони.
Его можно использовать как медиацентр или офисный ПК с ОС Windows или Linux. Из характеристик — четырехъядерный процессор Celeron J4125, 6 ГБ оперативной памяти и диск на 128 ГБ.
— Узнать больше: https://slc.tl/HLFT1
3. Opera станет китайской.
Новым акционером станет компания Hong Kong Kunlun, дочерняя организация Beijing Kunlun Tech Co., Ltd. Общая стоимость сделки составит $80,145 млн.
— Узнать больше: https://slc.tl/il2T1
4. Вышел релиз Fedora 33.
В поставку Fedora Workstation добавили Thermald для отслеживания параметров температурных датчиков, рабочий стол Fedora Workstation обновлён до выпуска GNOME 3.38 и еще много чего.
— Узнать больше: https://slc.tl/5AAeX
5. В Европе разрабатывают сборщика космического мусора.
Подготовительные технические работы стартовали летом 2020 года. В совместных заседаниях участвуют Европейское космическое агентство (ЕКА) и стартап ClearSpace.
— Узнать больше: https://slc.tl/uRvaJ
Подборка событий на ИТ-рынке России и мира
1. NASA с Nokia хотят развернуть 4G-сеть на Луне.
К 2028 году сеть будет обеспечивать связью лунные посадочные модули, луноходы и все прочие системы, которые к тому времени появятся на Луне.
— Узнать больше: https://slc.tl/HzgPQ
2. Китайская компания Chuwi выпустила миниатюрный ПК, который помещается на ладони.
Его можно использовать как медиацентр или офисный ПК с ОС Windows или Linux. Из характеристик — четырехъядерный процессор Celeron J4125, 6 ГБ оперативной памяти и диск на 128 ГБ.
— Узнать больше: https://slc.tl/HLFT1
3. Opera станет китайской.
Новым акционером станет компания Hong Kong Kunlun, дочерняя организация Beijing Kunlun Tech Co., Ltd. Общая стоимость сделки составит $80,145 млн.
— Узнать больше: https://slc.tl/il2T1
4. Вышел релиз Fedora 33.
В поставку Fedora Workstation добавили Thermald для отслеживания параметров температурных датчиков, рабочий стол Fedora Workstation обновлён до выпуска GNOME 3.38 и еще много чего.
— Узнать больше: https://slc.tl/5AAeX
5. В Европе разрабатывают сборщика космического мусора.
Подготовительные технические работы стартовали летом 2020 года. В совместных заседаниях участвуют Европейское космическое агентство (ЕКА) и стартап ClearSpace.
— Узнать больше: https://slc.tl/uRvaJ
Так и не узнали, почему облако не всегда подойдет для обработки персональных данных?
Наверстать упущенное все еще возможно. Мы записали прошедший вебинар, прикрепили удобные таймкоды и выложили готовый ролик на YouTube.
https://slc.tl/palZX
Смотрите, ставьте пальцы вверх, обсуждайте и задавайте вопросы 🎯
Наверстать упущенное все еще возможно. Мы записали прошедший вебинар, прикрепили удобные таймкоды и выложили готовый ролик на YouTube.
https://slc.tl/palZX
Смотрите, ставьте пальцы вверх, обсуждайте и задавайте вопросы 🎯
YouTube
Соответствие 152-ФЗ: Почему облако не всегда подойдет для обработки ПДн
Вебинар посвящен разбору типов решений для работы с персональными данными (ПДн) и аттестации информационных систем.
Среди рассмотренных вопросов:
Что значит соответствовать 152-ФЗ?
Является ли аттестация информационных систем единственным путем по соответствию…
Среди рассмотренных вопросов:
Что значит соответствовать 152-ФЗ?
Является ли аттестация информационных систем единственным путем по соответствию…
Selectel (2.11 — 8.11).ics
10.4 KB
Что будете делать на следующей неделе? Мы отпразднуем изобретение электрокардиографа, проедемся на метро, пустим слезу под «Made In Heaven» и выпьем за сильных женщин в науке.
Сохраняйте список из подборки в личном календаре. Файл для интеграции прикрепили к посту. Для смартфонов на Android используйте «Calendar Import - Export (ics)».
Сохраняйте список из подборки в личном календаре. Файл для интеграции прикрепили к посту. Для смартфонов на Android используйте «Calendar Import - Export (ics)».
Новости октября в одном письме 👁
Привет! Октябрь выдался богатым на обновления наших продуктов. Сегодня мы отправим рассылку с подробностями всех новостей.
Вы узнаете:
— всё про соответствие «Облачной платформы» 152-ФЗ,
— как бесплатно перевезти ваши информационные структуры в Selectel,
— где быстро посчитать разные мощности и тарифы, чтобы узнать цену сервера с учетом возможных скидок.
А ещё: про прозрачность в настройке CDN, быстрое развертывание бэкапа, рабочее место в один клик и другие обновления.
→ Получать письма с самой важной информацией за месяц
Привет! Октябрь выдался богатым на обновления наших продуктов. Сегодня мы отправим рассылку с подробностями всех новостей.
Вы узнаете:
— всё про соответствие «Облачной платформы» 152-ФЗ,
— как бесплатно перевезти ваши информационные структуры в Selectel,
— где быстро посчитать разные мощности и тарифы, чтобы узнать цену сервера с учетом возможных скидок.
А ещё: про прозрачность в настройке CDN, быстрое развертывание бэкапа, рабочее место в один клик и другие обновления.
→ Получать письма с самой важной информацией за месяц