Анализ данных в Linux.
Глава из книги <Bash и кибербезопасность>.

Как работать с боль­шими объ­ема­ми дан­ных, не имея под рукой ничего, кро­ме коман­дной стро­ки? Про­ана­лизи­ровать боль­шие объ­емы дан­ных час­то помога­ет поиск, который по мере пос­тупле­ния новых дан­ных сле­дует пос­тоян­но уточ­нять и огра­ничи­вать. В этой гла­ве в качес­тве вход­ных дан­ных для наших сце­нари­ев мы возь­мем информа­цию из жур­налов веб‑сер­вера. Одна­ко сце­нарии и методы мож­но лег­ко изме­нить для работы с дан­ными прак­тичес­ки любого типа.

https://xakep.ru/2020/12/02/bash-and-cybersecurity-chapter7/

Тест Шапиро-Уилка является тестом на нормальность. Он используется для определения того, соответствует ли выборка нормальному распределению .
Этот тип теста полезен для определения того, исходит ли данный набор данных из нормального распределения, что является распространенным предположением, используемым во многих статистических тестах, включая регрессию , дисперсионный анализ , t-тесты и многие другие.

https://www.codecamp.ru/blog/shapiro-wilk-test-r/

Что такое MLOps? Операции машинного обучения на пальцах

В этой статье я расскажу вам об операциях машинного обучения (MLOps) — области, которую можно охарактеризовать как DevOps для машинного обучения.

До недавнего времени неотъемлемой частью нашего обучения было знакомство со стандартным жизненным циклом разработки программного обеспечения (SDLC). Он начинается с анализа требований, затем следует планирование, проектирование и дизайн, разработка, тестирование, развертывания и, наконец, техническое обслуживание.

https://habr.com/ru/companies/otus/articles/660313/

5 столпов MLOps

https://vc.ru/u/639152-glowbyte/230302-5-stolpov-mlops

Введение в Python.

«Техносфера Mail.ru Group» при МГУ им. М. В. Ломоносова.
Курс «Введение в анализ данных».
Лекция № 1 «Введение в Python».

Цель курса — познакомить слушателей со сферой анализа данных, основными инструментами, задачами и методами, с которыми сталкивается исследователь данных в работе.

#видео 📺

С айтишного на русский: 100+ слов для понимания разработчиков

https://vc.ru/flood/630832-s-aytishnogo-na-russkiy-100-slov-dlya-ponimaniya-razrabotchikov

Мощь Python на все случаи жизни: анализ данных и решение бизнес-задач.

На вебинаре расскажем, как аналитики и разработчики в IT-компаниях решают массу поставленных задач с помощью Python – от сбора и анализа данных до проведения аналитики и внедрения моделей машинного обучения. Покажем, что осваивать Python под руководством опытного преподавателя не страшно. Также объясним, как освоение анализа данных на Python может ускорить вашу профессиональную карьеру.

#видео 📺

Пакет pandas — это самый важный инструмент из арсенала специалистов по Data Science и аналитиков, работающих на Python. Мощные инструменты машинного обучения и блестящие средства визуализации могут привлекать внимание, но в основе большинства проектов по работе с данными лежит pandas.

Название pandas происходит от термина «панельные данные» (англ. panel data). В эконометрии это многомерные структурированные наборы данных.

https://pythonist-ru.turbopages.org/pythonist.ru/s/polnoe-rukovodstvo-po-pandas-dlya-nachinayushhih/

Анализ данных на Scala — суровая необходимость или приятная возможность?

Традиционными инструментами в сфере Data Science являются такие языки, как R и Payton - расслабленный синтаксис и большое количество библиотек для машинного обучения и обработки данных позволяет достаточно быстро получить некоторые работающие решения. Однако бывают ситуации, когда ограничения этих инструментов становятся существенной помехой — в первую очередь, если необходимо добиться высоких показателей по скорости обработки и/или работать с действительно крупными массивами данных. В этом случае специалисту приходится, скрепя сердце, обращаться к помощи "темной стороны" и подключать инструменты на "промышленных" языках программирования: Scala, Java и С++.

далее

Топ-13 библиотек Scala для анализа данных

Последнее время язык Scala стал обширно применяться специалистами Data Science. Он приобрел популярность в основном благодаря появлению Spark, который написан на Scala. На практике, часто на этапе исследования анализ и создание модели выполняются в Python, а затем реализуются в Scala, поскольку этот язык больше подходит для production.

https://h.amazingsoftworks.com/ru/company/newprolab/blog/459172/