Одно из главных и самых интересных свойств (если можно так назвать) из статистике это нормальное распределение.
Вот неплохая статья рассказывающая про это
https://medium.com/nerd-for-tech/normal-distribution-a86790e86406

#ссылки

🐼
Pandas, наверное, является самой часто используемой библиотекой любого ds, но о многих ее функциях мы даже не подозреваем, а там достаточно много, и некоторые из них могут упростить вашу работу.
Очередная подборка «скрытых» функций pandas
https://towardsdatascience.com/25-pandas-functions-you-didnt-know-existed-p-guarantee-0-8-1a05dcaad5d0

#ссылки

Советы по оформлению страницы на LinkedIn 👨🏻‍🔬📑
Для меня на данный момент не особо актуальная штука, но вдруг кому-то понадобится)

https://youtu.be/B4OhuzwLc9o

#ссылки

10 хитростей с ноутбуками Jupyter

P.s. если закончились бесплатные просмотры, включите режим инкогнито

https://betterprogramming.pub/10-must-know-jupyter-notebook-tricks-51baea31922

#ссылки

Наконец-то я узнал что такое это ваше О большое

О большое помогает понять насколько один алгоритм работает быстрее другого.
Например есть задача найти какой-то элемент в отсортированном (это важно) списке, пусть это будет список от нуля до 100
Можно применить самый простой способ - линейный поиск. В этом случаи мы просматриваем каждый элемент начиная с первого [1,2,3 … 100]. Если нам необходимо найти элемент 59 в этом списке, то нам понадобиться 59 шагов.
Теперь попробуем использовать другой алгоритм, а именно бинарный поиск. Попробуем опять найти элемент 59 в нашем списке, для этого мы будем брать центральное число в нашем списке и сравнивать его с 57 и если наше число больше то берем большею половину, а если меньше, то меньшию:
59 больше чем 50? да поэтому берем только половину списка - от 50 до 100
59 больше чем 75 (центр списка от 50 до 100) больше? нет, поэтому оставляем только числа от 50 до 75
и так далее пока не придем к числу 59
В этом случаи нам понадобиться 7 шагов. Но как нам заранее узнать сколько шагов (максимум) понадобиться?
С линейным поиском это достаточно просто. Для списка из 100 элементов, нам может понадобиться максимум 100 шагов, для списка из 1000 - 1000 шагов. Если длинна списка равна n, то O(n)=n
А для бинарного поиска ситуация чуть сложнее) Мы каждый раз делим наш список на 2 и поэтому чтобы почитать сколько шагов нам понадобиться нужно взять log2(100) (логарифм 2 от 100) или в какую степень нужно возвести 2 чтобы получилось 100 (или больше) ответом является 7, для 1000 это будет 10, получаем О(n) = log2(n)

Если хотите поподробнее узнать про это, рекомендую прочитать книгу грокаем алгоритмы

#учу

В какой раз уже убеждаюсь, что если стоит выбор: сделать что-то ручками или написать код, то лучше написать код, даже если это займет больше времени.
Иногда необходимо исправить или доработать раннее сделанную задачу, в случаи с кодом это дополнительные пару строк, а в случаи, если делали ручками, то придется переделывать заново.

❌И код нужно сохранять в более-менее читабельном виде и не использовать один notebook для решения разных задач, код которых будет перекрывать друг друга.

#мнение

Имея - не ценим, потерявши - плачем.

Часто и не задумываешься, насколько, те программа, которыми пользуемся, продуманны и сложны в реализации.

Сейчас одной из рабочих задач является перенос отчета с Power Bi в Superset.

Superset - классный Bi инструмент, но ему еще далеко до возможностей и простоты использования Power Bi. Superset не очень хорошо работает из коробки, он менее интуитивно понятен, по нему меньше обучающих материалов.

Конечно, Power Bi вышел намного раньше, и Superset, возможно, через время догонит и даже обгонит. Но я то отчет делаю сейчас)

Ну и не стоит забывать о стоимости решения и доступности (в условиях санкций).

#мнение

Ну все, теперь я блогер!

Выпустил ролики про запуск python скрипта в NiFi

https://youtu.be/PGjqC_PixcE

#видео

📖 Сделал сайт на который буду выкладывать обучающие материалы в текстовом формате📚

http://datamisha.ru

#статьи

Если хотите протестить что такое Airflow, NiFi, Superset, то их необязательно устанавливать себе на компьютер. Хватит google colab

https://medium.com/@data_ninja/google-colab-%D0%B2-%D0%BE%D0%BD%D0%BB%D0%B0%D0%B9%D0%BD-%D0%BE%D0%B1%D1%80%D0%B0%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B8-cea214d09f4e

#ссылки

Find and Replace

🤔Думаю многие знают и пользуются такой замечательной штукой как «найти и заменить».

🤷Я тоже знал и пользовался этим уже давно, но в jupyter notebook никогда не пользовался, не знал об этом, а это там есть и пользоваться этим весьма удобно, например можно с легкостью изменить названия переменной в нескольких местах.

🔥А учитываю, что применяется Find and Replace только к одной ячейки, а не ко всему файлу, то становится еще удобней!

👨🏻‍🏫Для применение:
1. выбрать ячейку
2. нажать «esc»
3. нажать «f»

#учу

🎉Дочитал книгу «Практический анализ временных рядов»

📖Если вы не знакомы или мало знакомы с временными рядами, но очень хотите с ними познакомиться, то это точно книга для вас

👨🏻‍🔬За 550 страниц книга познакомит вас со всем, что вы должны знать про эту тему: получение, хранение, различные виды прогнозирование временных рядов и многое другое

Конечно, после прочтения вы вряд ли станете супер-бупер мастером, но вы точно поймете в какую сторону копать дальше

🔥На следующей неделе скину конспект

Если кому-то надо, то в коменты приложу pdf

#развиваюсь

✒️Опубликовал статью про путь в ds на vc

https://vc.ru/hr/538447-realnyy-put-v-data-science

#статьи

🛠️
Решил не много рассказать про свои рабочие инструменты.

Начнем с программы для работы с базами данных.

В моем случаи это DBeaver.

Он может подключение ко всем, хоть не много распространенными бд. Сам устанавливает необходимые драйвера, переведен на русский, можно работать с базами данных через графический интерфейс (без sql), да и интерфейс у него поприятней, чем у конкурентов.

Пока с какими-то сложными задачам не сталкивался. Возможно, в них DBeaver будет выглядеть не очень, но на данный момент он меня полностью устраивает.

❓А какой программой для работы с базами данных пользуетесь вы?

#учу

🚀
Вторая попытка залететь на хабр)

https://habr.com/ru/sandbox/180698/

#статьи

❌
Думаю многие встречались с подобными ошибками:
\u041f\u0435\u0440\u0435\u0434\u0430\u043d \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0439

Проблемы с кодировкой.
Раньше думал что расшифровать это нельзя, но сегодня узнал, что можно)

Сайт для расшифровки:
https://www.online-decoder.com/ru

#учу