Всем привет!
Сегодня я решил арендовать простенький VPS для того, чтобы там крутились PostgreSQL и всякие Python скрипты)
Долго искал, где есть возможность буквально в пару кликов всё настроить и чтобы было недорого, и остановился на beget.com (не реклама, если что).
Хочу для начала перенести один свой учебный проект. Когда всё получится, я запилю об этом пост.

@nullpp #PostgreSQL #VPS #Python

Всем привет! :)
Как часто вам приходится генерировать какие-то данные? Бывает так, что создание синтетических данных просто необходимо. Например, для заполнения пропусков в датасете.
Кто-то скажет, что лучше удалить все пропуски и фиг с ним! Но это может привести к нежелательным последствиям.
Например, если удалять строки, то мы можем потерять большой объем данных или это может внести различного рода смещение (если пропуски не случайны). А если удалять столбцы, то мы можем потерять потенциально полезный признак для анализа.
Поэтому сначала смотрят каков процент пропусков и уже потом решают, что с ним делать. Может и действительно, легче удалить 15 строк из 10000, чем возиться с ними.
Для исправления ситуации обычно используется что-то, что очень быстро и легко "вставить".
Самый распространенный пример - это замена статистическими показателями. Это может быть среднее значение mean, медиана median или мода moda (часто встречающееся значение, обычно используется для категориальных данных).
Или можно просто заменить константой, предыдущим значением, интерполяцией.
А можно сгенерировать значение, подчиняющееся необходимым нам правилам.
Изучающие python, уверен, прекрасно знают модуль rnd для генерации. Но я, выполняя один учебный проект, наткнулся на интересную библиотеку faker, которая умеет генерировать не только числа, но и много всего интересного.
Вот простой пример использования этой библиотеки.
Сначала стандартная установка модуля:
pip install faker
А затем его использование:

from faker import Faker
fake = Faker('ru_RU')
print(fake.country())
print(fake.city_name())
print(fake.user_name())
print(fake.email())

И вот, вооружившись faker-ом и random-ом, я пошёл выполнять проект по генерации чеков продуктовых магазинов =)
О том, что у меня получилось, я расскажу в следующем посте.

@nullpp #Python #пропуски #генерация_данных

Жаль, что hh закрывает диалог сразу после отказа компании xD

Так) Я вчера обещал статью... Но в телегу она не сильно влезает. А точнее - совсем не влезает. А премиум для такого я нехочу покупать, ахахах)
Поэтому оформил на линкедин:
https://www.linkedin.com/pulse/%25D0%25B3%25D0%25B5%25D0%25BD%25D0%25B5%25D1%2580%25D0%25B0%25D1%2586%25D0%25B8%25D1%258F-%25D1%2581%25D0%25B8%25D0%25BD%25D1%2582%25D0%25B5%25D1%2582%25D0%25B8%25D1%2587%25D0%25B5%25D1%2581%25D0%25BA%25D0%25B8%25D1%2585-%25D0%25B4%25D0%25B0%25D0%25BD%25D0%25BD%25D1%258B%25D1%2585-mikhail-kolchar-t0xde

А для тех, кому лень заморачиваться с доступом, я продублирую в telegra.ph. Только картинки там чото не грузятся...
Upd. Вроде грузятся

https://telegra.ph/Generaciya-sinteticheskih-dannyh-10-10

А ещё я принял активное участие в написании наших (Денвика) статей по созданию интересных визуализаций в DataLens. Сегодня их как раз опубликовали в общем доступе)

Чарты с использованием функций AGO() и AT_DATE()
https://vk.cc/cQfqKe

Добавление всплывающей подсказки в чарт-таблицу
https://vk.cc/cQfqMD

#Яндекс #Yandex #DataLens #Денвик

Всем привет!
Наконец-то я занялся финальным проектом в своём обучении. Сначала создал БД и таблицы в ней для будущей выгрузки.
Написал на Python сбор данных от предоставленного API с последующей выгрузкой полученных данных в PostgreSQL.
Создал пока что первую страницу дашборда, которая должна дать общую картину состояния бизнеса, показать ключевые метрики и их динамику во времени. Это "дашборд для руководителя", который отвечает на вопрос "Как идут наши продажи в целом?"
Когда я доделаю всё, и работу оценят, я выложу исходники + ссылку на дашборд)

@nullpp #Python #PostgreSQL #Учеба

А давайте я немного поясню, что происходит)
Вторая вкладка "Анализ продаж маркетплейса" позволяет понять портрет и поведение клиентской базы. Ответить на вопросы "Кто наши клиенты?" и "Насколько они лояльны?". На ней, кроме индикаторов (которые и так понятны), присутствует ещё несколько табличек.
В списках Топ покупателей по количеству заказов и по сумме затрат можно менять количество значений с помощью селектора.
Таблица RFM-анализа формируется "на лету" по SQL-запросу к БД, учитывая параметры ПЕРИОДА, и выдаёт актуальный результат на заданный период в дашборде.
Когортный анализ формируется "на лету" по SQL-запросу, учитывая параметры ПЕРИОДА. Анализ строит помесячные когорты, так как покупки сами по себе дорогие и нечастые. Показывает % уникальных клиентов от первого периода.
LTV также формируется "на лету" по SQL-запросу, учитывая параметры ПЕРИОДА. Сам анализ строит помесячные когорты, так как покупки сами по себе дорогие и нечастые. Показывает среднюю выручку на уникального клиента.

Третья вкладка "Анализ товаров" позволяет оценить эффективность товарного ассортимента. Ответить на вопросы "Какие товары продаются хорошо?", "На каких товарах мы больше всего зарабатываем?" и "Какие товары неликвидны?".
В списках Топ и Антитоп можно менять количество значений с помощью соответствующего селектора.
Особенность таблицы ABC/XYZ-анализа в том, что она (как и на предыдущей вкладке было) формируется "на лету" по SQL-запросу к БД, учитывая параметры ПЕРИОДА и МАСШТАБА. То есть выдаёт актуальный результат на заданный период в дашборде.
+ Есть градация по цвету для ABC/XYZ (зелёный-жёлтый-красный) для быстрого понимания результата.
P.S. на второй вкладке по цветам также сделан RFM-анализ

Всем привет!
Мою работу проверили и дали отличный фидбек. Все советы и замечания я уже поправил, поэтому могу представить на общее обозрение)
Гит: https://github.com/mishandri/DA-final-project
Сам дашборд (светлая тема): https://datalens.yandex/6eiukr5xyukyr?_theme=light
Сам дашборд (тёмная тема): https://datalens.yandex/6eiukr5xyukyr?_theme=dark

А ещё я очень рад, что завершил данный курс обучения. Это было очень классно, познавательно и очень-очень интересно.

В планах у меня теперь завершить курс по "BI-аналитике" (остались финальные задания), а затем я приступлю к курсу "Инженер данных", который тоже обещает быть не менее клёвым

Всем привет!
Ведёте ли вы записи того, что возможно потом пригодится?
Перед тем, как я начал учиться на аналитика данных, я просто сохранял все найденные интересные страницы в закладках, а интересные посты в ВК или в ТГ просто в избранном. И там до сох пор большущая куча неразобранных статей, до которых уже очень долгое время не доходят руки, чтобы всё разобрать и каталогизировать.
Я стал задаваться вопросом: а как бы поудобнее всё это начать хранить, чтобы потом ещё и искать было легко.
Простое гугление предлагало использовать всякие сервисы по типу OneNote (в общем-то я его уже использовал, но он слишком тормознутый и глючный как по мне), Evernote (тоже как-то было дело, но отказался из-за ограничений в бесплатной версии) или Notion, который ушёл из России и судя по новостям начал удалять все данные даже тех, у кого была подписка...
Были предложены и другие сервисы, но практически все они либо были платными, либо бесплатные версии были настолько ограничены, что ими было бы невозможно пользоваться.
К тому же, ситуация с Notion показала, как можно потерять все свои записи по желанию их создателей.
И я наткнулся на Obsidian, который умел всё, что мне было необходимо + все данные можно хранить локально в формате MarkDown.
Что мне очень понравилось:
+ Гибкая настройка практически всего, чего можно. Очень много всяких настроек.
+ Приятный и интуитивный интерфейс + куча готовых цветовых схем на любой вкус.
+ Возможность устанавливать всякие расширения.
+ Использование тегов для каталогизации документов.
+ Создание и использование нескольких хранилищ.
Но не обошлось и без минусов... И самый главный - это платная синхронизация между устройствами.
Все советовали создать приватный репозиторий на гитхабе и выгружать всё в него. Но это надо было постоянно делать лишние действия пуши перед редактированием и пуллы после...
Но тут я решил пойти более простым путём и реализовать это всё "своими силами") Почему в кавычках? Потому что это делает за меня Я.Диск =)
Я просто создал папку в Я.Диске, в которой у меня хранятся все мои хранилища данных.
Например, если я правлю документ на компьютере, он сразу же выгружается на мой Я.Диск, а затем синхронизируется с Я.Диском на ноуте. И наоборот. Работает идеально!
На телефоне сделал аналогичную штуку: в Я.Диске можно настроить автоматическую синхронизацию помеченных папок.
К тому же, Я.Диск позволяет восстанавливать удалённые или изменённые файлы, то есть я имею возможность работать с резервными копиями, если вдруг что.
+ в браузере есть расширение Markdown Web Clipper, которое в один клик делает из страницы md-файлик, готовый для размещения в Obisdian.

@nullpp #обучение #obsidian #записи

Всем привет!)
Пригласили меня в эфир =) Поделиться своим опытом обучения, и не только

🎓 Как наши студенты «входят в аналитику с ноги» — истории, которые вдохновляют

Каждый пришёл в аналитику своим путём. Кто-то из маркетинга, кто-то из образования, кто-то вообще из другой сферы. Но всех объединяет одно — желание разобраться в данных и построить новую карьеру.

На нашем вебинаре вы услышите реальные истории студентов Simulative, которые начинали с нуля и уже работают аналитиками. А пока — ловите короткие истории первых героев (в кружочках выше)👆

Ждем вас на вебинаре, чтобы услышать полные версии!

📅 Сегодня, 11 ноября, 19:00 МСК
🎁 Среди участников — розыгрыш сертификатов на обучение!

До встречи!