И вдогонку про карьерные возможности: ищу middle / senior инженера данных с прикладным опытом работы в Clickhouse (репликации, шардирование, вывстраивание архитектуры at scale).
Если вы такой и ищите работу, напишите, плз, в ЛС, обсудим.

Алексей Колоколов задумал интересную инициативу, краш-тест российских bi-систем. В когорту подопытных кроликов также попал и Mprove, поэтому посмотрим на фидбек Алексея о нашем инструменте.

Кстати, у Алексей, к сожалению, потерял доступ к аудитории своего телеграм-канала, поэтому если вы были подписаны и не нашли канал, то скорее подисывайтесь, да и в целом, подписывайтесь!

Пара слов о датавизах на актуальную тему 🖼

Как никогда актуально визуально посмотреть из чего состоит экономика страны и каково в ней участие всего мира. Сегодня несколько ярких примеров отличной визуализации данных, которые можно изучить, как с экономической точки зрения, так и с точки зрения аналитической.

1. Доля российского газа в потреблении стран Европы⛽️. Классический и крайне наглядный датавиз: страны отсортированы по основному показателю, цвет гистограммы также дублирует уменьшение зависимости от российского газа. И все же это выглядит как-то простовато, не думаете? Поэтому переходим к следующему.

2. Все, что вам нужно узнать про мировые добычу и потребление российской нефти 🛢. Тут и абсолютные величины, и проценты в российском экспорте. Круто, красиво, репрезентативно, продуманно до мелочей! Разве что, не вполне понятно, как интерпретировать цвет в различных сегментах датавиза.

3. Пожалуй, самый злободневный: график количества украинских беженцев в сравнении с другими кризисами, которые также повлекли за собой кратное увеличение потока миграции. Минималистично, но в то же время достаточно подробно.

Продолжаем искать спикеров! 🎤

Мы продолжаем запись подкастов и ищем гостей. И уже в самое ближайшее время опубликуем первый выпуск об онлайн-курсах по аналитике данных 🔥

Сейчас открываем поиск спикеров для выпуска о зарубежном образовании! Если у вас был опыт обучения аналитике данных и data science в зарубежных университетах, просим написать краткий рассказ в личные сообщения моей коллеге Милане (@Milanchezaa) 🙂

Что отметить в рассказе:
1. Где обучались и в каком формате (удаллено / оффлайн)
2. Как долго проходило обучение и и закончили ли вы его?
3. Добавьте от себя краткое впечатление, чем хотите поделиться: что понравилось, какие были нюансы и т.д.?

В случае, если ваша история покажется интересной, мы попросим записать голосовые сообщения, которые опубликуем в подкасте и выложим на всех доступных сейчас платформах.

Заранее благодарим всех, кто откликнется! 🙂

Open-source альтернатива вашему Firebase

Делюсь своей недавней находкой – сервисом AppWrite. Как они сами себя позиционируют, это безопасный сервер с открытым исходным кодом для веб-разработчиков, мобильных разработчиков и разработчиков Flutter.
Грубо говоря, этот сервис предоставляет разработчикам все основные API-интерфейсы, необходимые для создания любого приложения, а также позволяет хранить все данные о пользователях и их действиях в приложении или на сайте.

#opensource

Раньше уже была ссылочка на визуальный туториал по pandas.
А сегодня — визуализизатор SQL-запросов.

#ссылка

Рисуете диаграммы и блок-схемы? 📊

Наверняка вы знаете про сервис Lucidchart – бесплатное приложение для отрисовки любых диаграмм. Однако, часть фичей там платная, да и всегда приятно иметь больший выбор, когда дело касается приложения для визуализации.

Итак, расширим горизонты возможностей. Вдруг, вы не знали: с помощью приложения diagrams.net можно создавать диаграммы, блок-схемы и любую другую инфографику. Данные в безопасности, профессиональные инструменты в вашем распоряжении. Также, можно с легкостью поделиться результатами творчества с коллегами.

Шах и мат по миграции из BigQuery в Clickhouse?

Новость для счастливых обладателей Mac 🍏

В мире, конечно, уже очень много клиентов для работы с той или иной базой SQL, но по удобству они весьма сильно различаются. У клиента Postico простой и современный интерфейс, что делает Postgres на Mac доступнее как для новичков, так и для аналитиков-профессионалов. Postico очень Mac-friendly сервис, поэтому любому пользователю MacOS будет легко разобраться с основным функционалом.

Растущим трендом 21 века стал рост потока данных, которые надо уметь обрабатывать и оценивать (например, используя исторический критерий или метод аналогий). Этап анализа все чаще требует применения машинного обучения, освоение которого в последние пять лет стало доступным каждому (например, так можно проводить классификацию на основе правил).
Тернистый путь к карьерному успеху бросает вызовы вашей эффективности и стрессоустойчивости, поэтому развитие софт-скиллов так же остается приоритетным направлением.
Все это в комплексе разбирается автором канала "AI анализ и развитие", имеющим богатый опыт в области аналитики.

Open-source альтернативы Slack
Групповые чаты с возможностью разделения тем обсуждения на отдельные ветки – треды – стали крайне удобным способом ведения рабочей и учебной коммуникации. Такие чаты организуют и структурируют обсуждения обучающихся на крупных онлайн курсах и, конечно, сотрудников компаний. Основным таким инструментом заслуженно считается Slack.
Однако в связи с последними событиями один из самых удобных клиентов для подобной коммуникации – Slack – начал блокировать некоторые рабочие профили российских компаний (на самом деле компаний, у которых привязана российская карта к оплате). И чтобы обойти блокировку нужно сменить платежный инструмент, но не обязательно, ведь существуют любопытные альтернативы.
Сегодня мы подготовили для вас подборку классных open-source альтернатив, на которые можно перейти.

📍 Zulip — инструмент совместной работы, который одинаково хорошо подходит как для живого, так и для асинхронного общения. Есть во всех форматах (web, desktop, mobile), а также, существуют интеграции с 90+ сервисами, которые используются в работе многими IT-компаниями.
📍 MatterMost – сервис, наиболее похожий на Slack как по визуальной составляющей, так и по функционалу. Красиво, лаконично и привычно, что поможет переехать из Slack практически безболезненно.
📍 Element – достойный конкурент двух предыдущих сервисов. Более минималистичен, плюс у него есть интеграции с Telegram и другими сервисами. Element работает на Matrix (программном обеспечении, которое использует сквозное шифрование для всех сообщений), что делает его наиболее безопасным решением. Также, в этом сервисе есть заметки, которые очень удобно использовать в процессе работы или во время созвонов.
📍 Wire – сервис, который позиционирует себя как са-а-амый безопасный из всех доступных альтернатив. Его особенность – качественно проработанные форматы коммуникации: обмен файлами, голосовые и видеозвонки и мессенджер. В отличие от Slack, который размещается на хостинге, Wire можно развернуть в облаке, локально или в частном облаке.
📍 Rocket.chat – инструмент предназначен для взаимодействия с клиентами и DevOps, чтобы поддерживать рабочий процесс, поскольку он централизует все инструменты на одной платформе. Такая централизация связи по проекту гарантирует, что вы не пропустите никакой информации, а ваша команда улучшит работу, поскольку все клиенты, поставщики и партнеры подключены к Rocket.Chat.

#подборка
@leftjoin

Data Heroes — подкаст о супер-героях в области данных и аналитики🦸🏻🦹🏻‍♀️

Осенью мы проводили большое исследование о рынке онлайн-школ (помните этот дашборд?). Исследование вызвало бурное обсуждение, поэтому мы его расширили, связались с участниками и попросили дать аудио-комментарий о прохождении курсов по анализу данных и другим направлениям.

Так родился наш первый выпуск подкаста! Делать этот выпуск было о-о-очень интересно: равнодушные преподаватели и отсутствие обратной связи за 100 тысяч – пожалуйста! Крутой старт в новой карьере за те же деньги – тоже без проблем.
В этом выпуске мы подготовили для вас не только захватывающие истории, но и рекомендации "как не выкинуть деньги на ветер".

Также будут комментарии с противоположной стороны: от Анатолия Карпова и Алексея Макарова.

Слушайте подкаст в:
Spotify
Anchor
Apple Podcasts
Castbox
Яндекс
Telegram (↓)

Если вам нравится такой формат – оставляйте реакции и мы будем продолать выпускать подкасты! 🔥

#подкаст #dataheroes

В прошлой версии подписчики нашли баг в аудио телеграмма, поэтому обновляю файл с записью 🎧

💱 Разбираемся с криптовалютами вместе: как легко и просто парсить данные? 💸

Все мы сейчас живем в удивительные времена. Еще недавно вложения в криптовалюту были одними из самых высокорисковых и многие инвесторы предпочитали более стабильные варианты инвестиций: акции и облигации компаний, в особенности “голубых фишек“. Теперь, когда в эти ценные бумаги вера уменьшилась, инвесторы и люди, которые просто хотят застраховать свои сбережения, стали разбираться в криптовалютных биржах и открывать там счета.

Мы тоже всерьез этим заинтересовались и выпустили небольшой гайд с подробными скриптами о том, как получать нужную информацию о валютах и обрабатывать всю информацию на бирже быстро. Снабжаем вас подходящими инструментами для анализа криптовалют, чтобы принимать взвешенные решения.

🐙 Осьминог и кенгуру теперь дружат: Airbyte купили Grouparoo 🦘
В марте мы уже вам рассказывали про одну большую сделку (Snowflake купил Streamlit) и объяснили, почему соединение двух компаний – важно. Сегодня мы поговорим о другой большой сделке, которая не только выглядит мило (↑), но и также важна по своей сути.

Разберемся, что здесь интересного

В пятницу Airbyte (open-source ETL-платформа) объявила о приобретении Grouparoo (open-source стартап, который помогает предприятиям синхронизировать данные между хранилищами данных и облачными сервисами). Таким образом, услуги, которые предлагает Airbyte, дополняются новыми “недостающими” деталями: Осьминожка фокусируется на загрузке данных в хранилища, а Кенгуру специализируется на операционализации этих данных.

Обе компании не раскрыли цену приобретения, однако, скорее всего, цена сделки исчисляется несколькими миллионами долларов.

Теперь нам с вами остается с нетерпением ждать, как именно будет улучшен и дополнен сервис Airbyte в результате этой сделки :)

Сервис онлайн-обучения цифровым профессиям Яндекс Практикум запускает программу обучения по специальности «Инженер данных». Курс предназначен для студентов с как минимум базовым знанием SQL и Python — перед стартом необходимо пройти тест.

Авторы и преподаватели – практикующие эксперты ведущих российских IT-компаний.

Длительность — 6,5 месяцев.

Курс на 75% состоит из практических занятий – по окончании программы в вашем портфолио будет не менее 10 проектов.

Вы научитесь:
- работать с технологиями Python, SQL, Metabase, Airflow, PostgreSQL, MongoDB, ClickHouse, Celery, Kafka, Hadoop, Apache Spark, Spark Streaming и Yandex.Cloud
- извлекать, очищать и сохранять данные
- создавать и поддерживать хранилища типов Data Warehouse и Data Lake
- работать со стриминговой обработкой данных и облаками

Претендовать на работу по новой специальности студенты курса смогут уже в ходе обучения – с поиском вакансии помогут специалисты карьерного центра Яндекс Практикум.

Запись на курс открыта, старт занятий для ближайшего потока студентов – 18 апреля.

Стоимость курса:
95 000 рублей при разовой оплате, при оплате в рассрочку – 17 000 рублей в месяц.

По завершении программы студенты получат диплом о профессиональной переподготовке.

Запись на бесплатную вводную часть и подробности по ссылке.

#реклама

Децентрализованный Twitter? Что?

Уже некоторое время популярной темой для обсуждения считается Web3.0 (клевая статья у вастрика на этот счет).
Недавно на просторах сети я наткнулся на новую open-source социальную сеть – Mastodon. Ее основное отличие – децентрализованность. Каждый пользователь может развернуть эту соцсеть на своем сервере со своими правилами, целями и так далее. Личные данные в полной безопасности, ведь они не передаются на общий сервер, а остаются лишь у вас. Можно подписываться как на пользователей внутри одного сервера, так и на любых других пользователей сети, делиться контентом, выкладывать фотографии и оставлять коменты. Поскольку в этой соцсети нет услуг для монетизации контента, она не может обанкротиться или быть заблокированной (сейчас это кажется весьма актуальным!). А еще там нет рекламы (ну, пока), в общем, сплошные плюсы 😎

Совершенно удивительные достижения из мира AI

Еще одна новость про AI-модель: DALL·E 2 — новая система искусственного интеллекта, которая может создавать реалистичные изображения и рисунки исходя из описания на естественном языке. Ну, то есть, вы даете на вход модели данные: “An astronaut riding a horse in a photorealistic style”, а получаете вот такое изображение ⚡️
А еще модель может:
▫️ добавлять и удалять элементы, принимая во внимание тени, отражения и текстуры
▫️ вдохновиться оригиналом картины, рисунка или фотографии и создать изображение в похожем стиле
Модель уже очень занимательно повертели в этой статье. Брам Адамс тоже проверил, как работает модель: особенно интересно, как она придумывает постеры и обложки для музыкальных альбомов. Музыканты теперь могут вообще не тратить на то время, а лишь набрасывать идеи и поручать DALL·E всю креативную работу.
У меня и моей команды совершенно нет слов, это настоящий прорыв в мире AI. Не терпится пощупать и проверить все своими руками (подали заявку, ждем)!

#leftjoin_ai

Самая скучная профессия?
Исследование Университета Эссекса определило портрет самого скучного человека в мире — это религиозный специалист по вводу данных, который любит смотреть телевизор и живет в городе. А самой скучной профессией стал Data Analysis.