А знаете ли вы, что из себя представляет ваше любимое приложение банка, доставки еды или даже сайта знакомств?
Для нас, конечных пользователей, все выглядит очень просто: мы совершаем простые действия вроде перевода денег или свайпа вправо. Но ведь таких пользователей одновременно может быть миллионы каждую секунду! Все совершают разные действия, и каждый должен остаться доволен работой приложения! Учитывая этот факт, невольно задумываешься, что же все таки представляет из себя это приложение? Вряд ли это просто парочка скриптов, написанных на Python!

В докладе, с которым мы предлагаем вам ознакомиться, Кирилл Ветчинкин рассказывает про один из самых современных подходов к построению приложения, про микросервисную архитектуру. Он рассказывает, когда стоит ее использовать, какие у нее есть особенности, и какие подводные камни могут встретиться ее разработчикам.

Основные мысли из доклада Кирилла
👍 Микросервисная архитектура используется для разработки высоконагруженных приложений, в то время как монолитная лучше всего годится для небольших проектов.
👊 Взаимодействие микросервисов между собой организовано при помощи общей шины, которая транслирует сообщения, в качестве реализации этой шины используют менеджеры сообщений, типа Apache Kafka.
👍 Разделение приложения на микросервисы должно осуществляться не по слоям, а по функциям, которые они выполняют.
👊 Один микросервис должен решать типовые задачи, которые могут присутствовать в другом проекте.

Но это лишь тезисы его доклада, а всю историю целиком мы советуем вам послушать в полной версии доклада.
#краткий_пересказ

Больше никаких споров Python vs. Excel — силы объединяются
Microsoft продолжает радовать пользователей инновациями, представив публичный просмотр новой функции — внедрение Python в Excel. Кажется, анализ данных в Excel и больше не будет прежним (а также закончатся многолетние споры о том, какой инструмент для этих целей лучше)!

Рассказываем подробно
🔵 Python на базе Excel будет работать через облако Microsoft Cloud (кстати, тут можно посмотреть скриншоты обновленного интерфейса).
🔵 Новая интеграция предоставит возможность визуализации данных и построения графиков в Python, сохраняя привычное использование формул, диаграмм и сводных таблицы Excel. Cложные формулы, которые раньше приходилось муторно конструировать в ячейках Excel, можно будет заменить парой строк кода на Python без перехода в отдельный ноутбук!
🔵 Благодаря сотрудничеству с Anaconda, основные библиотеки для анализа данных, такие как pandas, statsmodels и matplotlib, также появятся в Excel.

Как потестить?
Интеграция Python в Excel уже доступна для пользователей Microsoft 365 Insiders, официальногo сообществa бета-тестеров MS. Первоначально эта функция будет доступна только пользователям Windows. Будет ли она платной или бесплатной потом — покажет время.

Ставьте реакции, посмотрим, что думает большинство — это возрождение Экселя 🦄 или MS поздновато опомнились 🤔?

Мало собрать данные — надо уметь их визуализировать 👀
Неструктурированные данные на 100 листах, какими бы ценными они ни были, вряд ли принесут много пользы. Но просто собрать их в табличку или нарисовать график мало: визуализация данных (если короче — датавиз) должна быть логичной, полной и не слишком сложной.

Не всегда непонятные графики — следствие искреннего неумения составлять их
Иногда это сознательный ход.

Сравните графики на картинке выше. Информация на них одинаковая: оба показывают, сколько процентов машин разных марок остаются на ходу спустя 10 лет после покупки. А вот эффект они производят разный из-за того, что на левом шкала Y начинается не с 0. Если не приглядываться, то можно и не распознать попытку манипулировать вашим восприятием.

Даже если вам не приходится строить графики на работе, будет не лишним научиться подмечать такие вещи
Кажется, это очень простые и банальные мысли? Тогда проверьте себя с помощью теста на знание правил гигиены датавиза “Bar or Pie”.

Мы знаем о датавизе очень много — от базы до цветовых приемов, но редко об этом рассказываем. Если вам хочется чаще читать об этом в нашем канале — дайте нам знать любой вашей любимой реакцией!

Если не знаете, как подступиться к SQL — начните с этого гайда
Сразу предупреждаем: с телефона ссылку лучше не открывать.

Авторы поставили себе задачу создать понятный, современный и дружелюбный к новичкам документ. В целом, у них получилось, но есть одно «но». О нем в конце, а пока расскажем, что интересного там есть:

🔵 Самые основы — что такое SQL и как устроены базы данных;
🔵 Анатомия запросов с разбором, из чего они состоят, как пишутся и какие вообще бывают;
🔵 Доступное описание возможностей SQL — от базовых операций до более сложных концептов вроде CTE, оконных функций и подзапросов;
🔵 Практические вопросы на закрепление материала.

Гайд представляет собой большую доску разделенную на несколько блоков. Чтобы облегчить навигацию по документу, авторы сделали карту. Можете начинать чтение с начала или переходить сразу к самому интересному.

Документ получился крутой! Пригодится и начинающим, и тем, кто с SQL знаком, но хочет освежить знания. Единственный недостаток на наш взгляд — это формат. Авторы использовали сервис Count.co — похожий на Miro инструмент для аналитиков данных. С гуглдоками работать привычнее, а такая подача в виде огромной тяжелой доски кажется пугающей.

А что думаете вы?👀

Не любите данные? Вы просто не умеете их готовить
Уверены, что все наши подписчики любят данные, но не удержались от этой шутки.

Знаете, что такое Mise en place?
Это французский кулинарный термин, который переводится как «ставить на место». Так называют подготовку ингредиентов, когда повара заранее отмеряют, нарезают и раскладывают по мискам продукты, чтобы не тратить время потом. Так овощи не сгорят, пока вы режете мясо, или не окажется вдруг в процессе готовки, что какого-то важного компонента не хватает.

Этот подход можно использовать не только в кулинарии, но и в других областях, включая работу с данными. Их тоже надо подготовить, почистить и упорядочить. Как это сделать, рассказывает статья в блоге сервиса по визуализации данных Datawrapper.

Это целый лонгрид на 20 минут, но, если уделить ему время сейчас, вы сэкономите себе много часов работы и нервов в будущем. Автор статьи дала множество простых, но полезных советов, которые облегчат жизнь. Например:

1️⃣ Не вносить никакие изменения, не сделав бэкап. Если окажется, что вы удалили что-то нужное, придется все отматывать обратно.
2️⃣ Сохранить все ссылки на источники.
3️⃣ Удалить все лишнее — ссылки, сноски, единицы измерения (их лучше убрать в заголовки, а в ячейках оставить только цифры).
4️⃣ Не забывать о форматировании — разделить все слитые ячейки, закрепить первую строчку и ряд, чтобы они всегда были на виду.

Каждый пункт сопровождает короткая инструкция по работе с Excel и Google Sheets с описанием, куда именно нажать, чтобы все заработало. Статья будет особенно полезна новичкам, но и опытные пользователи точно что-нибудь почерпнут!

На вопрос «Чем занимается инженер данных?» можно ответить по-разному
Можно совсем кратко — он выстраивает архитектуру данных, решает проблемы заказчика и делает его жизнь лучше.

А можно подробнее и с наглядным примером
BetPawa — беттинговый сервис, который много работает с OLTP, обработкой транзакций в реальном времени. Компания столкнулась с тем, что ее DWH не справляется с постоянным потоком данных. Они обрабатывались долго и не всегда корректно отображались в отчетах, а само хранилище работало медленно, ненадежно и требовало слишком много ресурсов.

Мы спроектировали архитектуру для заказчика и выстроили новые процессы инжиниринга. В результате — быстрое, гибко масштабируемое DWH, которое работает намного производительнее и уменьшает количество нестыковок в данных.

🔵 Стек: ClickHouse, Kafka, Redash
🔵 Результат: довольный заказчик и сильный кейс в портфолио
🔵 Подробности: на сайте

Именно с такими задачами работают наши инженеры — иногда сложными, иногда очень творческими, но всегда интересными.

Кстати, сейчас у нас открыта вакансия Data Engineer, и у вас есть возможность присоединиться к нашей команде!

Klack: ASMR для пользователей Mac
Пока все обсуждают презентацию Apple и цену на новый iPhone, мы вспомнили про классное приложение на Mac!

🔜 Если вас по какой-то причине не устраивает звук вашей клавиатуры (или у вас и вовсе та самая многострадальная «бабочка» из 2016-2019 годов), то Klack создан специально для вас.

🔵 Функция у него одна — генерировать и выдавать через динамики щелчки механических клавиш во время печати. Можно настроить звучание и громкость для достижения идеального ASMR-эффекта.

🔵 Приложение платное и, судя по отзывам, стоит своих денег: пользователи пишут, что звук получается реалистичный. Вроде мелочь, но она приятно разнообразит рабочий процесс — особенно если вам приходится много печатать.

А как вам идея такого приложения? Ставьте реакцию 🆒, если задумались о покупке!

Если проанализировать тернии, до звезд доберетесь быстрее!
Посмотрите на фотографию. Вот так на самом деле выглядит Млечный путь, без фильтров и прочих ухищрений. Когда вы в последний раз видели нечто подобное? Если вы живете в городе, велика вероятность, что это было давно, да и вообще — редкость.

Всему виной световое загрязнение. Домашние лампы, уличные фонари и фары машин делают жизнь удобнее и безопаснее, но создают над городами световые купола. Последствий для людей и окружающей среды много, и одно и из них — то, что большинство из нас не могут ночью из окна увидеть звездное небо, если только не уедут куда-нибудь подальше.

Именно это и пришлось сделать Луисону Дюмону, основателю компании Bitproof. Во время отдыха в Португалии он решил полюбоваться звездами.

Чтобы это сделать, он:
🔵 наложил друг на друга карты португальских отелей и светового загрязнения,
🔵 нашел отель в крошечной деревушке,
🔵 посреди ночи поехал еще дальше, туда, где согласно его карте, степень освещенности по шкале Бортля соответствовала классу 3 («Деревенское небо»).

И только после этого Дюмон смог насладиться видом раскинувшего над головой Млечного пути. Вот так технологии отняли у нас возможность смотреть на звезды по ночам, и технологии же ее вернули.

Это не единственное и не самое серьезное следствие светового загрязнения. Оно вредит психическому и физическому здоровью людей и животных и наносит серьезный урон целым экосистемам. Некоторые государства уже начали борьбу с ним на законодательном уровне. Но, пока оно никуда не делось, простым людям остается искать темные уголки для любования звездами с помощью уловок вроде той, что придумал Дюмон.

Кстати, он выложил свою карту в открытый доступ! Если готовы повторить его подвиг и отправиться в глушь, чтобы посмотреть на Млечный путь, теперь у вас есть для этого удобный инструмент.

Уходим в WhatsApp?
Теперь у WhatsApp (принадлежит компании Meta, в РФ признанной экстремистской) тоже есть каналы! Новая фича доступна не везде, а в 150 странах, среди которых России (пока?) нет. На первый взгляд функционал такой же, как в Telegram, но есть отличия.

Ключевое в их позиционировании— это особое внимание защите данных:
🔵 Админы не смогут видеть номера телефонов подписчиков, подписчики не могут видеть номера админов, и никто не может видеть, на какие каналы подписаны другие люди.
🔵 Сообщения удаляются из каналов через 30 дней.
🔵 Владельцы каналов могут скрыть их из каталога, ограничить список подписчиков и запретить делать скриншоты и пересылать сообщения.

Кроме тотальной секретности, есть и другие особенности:
🔵 Каталог каналов с фильтрами по темам, странам, уровням активности и дате создания.
🔵 У каналов в приложении своя вкладка, отдельная от чатов.
🔵 Комментировать посты нельзя, но можно ставить реакции-эмодзи.

🔜 Функция появилась в WhatsApp в июне, сначала в 9 странах, теперь вот в 150 и, возможно, скоро доберется и до России. Но переносить туда @leftjoin мы, конечно, не планируем — Telegram все-таки роднее!