🔋 Труба данных – Telegram
🔋 Труба данных
4K subscribers
330 photos
5 videos
9 files
449 links
Авторский канал обо всем, что происходит в мире работы с данными: хранение, обработка, визуализация, как мы принимаем решения и как мы становимся профессионалами в работе с данными.

Автора канала - @SimonOsipov
Download Telegram
В продолжении истории про школы / академии / курсы при большой компании, у МТС сейчас идет набор (и уже заканчивается, сегодня последний день, как я проморгал😭) в МТС Тета “Летний интенсив”.

В программе есть Мобильная разработка на Android, Backend разработка на Java и Машинное обучение. Последний курс ведут известные и авторитетные люди в сообществе, Эмили Драль и Виктор Кантор.
Учеба онлайн и оффлайн в Москве, все как обычно.

В общем, если вам интересно, сегодня последний день подачи заявок.
#НамДжунаБы

Junior DE в Сбербанк
#НамДжунаБы

Junior аналитик в Х5.
#НамДжунаБы

Junior DE в Innex Technologies.
В прошлом году я впервые подавал заявку на доклад, и именно SmartData была той конференцией, куда я подался. Как же я нервничал на первом созвоне с теми, кто курировал мой доклад, я ведь восхищаюсь этими людьми и их вкладом в DE - Паша Финкельштейн и Виталий Худобахшов. В итоге, к сожалению, я не насобирал достаточно материала, чтобы раскрыть свою тему, но в этом году обязательно вернусь и закрою гештальт.

Чего и вам советую, а именно - начать выступать! К тому же... барабанная дробь….
Конференция о дата-инжиниринге SmartData 2021 ищет спикеров🎙

Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции!

В этом году SmartData пройдет 11-14 октября, онлайн (гибридный формат решили отложить из-за непредсказуемости ввода ограничений на офлайн мероприятия).

Темы, которые ждут больше всего:
– Стриминг;
– СУБД и хранилища для больших данных;
– Архитектура DWH;
– Data governance;
–Технологии построения ETL;
– Оркестрация и MLOps.

Но этим списком не ограничивается — вы можете подать заявку с любой темой из области дата-инжиниринга.

Если все-таки сомневаетесь, то программный комитет всегда готов обсудить актуальность темы и помочь выбрать правильный вектор доклада. Плюс, ребята помогут с прокачкой ваших ораторских навыков, если у вас мало опыта в публичных выступлениях. 

Подать заявку и узнать подробности можно тут https://bit.ly/3jCs2lQ. Вопросы присылайте на почту program@smartdata.ru
#НамДжунаБы

Junior Python Developer в mynalabs.ai

Ссылки из вакансии:

Подробное описание задачек, которые нужно решать, можно найти тут:

https://www.notion.so/mynalabs/Data-Engineer-20127a1cfb224804ae407a6f717e8781


Если интересно, то заполни форму, и с тобой свяжется мой коллега

https://airtable.com/shr90FZTSTu4lrx2u
https://dropbox.github.io/dbx-career-framework/overview.html

Тут Dropbox опубликовал описание грейдов, которые он использует. То есть можно понять, что для них Junior, Middle, а также кто же такой Staff/Principal.
Немного компаний открывают доступ к таким внутренним ресурсам, поэтому это очень похвально.
Возможно, кому-то это поможет понять, что от него требуется и скорректировать свой план развития.

Кстати, если вы хотите понять, как эти уровни соотносятся с уровнями и грейдами других компаний, а также понять примерную компенсацию на этих уровнях, можно обратить внимание на ресурс levels.fyi. Для примера, на скриншоте сравнение уровней Гугла, Фейсбука и Майкрософта.
#НамДжунаБы

Junior+ DS в Х5, Перекресток.Впрок
#НамДжунаБы

Ngrow.ai в поисках Junior Python Developer
https://h2oai.github.io/db-benchmark/

Тут во внутреннем чатике мелькнула статья про бенчмарки в некоторых базах данных. Что там есть: 500 MB, 5 GB и 50 GB объем данных, groupby и join операции. Пример на скриншоте.

This page aims to benchmark various database-like tools popular in open-source data science. It runs regularly against very latest versions of these packages and automatically updates. We provide this as a service to both developers of these packages and to users. You can find out more about the project in Efficiency in data processing slides and talk made by Matt Dowle on H2OWorld 2019 NYC conference.
#НамДжунаБы


Вакансия: Data Analyst / Data Steward (Junior+ / Middle) в Абсолют Банк.

Чтобы отправить резюме, придется зарегистрироваться в ODS.ai и написать в личку Schtirlitz
#НамДжунаБы

Epoch8.co в поисках джуна DE

Для отклика заполните пожалуйста форму:

https://airtable.com/shrhBZuHzKPM1xA2t
https://news.1rj.ru/str/deordie/16

Очередной дайджест (8) DE or DIE

Темы выпуска
- 4 Things You Need to Know When Solving for Data Quality
- Data Lake vs. Data Warehouse
- Migrating to Apache Iceberg at Adobe Experience Platform
- 5 More Reasons to Choose Apache Pulsar Over Apache Kafka
- Create Cloud Architecture with Diagrams for AWS, Azure, and GPC
Не смотря на мою “ангажированность” к Moscow Python сообществу, кроме нас есть и другие сообщества, которые организуют митапы по Python.

Очередной Pytup от Яндекса пройдет 25 августа, регистрироваться можно тут.

Лично меня интересует вот эта тема: “Миллиард мутаций: хранение и поиск О поиске оптимального способа хранения более миллиарда известных мутаций человека из различных открытых источников и о том, какое место занимает Python в цепочке от сдачи пациентом слюны до выдачи результатов с найденными мутациями.
https://blog.jetbrains.com/big-data-tools/2021/08/03/data-engineering-annotated-monthly-july-2021/

Паша Финкельштейн взял на себя тяжелую ношу, каждый месяц писать новости по дата инженерингу в блог JetBrains. И это кроме DE or DIE дайджеста, который я постил выше.
Но это очень хорошая штука, когда все важные события внутри твоей профессиональной области собирают в одно месте. Поэтому милости просим.

#Data_Engineering_Annotated
Прекрасная обзорная статья на современный стек технологий по работе с данными с точки зрения инженерии и тулинга от моих друзей из Datafold

https://www.datafold.com/blog/the-modern-data-stack-open-source-edition
Началось, как я попал на конференцию TechTrain, то JUG от меня не отстает, “опубликуйте это”, “опубликуйте то” 😄

На самом деле, я делаю это все добровольно и никакая это не платная интеграция (мне уже предлагали деньги за рекламу, но этот канал всегда будет без монетизации через рекламу).

26 августа в 18:00 компания IT_One вместе с JUG Ru Group проведет онлайн митап по Big Data и Java.

В программе:
— Максим Стаценко, «Обзор технологий хранения больших данных. Плюсы, минусы, кому подойдет»;
— Вадим Опольский, «Apache Flink vs Свой Java Код. Для приземления данных из Kafka»;
— Круглый стол c Максимом Юнусовым, Вадимом Опольским и Максимом Стаценко, на котором спикеры обсудят системы хранения данных, архитектуры и разные подходы к работе с Big Data.

А еще вас будет ждать дискуссионная зона и розыгрыш подарков среди участников 🎁

Участие бесплатное, нужно только зарегистрироваться.

В общем, если вам интересны эти темы - приходите.
https://habr.com/ru/company/ods/blog/572264/

Ребята из ODS собрали и проанализировали статистику по вакансиям внутри сообщества (а это, на секундочку, крупнейшее сообщество по работе с данными).
Интересные цифры и выводы внутри статьи.