DataEng – Telegram
DataEng
4.35K subscribers
40 photos
9 files
537 links
Канал про Data Engineering & Distributed Systems.

Всё, что вы хотели знать про построение инфраструктуры для хранения, обработки и эффективного анализа гигантского объёма данных.

Автор @adilkhash
Download Telegram
Сервис онлайн-образования Яндекс.Практикум в поиске Наставников на факультеты Аналитики и Data Science. Необходимо знание Python.

Наш девиз: «Каждый может». Каждый может менять свою жизнь, каждый может научиться новому, каждый может начать сегодня. Даже если раньше не получалось. Если вы считаете так же — вы уже часть нашей команды.

✔️Что делает наставник?
Наставник помогает студентам учиться: отвечает на вопросы и помогает с трудностями. Каждый наставник курирует группу студентов: общается с ними в Slack, проводит групповые и индивидуальные звонки. Все наставники перед работой проходят Школу наставников от Яндекс.Практикума.

✔️Чтобы стать наставником на факультете Аналитики потребуется владение библиотеками Pandas, NumPy, Matplotlib, Seaborn и, желательно, Plotly. Откликнуться на вакансию можно здесь: https://clck.ru/QkkjQ

✔️Если вдобавок к вышеперечисленному вы работали с проектами из сферы машинного обучения, то рассмотрите для себя наставничество на факультете Data Science: https://clck.ru/QkkmN

Кстати, наставничество возможно совмещать с основной работой, это частичная удалённая занятость.
В Amazon Redshift стал доступен функционал работы с БД поверх HTTPS: https://aws.amazon.com/ru/about-aws/whats-new/2020/09/announcing-data-api-for-amazon-redshift/
По аналогии с DataCamp ребята из DataQuest решили открыть доступ ко всем курсам своей платформы бесплатно на 1 неделю.

Ссылка — https://bit.ly/33IqIny

P.S. на платформе есть целый трек, посвященный дата инжинирингу
Forwarded from Mikhail Kumachev
Коллеги, приветствую!

Мы рады анонсировать очередной митап: DE or DIE #4.
Дата и время: 01.10.2020, начало в 18:00 MSK
Формат: online.

На этот раз нас ждут две контрастные темы, так что вне зависимости от того, занимаетесь ли вы прокладкой ETL-пайплайнов или менеджментом в области данных, вы найдете для себя что-то интересное.

Что в программе:
1. «Своя песочница – как сделать кластер для инженера данных», Артем Селезнев, Senior Data Engineer, Сбербанк
2. «Data governance – что это, зачем, и с чего начать», Андрей Вихров, Главный системный аналитик, Связной

Зарегистрироваться можно здесь:
https://deordie.timepad.ru/event/1435939/
Нашел прикольную базу TinyDB на Python, она документоориентированная (типа MongoDB). Написана без внешних зависимостей и интересна мне в первую очередь как предмет изучения основ проектирования БД: https://github.com/msiemens/tinydb

А вот дока к ней: https://tinydb.readthedocs.io/en/latest/
Если вы вдруг планируете работать в Германии дата инженером, то вот наглядный гайд с ссылками на результаты опросов по средним зарплатам: https://www.dataengineering.academy/pipeline-data-engineering-academy-blog/data-engineer-salary-germany-2020

Кратко:
- Junior Data Engineer: ~€45k
- Mid-level Data Engineer: ~€65k — €70k
- Senior Data Engineer: ~€90k
Forwarded from Artem Pichugin
Всем привет! Уже меньше, чем через час начнется наш 4-й митап. Ссылку на трансляцию мы отправили на почту зарегистрировавшимся на Timepad, но на всякий случай дублируем и здесь: https://youtu.be/0IC9vHNZTNk

Напомню, что план мероприятия следующий:
18:00-19:00. Своя песочница – как сделать кластер для инженера данных
Артем Селезнев, Senior Data Engineer, Сбербанк

19:00-19:15. Перерыв

19:15-20:15. Data governance – что это, зачем, и с чего начать
Андрей Вихров, Главный системный аналитик, Связной

Вопросы можно будет задавать на трансляции в YouTube, либо здесь в чате. До встречи!