https://www.nature.com/articles/d41586-021-00592-0
Прекрасное исследование о том, что люди для решения проблемы чаще всего что-то добавляют, а не удаляют, даже если удаление приносит больше бенефитов. Поэтому, когда в следующий раз вам для решения проблемы с данными предложат впихнуть Kafka или Redis, подумайте, а нельзя ли решить эту задачу путем удаления абстракции, а не ее добавлением
#Полезные_ссылки
Прекрасное исследование о том, что люди для решения проблемы чаще всего что-то добавляют, а не удаляют, даже если удаление приносит больше бенефитов. Поэтому, когда в следующий раз вам для решения проблемы с данными предложат впихнуть Kafka или Redis, подумайте, а нельзя ли решить эту задачу путем удаления абстракции, а не ее добавлением
#Полезные_ссылки
Forwarded from Mikhail Kumachev
Data Engineering Digest
Коллеги, сегодня мы хотим анонсировать наш новый проект: Data Engineering Digest
Мы создаем развиваемый сообществом digest интересных материалов по теме Data Engineering'а.
Наш пилотный выпуск можно посмотреть здесь: https://digest.deordie.org
Все мы с вами читаем статьи, смотрим видео с конференций, и находим массу полезного в сети. Однако, не все материалы одинаково полезны. При поддержке сообщества мы решили отбирать самое интересное и публиковать в виде дайджеста.
Нам нужна ваша поддержка. Прямо сейчас можно стать контрибьютером.
Приходите в наш issue tracker: https://github.com/deordie/deordie-digest/issues и добавляйте статьи, которые вам показались интересными. Обязательно добавьте 1-2 предложения, что вы вынесли интересного из этой статьи.
Также вы можете проголосовать за понравившиеся вам статьи (+1), самые интересные мы будем публиковать в следующих выпусках.
Коллеги, сегодня мы хотим анонсировать наш новый проект: Data Engineering Digest
Мы создаем развиваемый сообществом digest интересных материалов по теме Data Engineering'а.
Наш пилотный выпуск можно посмотреть здесь: https://digest.deordie.org
Все мы с вами читаем статьи, смотрим видео с конференций, и находим массу полезного в сети. Однако, не все материалы одинаково полезны. При поддержке сообщества мы решили отбирать самое интересное и публиковать в виде дайджеста.
Нам нужна ваша поддержка. Прямо сейчас можно стать контрибьютером.
Приходите в наш issue tracker: https://github.com/deordie/deordie-digest/issues и добавляйте статьи, которые вам показались интересными. Обязательно добавьте 1-2 предложения, что вы вынесли интересного из этой статьи.
Также вы можете проголосовать за понравившиеся вам статьи (+1), самые интересные мы будем публиковать в следующих выпусках.
digest.deordie.org
DE or DIE: Digest – Data Engineering Digest
https://www.nytimes.com/2021/04/07/opinion/google-job-harassment.html
#Полезные_ссылки
Хороший текст с очень важной мыслью, думаю неочевидной для многих начинающих (и не только) разработчиков, которые попадают в топовые IT компании — это просто работа. А значит можно и нужно позволять себе адекватное количество эгоизма и не делать эту компанию центром своей жизни.
#Полезные_ссылки
Хороший текст с очень важной мыслью, думаю неочевидной для многих начинающих (и не только) разработчиков, которые попадают в топовые IT компании — это просто работа. А значит можно и нужно позволять себе адекватное количество эгоизма и не делать эту компанию центром своей жизни.
NY Times
Opinion | After Working at Google, I’ll Never Let Myself Love a Job Again (Published 2021)
I learned the hard way that no publicly traded company is a family.
https://app.livestorm.co/datafold/data-quality-meetup
Мои друзья из DataFold проводят очередной митап про качество данных.
Как говорится, “Г на входе, Г на выходе”, поэтому если не думать про качество данных - можно сильно налажать.
По ссылке, кстати, есть записи и дайджесты предыдущих митапов.
Мои друзья из DataFold проводят очередной митап про качество данных.
Как говорится, “Г на входе, Г на выходе”, поэтому если не думать про качество данных - можно сильно налажать.
По ссылке, кстати, есть записи и дайджесты предыдущих митапов.
Datafold
Data Quality Meetup | Datafold
AboutData Quality Meetup brings together Data leaders and practitioners to share and learn the best practices for data quality, governance & productivity.Relevant AudienceTeams driving human or...
В продолжении истории про школы / академии / курсы при большой компании, у МТС сейчас идет набор (и уже заканчивается, сегодня последний день, как я проморгал😭) в МТС Тета “Летний интенсив”.
В программе есть Мобильная разработка на Android, Backend разработка на Java и Машинное обучение. Последний курс ведут известные и авторитетные люди в сообществе, Эмили Драль и Виктор Кантор.
Учеба онлайн и оффлайн в Москве, все как обычно.
В общем, если вам интересно, сегодня последний день подачи заявок.
В программе есть Мобильная разработка на Android, Backend разработка на Java и Машинное обучение. Последний курс ведут известные и авторитетные люди в сообществе, Эмили Драль и Виктор Кантор.
Учеба онлайн и оффлайн в Москве, все как обычно.
В общем, если вам интересно, сегодня последний день подачи заявок.
В прошлом году я впервые подавал заявку на доклад, и именно SmartData была той конференцией, куда я подался. Как же я нервничал на первом созвоне с теми, кто курировал мой доклад, я ведь восхищаюсь этими людьми и их вкладом в DE - Паша Финкельштейн и Виталий Худобахшов. В итоге, к сожалению, я не насобирал достаточно материала, чтобы раскрыть свою тему, но в этом году обязательно вернусь и закрою гештальт.
Чего и вам советую, а именно - начать выступать! К тому же... барабанная дробь….
Чего и вам советую, а именно - начать выступать! К тому же... барабанная дробь….
Конференция о дата-инжиниринге SmartData 2021 ищет спикеров🎙
Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции!
В этом году SmartData пройдет 11-14 октября, онлайн (гибридный формат решили отложить из-за непредсказуемости ввода ограничений на офлайн мероприятия).
Темы, которые ждут больше всего:
– Стриминг;
– СУБД и хранилища для больших данных;
– Архитектура DWH;
– Data governance;
–Технологии построения ETL;
– Оркестрация и MLOps.
Но этим списком не ограничивается — вы можете подать заявку с любой темой из области дата-инжиниринга.
Если все-таки сомневаетесь, то программный комитет всегда готов обсудить актуальность темы и помочь выбрать правильный вектор доклада. Плюс, ребята помогут с прокачкой ваших ораторских навыков, если у вас мало опыта в публичных выступлениях.
✅Подать заявку и узнать подробности можно тут https://bit.ly/3jCs2lQ. Вопросы присылайте на почту program@smartdata.ru
Вам есть о чем рассказать и что обсудить с коллегами по цеху? Тогда вам нужно подать заявку на участие в конференции!
В этом году SmartData пройдет 11-14 октября, онлайн (гибридный формат решили отложить из-за непредсказуемости ввода ограничений на офлайн мероприятия).
Темы, которые ждут больше всего:
– Стриминг;
– СУБД и хранилища для больших данных;
– Архитектура DWH;
– Data governance;
–Технологии построения ETL;
– Оркестрация и MLOps.
Но этим списком не ограничивается — вы можете подать заявку с любой темой из области дата-инжиниринга.
Если все-таки сомневаетесь, то программный комитет всегда готов обсудить актуальность темы и помочь выбрать правильный вектор доклада. Плюс, ребята помогут с прокачкой ваших ораторских навыков, если у вас мало опыта в публичных выступлениях.
✅Подать заявку и узнать подробности можно тут https://bit.ly/3jCs2lQ. Вопросы присылайте на почту program@smartdata.ru
#НамДжунаБы
Junior Python Developer в mynalabs.ai
Ссылки из вакансии:
Подробное описание задачек, которые нужно решать, можно найти тут:
https://www.notion.so/mynalabs/Data-Engineer-20127a1cfb224804ae407a6f717e8781
Если интересно, то заполни форму, и с тобой свяжется мой коллега
https://airtable.com/shr90FZTSTu4lrx2u
Junior Python Developer в mynalabs.ai
Ссылки из вакансии:
Подробное описание задачек, которые нужно решать, можно найти тут:
https://www.notion.so/mynalabs/Data-Engineer-20127a1cfb224804ae407a6f717e8781
Если интересно, то заполни форму, и с тобой свяжется мой коллега
https://airtable.com/shr90FZTSTu4lrx2u
https://dropbox.github.io/dbx-career-framework/overview.html
Тут Dropbox опубликовал описание грейдов, которые он использует. То есть можно понять, что для них Junior, Middle, а также кто же такой Staff/Principal.
Немного компаний открывают доступ к таким внутренним ресурсам, поэтому это очень похвально.
Возможно, кому-то это поможет понять, что от него требуется и скорректировать свой план развития.
Кстати, если вы хотите понять, как эти уровни соотносятся с уровнями и грейдами других компаний, а также понять примерную компенсацию на этих уровнях, можно обратить внимание на ресурс levels.fyi. Для примера, на скриншоте сравнение уровней Гугла, Фейсбука и Майкрософта.
Тут Dropbox опубликовал описание грейдов, которые он использует. То есть можно понять, что для них Junior, Middle, а также кто же такой Staff/Principal.
Немного компаний открывают доступ к таким внутренним ресурсам, поэтому это очень похвально.
Возможно, кому-то это поможет понять, что от него требуется и скорректировать свой план развития.
Кстати, если вы хотите понять, как эти уровни соотносятся с уровнями и грейдами других компаний, а также понять примерную компенсацию на этих уровнях, можно обратить внимание на ресурс levels.fyi. Для примера, на скриншоте сравнение уровней Гугла, Фейсбука и Майкрософта.
https://h2oai.github.io/db-benchmark/
Тут во внутреннем чатике мелькнула статья про бенчмарки в некоторых базах данных. Что там есть: 500 MB, 5 GB и 50 GB объем данных, groupby и join операции. Пример на скриншоте.
This page aims to benchmark various database-like tools popular in open-source data science. It runs regularly against very latest versions of these packages and automatically updates. We provide this as a service to both developers of these packages and to users. You can find out more about the project in Efficiency in data processing slides and talk made by Matt Dowle on H2OWorld 2019 NYC conference.
Тут во внутреннем чатике мелькнула статья про бенчмарки в некоторых базах данных. Что там есть: 500 MB, 5 GB и 50 GB объем данных, groupby и join операции. Пример на скриншоте.
This page aims to benchmark various database-like tools popular in open-source data science. It runs regularly against very latest versions of these packages and automatically updates. We provide this as a service to both developers of these packages and to users. You can find out more about the project in Efficiency in data processing slides and talk made by Matt Dowle on H2OWorld 2019 NYC conference.
#НамДжунаБы
Вакансия: Data Analyst / Data Steward (Junior+ / Middle) в Абсолют Банк.
Чтобы отправить резюме, придется зарегистрироваться в ODS.ai и написать в личку Schtirlitz
Вакансия: Data Analyst / Data Steward (Junior+ / Middle) в Абсолют Банк.
Чтобы отправить резюме, придется зарегистрироваться в ODS.ai и написать в личку Schtirlitz
#НамДжунаБы
Epoch8.co в поисках джуна DE
Для отклика заполните пожалуйста форму:
https://airtable.com/shrhBZuHzKPM1xA2t
Epoch8.co в поисках джуна DE
Для отклика заполните пожалуйста форму:
https://airtable.com/shrhBZuHzKPM1xA2t