Cоздание сквозных логов, настройка ETL в Apache NiFi и конфигурация Apache Flink. Обсудим инструменты дата-инженера на бесплатном митапе от билайна при поддержке JUG Ru Group.

📆 20 декабря, 17:00, онлайн.

В программе:
✔️ Сергей Евсеев — «Как настроить ETL с JSON'ами в Apache NiFi».
✔️ Никита Хилов — «Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами airflow».
✔️ Александр Булатов — «Apache Flink: Flink Table API & SQL».

После каждого доклада вы сможете подискутировать с другими участниками и задать вопросы спикерам. Авторы лучших вопросов получат в подарок мерч от билайна — классные поясные сумки.

Регистрация на сайте митапа.

#реклама

Серьезный материал от Databricks - как построить аналитическую платформу из 4х частей, сумарно 8 часов:
How to Build a Cloud Data Platform
Part 1- Architecture
Part 2 - ETL Processing
Part 3 - Structured Streaming
Part 4 - Machine Learning and Business Intelligence

Минимум любого аналитического решения - Архитектура, ETL, BI. Дальше уже по необходимости DS, Streaming.

У dbt достаточно много почитателей, и многие из них используют платную версию dbt Cloud.

И компанию решила сделать все подарок к новому году - поднять цену в 2 раза на свою платную версию.

Ну а почему бы и нет? Куда все пользователи пойдут - вот вам пример vendor lock.

Отличные соревнования на звания худшего ИТишника в 2022 году, уже раунд 2. Как вы думаете, кто выиграет https://twitter.com/techwontsaveus/status/1603380714879287299

В мая я писал про Московский зоопарк и пеликанов. И упомянул возможность использовать ML для подсчета птиц по фото/видео с дроном и сегодня хотел бы поделиться научной статьей, которую опубликовали в уважаемом издании. Я добавлю ее в файле PDF ниже.

Ребята сделали крутую модель и можно дальше развивать проект, если кому интересно можно сконектиться и дальше развивать.

Товарищи из Яндекса или другого облачного вендора (Сбрер, VK), для вас вопрос, можно ли у вас получить кредиты к облаку для работы с моделью и использовать для совместного кейса. Если есть возможность, давайте тоже обсудим, очень хочется развивать этот проект дальше и курировать крупнейший в России заповедник пеликанов на озере Маныч.

PS ради интереса я попробовал сгенерить статью на английском в ChatGPT про это тему и вот что получились - AI for tracking Pelicans.

Также еще в планах есть провести вебинар на эту тему про использование алгоритмов распознавания картинок от топовых экспертов в этой области, кто принимал участие в проекте.

О ЦЕЛЕСООБРАЗНОСТИ И СОВРЕМЕННЫХ МЕТОДАХ ОЦЕНКИ ЧИСЛЕННОСТИ
КУДРЯВЫХ И РОЗОВЫХ ПЕЛИКАНОВ

Кратко и по делу https://youtu.be/dBlCzEkqtLM

Если совсем кратко то учиться надо всегда, работать надо много🤓 + забота о здоровье!

Наверно многие слышали про мыслетопливо и джедайский техники. Все знают, что у нас в голове есть обезьянка сиюминутного удовольствия, которая не дает нам работать.

Если вы не знаете, ознакомьтесь в видео https://www.youtube.com/watch?v=jt3_sq8LQYM

А если вы вкусом, то мне кажется это нужно смотреть минимум раз в год, чтобы не забывать🐒

Пысы за ссылку спасибо Косте из Эпл, он еще тот джедай;)

Рекомендательные системы помогут подобрать для покупателя нужный товар или услугу. Хотите узнать, как повысить доход приложения с помощью рекомендательной системы?

26 декабря в 15:00 по МСК пройдет вебинар от MyTracker "Персонализация в рекомендательных системах: подходы и оценка результатов"

На вебинаре обсудят:

— Текущие способы формирования цен;
— Задачи рекомендательных сервисов;
— Типичные проблемы рекомендательных сервисов и способы их решения;
— Как подбираются офферы и кто такие многорукие бандиты;
— Способы измерения эффективности рекомендательных сервисов.

Если вы маркетолог, аналитик или владелец мобильных приложений — не пропускайте. Оно вам надо😎

Спикер — эксперт в своем деле:

Антон Лоскутов, тимлид команды предиктивной аналитики MyTracker

👉 Регистрация на вебинар

#реклама

Кратко о моем дне:

1. Добавил несколько постов в Linkedin про BI, dbt и тп. Текст сгенерил в ChatGpt. Я давно там много лайков не собирал.

2. Написал менеджеру отзыв, о том какой он душка. Текст сгенерил в chatpgt. Мне кажется мой менеджер прослезился.

3. Написал пользователю письмо, что я сделал все, что мог, чтобы решить его проблему и дальше уже не могу помочь. Текст сгенерил в chatgpt. Пользователь ничего мне не ответил, но явно почувствовал свою важность.

4. Взял в задачу PostHog для продуктовой аналитике. В Chatgpt у знал как в него попадают данные из хранилища данных.

5. В gitlab copilot сгенерил python для Posthog API (загрузка и скачивание данных). Команда прифигела, как я быстро сделал прототип и сколько я знаю про PostHog.

6. Создал новый спринт для команды и попросил команду обновить свои таски. Попросил chatgpt сочинить поэму на 12 строк. Всем подняло настроение и никто не прошел мимо моей просьбы.

Даже и не знаю, хорошо это или плохо, но хоть какое-то разнообразие в скучной ИТ жизни🦥

Сегодня увидел интересный пост в канале Труба данных. Это небольшой тренинг про использование SSH - A Visual Guide to SSH Tunnels: Local and Remote Port Forwarding. Даже с материалами для реализации каждого подхода.

Я как бывалый инженер данных и “тертый” BI разработчик могу смело заявить, что это очень полезный навык. Такой же как и базовые навыки использования командной строки или знание азов облачных вычислений.

Всем привет завтра (27-12-2022) в 20:00 по мск у нас на DataLearn вебинар.
Тема: Прокачка резюме.
Ссылка на вебинар: https://youtu.be/bl-z9bnjceI

Предыстория:
Относительно недавно у нас был вебинар: "Как аналитику составить огненное резюме и попасть в зарубежную компанию?"
Спикером была Крис - Айти психолог, с колосальным бэкграундом в области данных.
На вебинаре мы договорились, что вы поскидываете свои резюме, Крис их посмотрит и расскажет о плюсах и минусах, а также об общих паттернах, что следует указывать или наоборот не указывать)))

Кстати до завтра еще успеете прислать резюме, возможно даже рассмотрим что то в прямом эфире.
Ссылка на форму: https://forms.gle/CeSLrzB2JPwPWQoSA

Контакты Кристины:
https://news.1rj.ru/str/it_psycho
https://www.linkedin.com/in/kristina-kostina/

Кто не смотрел предыдущий вебинар ссылка вот:
https://youtu.be/6N7KReARb4s

Через пол часа начинаем:https://youtu.be/bl-z9bnjceI

Мой New Year Resolution по книгам.

Мой любимый журнал The Information составил список хороших и плохих событий в tech индустрии.

Самый лучший CEO оказалась дамочка из Oracle Safra Catz, при ней Oracle смог овладеть облаком в полной мере и по сравнению с другими компаниями их акции упали только на 6.7%, но они тоже успели уволить много людей летом.

Лучший сток оказался – Pinduoduo из Китая. Я даже и не знал таких.

Лучший comeback частной компании – Docker. Несколько лет назад у них дела были не очень, но им удалось привлечь инвестиции и дела пошли в гору. Мы привыкли, что docker это open source, но оказывается у них 70000 коммерческих клиентов. Хорошая цель для вашего Open Source продукта😉

Другой продукт, который стал успешным – Rippling, HR стартап с оценкой 11 лярдов, хотя его основатель Parker Conrad раньше знатно прогорел со своим первым стартапом Zenefits.

Крипто дела вообще выбились в лидеры, столько вранья, Ponzi схем, мы не видели со времен МММ. SBF отжигал и тусовался на полную катушку, строя свою пирамиду. Там же и другие токены и их основатели.
Соответственно худшая венчурная сделка это инвестиции в FTX с оценкой в 32 лярда, мастодонты инвестиций SoftBank, Temasek, Insight Partners и Tiger Global знаю как жечь чужие деньги. Кроме FTX, еще было очень популярно NFT, например OpenSea оценивался в 13 лярдов и деньги давали хедж фонды, которые тоже потеряли свои вложения.

Самая большая ложь:

Alamada Research CEO Caroline Ellison tweeted on Nov. 6: “we have > $10b of assets that aren’t reflected” in Coindesk’s reporting on the hedge fund’s balance sheet. Ellison has since pleaded guilty to fraud charges.

FTX CEO Sam Bankman-Fried tweeted on Nov. 7: “FTX has enough to cover all client holdings. We don't invest client assets.”

Ну вы все поняли.

Самая большая финансовая ошибка – покупка Твиттера за 44 лярда. Маску пришлось продавать акции Тесла, чтобы закрыть сделку, увольнять людей пачками и до сих пор идут разборки с юристами о компенсации после увольнения.

Не у всех было все плохо. Например известный продукт среди продуктовых менеджеров – Figma была куплена Adobe за 20 лярдов. (Кстати у меня есть доступ к Mirro и Figma и Figma в разы лучше, mirro показался перегруженный).

Самый популярные приложения это TikTok и Open AI. Оказывается, Microsoft платит за наши с вами глупые вопросы к chatgpt, они инвестировали кучу денег в Open AI.

Что касается рынка ценных бумаг, то однозначно tech стоки и компании «соснули», и нам, простым инженерам теперь не хватит на новенькую Tesla X (или красный гелик), так как все наши стоки и опционы превратились в тыкву. Зато энергетические компании чувствуют себя хорошо. Компании, которые занимаются чипами, тоже чувствуют себя хорошо. Вот некоторые компании, которые на слуху и их результаты: Oracle (-6.6%), Apple (-26.8%), Microsoft (-28.1%), Wayfair, online furniture retailer (-82%), Coinbase, crypto exchange (-86%), Shopify (-75%), Tesla (-65.5%), Meta Platforms (-64%), Nvidia (-50.1%), Amazon (-49.5%), Alphabet (-39%).

PS Если мой перевод напоминает вам перевод Пиноккио из которого получился Буратино, вы можете почитать оригинал=)

PPS Лично мой год прошел хорошо, я окончательно потерял связь с корпоративным миром и разуверился в понятиях карьерного роста, повышения, и другой фигни, которая заходит стажерам и гребцам галер с регалиями. Важно только это семья, свое душевное равновесие и здоровье. Если работаю 16 часов в день, то делаю это ради семьи и себя, но никак не ради менеджера/миссии компании или другой ерунды. Если я уделаю время проекту, то стараюсь это сделать максимально хорошо и качественно, опять же, ради себя. Вообще на эту тему можно уже книгу написать=)

Поэтому всем желаю в новом году переосмыслить свои ценности, определиться с long term целями и заботится в первую очередь о себе и своих близких. Больше вы никому ничего не должны, даже если вам за это платят деньги, главное не говорите это тем, кто вам платит😉

Всем привет! Завтра в 14:30 по мск 30-ти минутный вебинарчик:
Анонс бесплатного курса по дата инженирингу на английском языке.
Спикер Алексей Григорьев.
Это не проект DataLearn, но мы поддерживаем open source проекты.
Встреча будет минут на 30 на которой Алексей расскажет про себя и про Zoomcamp.
Приходите послушайте и решите для себя, об этом курсе говорят все так что посмотреть стоит :)
Ссылка на трансляцию:
https://youtu.be/AjE8yVS43iE

Через 5 минут начинаем
https://youtu.be/AjE8yVS43iE

На Хабре вышла статья о разных способах развёртывания Apache Superset (Docker, ВМ, Kubernetes). Автор рассказал обо всех плюсах и минусах и поделился подробной инструкцией на примере облака VK Cloud.

Это очень актуально, учитывая вставшую перед компаниями задачу по полному перестраиванию системы бизнес-аналитики. В современных реалиях развитие BI-решений российских вендоров осуществляются максимально быстро и качественно. У них есть лицензионная поддержка, регулярные обновления и возможность влиять на roadmap.

Читать

#реклама

Amazon сказал, что собирается уволить еще 18т человек, это уже совсем печально. На картинке ноутбук, не хватает стикеров модненьких😎 Нет, я не про product managers, хотя… да и не только Амазон бомбит, другие компании продолжают и будут продолжать урезать бюджет за счет семьи гребцов галер и их надзирателей🤖

Вообще получается если раньше фаанги решали, то теперь может и безопасней работать на средненькую компанию у которой дела идут хорошо, с неба звезд не хватать, получать свою копеечку и учиться развиваться пока рынок болтает.

Через 2 недели начинается очередной сезон преподавания в университе University of Victoria про введение в Cloud Computing https://continuingstudies.uvic.ca/data-computing-and-technology/courses/cloud-computing-for-business/

Несмотря на партнерство с Microsoft Azure, он будет больше вендор agnostic и я буду уделять одинаковое внимание AWS и Azure.

Краткое содержание курса есть в модуль 5 datalearn на русском. И есть еще статья на Хабре https://habr.com/ru/post/585064/

Вообще каких-то серьезных преимуществ преподавания в университете я пока не открыл для себя, но стараюсь быть проактивным. Недавно пытался записать детей в более престижную школу не в своем районе, рассказывал им какой я молодец, но мне даже не ответили:)

Кстати про datalearn на английском, я уже склоняюсь, что он будет на китайском, у меня хороший друг в Канаде китаец и мы уже 7 лет знакомы, он очень топит за китайский рынок. А английскую версию предлагает разместить на udemy, у кого-нибудь есть опять размещения контента там?