Google анонсировал выход BigQuery Studio (пока в превью)

Но подойдём к этой новости с другой стороны. Оттолкнёмся от фразы из поста на замечательном канале Инжиниринг Данных: "Во-первых очевидно, что Snowflake и Databricks лидеры..."

И в самом деле, в последние пару-тройку лет очень много хайпа и движухи вокруг Snowflake и Databricks. Где-то хорошо работает маркетинг, а где-то действительно появляются интересные функционал и концепты. Но основная цель для обоих вендоров - вырастить экосистему вокруг их продуктов для создания end-to-end data solutions с аналитикой и AI на борту. Осталось только свою облачную инфраструктуру поднять, чтобы не зависеть от других cloud провайдеров. Но это не суть на данный момент.

Ещё в прошлом году на онлайн-конфе гугла я отметил для себя, что компания так же движется в сторону предоставления end-to-end решения для работы с данными. В этом посте делился краткой выжимкой одного из выступлений. И вот в канун начала нового учебного года Google в своём блоге рассказал о том, что выпустил BigQuery Studio, но пока не всем доступную. Если задуматься, оно к тому и шло: сперва появлялись отдельные сервисы (например, Dataplex), потом что-то из этих сервисов переезжало непосредственно на UI BigQuery (напримерб Lineage), затем появлялся новый функционал (например, Chart). А теперь (пока только для избранных) на едином интерфейсе будут доступны следующие фишки:

- Use SQL, Python, Spark or natural language directly within BigQuery and leverage those code assets easily across Vertex AI and other products for specialized workflows

- Extend software development best practices such as CI/CD, version history and source control to data assets, enabling better collaboration

- Uniformly enforce security policies and gain governance insights through data lineage, profiling and quality, right inside BigQuery

В статье можно более подробно почитать обо всём выше и посмотреть на гифки с примерами.

Я повторюсь снова о том, что GCP сильно недооценён с точки зрения работы с данными. И мне кажется, что он один из достойнейших конкурентов снежинки и кирпичиков, которого пока в должной мере нет в Data повестке.

Всем добра и спокойной ночи!

P.S. В силу жизненных обстоятельств крайне не хватает времени на то, чтобы писать здесь. Но делиться мыслями и новостями очень хочется, поэтому время от времени буду стараться радовать вас интересным контентом.

P.P.S. Огромное вам спасибо за то, что остаётесь рядом со мной 💕

Здесь я в основном пишу (редко, но пишу!) о работе с данными. Но вот уже почти год, как, кроме прямых обязанностей Data Engineer'a, я выполняю роль проектного и ресурсного менеджера. Нет, я не стану писать о каких-то best practices и т.д., так как мне учиться и учиться в этом направлении прежде, чем смогу раздавать советы. Но, тем не менее, я хотел бы поделиться интересной находкой: принципы лидерства от Amazon. (И да, у Амазона есть AWS, а там целая экосистема для работы с данными, поэтому ооооооочень отдалённо, но темы дата инжиниринга этот пост всё же касается 😅)

Мне понравилась подача: краткие формулировки, за которыми скрываются очень важные и серьёзные фундаментальные вещи. Многое откликнулось, т.к. я стараюсь придерживаться тех же принципов. А есть моменты, над которыми мне стоит поработать.

Я считаю тему лидерства очень важной, поэтому стараюсь к ней относиться серьёзно. Лидер - это не про роль/позицию в компании, лидер - это больше про твоё отношение к тому, что ты делаешь, как ты делаешь, и с кем. И касается оно не только рабочих моментов, но и всей жизни в целом.

#leadership

📱 Не пятница, но пост и не по теме.

Скрин о том, как оставаться политкорректным в эру огромного разнообразия гендерных полов и избежать судебных разбирательств по этому поводу. Не знаю, как в других соц. сетях, но у Linkedin'а так. Не her/his, a their. Уверен, что определить биологический пол - это как 2 байта передать, а вот дальше - уже сложнее, особенно, если человек себя никак нигде не обозначает.

Новый челендж для AI - автоматическое определение гендерного пола.

#offtop

Забавно видеть совет/предложение от Google воспользоваться контейнерами Cloud Run для загрузки данных в BigQuery, учитывая, что большинство интеграций у нас так и работают уже более полугода 🤭

Знакомо, да? 😎

🧊 Только что узнал, что сегодня и завтра будет проходить Iceberg Summit 2024. Думаю, стоит обязательно сходить и послушать про разные кейсы. Особенно тем, кто работает с Data Lake и Data Lakehouse.

🔤🔤К слову о том, что AI заменит человека.

Безусловно, много чего в будущем и уже сейчас будет делигироваться различным AI солюшнам. И скорее всего такеи солюшны будут крутиться на железе облачных провайдеров. Конечно, что-то можно будет разворачивать в своих дата-центрах, что-то будет крутиться локально на машине человека-департамента. Но такая история больше про что-то небольшое с точки зрения разработки. Если говорить про глобальный продукт, который пользуют десятки миллионов юзеров, который должен приносить прибыль - с большего весь AI будет на стороне AWS/GCP/Azure.

Так к чему я веду? Представим, что в дата-центре клауд-провайдера пожар, или наводнее затопило тот же дата-центр, выкатили кривое обновление на уровне инфры (который сгенерил и протестил AI 😁) и так до бесконечности. В общем, пропал доступ к AI-функционалу и надолго. Спросить некого, потому что всё заэйаино. Остаются только человек и его инженерная смекалка.

P.S. Навеяно постом с одного замечательного канала, который ведёт Григорий Бакунов.

P.P.S. Тема холиварная, и много нюансов, к которым можно прикопаться. Но надеюсь, концептуально удалось донести свою мысль.

#мысливслух

И немного пятничного от Joe Reis.
Что правда, то правда 🏄‍♂️

Тот самый момент, когда тебе пишет в личку основатель одной из фундаментальных концепций построения Data Warehouse. Я понимаю, что это копипаста, отправленная аккаунт менеджером. Но всё равно приятно!

Инмон мне нравится своим непреодолимым желанием получать пользу именно из неструктурированных данных. Рад, что наконец-то он нашёл способ, как этого добиться.

Давайте пожелаем удачи Биллу с его новой компанией (я уверен, что он читает этот канал 😅)!