Сегодня я расскажу вам чем мы занимались последние 9 месяцев.

Многие из вас знают, что мы с друзьями работаем над парой сервисов - holistic.dev и parsers.dev
Первый рассчитан на DBA, второй на разработчиков всякого тулинга для SQL, а вот дата инженеры оставались неохваченными.

Поэтому мы решили сделать еще один сервис для пользователей аналитических баз.
И первой базой, конечно же, стала Snowflake.

Поэтому новость будет интересна в основном пользователям Snowflake, но пользователи других баз могут просто узнать как оно бывает, порадоваться за нас и полайкать сообщения в linkedin, twitter и HN :)

Встречайте dwh.dev - dataops collaborative platform

Сервис будет состоять из нескольких систем, которые объединяются под страшными названиями data governance и data lineage.
Это такие инструменты, которые позволяют автоматически отслеживать как ваши данные связаны, даже если вы не связали их формально в схеме базы данных.
На основании этих данных можно генерировать документацию, находить невалидные отчеты, подготавливать более качественные данные для ML и вообще хорошо влиять на качество данных, а значит и качество принимаемых на их основе решений.
Например, подсказывать вам о том, что вы случайно ошиблись при написании JOIN'а таблиц, основываясь на знании о других запросах к этим таблицам.

Но первый шаг и базовый инструмент - это визуальный редактор схем баз данных. Его мы сегодня и запускаем!

Поэтому если вы или ваши знакомые являетесь пользователями Snowflake, пожалуйста, приходите. Нам очень нужна обратная связь.

Потыкать редактор можно и не являясь пользователем snowflake, но это, наверное, будет не так интересно.

И да, конечно же будут поддерживаться и другие базы кроме Snowflake, но чуть позже.


Полайкать новость можно тут:
линкедин
твиттер
snow hn

Если вы используете snowflake, но еще не присутствуете в нашем специальном snowflake-чатике, то обязательно присоединяйтесь!

​По горячим следам.

Многие помнят, что в Snowflake дамп DDL происходит через вызов специальной функции, которая работает плохо - сортирует объекты по имени, а не по графу зависимостей.
Даже пришлось писать тулзу, которая это фиксит.

Оказалось есть еще одна "фича": стейтменты сохраняются вместе с комментариями и при дампе выводятся с этими же комментариями.

Но есть одно жирное НО: разделители команд в виде точки с запятой приклеиваются к последней существующей строке запроса.
И если при создании объекта последней строкой стейтмента была закомментированная строка, то и точка с запятой попадет в комментарий.

Это фиксится на стороне Snowflake переносом ";" на новую строку, и я, пожалуй, не буду по этому упарываться.
Но бладж!

Алибаба заопенсорсила PolarDB для посгреса. PolarDB это распределенная реляционная система управления БД, совместимая с pg, mysql и oracle. Аналог AWS Aurora.

https://github.com/alibaba/PolarDB-for-PostgreSQL

ру версия - https://www.opennet.ru/opennews/art.shtml?num=55233

по наводке @oleg_log

​Многие помнят, что я некоторое время был занят в gamedev и до сих пор рефлексирую по этому поводу :)

И как дед, я безмерно уважаю amanita design (машинариум, саморост, ботаникула).

Так вот, у них вышла демка новой игры - happy game!

​Есть такой замечательный дядька Andy Pavlo из Carnegie Mellon University.
Он одно время разрабатывал pelotondb - автоматическую систему управления БД. Это когда ML считает метрики и подкручивает планировщик в нужную сторону.
Похожие фичи есть у Azure и Oracle.

Проект закопали, и сейчас он занимается новым - ottertune.com
Уже не опенсорс (хехе) и на деньги инвесторов (привлек $2.6m)

Еще у него есть пара отличных курсов на ютубе: Intro to Database Systems, Advanced Database Systems и куча другого годного контента на канале CMUDatabaseGroup
На выходных вместо сериальчиков - милое дело :)

А еще есть конфа про распределенные системы Hydra (плейлисты за 2019 и 2020).
Нет, это не та гидра, о которой все подумали, это другая (нормально назвались, да?).

Andy выступит на этой конфе через пару недель c докладом "The official ten-year retrospective of NewSQL databases".

Вы знаете, что рекламу я не размещаю, но отказать организаторам в том, чтобы рассказать про Andy, я не мог.
Поэтому вот ссылка на ленд и вот купон на скидку: cnb2021JRGpc

Мне за это ничего не будет (разве что из-за упоминания гидры возьмут на карандаш, самизнаетегде), а вам, надеюсь, будет польза :)

Если вдруг когда-то хотели подучить регулярные выражения, RegexOne отлично с этим поможет.

​Китайцы пошли в опенсорс.

Были жалобы, что алибаба выложили PolarDB только для Postgresql. Возрадуйтесь, вот есть compatible with MySQL protocol and syntax распределенная база OceanBase:

https://github.com/oceanbase/oceanbase

Рассказывают, что
Linear scalability OceanBase Database scales transparently to applications and balances the system load automatically. Its cluster can contain more than 1500 nodes. The data volume can reach petabytes. The records in a single table can be more than a trillion rows


Пока все доки на китайском...

​Бен, это Данила, ай нид хелп...

Нам в dwh.dev очень нужен специалист по интерфейсам.
Мы делаем инструменты для визуального менеджмента объектов и работы со сложными связями в базах данных Snowflake (и не только).
И если с экспертизой в области БД, бека и фронта у нас проблем нет, то с крутым и удобным визуалом нам нужна помощь.

Задачи оказались слишком интересными, чтобы хватило ресурсов сделать это силами front-end инженеров :)

Как обычно, не обойдется без нюансов, но об этом в личной переписке (@antonrevyako).

Лайк, шер, во имя скорейшего наступления сингулярности :)

Тут в одном канале напомнили про отличную книгу Skunk Works: личные мемуары моей работы в Локхид

Мне не очень близка тема авиации, но в свое время читал эту книгу запоем.
Совру в цифрах, но был один момент в духе: "самолет сделали за 1 год и пару миллионов долларов".
Сейчас мобильное приложение за такой срок и деньги с трудом сделать можно, а они самолет...

Перевод делали фанаты, он бесплатен. Ссылочки в посте.
https://news.1rj.ru/str/yclibrary/200

PS: Я ее оказывается как-то давно уже рекомендовал :)

Одного канала всегда (никогда) недостаточно :)
Я тут вспомнил, что заводил канал, чтобы делиться всякой красотой.
Не канал с мемами, конечно, но почему бы и нет...

Ну, во-первых, это красиво...

Не знаю, кто использует airtable так, что бы это стало актуальным, но концепция интересная: синхронизировать состояние внешнего сервиса в базу:

https://syncinc.so/

по наводке @oleg_log

«12 SQL and NoSQL Datastores for Your Application» - еще одна
статья-введение в современные СУБД.

Есть слайды, на которых нормально пояснены:
🔹разница между OLTP / OLAP;
🔹SQL / NoSQL;
🔹разные варианты хранения неструктурированных или частично структурированных данных.

Гвоздь программы: сводная табличка с классическими и облачными решениями (AWS, Azure, GCP) для хранения всех возможных типов данных.

🔗Ссылка

#базы_данных

ДА ЛАДНО!

https://github.com/google/fully-homomorphic-encryption

Геймдев есть геймдев. AAA+ или инди на флеше - same vibe... :)

Группа хакеров N-ое время назад взломала CD Project Red (польская игровая студия) и вытащила исходники Cyberpunk 2077.

Есть верхушка того, что уже расковыряли, но в целом там все, как в лучших софтварных проектах:
1) машина — это абстракция над лошадью, у которой есть двери
2) смешные enum’ы с перечислением цензуры (где отдельный параметр цензуры для Китая называется Censor_WinnieThePooh
3) хаки для E3 2019 с комментами REMOVE ASAP

ClickHouse вошла в топ-50 самых популярных в мире СУБД

Распределённая система управления базами данных ClickHouse впервые вошла в топ-50 самых популярных в мире СУБД по версии DB-Engines Ranking. Это один из главных отраслевых рейтингов в мире СУБД. Он публикуется с 2012 года и сейчас охватывает 371 систему. На сегодняшний день это единственная СУБД российского происхождения в топ-50 рейтинга.

ClickHouse доступна в виде облачного сервиса на платформе Yandex.Cloud. Прямо сейчас вы можете воспользоваться всеми преимуществами СУБД, не вникая в тонкости настройки и обслуживания.

Подробнее о новости читайте в материале на Хабре →

#yacloud_news

Многие знают, что в js (и не только) для большей читаемости можно разделять числа символом подчеркивания:

console.log(1_000_000);
// 1000000

А теперь вопрос со звездочкой (без подглядывания в консоль):

Что получится в результате вызова
SELECT 1_000_000

Справедливо для postgresql, mssql и snowflake. В mysql и sqlite будет ошибка.

Ответы в комменты :)

Вдогонку к

SELECT 1_000_000 

Есть еще один момент, который, я, кажется, не упоминал в своих выпусках SQL-TIL:

SELECT 'foo'
'bar'

Mysql, postgresql и sqlite вернут 3 разных результата, а в snowflake будет ошибка :)