​Что-то плотненько пошло :)

Пополнение моей коллекция экзотических применений SQL (полная версия на github).

10) Terraform
https://github.com/mazen160/tfquery

Run SQL queries on your Terraform infrastructure. Query resources and analyze its configuration using a SQL-powered framework.

tfquery -q 'select count(*) as count from resources;'  --tfstate-dir /path/to/terraform-states

11) Blockchain
http://blockchainsql.io/

SQL Server for queries various blockchains

12) Files
https://github.com/jhspetersson/fselect

Find files with SQL-like queries

fselect size, path from /home/user where name = '*.cfg' or name = '*.tmp'

13) Files
https://flatbase.io/

Query your CSV and JSON files with SQL.
Flatbase is the data science platform for developers. Upload files, write SQL, visualize results, and share with collaborators.


PS: есть еще коллекция халявы от aws и всякого такого

У нас в чатике новая серия разборок по питону, присоединяйтесь :)

​Сколько я проектов делал и сколько в своей жизни видел, каждый раз можно заметить одно и тоже. Начинается все с авторизации, тикетов, и тд.

С этими проблемами уже как-то разобрались (auth0, intercom извините jitbit). Местами за неподъемные для бутстраперов бабки, конечно, но все же разобрались.

Но есть область, с которой мучаются все и всегда - это биллинг.
Нет, я не о том, как привязать платежную форму. Это в 2021 году уже тоже не вопрос.
Я про subnoscription management.

Есть триал без карты. Юзеру доступны 2 тарифа для оплаты.
Если он не оплатил до конца триала, часть фич надо выключить. Если оплатил, не выключать.

Если не оплатил recurrent, выключить, но другую часть фич.
Если не оплатил, попробовать снять деньги еще несколько раз, каждый раз отключая часть фич.

С тарифа A можно перейти на тариф B и С, а с B на С и D. D при этом наследуют все фичи с C и добавляет новые.

Хотим заапсейлить фичу. Хотим чтоб она пересчиталась по дням относительно основного биллинг-периода.

Нужны скидки от количества лицензий или при покупке на год. На разных тарифах свои.

Для разных регионов разные цены в разных валютах.
Разные налоги и сборы.
Разные платежные системы.

Хотим персональные скидки или наценки.

Хотим специальные тарифы для корпоратов.
У корпоратов внутри есть разные группы юзеров, которым доступны разные фичи. Они могут докупать фичи сами в пределах бюджета и пермишенов.

Нужна админка для сейлзов, CFO, CEO, инвесторов. С разными пермишенами.

Нужен биллинг раздел в клиентской зоне. Выставление и рассылка счетов. Напоминания об оплате.

Нужен апи, чтоб все это синхронизировать с другими частями проекта.

Вы прослушали короткий список фич, которые рано или поздно вам понадобятся, когда вы решите принимать оплату в своем проекте.

Нет, не то что бы эти проблемы никак не были решены. Есть chargebee.com и stripe.com/billing
Даже есть опенсорс - https://github.com/odoo/odoo и https://github.com/killbill/killbill

Но страйп это страйп, а chargebee не поддерживает paddle.
odoo и killbill какие-то жуткие и страшные, что туда даже заглядывать не хочется :)

Короче, хоть сам садись и делай :)

Продам текущий стратап, пойду делать subnoscription management. Или в вебкам. Не решил пока...

Ох йоп...

https://github.com/scottrogowski/mongita

https://news.1rj.ru/str/sysadmin_tools/4416

Дней без новой БД: 0

(на самом деле им вроде как два года, но релиз вот только что приехал)

https://www.planetscale.com/blog/announcing-planetscale-the-database-for-developers

Вот вам, кстати, последний и самый главный аргумент в пользу статической типизации: садишься в говно в пятницу вечером и с помощью TSC и Mother Mother невозбранно выкатываешь патч на API breaking changes, просто обновив пакет с типами… Ну, или под Toxicity. Кому что больше заходит 😋

Сегодня я расскажу вам чем мы занимались последние 9 месяцев.

Многие из вас знают, что мы с друзьями работаем над парой сервисов - holistic.dev и parsers.dev
Первый рассчитан на DBA, второй на разработчиков всякого тулинга для SQL, а вот дата инженеры оставались неохваченными.

Поэтому мы решили сделать еще один сервис для пользователей аналитических баз.
И первой базой, конечно же, стала Snowflake.

Поэтому новость будет интересна в основном пользователям Snowflake, но пользователи других баз могут просто узнать как оно бывает, порадоваться за нас и полайкать сообщения в linkedin, twitter и HN :)

Встречайте dwh.dev - dataops collaborative platform

Сервис будет состоять из нескольких систем, которые объединяются под страшными названиями data governance и data lineage.
Это такие инструменты, которые позволяют автоматически отслеживать как ваши данные связаны, даже если вы не связали их формально в схеме базы данных.
На основании этих данных можно генерировать документацию, находить невалидные отчеты, подготавливать более качественные данные для ML и вообще хорошо влиять на качество данных, а значит и качество принимаемых на их основе решений.
Например, подсказывать вам о том, что вы случайно ошиблись при написании JOIN'а таблиц, основываясь на знании о других запросах к этим таблицам.

Но первый шаг и базовый инструмент - это визуальный редактор схем баз данных. Его мы сегодня и запускаем!

Поэтому если вы или ваши знакомые являетесь пользователями Snowflake, пожалуйста, приходите. Нам очень нужна обратная связь.

Потыкать редактор можно и не являясь пользователем snowflake, но это, наверное, будет не так интересно.

И да, конечно же будут поддерживаться и другие базы кроме Snowflake, но чуть позже.


Полайкать новость можно тут:
линкедин
твиттер
snow hn

Если вы используете snowflake, но еще не присутствуете в нашем специальном snowflake-чатике, то обязательно присоединяйтесь!

​По горячим следам.

Многие помнят, что в Snowflake дамп DDL происходит через вызов специальной функции, которая работает плохо - сортирует объекты по имени, а не по графу зависимостей.
Даже пришлось писать тулзу, которая это фиксит.

Оказалось есть еще одна "фича": стейтменты сохраняются вместе с комментариями и при дампе выводятся с этими же комментариями.

Но есть одно жирное НО: разделители команд в виде точки с запятой приклеиваются к последней существующей строке запроса.
И если при создании объекта последней строкой стейтмента была закомментированная строка, то и точка с запятой попадет в комментарий.

Это фиксится на стороне Snowflake переносом ";" на новую строку, и я, пожалуй, не буду по этому упарываться.
Но бладж!

Алибаба заопенсорсила PolarDB для посгреса. PolarDB это распределенная реляционная система управления БД, совместимая с pg, mysql и oracle. Аналог AWS Aurora.

https://github.com/alibaba/PolarDB-for-PostgreSQL

ру версия - https://www.opennet.ru/opennews/art.shtml?num=55233

по наводке @oleg_log

​Многие помнят, что я некоторое время был занят в gamedev и до сих пор рефлексирую по этому поводу :)

И как дед, я безмерно уважаю amanita design (машинариум, саморост, ботаникула).

Так вот, у них вышла демка новой игры - happy game!

​Есть такой замечательный дядька Andy Pavlo из Carnegie Mellon University.
Он одно время разрабатывал pelotondb - автоматическую систему управления БД. Это когда ML считает метрики и подкручивает планировщик в нужную сторону.
Похожие фичи есть у Azure и Oracle.

Проект закопали, и сейчас он занимается новым - ottertune.com
Уже не опенсорс (хехе) и на деньги инвесторов (привлек $2.6m)

Еще у него есть пара отличных курсов на ютубе: Intro to Database Systems, Advanced Database Systems и куча другого годного контента на канале CMUDatabaseGroup
На выходных вместо сериальчиков - милое дело :)

А еще есть конфа про распределенные системы Hydra (плейлисты за 2019 и 2020).
Нет, это не та гидра, о которой все подумали, это другая (нормально назвались, да?).

Andy выступит на этой конфе через пару недель c докладом "The official ten-year retrospective of NewSQL databases".

Вы знаете, что рекламу я не размещаю, но отказать организаторам в том, чтобы рассказать про Andy, я не мог.
Поэтому вот ссылка на ленд и вот купон на скидку: cnb2021JRGpc

Мне за это ничего не будет (разве что из-за упоминания гидры возьмут на карандаш, самизнаетегде), а вам, надеюсь, будет польза :)

Если вдруг когда-то хотели подучить регулярные выражения, RegexOne отлично с этим поможет.

​Китайцы пошли в опенсорс.

Были жалобы, что алибаба выложили PolarDB только для Postgresql. Возрадуйтесь, вот есть compatible with MySQL protocol and syntax распределенная база OceanBase:

https://github.com/oceanbase/oceanbase

Рассказывают, что
Linear scalability OceanBase Database scales transparently to applications and balances the system load automatically. Its cluster can contain more than 1500 nodes. The data volume can reach petabytes. The records in a single table can be more than a trillion rows


Пока все доки на китайском...

​Бен, это Данила, ай нид хелп...

Нам в dwh.dev очень нужен специалист по интерфейсам.
Мы делаем инструменты для визуального менеджмента объектов и работы со сложными связями в базах данных Snowflake (и не только).
И если с экспертизой в области БД, бека и фронта у нас проблем нет, то с крутым и удобным визуалом нам нужна помощь.

Задачи оказались слишком интересными, чтобы хватило ресурсов сделать это силами front-end инженеров :)

Как обычно, не обойдется без нюансов, но об этом в личной переписке (@antonrevyako).

Лайк, шер, во имя скорейшего наступления сингулярности :)

Тут в одном канале напомнили про отличную книгу Skunk Works: личные мемуары моей работы в Локхид

Мне не очень близка тема авиации, но в свое время читал эту книгу запоем.
Совру в цифрах, но был один момент в духе: "самолет сделали за 1 год и пару миллионов долларов".
Сейчас мобильное приложение за такой срок и деньги с трудом сделать можно, а они самолет...

Перевод делали фанаты, он бесплатен. Ссылочки в посте.
https://news.1rj.ru/str/yclibrary/200

PS: Я ее оказывается как-то давно уже рекомендовал :)

Одного канала всегда (никогда) недостаточно :)
Я тут вспомнил, что заводил канал, чтобы делиться всякой красотой.
Не канал с мемами, конечно, но почему бы и нет...

Ну, во-первых, это красиво...

Не знаю, кто использует airtable так, что бы это стало актуальным, но концепция интересная: синхронизировать состояние внешнего сервиса в базу:

https://syncinc.so/

по наводке @oleg_log

«12 SQL and NoSQL Datastores for Your Application» - еще одна
статья-введение в современные СУБД.

Есть слайды, на которых нормально пояснены:
🔹разница между OLTP / OLAP;
🔹SQL / NoSQL;
🔹разные варианты хранения неструктурированных или частично структурированных данных.

Гвоздь программы: сводная табличка с классическими и облачными решениями (AWS, Azure, GCP) для хранения всех возможных типов данных.

🔗Ссылка

#базы_данных