Оказывается сегодня бесплатная конфа по #postgres

Список докладов https://pgday.ru/ru/2021/papers

​Чят, пожалуйста, помогите с кастдевом!

Мы делаем тулзу для поиска и анализа связей в структурах данных в аналитических базах данных.
Есть несколько гипотез, которые хочется протестировать.

Вендор базы значения не имеет, думаю, что проблемы у всех приблизительно одинаковые.

Есть большая потребность в теплом интро к Data Lead, Chief Data Officier, VP of Data Engineering - с любым техническим или нетехническим специалистам верхних уровней, связанных с датой.

Интересуют все области - и дата инжиниринга и дата саентисты. Может еще какие-то есть? :)

Не надо пугаться, на данный момент мы НИЧЕГО НЕ ПРОДАЕМ. Основная задача - проверить попадаем мы ли мы в боль и насколько сильно болит.
Поэтому не стесняйтесь сдавать своих коллег и коллег коллег :)

Языки - RU/EN.

Пишите @antonrevyako или в чат

Перефразируя классика:
Если в 2021 вы еще не в облаке, то что-то с вами не так и вообще позорище... :)

Событие пройдет сегодня-завтра, поэтому есть шанс про него не забыть (а не то что pgday).

☁️ Сегодня, в 18:00 (GMT+3), AWS комьюнити приглашает на All about AWS 2021 — бесплатный онлайн ивент, посвященный клауд миграции и её стратегиям ☁️

📍Язык ивента: украинский и русский

15 июля пройдут панельные дискуссии, где спикеры из AWS и SoftServe будут говорить о:

— миграции в клауд, как ее разумно планировать, чтобы сэкономить время и уменьшить расходы;
— почему бизнес решает оставаться в дата центрах.

👉 Регистрация

​SQL-WTF SQL-TIL snowflake edition

Такое ощущение, что в Snowflake сами не знают что умеет их база.

Недавно выяснилось, что при создании таблиц поддерживается описание типов из ORACLE:

VARCHAR2(100 BYTE),
NVARCHAR2(80)

В документации, конечно, тишина.

Сейчас понадобилось сделать демку с использованием MASKING POLICY. Решил освежить знания по документации. Листаю список ограничений: ... не применяется к виртуальным колонкам ...

WAT? Виртуальные колонки? Откуда в Snowflake виртуальные колонки?
Есть что-нибудь в документации? Есть, но про EXTERNAL TABLE.

А давайте попробуем...

create table vc_test (
  key       number,
  check_sum number as HASH(key)
);

insert into vc_test(key) values (1);
select * from vc_test;

-- 1,-4730168494964875235

oO
Работает!

Так, абажжи...

create table vc_test2(
  key       number,
  check_sum number as (SELECT key FROM vc_test) DEFAULT 1 NOT NULL
);
insert into vc_test2(key) values (1);

И это работает!

А ну-ка...

select * from vc_test2;

-- [42000][1003] SQL compilation error: syntax error line 1 at position 1 unexpected 'SELECT'. syntax error line 1 at position 31 unexpected 'GENERATOR'.

Чивооо? GENERATOR?

SELECT GET_DDL('table', 'VC_TEST2');

-- result:
create or replace TABLE VC_TEST2 (
  KEY NUMBER(38,0),
  CHECK_SUM NUMBER(38,0) AS ((SELECT 1 AS "KEY" FROM TABLE (GENERATOR)ROWCOUNT => 1, rowCount => 1) GENERATOR)) NOT NULL DEFAULT 1
);

Directed by Frank Slootman

Тейкэвей:
- в snowflake существуют виртуальные колонки для обычных таблиц
- при объявлении засунуть в них можно что угодно, но работать будет не все :)
- значения в колонках не мемоизируются
- с виртуальными колонками многое что нельзя, но несмотря на предыдущий пункт, кластеризацию все-таки можно

Сингулярности не будет. Но будет много богатых сайто-поделочников.
Лишь бы такой же фигни с медициной и фермерством не случилось.....

У всех так пригорело от поста Тонского (см выше), что Никиту в комментах почти распяли, а сам он даже начал отползать с извинениями.

Между тем Кортланд Аллен недавно позвал в свой подкаст "Indie hackers" Андрея Азимова - живущего на Бали парня, который кодить почти не умел и продукты делал настолько "на коленке", что волосы шевелятся.

Когда он писал свою тулзу "year in progress" - Андрюха не знал, как сделать в макоси прогресс-бар. Поэтому он нарисовал сто (!) картинок от 1% до 100% и написал сто if-ов "if (x==1) нарисовать 1.gif"

(это буквальная цитата из его рассказа, я так ржал, что почти врезался в человека на пробежке)

От такого кода у любого уважающего себя синьора, конечно, вытекут глаза. Андрей, между тем, зарабатывает $10к в месяц и сам над собой хохочет.

Когда он строил какой-то очередной сайт-поделку, он не умел в базы данных. Поэтому засунул все в google sheets и за пару дней наговнокодил скрипт (на php конечно) который забирает контент по API и пихает в HTML. После чего почесал репу и создал из этого красивый продукт https://www.sheet2site.com/

(на этом месте вытекли глаза не только у сеньоров, а вообще у всех продактов/стартаперов)

Зато все маркетологи мира очень ему благодарны. Поправил табличку - сайт изменился. Никаких тебе логинов, вордпрессов, CMS-ок или даже маркдауна с джемстеком и тейлвиндом с деплоем через git. Просто дай права на гугл-доку, выбери шаблон - и вот вам ваш готовый сайт. Свободная касса.

PS. подкаст тут (на английском), там сверху ссылки itunes/spotify и тд

Месяц назад в великий и ужасный Lukas Eder добавил в JOOQ поддержку Snowflake (через 1.5 года после создания issue).

JOOQ един в двух лицах — билдер SQL-запросов для java и AST-парсер для разных SQL диалектов.

Думаю, что все знают как я отношусь к ORM в целом и к билдерам запросов в частности.

Ну а AST-парсер просто мой прямой конкурент :)

И конечно же, как любая low-code технология, это поползло и в другие языки. В go, например.

Некоторое время назад я тестировал его парсер для postgreSQL, и, конечно же, все сломал :)

Пришло время протестировать Snowflake.

У меня накопилось около 7500 тестов для моего AST-парсера и я решил выборочно проверить несколько из них в онлайн демке JOOQ.

Угадайте, сколько тестовых запросов из моего набора спарсились без ошибок?

PS: подписывайтесь на мою коллекцию опенсорц тулзин для SQL на github.

Так, граждане. Базы данных - в утиль. Делаем стартап с антивирусами для машин лергинга

https://news.1rj.ru/str/denissexy/3859

​Клабхаус (извините) открыл регистрацию для всех, без инвайтов.

Но дело его живет!
Если вы думаете, что оценка snowflake в $70B при выходе на IPO это верх хайпа в мире баз данных, то нет, появился еще претендент.

Знаете, есть такие коктейльные бары, в которые пускают только тех, кто в теме. Такие бары называются speakeasy. Со времен сухого закона в США, когда бары располагались за секретной дверью в глубине парикмахерской.
В Москве есть бар "Чайная", который находится в подвале в одной из подворотен около Белорусского вокзала.
В Куала-Лумпуре вход в такой бар был стилизован под электрическую подстанцию.

Так вот, теперь есть speakeasy клауд база данных!

firebolt.io

Зарегаться в ней можно, только если докажешь, что тебе очень надо!
Да, именно. Вы должны доказать, что вам надо. Не наоборот.

Нужно созвониться с сейлзами, восхитить их длинной своих пайплайнов и размером хранилища.
Мне, например, не удалось. Меня послали в конец очереди ждать паблик релиз в конце этого года.

Но все это не помешало компании с двухлетней историей поднять $164m инвестиций.

О, этот "а чо, так можно было?" moment.

Единственное что я понял, там бай дизайн есть несколько разных движков под разные нагрузки, которые можно выбирать в зависимости от того, что вы ходите сделать.
Так же в демке я заметил очень прикольные штуки:

CREATE AGGREGATE INDEX agg_ind ON fact_round (
  game_code,
  player_code, 
  count(distinct round_id), 
  sum(credit),
  ...
)

и

CREATE JOIN INDEX join_games_ind ON dim_games (
  game_code,      -- join column
  game_studio,    -- dim column
  game_currency   -- dim column
)

Похоже действительно пришло время подумать о своей базе данных...

​​Вот есть managed redis (upstash.com), но почему еще никто не сделал managed sqlite?…

UPD: конечно же не managed, а serverless

Плейлист PG Day'21
https://www.youtube.com/playlist?list=PL83V-7Vhzqkpj0qwmOimKR-x3FRVg9lDn

Доклады
https://pgday.ru/ru/2021/papers

Facebook похвастался своей key value (largest strongly consistent, geographically distributed) базой zippyDB на основе rocksDB, которую они пилят с 2012:

https://engineering.fb.com/2021/08/06/core-data/zippydb/

Похвастался, но сорцов не дал.

О чем тогда новость?

А новость о том, что уже есть (еще один) serverless REDIS с таким же названием, криповым лендом и зарегистрированной торговой маркой:
zippydb.com

Его зарегали в 2014.

Конечно же это всех запутало :)

Смешно будет, если они начнут судиться из-за названия бд…

Если вам вдруг интересно про snowflake, но в наших чатах вам сидеть не хочется, то вот канал со snowflake-новостями

@snowflake_daily

Наша постоянная рубрика чего только эти зумеры ни придумают everything is saas:

secfi.com

We are a team of equity experts 100% focused on helping startup employees understand, maximize and unlock the value of their stock options and shares.

​Слышали про язык V (As fast as C)?

Вот и я не слышал... Но вдруг вам захочется странного, вот SQL database written in pure V.

PS: добавил в свою коллекцию опенсорц тулзин для SQL на github.

По наводке @sysadmin_tools

Oracle придумал ускоритель для managed mysql в своем облаке (HeatWave):
oracle.com/mysql/heatwave/

Это такая in-memory ai нахлобучка, что бы все было быстрее.

For analytics workloads, HeatWave is 6.5X faster than Amazon Redshift at half the cost, 7X faster than Snowflake at one-fifth the cost, 9X faster than Google Big Query at one-fourth the cost, 3X faster than Azure Synapse at one-fifth the cost, and 1400X faster than Amazon Aurora at half the cost. For mixed workloads, HeatWave delivers 42 times better price performance than Amazon Aurora.

Как понимаю, это что-то похожее на ottertune.com от Andy Pavlo.
Мне кажется, что что-то похожее есть в самом оракле уже года 3-4. Но это не точно..

​Хозяйке стартаперам на заметку: в B2B все происходит ОЧЕНЬ долго.

Многие из вас знают, что мы разрабатываем несколько продуктов - holistic.dev, parsers.dev и dwh.dev

У holistic.dev есть интеграции со всеми основными клауд провайдерами в РФ.

Они сделаны в виде FaaS (function as a service) только по одной причине - облакам некогда заниматься такими интеграциями.

Но ребята из MCS (облако mailru) оказались наиболее легкими на подъем и запилили интеграцию для своих managed баз прямо к себе в админку.

Таймлайн выглядел так:
- 2020 весь год. Я ищу контакты в MCS
- 2020 декабрь. С первого разговора с нужным человеком MCS принимают решение об интеграции
- 2021 февраль. Интеграция готова
- 2021 март. Я узнаю о том, что интеграция готова, мы начинаем общаться о промо материалах
- 2021 апрель. Я рассказываю об интеграции у себя в канале
- 2021 июнь. Мы общаемся о промо материалах.
- 2021 август. Промо выходит в медиа каналах mail.ru (Новость на сайте и в телеге)


Собственно, это была подводка к новости - про нашу интеграцию с MCS объявлено официально, ура! :)

PS: если решите делать B2B стартап, ищите sales-кофаундера сразу....

Из нашего чатика:

https://twitter.com/andy_pavlo/status/1425277882935488518