Штош, #пятница, мои хорошие. Спешу напомнить вам, что
а также
На самом деле количество типов людей — ровно 10:
• люди, которые понимают двоичную систему
• люди, которые не понимают
а также
Существует только два типа людей. Те, которые умеют экстраполировать из неполных данных.
😁9
Приятная новость — пакет dbt_diving был недавно добавлен на dbt hub🥰
Теперь для использования макроса get_refs_recursive() в вашем dbt-проекте достаточно указать его в
Теперь для использования макроса get_refs_recursive() в вашем dbt-проекте достаточно указать его в
packages.yml в обычной форме по имени пакета:packages:
- package: data-diving/dbt_diving
version: 1.1.0🔥6
Кажется, в мой ежедневный toolkit, которым я пользуюсь постоянно, планирует попасть новый инструмент под названием Amber. Это такой язык программирования, очень похожий на Python/Swift, который компилируется в Bash!
Уже и не помню сколько раз мне приходилось делать правки в супер замудренных конструкциях на Bash, который когда разрастается превращается во что-то крайне неудобное в использовании. Тут проблема решается использованием нового языка. В котором поддерживаются type-safe, runtime-safe выполнение, числа с плавающей точкой, удобные if/else, работа с массивами (правда только одномерными) и перехват исключений при выполнении Bash-команд.
https://docs.amber-lang.com
Уже и не помню сколько раз мне приходилось делать правки в супер замудренных конструкциях на Bash, который когда разрастается превращается во что-то крайне неудобное в использовании. Тут проблема решается использованием нового языка. В котором поддерживаются type-safe, runtime-safe выполнение, числа с плавающей точкой, удобные if/else, работа с массивами (правда только одномерными) и перехват исключений при выполнении Bash-команд.
https://docs.amber-lang.com
Documentation for Amber programming language
Amber Documentation
😱2
Две новости про мой любимый поисковик DuckDuckGo.com, которым пользуюсь уже несколько лет:
1️⃣ Похоже ребята потеряли весь индекс (скорее всего временно) и поиск прямо сейчас не работает.
2️⃣ Три недели назад эти же ребята начали выкатывать AI chat с поддержкой ChatGPT. И это в поисковике, который обещал защищать нашу с вами privacy!
В-общем, утренний вывод: пора сделать ревью того, что сегодня доступно среди поисковиков, для которых это основной бизнес. Понятно, что все давно используют модели при ранжировании и выдаче, но захламлять интерфейс этим — фу-фу
Upd: мне в голову закралась теория! Что если причиной падения Bing (который активно у них использовался), был вывод на рынок Copilot+PC?🤔
Upd2: все заработало. Ну а чат, который прикручивали на главную, работает все-таки независимо от всего остального. Так что ладно, остаемся пока на DDG. К тому же имеем не то чтобы обилие сервисов. Единственное, что заслуживает внимание, это search.brave.com
1️⃣ Похоже ребята потеряли весь индекс (скорее всего временно) и поиск прямо сейчас не работает.
2️⃣ Три недели назад эти же ребята начали выкатывать AI chat с поддержкой ChatGPT. И это в поисковике, который обещал защищать нашу с вами privacy!
В-общем, утренний вывод: пора сделать ревью того, что сегодня доступно среди поисковиков, для которых это основной бизнес. Понятно, что все давно используют модели при ранжировании и выдаче, но захламлять интерфейс этим — фу-фу
Upd: мне в голову закралась теория! Что если причиной падения Bing (который активно у них использовался), был вывод на рынок Copilot+PC?🤔
Upd2: все заработало. Ну а чат, который прикручивали на главную, работает все-таки независимо от всего остального. Так что ладно, остаемся пока на DDG. К тому же имеем не то чтобы обилие сервисов. Единственное, что заслуживает внимание, это search.brave.com
😢2
Recall в Copilot+ включен всесистемно по-умолчанию для всех бизнес-юзеров. Чтобы его отключить, нужно специально включить параметр его выключения https://learn.microsoft.com/en-us/windows/client-management/manage-recall
Как вам?
А ещё интересная мысль «на подумать»: кажется, что настали времена, когда incognito/privacy mode в браузерах теряет теперь всякий смысл, также как end2end шифрование в мессенджерах…
Как вам?
А ещё интересная мысль «на подумать»: кажется, что настали времена, когда incognito/privacy mode в браузерах теряет теперь всякий смысл, также как end2end шифрование в мессенджерах…
🤯4
Хорошие новости — ChatGPT по просьбам трудящихся выпиливают из ядра iTerm2 и запустят как отдельный плагин. Microsoft, посмотри как надо https://gitlab.com/gnachman/iterm2/-/issues/11470#note_1917647951
GitLab
Provide a build without ChatGPT integration (#11470) · Issues · George Nachman / iterm2 · GitLab
Feature Request Summary I just found this is the
🔥2
Hot Potato License и 5 других open source лицензий, которые вам не следует использовать в своих проектах
https://matt-rickard.com/bizarre-open-source-licenses
https://matt-rickard.com/bizarre-open-source-licenses
😁2
Решил провести эксперимент на консолях
Все они были заряжены «под завязку». На Switch/Vita дополнительно запущены игры, чтобы хоть немного дать фору SteamDeck (хотя он даже пока несли к месту съемки умудрился потерять целый процент заряда). Затем все три консоли были отправлены в режим сна без внешнего питания.
Вернемся к ним через несколько дней для промежуточных результатов
Все они были заряжены «под завязку». На Switch/Vita дополнительно запущены игры, чтобы хоть немного дать фору SteamDeck (хотя он даже пока несли к месту съемки умудрился потерять целый процент заряда). Затем все три консоли были отправлены в режим сна без внешнего питания.
Вернемся к ним через несколько дней для промежуточных результатов
🤨2
Одна из фич всех дата каталогов, хоть мне и ненужная (по крайней мере сейчас) — миксование графов от dbt с тем, что собрано из DDL базы данных. У меня, к примеру, между Vault-объектами у слоем витрин есть еще промежуточный метаслой. Несмотря на то, что он генерируется через dbt-макрос, он не создает модели в dbt-контексте. Получается, что сам dbt не видит прямой связи между этими объектами, т.к. их нет в его графе.
Так вот дата каталог вам все разберет и покажет lineage с учетом этой прослойки в виде DB Views (не dbt-моделей). Прикольно будет, если такие решения еще и LookML от Looker парсят и DAX от PowerBI. Выглядеть точно должно красиво, хотя мне все еще непонятно зачем это все. Но selling point бесспорно хороший!
Так вот дата каталог вам все разберет и покажет lineage с учетом этой прослойки в виде DB Views (не dbt-моделей). Прикольно будет, если такие решения еще и LookML от Looker парсят и DAX от PowerBI. Выглядеть точно должно красиво, хотя мне все еще непонятно зачем это все. Но selling point бесспорно хороший!
👍3
Утекли данные банка Santander🏦, который хостился в Snowflake ❄️
Хакеры говорят, что получили в распоряжение конфиденциальную информацию, относящуюся к миллионам сотрудников и клиентов банка Santander. Банк, в котором работают около 200 тысяч сотрудников по всему миру, подтвердил утечку. Те же хакеры, похоже, продают также доступ и к некоторым другим сервисам.
Более того, при общении с сотрудником компании Hudson Rock, занимающейся кибер-безопасностью, один из хакеров заявил, что может получить доступ ко всем аккаунтам компаний, которые хостятся на Snowflake через генерацию токенов сессий. За возврат данных, хакеры предложили Snowflake заплатить им 20 миллионов долларов.
Snowflake, в свою очередь, на такое предложение не отреагировала. Компания опубликовала инструкции по анализу истории запросов на предемет доступа с потенциально опасных IP-адресов, а также способ выявления учетных записей, к которым мог быть получен несанкционированный доступ. В конечном счете, компания считает, что никакой уязвимости нет, а доступ был получен через получение личных учетных данных одного из пользователей.
Основная рекомендация как и в случае других сервисов с доступом через публичную сеть — установить двухфакторную аутентикацию для пользователей и настроить network policy.
Источник: @snowflakedbchat
Хакеры говорят, что получили в распоряжение конфиденциальную информацию, относящуюся к миллионам сотрудников и клиентов банка Santander. Банк, в котором работают около 200 тысяч сотрудников по всему миру, подтвердил утечку. Те же хакеры, похоже, продают также доступ и к некоторым другим сервисам.
Более того, при общении с сотрудником компании Hudson Rock, занимающейся кибер-безопасностью, один из хакеров заявил, что может получить доступ ко всем аккаунтам компаний, которые хостятся на Snowflake через генерацию токенов сессий. За возврат данных, хакеры предложили Snowflake заплатить им 20 миллионов долларов.
Snowflake, в свою очередь, на такое предложение не отреагировала. Компания опубликовала инструкции по анализу истории запросов на предемет доступа с потенциально опасных IP-адресов, а также способ выявления учетных записей, к которым мог быть получен несанкционированный доступ. В конечном счете, компания считает, что никакой уязвимости нет, а доступ был получен через получение личных учетных данных одного из пользователей.
Основная рекомендация как и в случае других сервисов с доступом через публичную сеть — установить двухфакторную аутентикацию для пользователей и настроить network policy.
Источник: @snowflakedbchat
Please open Telegram to view this post
VIEW IN TELEGRAM
😱4
Одновременно с Xcode 16 в этом году ожидается серьезное обновление языка Swift до версии 6
На официальном сайте уже какое-то время можно загрузить промежуточный снапшот для версии Swift 6.0 для Xcode (MacOS), Linux и Windows.
Одним из самых серьезных изменений многие считают включение Structure Concurrency Checking в режим полной проверки. Structural Concurrecy — это такой новый механизм для безопасного доступа к shared state из разных частей кода. Поддержка concurrency была в Swift и раньше, но была менее удобной по разным причинам, основной из которых являлась необходимость разработчику самостоятельно отменять все запущенные асинхронные задачи, если они больше не нужны. Сообществу пришлось что-то выдумать свое. Например, использовать механизмы наподобие promises (которые могут быть кому-то знакомы по миру JavaScript). Однако, все они не были частью стандартной библиотеки.
Со Structured Concurrency в Swift добавляется стандартный механизм, который делает код проще в обслуживании и легче в понимании. С помощью async-функций и ключевого слова await появляется возможность перехватывать ошибки также просто как и в синхронном коде. Также можно теперь делать for-await-in loop по последовательности с асинхронными элементами и много других интересных штук. Ну и наконец пропадает необходимость самостоятельно отлавливать и отменять ненужные более асинхронные задачи. Если функция вернула результат не дожидаясь ответа от async-задач, то все они будут автоматически отменены.
Конечно включение полной проверки на поддержку Structural Concurrency добавит работы разработчикам на первых порах, нужно будет привести в соответствие кодовую базу. Но это важный шаг в развитии языка, который добавит стабильности в приложения.
Больше примеров использования Structural Concurrency в Swift можно найти в этой статье
На официальном сайте уже какое-то время можно загрузить промежуточный снапшот для версии Swift 6.0 для Xcode (MacOS), Linux и Windows.
Одним из самых серьезных изменений многие считают включение Structure Concurrency Checking в режим полной проверки. Structural Concurrecy — это такой новый механизм для безопасного доступа к shared state из разных частей кода. Поддержка concurrency была в Swift и раньше, но была менее удобной по разным причинам, основной из которых являлась необходимость разработчику самостоятельно отменять все запущенные асинхронные задачи, если они больше не нужны. Сообществу пришлось что-то выдумать свое. Например, использовать механизмы наподобие promises (которые могут быть кому-то знакомы по миру JavaScript). Однако, все они не были частью стандартной библиотеки.
Со Structured Concurrency в Swift добавляется стандартный механизм, который делает код проще в обслуживании и легче в понимании. С помощью async-функций и ключевого слова await появляется возможность перехватывать ошибки также просто как и в синхронном коде. Также можно теперь делать for-await-in loop по последовательности с асинхронными элементами и много других интересных штук. Ну и наконец пропадает необходимость самостоятельно отлавливать и отменять ненужные более асинхронные задачи. Если функция вернула результат не дожидаясь ответа от async-задач, то все они будут автоматически отменены.
Конечно включение полной проверки на поддержку Structural Concurrency добавит работы разработчикам на первых порах, нужно будет привести в соответствие кодовую базу. Но это важный шаг в развитии языка, который добавит стабильности в приложения.
Больше примеров использования Structural Concurrency в Swift можно найти в этой статье
🔥3
ROOT, фреймворк для анализа больших данных от CERN
ROOT — это высокопроизводительный фреймворк для анализа данных, написанный на C++. Легко подключается к Python, и позволяет работать даже в Jupyter Notebook, и позволяет делать статистически обоснованный научный анализ и визуализацию огромных массивов данных.
В ROOT формате сейчас хранится около 1 эксабайта (миллион терабайт) данных. Этот фреймворк даже участвовал в нахождении бозона Хиггса!
Источник: https://root.cern/
ROOT — это высокопроизводительный фреймворк для анализа данных, написанный на C++. Легко подключается к Python, и позволяет работать даже в Jupyter Notebook, и позволяет делать статистически обоснованный научный анализ и визуализацию огромных массивов данных.
В ROOT формате сейчас хранится около 1 эксабайта (миллион терабайт) данных. Этот фреймворк даже участвовал в нахождении бозона Хиггса!
Источник: https://root.cern/
ROOT
ROOT: analyzing petabytes of data, scientifically.
An open-source data analysis framework used by high energy physics and others.
🔥3
Databricks + Tabular
Databricks сообщает о поглощении компании Tabular Inc. Компания была основана основанна тремя довольно заметными ребятами. Первые двое (Ryan Blue и Daniel Weeks), к примеру, — оригинальные авторы формата Apache Iceberg. А третий, Jason Reid, больше восьми лет до Tabular работал дата-директором в Netflix
https://www.databricks.com/blog/databricks-tabular
Databricks сообщает о поглощении компании Tabular Inc. Компания была основана основанна тремя довольно заметными ребятами. Первые двое (Ryan Blue и Daniel Weeks), к примеру, — оригинальные авторы формата Apache Iceberg. А третий, Jason Reid, больше восьми лет до Tabular работал дата-директором в Netflix
https://www.databricks.com/blog/databricks-tabular
dbt on Snowflake
dbt теперь доступен как нативное приложение через Snowflake marketplace. С минимальными затратами на старт, можно получить доступ ко всему, что предлагает #dbt Cloud в своем Snowflake аккаунте, получив такие вещи как dbt Explorer каталог, подсказки на основе Snowflake Cortex AI и оркестрацию.
Если когда-нибудь решу занятьсягусями на ферме новым маленьким комфортным проектом с деньгами, то скорее выберу что-то подобное для старта и буду пить клубнично-банановый смузи пока данные крутятся…
Источник: https://www.getdbt.com/blog/introducing-dbt-for-snowflake
dbt теперь доступен как нативное приложение через Snowflake marketplace. С минимальными затратами на старт, можно получить доступ ко всему, что предлагает #dbt Cloud в своем Snowflake аккаунте, получив такие вещи как dbt Explorer каталог, подсказки на основе Snowflake Cortex AI и оркестрацию.
Если когда-нибудь решу заняться
Источник: https://www.getdbt.com/blog/introducing-dbt-for-snowflake