Alex. Seconds. – Telegram
Alex. Seconds.
179 subscribers
193 photos
10 videos
1 file
144 links
Любитель кофе и open source. Мысли обо всем. Мнение автора не должно и не будет совпадать с вашим.

Другие проекты: @datacatalogs, @db_tools, @datacoffee, iOS DAG Monitor

Mastodon(EN): https://techhub.social/@data_diving
Download Telegram
Одна из фич всех дата каталогов, хоть мне и ненужная (по крайней мере сейчас) — миксование графов от dbt с тем, что собрано из DDL базы данных. У меня, к примеру, между Vault-объектами у слоем витрин есть еще промежуточный метаслой. Несмотря на то, что он генерируется через dbt-макрос, он не создает модели в dbt-контексте. Получается, что сам dbt не видит прямой связи между этими объектами, т.к. их нет в его графе.

Так вот дата каталог вам все разберет и покажет lineage с учетом этой прослойки в виде DB Views (не dbt-моделей). Прикольно будет, если такие решения еще и LookML от Looker парсят и DAX от PowerBI. Выглядеть точно должно красиво, хотя мне все еще непонятно зачем это все. Но selling point бесспорно хороший!
👍3
Утекли данные банка Santander🏦, который хостился в Snowflake ❄️

Хакеры говорят, что получили в распоряжение конфиденциальную информацию, относящуюся к миллионам сотрудников и клиентов банка Santander. Банк, в котором работают около 200 тысяч сотрудников по всему миру, подтвердил утечку. Те же хакеры, похоже, продают также доступ и к некоторым другим сервисам.

Более того, при общении с сотрудником компании Hudson Rock, занимающейся кибер-безопасностью, один из хакеров заявил, что может получить доступ ко всем аккаунтам компаний, которые хостятся на Snowflake через генерацию токенов сессий. За возврат данных, хакеры предложили Snowflake заплатить им 20 миллионов долларов.

Snowflake, в свою очередь, на такое предложение не отреагировала. Компания опубликовала инструкции по анализу истории запросов на предемет доступа с потенциально опасных IP-адресов, а также способ выявления учетных записей, к которым мог быть получен несанкционированный доступ. В конечном счете, компания считает, что никакой уязвимости нет, а доступ был получен через получение личных учетных данных одного из пользователей.

Основная рекомендация как и в случае других сервисов с доступом через публичную сеть — установить двухфакторную аутентикацию для пользователей и настроить network policy.

Источник: @snowflakedbchat
Please open Telegram to view this post
VIEW IN TELEGRAM
😱4
Одновременно с Xcode 16 в этом году ожидается серьезное обновление языка Swift до версии 6

На официальном сайте уже какое-то время можно загрузить промежуточный снапшот для версии Swift 6.0 для Xcode (MacOS), Linux и Windows.

Одним из самых серьезных изменений многие считают включение Structure Concurrency Checking в режим полной проверки. Structural Concurrecy — это такой новый механизм для безопасного доступа к shared state из разных частей кода. Поддержка concurrency была в Swift и раньше, но была менее удобной по разным причинам, основной из которых являлась необходимость разработчику самостоятельно отменять все запущенные асинхронные задачи, если они больше не нужны. Сообществу пришлось что-то выдумать свое. Например, использовать механизмы наподобие promises (которые могут быть кому-то знакомы по миру JavaScript). Однако, все они не были частью стандартной библиотеки.

Со Structured Concurrency в Swift добавляется стандартный механизм, который делает код проще в обслуживании и легче в понимании. С помощью async-функций и ключевого слова await появляется возможность перехватывать ошибки также просто как и в синхронном коде. Также можно теперь делать for-await-in loop по последовательности с асинхронными элементами и много других интересных штук. Ну и наконец пропадает необходимость самостоятельно отлавливать и отменять ненужные более асинхронные задачи. Если функция вернула результат не дожидаясь ответа от async-задач, то все они будут автоматически отменены.

Конечно включение полной проверки на поддержку Structural Concurrency добавит работы разработчикам на первых порах, нужно будет привести в соответствие кодовую базу. Но это важный шаг в развитии языка, который добавит стабильности в приложения.

Больше примеров использования Structural Concurrency в Swift можно найти в этой статье
🔥3
ROOT, фреймворк для анализа больших данных от CERN

ROOT — это высокопроизводительный фреймворк для анализа данных, написанный на C++. Легко подключается к Python, и позволяет работать даже в Jupyter Notebook, и позволяет делать статистически обоснованный научный анализ и визуализацию огромных массивов данных.

В ROOT формате сейчас хранится около 1 эксабайта (миллион терабайт) данных. Этот фреймворк даже участвовал в нахождении бозона Хиггса!

Источник: https://root.cern/
🔥3
Databricks + Tabular

Databricks сообщает о поглощении компании Tabular Inc. Компания была основана основанна тремя довольно заметными ребятами. Первые двое (Ryan Blue и Daniel Weeks), к примеру, — оригинальные авторы формата Apache Iceberg. А третий, Jason Reid, больше восьми лет до Tabular работал дата-директором в Netflix

https://www.databricks.com/blog/databricks-tabular
dbt on Snowflake

dbt теперь доступен как нативное приложение через Snowflake marketplace. С минимальными затратами на старт, можно получить доступ ко всему, что предлагает #dbt Cloud в своем Snowflake аккаунте, получив такие вещи как dbt Explorer каталог, подсказки на основе Snowflake Cortex AI и оркестрацию.

Если когда-нибудь решу заняться гусями на ферме новым маленьким комфортным проектом с деньгами, то скорее выберу что-то подобное для старта и буду пить клубнично-банановый смузи пока данные крутятся…

Источник: https://www.getdbt.com/blog/introducing-dbt-for-snowflake
Публично доступные Docker-образы они как USB-флешки, найденные на парковке… Должны быть немедленно загружены и запущены на production сервере!

Кажется, наконец-то пятница…🥹
👀1
Так-с, ну ладно — еще немножко пятницы и больше не буду (наверное). Уж очень рад что эта непростая неделя подходит к завершению...
🔥2
Кратко про #WWDC2024

VisionOS 2
– Заметен явный сдвиг в сторону развлекательного контента

iOS 18
– 3rd party buttons в Control Center
– iMessage: отправка сообщений через спутник
– Автокатегоризация в Mail
– Пересылка денег через Wallet
– GameMode: так же как на MacOS
– Переработанный интерфейс фото
– Интеграция календаря и напоминаний

• Аудио и дом
– AirPods: жесты — кивание головы
– tvOS: realtime распознавание актеров и аудиотреков

• WatchOS 11
– Анализ тренировок в TrainMode
– Жизненно важные показатели в Vitals app
– Наблюдения за циклом и сопровождение беременности
– ML для отбора фото на локскрин

• iPadOS 18
– Плавающий tab bar
– Remote Control для iPad & iPhone
– Калькулятор для iPad🎉и уравнения в Math Notes
– ML теперь будет исправлять кривой почерк в Notes

• macOS 15 Sequoia
– Планирование хайкинга в картах
– iPhone mirroring (управление телефоном с компьютера)
– Обновления window manager🎉
– Замена фона в звонках
– Passwords app
– Safari: Highlights и Summary
– Game Porting Toolkit 2

• Apple Intelligence
– Right at the core of your iPhone, iPad & Mac
– Может переписать текст во всех приложениях в другом стиле
– Генерация картинок в стиле фото человека, с которым общаешься
– По запросу сможет показать файлы, которыми кто-то поделился 2 недели назад
– Siri: натуральные запросы, быстрые ответы, интеграция со многими приложениями, type to Siri, запросы типа "добавь этот адрес из переписки в карточку этого контакта" и "покажи фото девушки в розовом пиджаке из Нью-Йорка в прошлом году"
– Genmoji: генерация картинок по тексту и по набору emoji и фото контактов и даже скетчу
– Запись и транскрибация звонков

Подробнее тут: https://telegra.ph/WWDC-2024-06-10
👀3
Microsoft, смотрю, все никак не уймется после неудачной попытки протолкнуть скриншотилку на десктопы😐
В OpenSSH вчера нашли критическую уязвимость, которая там была во всех версиях с 8.5p1 по 9.7p1 включительно и позволяла выполнять код с root-полномочиями😱

Описание уязвимости: https://www.openwall.com/lists/oss-security/2024/07/01/3

Обновление от OpenSSH 9.8: https://www.openssh.com/releasenotes.html
😱1
Многие знают о том, что простой финский парень, Linus Torvalds, создал одну из самых популярных на сегодня операционных систем — Linux — просто ради развлечения.

При этом, далеко не все знают о том, что тот же самый человек создал самую-самую первую версию самой популярной сегодня системы контроля версий Git. Но в этот раз это уже была необходимость, а не fun. Кстати, основной функционал Git — это не его собственная идея! Незадолго до этого он начал "подсаживать" Linux-сообщество на другой, менее открытый инструмент, который назывался BitKeeper.

Только представьте, до этого момента ему приходилось разбирать предложения по изменению в коде, которые присылали ему по email в абсолютно хаотичном формате! А теперь, чтобы отправить изменения на ревизию, разработчику нужно было сделать в терминале примерно следующее:
# Загрузить репозиторий
bk clone bk://linux.bkbits.net/linux-2.5 linux-2.5
bk clone linux-2.5 alpha-2.5

# Отредактировать файлы и отправить обратно на сервер
bk vi fs/inode.c
bk push bk://gkernel@bkbits.net/alpha-2.5


После отправки изменений на сервер, Linus получал примерно следующее:
Here is an update for something something...

Please pull from: bk://gkernel.bkbits.net/alpha-2.5

example/file1.c | 6 ++++++
example/file2.c | 4 ----
2 files changed, 6 insertions(+), 4 deletions(-)


Выглядит знакомо, не так ли?😉

Ну и наконец в какой-то момент создатель BitKeeper решил, что надо подзакрутить гайки, как это нередко бывает (мы помним совсем недавние истории по смене лицензий HashiCorp, Redis и многих других). И в тот момент, Linus сообщил сообществу, что пути Linux и BitKeeper расходятся, и представил замену. 7-го апреля 2005 года в сети появилось первое упоминание Git версии 0.0.1.

Источник и более подробная статься о том "как" это было: https://blog.brachiosoft.com/en/posts/git/
👍5
Друзья, если у вас есть возможность и для вас будет безопасно отправить пожертвование детской больнице Охматдит, то пожалуйста рассмотрите возможность его отправки через благотворительный фонд, созданный при больнице https://www.ohmatdytfund.org/donate. Если такой возможности нет, то просьба проигнорировать это сообщение. Спасибо🕊
🕊4
Рубрика Утечки из Snowflake❄️

Около полутора месяцев назад я писал про утечку данных из Snowflake-аккаунтов нескольких крупных компаний. Сегодня стало известно еще об одном случае.

Один из гигантов рынка коммуникаций США, AT&T, сегодня заявил о несанкционированном доступе к своим данных и утечке данных, которая затронула почти всех‼️ клиентов компании. Причина похоже та же — украдены/скомпроментированы логин/пароль к Snowflake одного из сотрудников компании.

Пожалуйста, будьте бдительны, используйте мультифакторную аутентификацию и SSO-интеграцию и allowlists во всех своих cloud-системах для предотвращения подобных случаев. Особенно в тех, которые содержат закрытые клиентские данные.

Предыдущая новость рубрики https://news.1rj.ru/str/alexseconds/168
😁1
Live stream scheduled for
Хочу попробовать начать делать data-стримы по утрам в понедельник и думать/говорить о том, что хотелось бы сделать в течение недели, какие планы намечены и как будем пытаться их достигнуть.

Это точно будет новый опыт для меня. А вы, если хотите, то обязательно забегайте тоже — будем обсуждать вместе :)

https://news.1rj.ru/str/alexseconds
👍10
Маленькая #радостьвыходногодня — камамбер, запеченный с розмарином, чесночком и помидорчиками😋

Ну а справа вариант для тех, кто не любит щекотать вкусовые сосочки, там моцарелла вместо камамбера😊
1
Live stream started
Live stream finished (19 minutes)