Databricks + Tabular

Databricks сообщает о поглощении компании Tabular Inc. Компания была основана основанна тремя довольно заметными ребятами. Первые двое (Ryan Blue и Daniel Weeks), к примеру, — оригинальные авторы формата Apache Iceberg. А третий, Jason Reid, больше восьми лет до Tabular работал дата-директором в Netflix

https://www.databricks.com/blog/databricks-tabular

dbt on Snowflake

dbt теперь доступен как нативное приложение через Snowflake marketplace. С минимальными затратами на старт, можно получить доступ ко всему, что предлагает #dbt Cloud в своем Snowflake аккаунте, получив такие вещи как dbt Explorer каталог, подсказки на основе Snowflake Cortex AI и оркестрацию.

Если когда-нибудь решу заняться гусями на ферме новым маленьким комфортным проектом с деньгами, то скорее выберу что-то подобное для старта и буду пить клубнично-банановый смузи пока данные крутятся…

Источник: https://www.getdbt.com/blog/introducing-dbt-for-snowflake

Публично доступные Docker-образы они как USB-флешки, найденные на парковке… Должны быть немедленно загружены и запущены на production сервере!

Кажется, наконец-то пятница…🥹

Так-с, ну ладно — еще немножко пятницы и больше не буду (наверное). Уж очень рад что эта непростая неделя подходит к завершению...

Кратко про #WWDC2024

• VisionOS 2
– Заметен явный сдвиг в сторону развлекательного контента

• iOS 18
– 3rd party buttons в Control Center
– iMessage: отправка сообщений через спутник
– Автокатегоризация в Mail
– Пересылка денег через Wallet
– GameMode: так же как на MacOS
– Переработанный интерфейс фото
– Интеграция календаря и напоминаний

• Аудио и дом
– AirPods: жесты — кивание головы
– tvOS: realtime распознавание актеров и аудиотреков

• WatchOS 11
– Анализ тренировок в TrainMode
– Жизненно важные показатели в Vitals app
– Наблюдения за циклом и сопровождение беременности
– ML для отбора фото на локскрин

• iPadOS 18
– Плавающий tab bar
– Remote Control для iPad & iPhone
– Калькулятор для iPad🎉и уравнения в Math Notes
– ML теперь будет исправлять кривой почерк в Notes

• macOS 15 Sequoia
– Планирование хайкинга в картах
– iPhone mirroring (управление телефоном с компьютера)
– Обновления window manager🎉
– Замена фона в звонках
– Passwords app
– Safari: Highlights и Summary
– Game Porting Toolkit 2

• Apple Intelligence
– Right at the core of your iPhone, iPad & Mac
– Может переписать текст во всех приложениях в другом стиле
– Генерация картинок в стиле фото человека, с которым общаешься
– По запросу сможет показать файлы, которыми кто-то поделился 2 недели назад
– Siri: натуральные запросы, быстрые ответы, интеграция со многими приложениями, type to Siri, запросы типа "добавь этот адрес из переписки в карточку этого контакта" и "покажи фото девушки в розовом пиджаке из Нью-Йорка в прошлом году"
– Genmoji: генерация картинок по тексту и по набору emoji и фото контактов и даже скетчу
– Запись и транскрибация звонков

Подробнее тут: https://telegra.ph/WWDC-2024-06-10

Microsoft, смотрю, все никак не уймется после неудачной попытки протолкнуть скриншотилку на десктопы😐

В OpenSSH вчера нашли критическую уязвимость, которая там была во всех версиях с 8.5p1 по 9.7p1 включительно и позволяла выполнять код с root-полномочиями😱

Описание уязвимости: https://www.openwall.com/lists/oss-security/2024/07/01/3

Обновление от OpenSSH 9.8: https://www.openssh.com/releasenotes.html

Многие знают о том, что простой финский парень, Linus Torvalds, создал одну из самых популярных на сегодня операционных систем — Linux — просто ради развлечения.

При этом, далеко не все знают о том, что тот же самый человек создал самую-самую первую версию самой популярной сегодня системы контроля версий Git. Но в этот раз это уже была необходимость, а не fun. Кстати, основной функционал Git — это не его собственная идея! Незадолго до этого он начал "подсаживать" Linux-сообщество на другой, менее открытый инструмент, который назывался BitKeeper.

Только представьте, до этого момента ему приходилось разбирать предложения по изменению в коде, которые присылали ему по email в абсолютно хаотичном формате! А теперь, чтобы отправить изменения на ревизию, разработчику нужно было сделать в терминале примерно следующее:
# Загрузить репозиторий
bk clone bk://linux.bkbits.net/linux-2.5 linux-2.5
bk clone linux-2.5 alpha-2.5

# Отредактировать файлы и отправить обратно на сервер
bk vi fs/inode.c
bk push bk://gkernel@bkbits.net/alpha-2.5

После отправки изменений на сервер, Linus получал примерно следующее:
Here is an update for something something...

Please pull from: bk://gkernel.bkbits.net/alpha-2.5

example/file1.c | 6 ++++++
example/file2.c | 4 ----
2 files changed, 6 insertions(+), 4 deletions(-)

Выглядит знакомо, не так ли?😉

Ну и наконец в какой-то момент создатель BitKeeper решил, что надо подзакрутить гайки, как это нередко бывает (мы помним совсем недавние истории по смене лицензий HashiCorp, Redis и многих других). И в тот момент, Linus сообщил сообществу, что пути Linux и BitKeeper расходятся, и представил замену. 7-го апреля 2005 года в сети появилось первое упоминание Git версии 0.0.1.

Источник и более подробная статься о том "как" это было: https://blog.brachiosoft.com/en/posts/git/

Друзья, если у вас есть возможность и для вас будет безопасно отправить пожертвование детской больнице Охматдит, то пожалуйста рассмотрите возможность его отправки через благотворительный фонд, созданный при больнице https://www.ohmatdytfund.org/donate. Если такой возможности нет, то просьба проигнорировать это сообщение. Спасибо🕊

Рубрика Утечки из Snowflake❄️

Около полутора месяцев назад я писал про утечку данных из Snowflake-аккаунтов нескольких крупных компаний. Сегодня стало известно еще об одном случае.

Один из гигантов рынка коммуникаций США, AT&T, сегодня заявил о несанкционированном доступе к своим данных и утечке данных, которая затронула почти всех‼️ клиентов компании. Причина похоже та же — украдены/скомпроментированы логин/пароль к Snowflake одного из сотрудников компании.

Пожалуйста, будьте бдительны, используйте мультифакторную аутентификацию и SSO-интеграцию и allowlists во всех своих cloud-системах для предотвращения подобных случаев. Особенно в тех, которые содержат закрытые клиентские данные.

Предыдущая новость рубрики https://news.1rj.ru/str/alexseconds/168

Сходил тут недавно гостем на подкаст и рассказал свой опыт сдачи экзамена IELTS🤓

https://news.1rj.ru/str/datacoffee/272

Хочу попробовать начать делать data-стримы по утрам в понедельник и думать/говорить о том, что хотелось бы сделать в течение недели, какие планы намечены и как будем пытаться их достигнуть.

Это точно будет новый опыт для меня. А вы, если хотите, то обязательно забегайте тоже — будем обсуждать вместе :)

https://news.1rj.ru/str/alexseconds

Маленькая #радостьвыходногодня — камамбер, запеченный с розмарином, чесночком и помидорчиками😋

Ну а справа вариант для тех, кто не любит щекотать вкусовые сосочки, там моцарелла вместо камамбера😊

📈Weekly Data Stand-Up — 📆15.07.2024

Текущие задачи/планы:
• переход на инкремент в дата мартах
• сложности с Snowflake UD(T)F
• планы на интеграцию Data Contracts в существующую экосистему
• отказоустойчивость Airflow через алерты из Grafana/OpenTelemetry
• запросы стейкхолдеров на показ ETL Lambda в OpenMetadata lineage
• пара новостей в части безопасности в Snowflake
• кастомный SQL endpoint для запросов аналитиков с автоподбором размера инстанса

Предложения/вопросы из чата:
• оптимизация модели данных
• анализ возможностей SqlMesh с dbt проектом as-is

Спасибо всем, кто забежал поучаствовать ранним утром понедельника💙

P.S.: кстати, если кто-то хочет поучаствовать в таком формате #weeklydatastandup и рассказать о своих текущих задачах/сложностях/успехах, пишите мне и присоединяйтесь в роли спикера!

На выходных занялся переносом инфраструктуры подкаста @datacoffee в новый AWS аккаунт. В этот раз решил делать не "на коленке", а при переносе заодно добавить нормальный CI. Надо сказать, что в целом все удачно идет, но открылся неприятный недочет #CloudFormation — при деплое базы данных #DynamoDB невозможно указать backup из которого восстанавливать ранее существовавшую таблицу! Наверное буду обходить это через изменение подхода. Вместо ресурса DynamoDB table в шаблоне CF сделаю шаг в Actions для восстановления таблицы через aws backup start-restore-job. Надо подумать...

Недавно, компания Apple поменяла свои ограничения для AppStore и разрешила публиковать всяческие программы для эмуляции других архитектур.

В первую очередь конечно массово бросились публиковать свои приложения разработчики эмуляторов игровых консолей. Один из самых нашумевших и быстрых эмуляторов различных платформ Nintendo — Delta.

Для меня же стало интересным разобраться, а что же можно из настольных систем сегодня эмулировать на iOS/iPadOS. Оказалось, что сообщество UTM опубликовало приложение #UTM SE, которое позволяет запустить виртуальные машины на архитектуре x86, arm и других. Ребята давно известны своими десктопными продуктами. Если правильно помню, они используют #QEMU под капотом.

В связи с тем, что эмуляция становится доступной на iPhone/iPad, всерьез думаю попробовать ещё раз попытаться пересесть на мобильное рабочее место в виде iPad с клавиатурой/мышью.

Ну а результаты экспериментов с телефоном можете увидеть на прикрепленном фото. Столько времени прошло… Не знаю есть ли какой-то практический смысл в наличии виртуальной Windows XP сегодня, но воспоминаний конечно много!

Прямо сейчас наблюдаются серьезные проблемы в IT-инфраструктурах многих компаний, связанные со сбоями в продуктах #Microsoft

В Германии, Австралии, США, Великобритании, Японии и других странах пассажиры не могут зарегистрироваться на авиарейсы, а самолеты не могут вылететь. Также проблемы наблюдаются у операторов железной дороги в Великобритании, в магазинах и на коммуникационных сетях Австралии, и в других сервисах по всему миру.

Причиной послужило сразу два события:

1) Изменение в конфигурации для одного из бэкенд кластеров Azure, которые привели к его постоянной перезагрузке и недоступности из-за потери связи между compute и виртуальными дисками.
Источник: https://azure.status.microsoft/en-us/status/history/

2) Неудачное обновление от провайдера антивирусного ПО CrowdStrike, которым пользуются многие компании по всему миру.
Источник: https://supportportal.crowdstrike.com/s/article/Tech-Alert-Windows-crashes-related-to-Falcon-Sensor-2024-07-19