Друзья, если у вас есть возможность и для вас будет безопасно отправить пожертвование детской больнице Охматдит, то пожалуйста рассмотрите возможность его отправки через благотворительный фонд, созданный при больнице https://www.ohmatdytfund.org/donate. Если такой возможности нет, то просьба проигнорировать это сообщение. Спасибо🕊

Рубрика Утечки из Snowflake❄️

Около полутора месяцев назад я писал про утечку данных из Snowflake-аккаунтов нескольких крупных компаний. Сегодня стало известно еще об одном случае.

Один из гигантов рынка коммуникаций США, AT&T, сегодня заявил о несанкционированном доступе к своим данных и утечке данных, которая затронула почти всех‼️ клиентов компании. Причина похоже та же — украдены/скомпроментированы логин/пароль к Snowflake одного из сотрудников компании.

Пожалуйста, будьте бдительны, используйте мультифакторную аутентификацию и SSO-интеграцию и allowlists во всех своих cloud-системах для предотвращения подобных случаев. Особенно в тех, которые содержат закрытые клиентские данные.

Предыдущая новость рубрики https://news.1rj.ru/str/alexseconds/168

Сходил тут недавно гостем на подкаст и рассказал свой опыт сдачи экзамена IELTS🤓

https://news.1rj.ru/str/datacoffee/272

Хочу попробовать начать делать data-стримы по утрам в понедельник и думать/говорить о том, что хотелось бы сделать в течение недели, какие планы намечены и как будем пытаться их достигнуть.

Это точно будет новый опыт для меня. А вы, если хотите, то обязательно забегайте тоже — будем обсуждать вместе :)

https://news.1rj.ru/str/alexseconds

Маленькая #радостьвыходногодня — камамбер, запеченный с розмарином, чесночком и помидорчиками😋

Ну а справа вариант для тех, кто не любит щекотать вкусовые сосочки, там моцарелла вместо камамбера😊

📈Weekly Data Stand-Up — 📆15.07.2024

Текущие задачи/планы:
• переход на инкремент в дата мартах
• сложности с Snowflake UD(T)F
• планы на интеграцию Data Contracts в существующую экосистему
• отказоустойчивость Airflow через алерты из Grafana/OpenTelemetry
• запросы стейкхолдеров на показ ETL Lambda в OpenMetadata lineage
• пара новостей в части безопасности в Snowflake
• кастомный SQL endpoint для запросов аналитиков с автоподбором размера инстанса

Предложения/вопросы из чата:
• оптимизация модели данных
• анализ возможностей SqlMesh с dbt проектом as-is

Спасибо всем, кто забежал поучаствовать ранним утром понедельника💙

P.S.: кстати, если кто-то хочет поучаствовать в таком формате #weeklydatastandup и рассказать о своих текущих задачах/сложностях/успехах, пишите мне и присоединяйтесь в роли спикера!

На выходных занялся переносом инфраструктуры подкаста @datacoffee в новый AWS аккаунт. В этот раз решил делать не "на коленке", а при переносе заодно добавить нормальный CI. Надо сказать, что в целом все удачно идет, но открылся неприятный недочет #CloudFormation — при деплое базы данных #DynamoDB невозможно указать backup из которого восстанавливать ранее существовавшую таблицу! Наверное буду обходить это через изменение подхода. Вместо ресурса DynamoDB table в шаблоне CF сделаю шаг в Actions для восстановления таблицы через aws backup start-restore-job. Надо подумать...

Недавно, компания Apple поменяла свои ограничения для AppStore и разрешила публиковать всяческие программы для эмуляции других архитектур.

В первую очередь конечно массово бросились публиковать свои приложения разработчики эмуляторов игровых консолей. Один из самых нашумевших и быстрых эмуляторов различных платформ Nintendo — Delta.

Для меня же стало интересным разобраться, а что же можно из настольных систем сегодня эмулировать на iOS/iPadOS. Оказалось, что сообщество UTM опубликовало приложение #UTM SE, которое позволяет запустить виртуальные машины на архитектуре x86, arm и других. Ребята давно известны своими десктопными продуктами. Если правильно помню, они используют #QEMU под капотом.

В связи с тем, что эмуляция становится доступной на iPhone/iPad, всерьез думаю попробовать ещё раз попытаться пересесть на мобильное рабочее место в виде iPad с клавиатурой/мышью.

Ну а результаты экспериментов с телефоном можете увидеть на прикрепленном фото. Столько времени прошло… Не знаю есть ли какой-то практический смысл в наличии виртуальной Windows XP сегодня, но воспоминаний конечно много!

Прямо сейчас наблюдаются серьезные проблемы в IT-инфраструктурах многих компаний, связанные со сбоями в продуктах #Microsoft

В Германии, Австралии, США, Великобритании, Японии и других странах пассажиры не могут зарегистрироваться на авиарейсы, а самолеты не могут вылететь. Также проблемы наблюдаются у операторов железной дороги в Великобритании, в магазинах и на коммуникационных сетях Австралии, и в других сервисах по всему миру.

Причиной послужило сразу два события:

1) Изменение в конфигурации для одного из бэкенд кластеров Azure, которые привели к его постоянной перезагрузке и недоступности из-за потери связи между compute и виртуальными дисками.
Источник: https://azure.status.microsoft/en-us/status/history/

2) Неудачное обновление от провайдера антивирусного ПО CrowdStrike, которым пользуются многие компании по всему миру.
Источник: https://supportportal.crowdstrike.com/s/article/Tech-Alert-Windows-crashes-related-to-Falcon-Sensor-2024-07-19

Новый Weekly Data Stand-Up уже идет🚀

📈Weekly Data Stand-Up — 📆22.07.2024

Текущие задачи/планы:
• CrowdStrike наносит удар, но не по нам
• Snowflake UDTF все-таки заработала
• Grafana Alerts по метрикам (или их отсутствию) из Airflow
• нехватка open source коннекторов, но смотрим на Airbyte
• планы добавить линтеры и форматеры для SQL/dbt (SQLfluff) и HCL (tflint)

Предложения/вопросы из чата:
• передача метрик GitHub через OpenTelemetry

Спасибо всем, кто забежал поучаствовать ранним утром понедельника💙

P.S.: кстати, если кто-то хочет поучаствовать в таком формате #weeklydatastandup и рассказать о своих текущих задачах/сложностях/успехах, пишите мне и присоединяйтесь в роли спикера!

Свежее приобретение — набор из двух петличных беспроводных микрофонов #Hollyland Lark C1. Удобный приёмник с разъемом USB-C, позволяет подключать микрофоны как к телефонам с таким разъемом, так и к моей камере #DJI Osmo Pocket 3, для чего я собственно и брал микрофоны в первую очередь. Буду тестировать!

Тряхну сегодня стариной в оффлайне😉

https://news.1rj.ru/str/montenegro_it_events/719