Рынок дата-инженеров и прогноз на 2025

В этой статье вы сможете узнать в каком состоянии находится рынок дата-инженеров в 2024-ом и что с ним будет в 2025-ом.


Читать: https://habr.com/ru/articles/864780/

#ru

@database_design | Другие наши каналы

Раскрыто дело о тайных пациентах медицинских компаний

Медицинские компании, помимо приёма пациентов, должны качественно и безопасно хранить все данные, связанные с лечением, осмотрами и процедурами. От этого зависит не только имидж, но и лицензия организации.


Читать: https://habr.com/ru/articles/868290/

#ru

@database_design | Другие наши каналы

Переход на новую архитектуру проекта: как это влияет на надежность стриминга web-данных

Предположим, что перед вашей командой стоит задача по поиску надежного стриминга web и app данных, который бы соответствовал требованиям службы безопасности, ожиданиям отделов маркетинга и аналитики, а также был бы полезен для управляющей команды. Не менее важно удобство и прозрачность работы стриминга, а внесение изменений в ожидаемый результат, желательно, без привлечения дополнительного ресурса аналитиков и разработчиков.


Читать: https://habr.com/ru/articles/868358/

#ru

@database_design | Другие наши каналы

Обновление прошивки Toshiba NAS HDD под Linux



Я произвёл реверс-инжиниринг модуля обновления прошивки своего HDD Toshiba, чтобы иметь возможность обновлять её под Linux. Приведённые ниже команды должны работать, но используйте их на свой страх и риск:

"$ wget https://www.canvio.jp/en/support/download/hdd/ot_ihdd/fw/ISFw.dat
$ grep -C2 MODELNAME ISFw.dat
# ^
# |___ здесь определяем нужное имя файла
$ wget https://www.canvio.jp/en/support/download/hdd/ot_ihdd/fw/sk060202.ftd
# hdparm --fwdownload-mode3 sk060202.ftd /dev/sdX"

Предыстория

Недавно я приобрёл для своего NAS диск Toshiba HDWG480 HDD. Вот вывод команды "hdparm -I /dev/XXX":

"ATA device, with non-removable media
Model Number: TOSHIBA HDWG480
Serial Number: 3430A00RFR0H
Firmware Revision: 0601
Transport: Serial, ATA8-AST, SATA 1.0a, SATA II Extensions, SATA Rev 2.5, SATA Rev 2.6, SATA Rev 3.0
Standards:
Used: unknown (minor revision code 0x006d)
Supported: 10 9 8 7 6 5
Likely used: 10
[...]"
Как обычно, я хотел проверить, есть ли для него доступные обновления прошивки. На сайте Toshiba для моей модели приводится версия "0602".

К сожалению, и вполне ожидаемо, для пользователей Linux возможности обновления нет. Производитель предоставляет лишь «Internal Storage Firmware Update Utility» для Windows.

Сами файлы обновления также отсутствуют.

Читать: https://habr.com/ru/companies/ruvds/articles/867898/

#ru

@database_design | Другие наши каналы

Мы ускорили JOIN в ClickHouse… в 100 раз

Недавно мы представили два новых пул-реквеста в ClickHouse, которые будут доступны в ClickHouse 24.4. Эти изменения повышают производительность JOIN'ов во многих производственных сценариях, в некоторых случаях увеличивая скорость выполнения запросов на несколько порядков.


Читать: https://habr.com/ru/companies/otus/articles/868436/

#ru

@database_design | Другие наши каналы

Харденинг баз данных

Сейчас любое сколько-нибудь серьезное приложение нуждается в базе данных для хранения информации. СУБД позволяет сохранять данные, оперативно находить и извлекать то, что нужно с помощью запросов. Но для того, чтобы наши данные в базе хранились в безопасности необходимо не просто установить и настроить необходимое ПО, но выполнить харденинг – безопасную настройку СУБД.

В рамках данной статьи мы не будем концентрироваться на какой-то конкретной СУБД, а посмотрим те советы, которые подойдут любой базе данных.


Читать: https://habr.com/ru/companies/otus/articles/866810/

#ru

@database_design | Другие наши каналы

Seagate представляет 32 ТБ накопитель для пользователей: технология HAMR идет в массы

Не так давно мы писали об анонсе жестких дисков нового типа от Seagate. Их особенность — сверхвысокая плотность хранения данных. Сейчас американская компания Seagate таки выпустила жесткий диск Exos M емкостью 32 ТБ — рекордной для потребительских HDD.

Высокой плотности записи удалось добиться при помощи технологии HAMR, при которой область записи нагревается при помощи лазера. Это перспективная разработка, которая позволит и дальше наращивать емкость HDD. Правда, у нее есть конкурент в лице технологии MAMR с использованием магнитных полей.


Читать: https://habr.com/ru/companies/selectel/articles/868396/

#ru

@database_design | Другие наши каналы

Расцвет скоростей в сетях ЦОД: 400GbE уже мейнстрим или совсем мало?

Привет! Меня зовут Михаил Шпак, я занимаюсь комплексной архитектурой технологических решений в сетевой части ИТ-холдинга Fplus, который выпускает широкий спектр высокотехнологичных электронных устройств. В данной статье я хочу показать, как за последние 5 лет требования современного бизнеса и развитие ресурсоемких приложений (искусственного интеллекта, поисковых систем, мобильной связи стандарта 5G и т.д.) изменили требования к архитектуре, скорости и отзывчивости сетей, используемых в центрах обработки данных. Давайте разберемся, какие комплексные технологические решения заставляют нас ускоряться, а где можно использовать старые наработки и отточенные десятилетиями практики.


Читать: https://habr.com/ru/companies/fplus_tech/articles/868850/

#ru

@database_design | Другие наши каналы

Tarantool CDC. Жизнь данных в гетерогенной среде

Часто в распределенных ИТ-ландшафтах компании используют несколько хранилищ данных под разные задачи. Это делает их важным компонентом любой системы Change Data Capture (CDC) — они помогают отслеживать изменения данных и связывать используемые хранилища. Но далеко не все CDC-инструменты способны ответить на актуальные запросы бизнеса.

Меня зовут Евгений Афанасьев. Я архитектор VK Tech в команде Tarantool. В этой статье я расскажу о том, с какими вызовами сталкиваются современные компании при работе с данными и как на них помогает отвечать Tarantool CDC.


Читать: https://habr.com/ru/companies/vk/articles/868406/

#ru

@database_design | Другие наши каналы

Революция в ритейле с MongoDB и Dataworkz

RAG и MongoDB трансформируют цифровую розницу, предоставляя персонализированные рекомендации и улучшенное взаимодействие с клиентами. Сочетание структурированных данных с неструктурированной информацией дает магазинам возможность оперативно ответить на запросы клиентов и эффективно управлять запасами. Узнайте, как MongoDB и Dataworkz делают это возможным. 🔍 MongoDB 8.0: Прорыв в области AI и поиска данных

В 2024 году MongoDB представила обновление 8.0, улучшив скорость базы данных и добавив поддержку зашифрованных запросов. Также запущена программа MAAP для ускорения разработки AI-приложений и улучшена функция поиска в MongoDB Atlas Vector Search. Эти новшества делают работу с AI быстрее и дешевле.

Читать подробнее

#en

@database_design | Другие наши каналы

MongoDB в числе лидеров облачных БД по версии Gartner

MongoDB третий год подряд получает статус "Лидера" в облачных системах управления базами данных в отчете Gartner 2024. Это подтверждает успех компании в инновациях и ориентированности на клиента, а также выдающееся исполнение и стратегическое видение платформы MongoDB. Инновации в ритейле с MongoDB и Dataworkz

Современные покупатели ждут персонализированных предложений и быстрого обслуживания. MongoDB Atlas и Dataworkz предлагают решение: использование данных для создания уникального клиентского опыта. Сервис облегчает поддержку, улучшает рекомендации и оптимизирует маркетинг для ритейлеров.

Читать подробнее

#en

@database_design | Другие наши каналы

Oracle расширяет облачные возможности

В 2024 году Oracle отметилась важными нововведениями в области облачных баз данных. Ключевые моменты включают запуск Oracle Database@Google Cloud и Oracle Database@AWS, а также представление Exadata Exascale и Oracle Database 23ai с интеграцией AI для бизнес-анализа.

Читать подробнее

#en

@database_design | Другие наши каналы

Как мигрировать данные между разными StorageClass в Kubernetes и зачем это делать

Миграция данных в Kubernetes: практическое руководство. Узнайте, как легко и безопасно перемещать данные между различными StorageClass с помощью простых шагов.


Читать: https://habr.com/ru/companies/flant/articles/868280/

#ru

@database_design | Другие наши каналы

Как мы проверяли качество данных после завершения миграции с Teradata на Greenplum

Привет, Хабр! Мы завершаем серию статей о миграции аналитического хранилища данных с платформы Teradata на GreenPlum. В предыдущих статьях мы рассказали о нашем опыте и результатах автоматизированного переписывания SQL‑скриптов с помощью реализованных сервисов миграции кода и переноса архива данных. В этот раз мы расскажем вам о нашем опыте и результатах кросс‑платформенной проверки качества данных во время и после миграции, а также о трудностях и решениях, связанных с этим процессом.

Завершая нашу серию, мы подходим к ключевому аспекту миграции данных — проверке и обеспечению качества данных после переноса. Теперь, когда перед нами стоят два параллельно функционирующих хранилища, возникает вопрос о точности и согласованности данных между ними.


Читать: https://habr.com/ru/companies/sberbank/articles/869294/

#ru

@database_design | Другие наши каналы

PostgreSQL — особенности работы с памятью для 1С-систем. Часть 3

Это третья и заключительная часть цикла статей по настройке памяти в PostgreSQL. Полагаю, она получилось уже не такой заумной, как предыдущие две, и представляет из себя некий сухой остаток с собирательным примером, в котором показано как выбирать параметры PostgreSQL по настройке оперативной памяти. Если же хочется погрузиться в руду, то милости просим в Часть 1 и Часть 2. Тем не менее, цепочка логических рассуждений сохранена – как делаем, зачем и почему.


Читать: https://habr.com/ru/companies/softpoint/articles/869446/

#ru

@database_design | Другие наши каналы

Telegram-бот-магазин на Python: пошаговый гайд с оплатой, каталогом и админкой (Aiogram 3 + SQLAlchemy 2)

Сегодня я к вам с новым практическим проектом на Python. На этот раз мы создадим полноценного Telegram-бота для продажи цифровых товаров с базой данных, которой будем управлять через SQLAlchemy 2, админ-панелью, пользовательской частью и интегрированной оплатой через Юкассу.

Я шаг за шагом проведу вас через все этапы разработки такого бота: начиная от регистрации токена в BotFather и заканчивая деплоем готового продукта на удаленном хостинге, чтобы бот мог бесперебойно работать 24/7 без привязки к вашему компьютеру или интернет-соединению.


Читать: https://habr.com/ru/companies/amvera/articles/869136/

#ru

@database_design | Другие наши каналы

Как проводить сложные исследования в Google Таблицах и Excel? Работаем с формулой QUERY

Привет, Хабр! Раньше ни один мой рабочий день не проходил без Google Таблиц. Теперь продолжаю использовать инструмент только в личных целях, но в его аналогах многое очень похоже.

Меня зовут Саша, я координатор отдела пользовательских исследований в Selectel. В этой статье я объясню, как и какие формулы использовать в таблицах, чтобы работать с большими объемами данных.

Читать: https://habr.com/ru/companies/selectel/articles/869732/

#ru

@database_design | Другие наши каналы

Создание динамических таблиц в SuperSet

Однажды в студеную зимнюю пору из-за морей, из-за океанов прилетело известие: лицензии не выдаем, тех.поддержку не оказываем, а можем и вовсе отключить все системы. В компании погоревали, но делать нечего, решили переходить на новые системы, да такие, чтобы не смогли в любой момент их превратить в тыкву. И стали смотреть в сторону open-sourсe решений. Проанализировали несколько BI-систем и остановились на SuperSet. /*После QlikSense и Tableau казалось, что это так себе затея*/

Меня зовут Корнева Настя, я отвечаю за разработку BI-отчетности в Magnit Tech в рамках проекта Аналитика УЦП (управление цепочками поставок). В этой статье поделюсь нашим опытом создания динамических сводных таблиц в BI-инструменте SuperSet, что будет полезно разработчикам отчетности и всем, кому интересна тематика.


Читать: https://habr.com/ru/companies/magnit/articles/869924/

#ru

@database_design | Другие наши каналы

Как я написал 1400 регламентов и почему это важно для бизнеса

Посмотрев назад на свой длинный путь в бизнесе, могу смело заявить, что я знаю о бизнес-процессах больше, чем кто-либо.

Руководя своей командой, я заметил, что мы тратим массу времени на повторяющиеся вопросы и одни и те же проблемы. «Как оформлять счета?», «Какая процедура работы с клиентами?», «Что делать, если клиент недоволен?» — эти вопросы повторялись просто каждый день. Даже очевидные задачи превращались в постоянные созвоны и обсуждения. Это тормозило развитие бизнеса, мешало внедрять автоматизацию и вызывало у сотрудников демотивацию к работе.

Так я пришел к идее: нужно структурировать всё. С того момента я написал более 1400 регламентов, охватывающих почти все бизнес-процессы, и это стало настоящей революцией в нашей работе. В этой статье я хочу поделиться, как мне удалось создать систему, которая избавила нас от хаоса, и объясню, почему инструкции — это не формальность, а основа для успеха.


Читать: https://habr.com/ru/articles/870136/

#ru

@database_design | Другие наши каналы

Инфраструктура для Data-Engineer Liquibase

Liquibase — это по сути реализация принципов IaC, но для баз данных, что делает его ключевым инструментом для DataBase as Code (DBaC). Как IaC управляет инфраструктурой, так Liquibase управляет схемами баз данных, обеспечивая автоматизацию, консистентность и версионирование изменений.


Читать: https://habr.com/ru/articles/863242/

#ru

@database_design | Другие наши каналы

Как организовать библиотеку книг в Obsidian

Делюсь своим опытом организации цифровой библиотеки книг в Obsidian с фильтрацией по жанрам, авторам и статусу прочтения.


Читать: https://habr.com/ru/articles/870262/

#ru

@database_design | Другие наши каналы