Clickhouse в машинном обучении без использования GPU (Часть 1)

Один из моих коллег сказал когда-то, что "база данных - это хранилище, а не считалище!". Эту фразу я вспоминал регулярно, пока проводил свое маленькое исследование. Целью данной статьи является описание практического опыта эффективного решения одной из задач ML на существующих аппаратных ресурсах, без аренды/покупки дорогостоящих GPU.


Читать: https://habr.com/ru/articles/948318/

#ru

@database_design | Другие наши каналы

Можно ли перейти с Oracle или MS SQL на СУБД из Реестра российского ПО без переписывания всей хранимой логики?

Можно ли перейти с Oracle или MS SQL на СУБД из Реестра российского ПО без переписывания всей хранимой логики?
Один из возможных подходов к решению этой задачи.


Читать: https://habr.com/ru/articles/949980/

#ru

@database_design | Другие наши каналы

Обрабатываем строки в 109 раз быстрее, чем Nvidia на H100

Недавно я выпустил StringZilla v4 — первый релиз с поддержкой CUDA моей библиотеки для обработки строк. нацеленной в первую очередь на SIMD. Это означает, что теперь она стала быстрой не только на CPU, но и на GPU!

• Я хотел добавить ускорение ROCm для GPU AMD

• Я хотел добавить параллельный мультипаттерновый алгоритм поиска

• Я хотел опубликовать всё это ещё в декабре 2024 года

Итак, не всё пошло по плану, но StringZilla 4 CUDA наконец-то здесь, и она добавляет 500 с лишним GigaCUPS вычислений редакторского расстояния; при этом пакет можно установить через pip install. Также в ней есть некоторые другие трюки, предназначенные для крупномасштабных систем извлечения данных, баз данных и озёр данных, а также биоинформационных задач. И всё это под разрешительной опенсорсной лицензией Apache 2.0, позволяющей свободно использовать библиотеку в коммерческих целях. В этом посте я рассмотрю самые интересные части релиза, и в том числе:

• Быструю оценку алгоритмов динамического программирования на GPU,

• Хэширование CRC32, MurMurHash, xxHash, aHash и не только, а также

• Фингерпринтинг биологических последовательностей 52-битными целыми числами


Читать: https://habr.com/ru/articles/949522/

#ru

@database_design | Другие наши каналы

Dell PowerEdge R7715

Серверный рынок постоянно развивается, и Dell не отстаёт от трендов. Недавно компания представила PowerEdge R7715 — 2U-сервер на базе процессоров AMD EPYC 9005, который сразу привлёк внимание специалистов по инфраструктуре. В этой статье мы расскажем, почему этот сервер может стать отличным решением для вашего дата-центра.


Читать: https://habr.com/ru/articles/950062/

#ru

@database_design | Другие наши каналы

Самый быстрый способ загрузить 32 000 строк в PostgreSQL с помощью Python

Команда Python for Devs подготовила перевод статьи о том, как найти самый быстрый способ загрузки данных в PostgreSQL с помощью Python. Автор пошагово сравнил разные методы — от построчных вставок до COPY с потоковой генерацией CSV — и показал, как ускорить процесс более чем в 250 раз при нулевом потреблении памяти.


Читать: https://habr.com/ru/articles/948854/

#ru

@database_design | Другие наши каналы

HTML как архивный формат. Локальные мини-сайты

В перспективе отключения глобального интернета в РФ актуальным становятся разные способы сохранять информацию в офлайне для последующего потребления: архивы кинофильмов, музыки, книг, копии сайтов — своя мини-версия Архива интернета.

Отдельного внимания заслуживает личный информационный архив, куда мы сохраняем самую ценную приватную информацию: скриншоты рабочих проектов, закладки, домашнее видео и прочее. Но в каком виде информация наиболее удобна для просмотра и поиска?

Один из вариантов — генерация локальных мини-сайтов с перекрёстными гиперссылками. В таком виде информация воспринимается очень комфортно.


Читать: https://habr.com/ru/companies/ruvds/articles/949172/

#ru

@database_design | Другие наши каналы

«SQL хорош для данных, но плох для логики» — почему все больше разработчиков выносят бизнес-логику из базы

SQL отлично справляется с данными, но неудобен для бизнес-логики: разработчики выносят её в код ради гибкости, скорости и независимости

Читать: ««SQL хорош для данных, но плох для логики» — почему все больше разработчиков выносят бизнес-логику из базы»

#ru

@database_design | Другие наши каналы

MongoDB признана лидером по качеству руководства в 2025 году благодаря культуре доверия и инноваций. В статье рассказывается о новых подходах к созданию и масштабированию AI-агентов, которые помогают бизнесу эффективно внедрять искусственный интеллект.

Читать подробнее

#en

@database_design | Другие наши каналы

Ваш код украли: как защитить права на IT-продукт и не потерять миллионы

Трудовой договор не даёт права на код вашего продукта! Юрист Сергей Соколов простыми словами объясняет, как юридически закрепить права на ПО за компанией, а не за разработчиком. Узнайте, какие документы подготовить, чтобы ваш софт не «уплыл» к конкурентам.

Читать: «Ваш код украли: как защитить права на IT-продукт и не потерять миллионы»

#ru

@database_design | Другие наши каналы

Google Cloud KMS теперь интегрирован с Exadata Database Service на Oracle Database@Google Cloud. Это повышает безопасность управления ключами шифрования и упрощает защиту данных в облаке. Узнайте, как новая интеграция улучшает ваши облачные решения.

Читать подробнее

#en

@database_design | Другие наши каналы

Транзакционная работа с топиками: архитектура и сравнение решений в Apache Kafka и YDB Topics

Привет, Хабр! Меня зовут Алексей Николаевский, и мы с командой делаем СУБД Яндекса. С 2013 года в Яндексе использовали Kafka для потоковой передачи данных. Но Kafka со временем перестала справляться с растущими объёмами, и в 2017 году мы перешли на своё решение.

Брокер сообщений YDB Topics во многом вдохновлялся Kafka: в нём также есть топики, партиции и аналогичные способы работы с данными. Но есть и существенные отличия, о которых в конце прошлого года я рассказал на московской конференции HighLoad. Под катом — адаптированная для Хабра статья по мотивам этого доклада: про архитектуру транзакций в обеих системах и интересные для разработчиков детали и нюансы, которые мы обсуждали на конференции.


Читать: https://habr.com/ru/companies/ydb/articles/949662/

#ru

@database_design | Другие наши каналы

Мы запускали майнинг-пул на десятки тысяч ASIC-ов. Вот что пошло не так (и почему это было гениально)

Привет, Хабр. Меня зовут Олег Акулов, я основатель и CEO Nomium. Обычно я пишу код или руковожу проектами, но сегодня — расскажу историю. Историю о том, как мы замахнулись на проект, который по всем канонам должен был разорить нас и клиента, а в итоге стал одним из наших главных кейсов экспертизы. Это был не просто «ещё один майнинг-пул». Это был вызов на грани фола.


Читать: https://habr.com/ru/articles/950432/

#ru

@database_design | Другие наши каналы

Redis против Postgres в роли кэша: неожиданные итоги бенчмарка

Бенчмарк показал: Redis быстрее в роли кэша, но PostgreSQL с unlogged-таблицами выдаёт до 7400 rps и подходит для многих проектов

Читать: «Redis против Postgres в роли кэша: неожиданные итоги бенчмарка»

#ru

@database_design | Другие наши каналы

Новый SQL-интерфейс MongoDB облегчает работу с данными через BI-инструменты без сложных ETL и изучения нового языка. В статье также раскрывают методики масштабирования AI-агентов и рассказывают, почему MongoDB признана одной из лучших компаний по версии Glassdoor 2025.

Читать подробнее

#en

@database_design | Другие наши каналы

Как сделать серверную копию 1С — и не плакать в день сдачи отчётов

Как правильно сделать серверную копию 1С: пошаговая инструкция, команды rac, автоматизация через cron, типичные ошибки и лучшие практики резервного копирования для надёжной защиты данных в день сдачи отчётности.


Читать: https://habr.com/ru/articles/950610/

#ru

@database_design | Другие наши каналы

Как мы подружили Tarantool с Kubernetes

Привет, Хабр! Я — Калашников Сергей, DevOps‑инженер в Центре Перспективных Разработок (ex. R&D) компании Bercut. Cегодня поделюсь опытом внедрения систем на базе Tarantool и Tarantool Vshard в оркестратор Kubernetes.

Tarantool — платформа, которая включает в себя in‑memory базу данных, а также встроенный сервер приложений. На базе этой платформы наша команда разрабатывает различные информационные системы, расширяя функциональность с применением языков Lua, Rust, C\C++.

Несмотря на все очевидные плюсы Tarantool, он не является тривиальным в части конфигурирования и bootstrap. Это привело нас к разработке Operator для Kubernetes, который обеспечивает развертывание и конфигурирование кластеров на базе Tarantool и Tarantool Vshard.


Читать: https://habr.com/ru/companies/bercut/articles/950628/

#ru

@database_design | Другие наши каналы

Что такое endianness и почему это важно для обмена данными между устройствами? Статья объясняет, как порядок байтов влияет на правильность передачи информации в системах IoT, 5G и финансах, а также как современные технологии помогают корректировать и анализировать такие данные. Новый уровень работы с данными MongoDB

MongoDB представила SQL Interface — инструмент, который превращает сложные структуры документов в удобный для SQL формат. Это обеспечивает более высокую производительность запросов и упрощает интеграцию с BI-инструментами. Новинка заменит BI Connector к 2026 году.

Читать подробнее

#en

@database_design | Другие наши каналы

Как MongoDB превратился в ключевую базу данных для крупных компаний

Текст: Из нишевого NoSQL MongoDB вырос в платформу для масштабных корпоративных приложений. С высокодоступной архитектурой, ACID-транзакциями и мощной безопасностью сегодня его используют крупнейшие банки, производственные и медицинские компании. Новый уровень работы с MongoDB: SQL Interface для Enterprise Advanced теперь позволяет напрямую выполнять SQL-запросы к данным MongoDB через знакомые BI-инструменты, такие как Tableau и Power BI. Это упрощает аналитику без необходимости изучать MongoDB Query Language или строить сложные ETL-процессы.

Читать подробнее

#en

@database_design | Другие наши каналы

Безопасность, устойчивость и простота — три кита MongoDB. Новые возможности платформы обеспечивают защиту данных на каждом уровне, мгновенное восстановление после сбоев и мультиоблачные развертывания без сложностей. Это ускоряет работу разработчиков и снижает операционные риски. Как MongoDB превратилась из нишевого NoSQL в надёжную платформу для IT-гигантов? Более 15 лет инженерной работы, фокус на доступности, консистентности и безопасности сделали её выбором Fortune 500, банков и крупных производителей по всему миру. MongoDB: масштабируемость и безопасность для бизнеса
MongoDB предлагает беспрецедентную горизонтальную масштабируемость, многоуровневую консистентность и поддержку multi-документных транзакций. Крупные компании уже доверяют ей критичные задачи в финансовом, IoT и крипто-секторах.

Читать подробнее

#en

@database_design | Другие наши каналы

MongoDB представил платформу AMP для быстрой и безопасной модернизации legacy-приложений. Автоматизация и проверенные методы ускоряют обновление устаревших систем, снижая риски и открывая новые бизнес-возможности. Будущее разработки с ИИ становится ближе.

Читать подробнее

#en

@database_design | Другие наши каналы

PostgreSQL 18 вышел: новый асинхронный I/O ускоряет запросы в 3 раза

PostgreSQL 18 вышел с асинхронным I/O, ускоряющим запросы в 3 раза, быстрее pg_upgrade, новыми индексами, OAuth 2.0 и улучшенным текстовым поиском

Читать: «PostgreSQL 18 вышел: новый асинхронный I/O ускоряет запросы в 3 раза»

#ru

@database_design | Другие наши каналы