Оптимизация векторного поиска с MongoDB и Voyage AI
MongoDB Atlas и Voyage AI внедряют автоматическую квантование эмбеддингов, ускоряя поиск и снижая требования к памяти без потери качества. Это улучшение масштабируется для миллионов векторов и подходит для больших AI-приложений.
Читать подробнее
#en
@database_design | Другие наши каналы
MongoDB Atlas и Voyage AI внедряют автоматическую квантование эмбеддингов, ускоряя поиск и снижая требования к памяти без потери качества. Это улучшение масштабируется для миллионов векторов и подходит для больших AI-приложений.
Читать подробнее
#en
@database_design | Другие наши каналы
Работа аналитиком данных: задачи, зарплата, плюсы, минусы и где учиться — в 2025
Мы на Хабр Карьере помогаем IT-специалистам зарабатывать больше, а компаниям — быть в курсе трендов на рынке найма.
Аналитика данных — одна самых востребованных специализаций сегодня, особенно в России, где цифровизация бизнеса идет полным ходом. Если задумываетесь о карьере в этой сфере, но не знаете, с чего начать — эта статья для вас.
Ниже разбираем, кто такой аналитик данных, чем он занимается, какие плюсы и минусы есть в этой профессии, сколько можно зарабатывать в России в 2025 году, а еще где найти бесплатное и платное обучение для старта.
Читать: https://habr.com/ru/companies/habr_career/articles/917314/
#ru
@database_design | Другие наши каналы
Мы на Хабр Карьере помогаем IT-специалистам зарабатывать больше, а компаниям — быть в курсе трендов на рынке найма.
Аналитика данных — одна самых востребованных специализаций сегодня, особенно в России, где цифровизация бизнеса идет полным ходом. Если задумываетесь о карьере в этой сфере, но не знаете, с чего начать — эта статья для вас.
Ниже разбираем, кто такой аналитик данных, чем он занимается, какие плюсы и минусы есть в этой профессии, сколько можно зарабатывать в России в 2025 году, а еще где найти бесплатное и платное обучение для старта.
Читать: https://habr.com/ru/companies/habr_career/articles/917314/
#ru
@database_design | Другие наши каналы
Влияние маленьких файлов на Big Data: HDFS vs S3
Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. В этой статье рассмотрим, как большое количество мелких файлов влияет на производительность различных систем хранения, таких как HDFS и объектные хранилища с S3 API.
Разберём, какие технологии хранения лучше всего подходят для работы с мелкими файлами в архитектурах Data Lake и Lakehouse. Сравним производительность HDFS и объектных хранилищ с S3 API. На конкретных тестах покажем, почему именно HDFS эффективнее справляется с большим количеством небольших файлов. Обсудим также случаи, когда мелкие файлы становятся не просто нежелательной ситуацией, а неизбежной необходимостью, например в подходах типа Change Data Capture (CDC).
Тесты, графики, инсайды
Читать: https://habr.com/ru/companies/arenadata/articles/915684/
#ru
@database_design | Другие наши каналы
Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. В этой статье рассмотрим, как большое количество мелких файлов влияет на производительность различных систем хранения, таких как HDFS и объектные хранилища с S3 API.
Разберём, какие технологии хранения лучше всего подходят для работы с мелкими файлами в архитектурах Data Lake и Lakehouse. Сравним производительность HDFS и объектных хранилищ с S3 API. На конкретных тестах покажем, почему именно HDFS эффективнее справляется с большим количеством небольших файлов. Обсудим также случаи, когда мелкие файлы становятся не просто нежелательной ситуацией, а неизбежной необходимостью, например в подходах типа Change Data Capture (CDC).
Тесты, графики, инсайды
Читать: https://habr.com/ru/companies/arenadata/articles/915684/
#ru
@database_design | Другие наши каналы
Смотрим под капот объектному хранилищу VK Cloud: что скрывает архитектура Object Storage
Современные компании оперируют терабайтами или даже петабайтами данных. Но часто эти данные имеют разный формат, степень структурированности и не нужны в «горячем» доступе, поэтому зачастую хранить весь массив в традиционных БД не только невозможно, но и нерационально. Как результат, бизнес все чаще использует объектные S3-хранилища.
Меня зовут Андрей Капустин. Я менеджер продукта Tarantool в компании VK Tech. В этой статье я расскажу об объектном хранилище VK Cloud, его архитектуре и месте Tarantool в ней.
Читать: https://habr.com/ru/companies/vktech/articles/917190/
#ru
@database_design | Другие наши каналы
Современные компании оперируют терабайтами или даже петабайтами данных. Но часто эти данные имеют разный формат, степень структурированности и не нужны в «горячем» доступе, поэтому зачастую хранить весь массив в традиционных БД не только невозможно, но и нерационально. Как результат, бизнес все чаще использует объектные S3-хранилища.
Меня зовут Андрей Капустин. Я менеджер продукта Tarantool в компании VK Tech. В этой статье я расскажу об объектном хранилище VK Cloud, его архитектуре и месте Tarantool в ней.
Читать: https://habr.com/ru/companies/vktech/articles/917190/
#ru
@database_design | Другие наши каналы
Кому нужна аналитика для бизнеса
Мне всегда было интересно, как управляются разные бизнесы: как работает завод, ритейл, другие сферы. Я пытался изнутри наблюдать за бизнесом, где создаётся конечная ценность. Где-то работает автократия, в других компаниях уже есть зрелая бюрократия, а где-то все договариваются на словах, но нигде это не прописано.
Я видел, что даже в среднем бизнесе решения принимаются на основании чуйки хозяина. Тогда как в entreprise решения принимаются на основании процедур, отчётов. Люди страдают и ненавидят этот процесс, так как много времени уходит на оцифровку. Но при этом корпорации довольно эффективны, что показал мой дальнейший опыт. Они работают на 4-ку, но стабильно. Малый бизнес может сегодня сработать на 5, а завтра на 2.
Так у меня появилось убеждение, что в своих решениях нужно опираться на данные. Большой компанией можно стать только та, где есть система принятия решений.
Я ушёл из enterprise в малый бизнес и старался туда привносить то, что увидел в корпорациях. Собственники компаний принимали интуитивные решения, которые могли приводить к просадке выручки в 2 раза за несколько месяцев. Такие ситуации лишь укрепили мою убеждённость в своей правоте.
В этой статье я расскажу, как и кому может помочь аналитика данных.
Читать: https://habr.com/ru/articles/917602/
#ru
@database_design | Другие наши каналы
Мне всегда было интересно, как управляются разные бизнесы: как работает завод, ритейл, другие сферы. Я пытался изнутри наблюдать за бизнесом, где создаётся конечная ценность. Где-то работает автократия, в других компаниях уже есть зрелая бюрократия, а где-то все договариваются на словах, но нигде это не прописано.
Я видел, что даже в среднем бизнесе решения принимаются на основании чуйки хозяина. Тогда как в entreprise решения принимаются на основании процедур, отчётов. Люди страдают и ненавидят этот процесс, так как много времени уходит на оцифровку. Но при этом корпорации довольно эффективны, что показал мой дальнейший опыт. Они работают на 4-ку, но стабильно. Малый бизнес может сегодня сработать на 5, а завтра на 2.
Так у меня появилось убеждение, что в своих решениях нужно опираться на данные. Большой компанией можно стать только та, где есть система принятия решений.
Я ушёл из enterprise в малый бизнес и старался туда привносить то, что увидел в корпорациях. Собственники компаний принимали интуитивные решения, которые могли приводить к просадке выручки в 2 раза за несколько месяцев. Такие ситуации лишь укрепили мою убеждённость в своей правоте.
В этой статье я расскажу, как и кому может помочь аналитика данных.
Читать: https://habr.com/ru/articles/917602/
#ru
@database_design | Другие наши каналы
❤1
Я сделал поисковик хуже Elasticsearch
В этой статье я хочу поделиться своим стыдом, вызванным попыткой создания библиотеки поиска. В этом стыде и вы можете прочувствовать смирение и осознание того, что реальный качественный поисковый движок, а не создаваемый как хобби-проект, должен делать для того, чтобы лексический поиск был быстрым.
BEIR — это бенчмарки поиска информации, ориентированные на сценарии использования в формате «вопрос-ответ».
Мой хобби-проект SearchArray добавляет в Pandas полнотекстовый поиск. Поэтому естественно, чтобы ощутить трепет от моих потрясающих навыков разработчика, я решил использовать BEIR для сравнения SearchArray с Elasticsearch (с тем же запросом + токенизацией). Поэтому я потратил субботу на интеграцию SearchArray в BEIR и измерение релевантности и производительности с корпусом MSMarco Passage Retrieval (8 миллионов документов).
Барабанная дробь...
Читать: https://habr.com/ru/articles/917604/
#ru
@database_design | Другие наши каналы
В этой статье я хочу поделиться своим стыдом, вызванным попыткой создания библиотеки поиска. В этом стыде и вы можете прочувствовать смирение и осознание того, что реальный качественный поисковый движок, а не создаваемый как хобби-проект, должен делать для того, чтобы лексический поиск был быстрым.
BEIR — это бенчмарки поиска информации, ориентированные на сценарии использования в формате «вопрос-ответ».
Мой хобби-проект SearchArray добавляет в Pandas полнотекстовый поиск. Поэтому естественно, чтобы ощутить трепет от моих потрясающих навыков разработчика, я решил использовать BEIR для сравнения SearchArray с Elasticsearch (с тем же запросом + токенизацией). Поэтому я потратил субботу на интеграцию SearchArray в BEIR и измерение релевантности и производительности с корпусом MSMarco Passage Retrieval (8 миллионов документов).
Барабанная дробь...
Читать: https://habr.com/ru/articles/917604/
#ru
@database_design | Другие наши каналы
Как расширенные статистики помогли раскрыть неочевидную аномалию в VACUUM PostgreSQL
Эксперт Postgres Professional Андрей Зубков «нырнул» в глубины VACUUM и выяснил, что детализированная статистика может выявить глубинные проблемы, которые критически влияют на производительность. Расскажем о том, что скрывалось в глубине PostgreSQL
Читать: https://habr.com/ru/companies/postgrespro/articles/917662/
#ru
@database_design | Другие наши каналы
Эксперт Postgres Professional Андрей Зубков «нырнул» в глубины VACUUM и выяснил, что детализированная статистика может выявить глубинные проблемы, которые критически влияют на производительность. Расскажем о том, что скрывалось в глубине PostgreSQL
Читать: https://habr.com/ru/companies/postgrespro/articles/917662/
#ru
@database_design | Другие наши каналы
Быстрый векторный поиск: как квантование меняет правила игры. Статья рассказывает, как оптимизация с помощью квантования снижает задержки до 200 мс и уменьшает потребление памяти в 3 раза, обеспечивая баланс между скоростью и точностью в масштабируемых AI-системах.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
7 курсов, с которых реально стартуют в IT в 2025
Хотите начать карьеру в IT с нуля? Рассказываем, какие курсы в 2025 реально помогают попасть в IT, даже без опыта и тех.образования.
Читать: «7 курсов, с которых реально стартуют в IT в 2025»
#ru
@database_design | Другие наши каналы
Хотите начать карьеру в IT с нуля? Рассказываем, какие курсы в 2025 реально помогают попасть в IT, даже без опыта и тех.образования.
Читать: «7 курсов, с которых реально стартуют в IT в 2025»
#ru
@database_design | Другие наши каналы
7 курсов, с которых реально стартуют в IT в 2025
Хотите начать карьеру в IT с нуля? Рассказываем, какие курсы в 2025 реально помогают попасть в IT, даже без опыта и тех.образования.
Читать: «7 курсов, с которых реально стартуют в IT в 2025»
#ru
@database_design | Другие наши каналы
Хотите начать карьеру в IT с нуля? Рассказываем, какие курсы в 2025 реально помогают попасть в IT, даже без опыта и тех.образования.
Читать: «7 курсов, с которых реально стартуют в IT в 2025»
#ru
@database_design | Другие наши каналы
ИИ-агенты для автоматизации бизнеса: задачи, примеры и внедрение
Бизнес сегодня работает в условиях информационного перенасыщения, когда скорость обработки данных и принятия решений становится ключевым фактором успеха. Ежедневно компании сталкиваются с задачами: как сократить время на обработку запросов клиентов, как оперативно анализировать большие массивы информации, как снизить нагрузку на сотрудников и повысить качество сервиса?
Ответ на эти вопросы всё чаще звучит в двух буквах – ИИ. Искусственный интеллект, в частности ИИ-агенты, предлагает новый уровень автоматизации бизнес-процессов.
Читать: https://habr.com/ru/articles/917714/
#ru
@database_design | Другие наши каналы
Бизнес сегодня работает в условиях информационного перенасыщения, когда скорость обработки данных и принятия решений становится ключевым фактором успеха. Ежедневно компании сталкиваются с задачами: как сократить время на обработку запросов клиентов, как оперативно анализировать большие массивы информации, как снизить нагрузку на сотрудников и повысить качество сервиса?
Ответ на эти вопросы всё чаще звучит в двух буквах – ИИ. Искусственный интеллект, в частности ИИ-агенты, предлагает новый уровень автоматизации бизнес-процессов.
Читать: https://habr.com/ru/articles/917714/
#ru
@database_design | Другие наши каналы
Новые обновления MariaDB Enterprise Server версий 11.4.7-4, 10.6.22-18 и 10.5.29-23 уже доступны. В них добавлены усовершенствования и исправления для повышения стабильности и безопасности. Подробнее о релизах — в статье.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
MariaDB
MariaDB Enterprise Server Q2 2025 Maintenance Releases | MariaDB
New maintenance releases for MariaDB Enterprise Server 11.4.7-4, 10.6.22-18, and 10.5.29-23 are now available. These releases include new backported features. Download Now MariaDB Enterprise Server is…
Гибридные векторные индексы в AI-поиске
Статья рассказывает о гибридных векторных индексах, которые объединяют быстрый поиск по сходству и ключевые слова с помощью Oracle Text. Такой подход улучшает эффективность поиска в задачах с использованием AI.
Читать подробнее
#en
@database_design | Другие наши каналы
Статья рассказывает о гибридных векторных индексах, которые объединяют быстрый поиск по сходству и ключевые слова с помощью Oracle Text. Такой подход улучшает эффективность поиска в задачах с использованием AI.
Читать подробнее
#en
@database_design | Другие наши каналы
Оптимизация запросов в Django. Подробное руководство
Привет, хабр! В данной статье хочу рассказать больше чем обычно про оптимизацию запросов к базе данных в Django. Расскажу о том, как не только запрашивать, но и создавать или обновлять записи в базе. В статье будет много примеров, генерируемый SQL, типы данных, индексы и выводы планировщика запросов.
Данная статья подходит для как для начинающих, так и достаточно опытных разработчиков на django, а также для всех, кто еще не интересовался, что происходит под капотом ORM.
Читать: https://habr.com/ru/articles/917710/
#ru
@database_design | Другие наши каналы
Привет, хабр! В данной статье хочу рассказать больше чем обычно про оптимизацию запросов к базе данных в Django. Расскажу о том, как не только запрашивать, но и создавать или обновлять записи в базе. В статье будет много примеров, генерируемый SQL, типы данных, индексы и выводы планировщика запросов.
Данная статья подходит для как для начинающих, так и достаточно опытных разработчиков на django, а также для всех, кто еще не интересовался, что происходит под капотом ORM.
Читать: https://habr.com/ru/articles/917710/
#ru
@database_design | Другие наши каналы
Семантическое моделирование. Проектирование БД с помощью ER-модели
Не знаешь что такое ER-модель? До сих пор не умеешь строить ER-диаграмму? Собери всю свою волю в кулак и разберись наконец:
— Зачем наделять данные смыслом;
— Как и для чего иметь связи;
— Сильная или слабая ты сущность;
— Когда тебе может понадобится инфологическая и даталогическая модель.
Читать: https://habr.com/ru/companies/timeweb/articles/916824/
#ru
@database_design | Другие наши каналы
Не знаешь что такое ER-модель? До сих пор не умеешь строить ER-диаграмму? Собери всю свою волю в кулак и разберись наконец:
— Зачем наделять данные смыслом;
— Как и для чего иметь связи;
— Сильная или слабая ты сущность;
— Когда тебе может понадобится инфологическая и даталогическая модель.
Читать: https://habr.com/ru/companies/timeweb/articles/916824/
#ru
@database_design | Другие наши каналы
Forwarded from Код найма
Хватит искать работу в одиночку!
Ты крутой айтишник, но поиск работы превращается в квест: бесконечные резюме, где важны не навыки, а кейворды, десятки собеседований и постоянный стресс. Знакомо? Всё это выматывает и демотивирует. Мы тебя понимаем — и готовы поддержать!
Команда Tproger открывает первое реалити-шоу в Телеграм о поиске работы — «Код найма».
Вместе с опытными менторами ты пройдешь все этапы найма:
➡️ Прокачаешь резюме так, чтобы его заметили
➡️ Научишься проходить собеседования без волнения
➡️ Получишь честную обратную связь от рекрутеров
➡️ И, главное, дойдёшь до оффера в компании мечты!
Весь путь будет проходить на глазах у подписчиков канала — они тоже смогут давать советы и поддерживать тебя.
Хочешь стать героем нашего реалити и получить шанс найти работу мечты?
✍️ Заполняй анкету
Мы выберем трёх участников, которым поможем пройти весь путь до оффера.
Присоединяйся к «Коду найма» — и пусть твой следующий оффер станет началом новой жизни!
Ты крутой айтишник, но поиск работы превращается в квест: бесконечные резюме, где важны не навыки, а кейворды, десятки собеседований и постоянный стресс. Знакомо? Всё это выматывает и демотивирует. Мы тебя понимаем — и готовы поддержать!
Команда Tproger открывает первое реалити-шоу в Телеграм о поиске работы — «Код найма».
Вместе с опытными менторами ты пройдешь все этапы найма:
Весь путь будет проходить на глазах у подписчиков канала — они тоже смогут давать советы и поддерживать тебя.
Хочешь стать героем нашего реалити и получить шанс найти работу мечты?
✍️ Заполняй анкету
Мы выберем трёх участников, которым поможем пройти весь путь до оффера.
Присоединяйся к «Коду найма» — и пусть твой следующий оффер станет началом новой жизни!
Please open Telegram to view this post
VIEW IN TELEGRAM
Цифровые чеки помогают ритейлерам анализировать покупки и предлагать персонализированные рекомендации в реальном времени с помощью MongoDB. Это улучшает клиентский опыт и увеличивает продажи, сочетая скорость и точность благодаря современным технологиям векторного поиска.
Читать подробнее
#en
@database_design | Другие наши каналы
Читать подробнее
#en
@database_design | Другие наши каналы
Хоронить HDD рано: Seagate выпустила самый вместительный жесткий диск в истории — 40 ТБ
Жесткие диски (HDD) все еще живы и даже не думают исчезать. Seagate, одна из крупнейших компаний-производителей HDD, представила первые в истории серийные накопители емкостью 40 ТБ. Это не просто рекорд, а серьезный технологический скачок. Он показал, что старый добрый жесткий диск всё ещё способен удивлять. Давайте разберёмся, что это за зверь, как он устроен и зачем вообще нужны такие объёмы.
Читать: https://habr.com/ru/companies/selectel/articles/918172/
#ru
@database_design | Другие наши каналы
Жесткие диски (HDD) все еще живы и даже не думают исчезать. Seagate, одна из крупнейших компаний-производителей HDD, представила первые в истории серийные накопители емкостью 40 ТБ. Это не просто рекорд, а серьезный технологический скачок. Он показал, что старый добрый жесткий диск всё ещё способен удивлять. Давайте разберёмся, что это за зверь, как он устроен и зачем вообще нужны такие объёмы.
Читать: https://habr.com/ru/companies/selectel/articles/918172/
#ru
@database_design | Другие наши каналы
🏆2
Неизбежность эволюции программных систем
На старте проекта хочется сделать что-то уникальное — но вместо сложной архитектуры лучше выбрать простоту и гибкость. Почему зрелые системы вырастают из минималистичных решений, когда можно позволить себе усложнение — и как понять, что пришло время для следующего шага?
Читать: «Неизбежность эволюции программных систем»
#ru
@database_design | Другие наши каналы
На старте проекта хочется сделать что-то уникальное — но вместо сложной архитектуры лучше выбрать простоту и гибкость. Почему зрелые системы вырастают из минималистичных решений, когда можно позволить себе усложнение — и как понять, что пришло время для следующего шага?
Читать: «Неизбежность эволюции программных систем»
#ru
@database_design | Другие наши каналы
Новые векторные СУБД и другие инструменты для МО
Ранее в блоге beeline cloud мы рассказывали об открытых СУБД для систем ИИ. Продолжим тему и рассмотрим еще несколько находок в этой области — разносторонние инструменты, упрощающие работу с эмбеддингами, семантическим поиском и RAG.
Читать: https://habr.com/ru/companies/beeline_cloud/articles/918480/
#ru
@database_design | Другие наши каналы
Ранее в блоге beeline cloud мы рассказывали об открытых СУБД для систем ИИ. Продолжим тему и рассмотрим еще несколько находок в этой области — разносторонние инструменты, упрощающие работу с эмбеддингами, семантическим поиском и RAG.
Читать: https://habr.com/ru/companies/beeline_cloud/articles/918480/
#ru
@database_design | Другие наши каналы
QR коды. Как сделать QR тату правильно?
Что кодируют в QR тату?
Медицинскую информацию
Экстренные контакты
Профили в социальных сетях, сайты
Просто контакты
Различные даты(рождения детей и т.д.)
Различные приколы
Читать: https://habr.com/ru/articles/918544/
#ru
@database_design | Другие наши каналы
Что кодируют в QR тату?
Медицинскую информацию
Экстренные контакты
Профили в социальных сетях, сайты
Просто контакты
Различные даты(рождения детей и т.д.)
Различные приколы
Читать: https://habr.com/ru/articles/918544/
#ru
@database_design | Другие наши каналы