Scaled Rank Fusion — объединяет значения из нескольких списков с учётом масштаба

Семейство методов Rank Fusion включает различные алгоритмы объединения нескольких ранжированных списков результатов в один улучшенный ранжированный список с целью повышения качества и надежности итогового ранжирования.

Основная идея — агрегировать информацию из разных систем или моделей, которые могут по-разному оценивать релевантность документов.

Rank Fusion широко применяется в информационном поиске, мультимедийном поиске, гибридных системах поиска, системах на основе модели Retrieval Augmented Generation (RAG), а также в задачах ансамблевого обучения.

Таким образом, Rank Fusion — это семейство алгоритмов разной сложности и подходов, но с единой целью: объединить несколько списков результатов в один, более релевантный и устойчивый к ошибкам ранжирования.

https://habr.com/ru/articles/955050/

Алгоритмы и Структуры данных

Внедрить ИИ-ть или рассказать, доказать и показать

Меня зовут Алексей, и я руковожу направлением искусственного интеллекта в одном из крупнейших федеральных холдингов России — более 15k сотрудников, работающих от Калининграда до Владивостока. Компания — лидер в своей отрасли, обладает развитой автоматизацией, но не является IT-компанией. И это меняет всё.

Сегодня я хочу поделиться не просто тем, что мы сделали — а как мы это сделали. Потому что в крупной организации внедрение ИИ — это не про алгоритмы, а про людей, их страхи, их восприятие и готовность к изменениям.

Если ты будешь выполнять свою работу неверно — от того, как ты внедряешь ИИ в компании с большим количеством людей — ты будешь сеять настроение и отношения к искусственному интеллекту. А это может определить, будет ли ИИ в вашей компании развиваться — или останется "магией", которой боятся.

https://habr.com/ru/articles/955414/

Алгоритмы и Структуры данных

Как написать собственный класс линейной регрессии для маленьких

В этой статье показан простой способ создания собственного класса линейной регрессии с использованием стохастического градиентного спуска. Будет представлен легкий и понятный код с реализацией основных методов: fit, predict и score. Статья будет полезна тем, кто хочет вкратце разобраться, как работает класс LinearRegression из библиотеки sklearn. Также материал подходит для участников курса программирования "Школа 21".

https://habr.com/ru/articles/955520/

Алгоритмы и Структуры данных

TorusCSIDH: постквантовый аналог ECDSA с топологическим критерием безопасности

В этой статье я представляю принципиально новый подход к постквантовой криптографии — TorusCSIDH, где безопасность определяется не отсутствием структуры, а наличием правильной геометрической структуры, вдохновлённой топологией тора.

https://habr.com/ru/articles/955594/

Алгоритмы и Структуры данных

TorusCSIDH: постквантовая криптография для Bitcoin уже сегодня


**Мы представляем TorusCSIDH — полностью реализуемую постквантовую криптосистему на основе изогений суперсингулярных кривых. Она совместима с Bitcoin, не требует хардфорка и защищена не только алгеброй, но и оригинальным геометрическим критерием, основанным на структуре графа изогений.

Введение: квантовая угроза для Bitcoin
Сегодня Bitcoin использует ECDSA — алгоритм, основанный на эллиптических кривых. Его безопасность держится на сложности задачи дискретного логарифмирования. Однако в 1994 году Питер Шор показал, что на квантовом компьютере эта задача решается за полиномиальное время.
Как только появится достаточно мощный квантовый компьютер, все средства на адресах с известными публичными ключами окажутся под угрозой. Это не теория — это вопрос времени.

https://habr.com/ru/articles/955640/

Алгоритмы и Структуры данных

Строим удобные автомобильные маршруты

Хороший автомобильный маршрут из точки А в точку Б должен, с одной стороны, быть кратчайшим, а с другой — удобным для водителя. Как правильно вычислить время в пути мы уже рассказали, теперь — об удобстве маршрутов: что это такое, как его измерить и как мы его повышали.

https://habr.com/ru/companies/2gis/articles/758688/

Алгоритмы и Структуры данных

Вывод оптимального алгоритма с помощью формализма Бёрда-Меертенса

Некоторые оптимальные алгоритмы, оказывается, можно вывести из неоптимальных, пользуясь эквивалентными преобразованиями алгоритма. Бёрд и Меертенс разработали формализм, который устанавливает свойства функций высшего порядка map, fold, scan, позволяющие преобразовывать алгоритмы в эквивалентные. (См. также на Вики). Ниже представлен вольный перевод статьи Бёрда.

https://habr.com/ru/articles/758810/

Алгоритмы и Структуры данных

Что такое арбитраж? Передовые технологии торговли на примере криптобиржи

Благодаря технологии блокчейн, криптовалютам, криптобиржам, приоритеты людей, компаний и даже стран меняются прямо на наших глазах. Один знакомый разработчик из этой сферы однажды сказал мне, что не возлагает больших надежд на все это, несмотря на перспективы и хорошую оплату. Однако присутствует некое чувство неуверенности. "Водопровод, — говорит он, — казалось бы, одна из самых простейших технологий, но как она изменила жизнь. Когда в конце 90-х в моей небольшой деревне в моем доме появилась вода, которую не нужно было добывать большим трудом, жизнь действительно стала на порядок лучше и приятнее." Блокчейн, по его словам, сейчас является чем-то вроде того же водопровода - он обязательно изменит жизнь к лучшему, но сколько труда и времени для этого понадобится?

https://habr.com/ru/articles/758476/

Алгоритмы и Структуры данных

Множественная кусочно-постоянная регрессия

Задача восстановления зависимости некоторой величины от ряда признаков распространена в анализе данных. Кусочно-постоянная регрессия будет полезна, если требуется выделить характерные диапазоны изменения интегрального признака (взвешенной суммы признаков), чтобы рассмотреть отдельно точки, принадлежащие этим диапазонам. Таким образом, получив информацию о распределении точек внутри каждого из них и исследовав зависимость от прочих факторов, можно сделать выводы о сегментированных данных.

https://habr.com/ru/articles/758262/

Алгоритмы и Структуры данных

Python шпильки: как заменить многоэтажные if-else на изящный словарь функций

Представьте: перед вами 200 строк кода, сплошь состоящих из if-elif-else конструкций. Каждый новый condition — еще одна ветка, еще сложнее читать, еще страшнее поддерживать. Знакомо?

В этой статье я покажу изящный прием, который превратит ваши многоэтажные условия в плоский, легко расширяемый и тестируемый код. Всего за 5 минут вы научитесь писать код, который коллеги будут показывать как пример для подражания.

https://habr.com/ru/articles/956020/

Алгоритмы и Структуры данных

Просто о сложном: Как работают нейросети

В статье есть упрощения, утрирования и технические неточности, это сделано намеренно, для облегчения понимания, т.к. статья не для профессионалов, хотя и они могут найти статью полезной, если захотят кому-то объяснить свою работу простыми словами.

Я ни в коем случае не хочу принижать профессионализм тех людей, которые трудятся в этой области, это действительно надо уметь и этим действительно занимаются профессионалы.

https://habr.com/ru/articles/956194/

Алгоритмы и Структуры данных

Игра на опережение с LLM: с чем вышли на Q4 (анализ 134 195 научных работ 2025 года)

Чтобы понять, какие технологии будут определять рынок завтра, компании опираются на прогнозы/отчёты аналитиков или (за рубежом) анализируют патенты. Но есть источник, который часто опережает и патенты - научные публикации. Именно в лабораториях и университетах появляются методы, которые через год-два становятся основой RnD бизнеса, а затем - реальными продуктами.

Однако этот потенциал почти не используется: академические работы компании анализируют крайне редко (и даже если это происходит – это ручной труд), обычно просто читают как теорию. Мой подход как раз в том, чтобы искать в статьях ранние сигналы практической применимости и инсайты для бизнеса: многие статьи уже содержат результаты A/B-тестов и конкретные метрики качества (RMSE, AUC, NDCG). В итоге можем не просто отследить появление нового метода, но и сразу оценить его потенциальный эффект.

https://habr.com/ru/articles/956220/

Алгоритмы и Структуры данных

Предобусловливание и импульс в оптимизации: взгляд на алгоритмы PHB/PN от исследователей Яндекса

Современные задачи оптимизации в машинном обучении часто оказываются плохо обусловленными — грубо говоря, их ландшафт имеет долины с резко различающейся кривизной. В таких случаях методы на основе градиентного спуска сходятся медленно: шаг, выбранный для устойчивости на одном участке, оказывается слишком малым на другом.

Для ускорения сходимости широко применяются методы с механизмом импульса (momentum): классический метод Поляка — Heavy Ball (HB) — и метод Нестерова (ускоренный градиент). Оба эти метода используют идею накапливать «инерцию» градиента, благодаря чему могут двигаться по направлению оптимума быстрее обычного градиентного спуска.

https://habr.com/ru/companies/yandex/articles/955922/

Алгоритмы и Структуры данных

Как перестать верить в сказки и начать доставлять вовремя?

Меня зовут Денис, и я руковожу продуктами доставки. Сегодня я хочу рассказать вам об одной из самых больных тем в нашем деле - о вранье со сроками доставки.

Я не буду придумывать забавные аналогии, чтобы разукрасить эту проблему. Реальность и так достаточно горькая: постоянные опоздания бьют по деньгам, изматывают нервы и безвозвратно губят репутацию.

https://habr.com/ru/articles/956228/

Алгоритмы и Структуры данных

Рендеринг трёхмерных фрактальных множеств: от губки Менгера до Мандельбокса, часть 2

Меня всё также зовут Андрей Гринблат, и в первой части я начал рассказывать о такой технологии, как ray marching, и о нормированных пространствах. В этой части начнём с построения простых геометрических фракталов — губки Менгера и тетраэдра Серпинского, затем построим IFS-фракталы, рассмотрим технику орбитальных ловушек, и в завершение построим фрактал «Ящик Мандельброта», или Мандельбокс.

https://habr.com/ru/companies/sberbank/articles/954726/

Алгоритмы и Структуры данных

S3-FIFO: новый эффективный алгоритм вытеснения из кэша на основе очередей FIFO

В этой статье я расскажу о простом и масштабируемом (Simple, Scalable) алгоритме вытеснения данных из кэша на основе трёх статических (Static) очередей FIFO (S3-FIFO). После проверки на 6594 трассировках кэшей 14 компаний мы показали, что S3-FIFO имеет меньшую частоту промахов, чем 12 лучших алгоритмов, разработанных в прошлые десятилетия. Более того, эффективность S3-FIFO устойчива — он имеет наименьший средний показатель промахов для 10 из 14 датасетов. Использование очередей FIFO позволяет S3-FIFO достичь хорошей масштабируемости с пропускной способностью в шесть раз больше по сравнению с оптимизированным LRU в cachelib на 16 потоках.

Мы пришли к выводу, что доступ к большинству объектов в смещённых нагрузках кэша выполняется только за короткий промежуток времени, поэтому критически важно быстро вытеснять их из кэша. А главная особенность S3-FIFO — это небольшая очередь FIFO, отфильтровывающая большинство объектов, не давая им попасть в основной кэш.

https://habr.com/ru/companies/ruvds/articles/759270/

Алгоритмы и Структуры данных

И в дождь, и в снег: как мы детектируем загрязнения на лидарах автономного транспорта

Сегодня я хочу рассказать про то, как мы учились определять степень загрязнения лидара — лазерного сенсора, установленного на нашем автономном транспорте. Тема, актуальная всегда, но особенно в российских погодных реалиях осени, зимы и весны. Расскажу, почему даже малейшее загрязнение лидара — проблема, почему эту проблему не так просто решить и какие есть подходы к этому решению, а в конце поделюсь нашими результатами.

https://habr.com/ru/companies/yandex/articles/956532/

Алгоритмы и Структуры данных

Продолжаем изучение арбитража криптовалют: прогноз срока жизни оффера

У каждого человека есть набор возможных действий в различных ситуациях, которые можно разделить по степени предпочтительности. Очевидно, что мы всегда будем стараться к чувству защищенности и удовлетворения, то есть когда наши действия приводят к предполагаемому результату и оборачиваются пользой. Мы интуитивно придерживаемся границ зоны комфорта, внутри которой нет места сложным альтернативам. Однако, вопреки нашим стремлениям к комфорту, мир так или иначе вынуждает нас сталкиваться с необходимостью совершать сложный выбор, причем чаще всего это становится неотъемлемой частью профессиональной деятельности. Остро ощущается такая проблема в сферах, где еще не сформировался развитый вспомогательный инструментарий, облегчающий поиск наилучших решений, например, в арбитраже криптовалют. В этой статье рассмотрим, как проблема выбора может быть формализована и решена, а также оценим прибыльность от использования такого решения.

https://habr.com/ru/articles/759128/

Алгоритмы и Структуры данных

Бенчмарк lakehouse-движков, часть 1: StarRocks и Doris падают под нагрузкой, Presto аутсайдер, CedrusData быстрее всех

В этой статье мы детально рассмотрим поведение аналитических движков при выполнении TPC-DS запроса Q1 на одном узле. Этот ограниченный тест даст нам столько информации к размышлению, что я не уверен, что вы сможете дочитать этот пост до конца.

https://habr.com/ru/companies/cedrusdata/articles/955896/

Алгоритмы и Структуры данных

Алгоритм Левита: между Дейкстре и Беллманом

Когда заходит речь о поиске кратчайшего пути между двумя вершинами выбор обычно падает на алгоритмы Дейкстры или Беллмана-Форда, однако есть ещё один алгоритм, который может сработать быстрее Беллмана, но не "сломается" на графах с отрицательными рёбрами.

https://habr.com/ru/articles/759078/

Алгоритмы и Структуры данных