AraXL: A Physically Scalable, Ultra-Wide RISC-V Vector Processor Design for Fast and Efficient Computation on Long Vectors

Замечательная статья от исследователей из ETH Zurich посвящена проектированию векторных сопроцессоров с широкими векторами.

Особый интерес вызывает предложенный метод разбиения большого числа векторных линий на кластеры по 4 линии в каждом, что эффективно снижает нагрузку на межсоединения, необходимые для реализации cross-lane операций и маскирования. Авторы отдельно подчёркивают сложности масштабирования, возникающие при использовании традиционных «all-to-all» соединений между линиями, и предлагают решение этой проблемы через иерархическую структуру межсоединений. В частности, значительная часть cross-lane взаимодействий локализуется внутри кластеров, что уменьшает плотность и сложность межкластерных соединений. Дополнительно авторы вводят кольцевой интерфейс (RING Interconnect, RINGI), который упрощает передачу данных между кластерами и снижает аппаратную сложность при реализации широких векторных операций.

Также следует отметить представленный авторами floorplan, в котором между кластерами намеренно оставлены промежутки как по вертикали, так и по горизонтали. Это позволяет эффективно распределить межкластерные соединения, значительно снизить плотность межсоединений (congestion) и облегчить физическую реализацию, что особенно критично при разработке широких VPU с большим количеством векторных линий.

Сегодня принес вам интересное руководство по оптимизации работы с software - RISC-V Optimization Guide.

RISC-V Optimization Guide — это руководство, созданное проектом RISE Project для предоставления разработчикам программного обеспечения конкретных рекомендаций по оптимизации кода для процессоров на архитектуре RISC-V. ​

Содержимое гайда:
1) Общие рекомендации: использование регистров, работа с памятью и кешами.

2) Особенности расширений RISC-V: RVV (векторные инструкции), RVF, RVD и другие расширения.

3) Советы по LMUL: как выбирать LMUL в зависимости от типа ядра (In-Order vs Out-of-Order).

4) Переносимость: советы по созданию переносимого и масштабируемого кода.

Гайд будет особенно полезен в контексте последней темы, поднятой Krste Asanovic, о ключевой идее LMUL в векторной спецификации RISC-V. Основная мысль Krste заключается в необходимости аппаратной поддержки механизма определения оптимального LMUL в зависимости от фактической длины вектора (vl).

The intention in the RVV ISA design was that execution occupancy would be proportional to active vl as required by the application, not VLMAX set by LMUL.
So, even if LMUL was large, but vl was small, the occupancy of the vector instruction should be low. In other words,
larger LMUL should not cause worse performance with the same vl.
Это

позволит избежать ситуации, когда векторные инструкции выполняются над несуществующими (неиспользуемыми) элементами, повышая общую эффективность и производительность.

Однако, поскольку на сегодняшний день не все компании реализуют эту аппаратную логику в своих чипах, программистам приходится учитывать особенности конкретного аппаратного обеспечения. Это усложняет процесс разработки ПО и делает код менее портируемым и аппаратно-независимым.

Например, в руководстве (RISE Optimization Guide) явно указано следующее:

If all operations involved are linear in LMUL, choose EMUL to balance register pressure and frontend bandwidth. Depending on the processor implementation, this is going to mean either very high LMUL or very low LMUL, but not both. For example, on Out-of-Order machines, it’s generally better to have very low LMUL, resulting in lower register pressure at the expense of more instructions being issued. While on In-Order machines, it’s generally better to have very high LMUL, favoring lower instruction count at the expense of higher register pressure.

В данный момент в сообществе существует условно два подхода к использованию LMUL:

Авторы спецификации RVV (например, Krste Asanovic) ориентированы на долгосрочную перспективу, в которой наибольшая эффективность достигается за счёт модели исполнения инструкций, зависящей от реальной длины вектора (vl-dependent). Такой подход позволяет эффективно использовать высокий LMUL там, где это оправдано.
Однако наиболее просто и естественно эта модель реализуется в широких in-order VPU с большой длиной вектора (большим VLEN), в то время как для коротких OoO-векторных ядер с небольшим VLEN (128–512 бит) реализация такой логики существенно более сложна и менее практична.

Практические реализации и существующие рекомендации (например, RISE Optimization Guide) делают акцент на текущих технических ограничениях и сложности реализации LMUL в высокопроизводительных процессорах с внеочередным выполнением инструкций (Out-of-Order). В таких реализациях предпочтительным считается использование низкого LMUL (LMUL=1).

Таким образом, сейчас между долгосрочной стратегией стандарта и практическими реализациями имеется явное расхождение. Можно ожидать постепенного сближения этих подходов, если высокопроизводительные OoO-ядра смогут преодолеть аппаратные сложности реализации и приблизиться к модели, заложенной в стандарт RVV.

Как и обещал, принес вам классное чтиво — Ph.D. диссертацию Krste Asanović по теме векторных процессоров.
Несмотря на то, что работа была написана в далёком 1987 году, считаю важным с ней ознакомиться.
Автор — один из основателей SiFive, соавтор векторной спецификации RISC-V и участник команды, внесшей вклад в культовую книгу Computer Architecture: A Quantitative Approach.
Отличная возможность увидеть, с чего начинался путь Krste в цифровом дизайне и архитектуре компьютеров.

Vector Microprocessors by Krste Asanović

Вышли из тени еще одни желающие сделать чип-дизайн открытым.

Калифорнийский стартап ZeroASIC представил открытую архитектуру FPGA, которую они хотят сделать плисовым аналогом RISC-V. Дизайн самого чипа проприетарный (GF 12 нм), но архитектура описана, а весь маршрут синтеза RTL, генерации и записи битстрима опенсорсный. На гитхабе много интересного.

Предполагается, что найдутся желающие поддержать начинание и организовать концорциум по образцу RISC-V Foundation. Звучит чрезмерно амбициозно, но саму идею демократизации чип-дизайна я могу только поддержать.

Ответ👆

SIMD Instructions Considered Harmful
Пост Дэвида Паттерсона и Эндрю Уотермана, 2017

Классная статья о развитии векторных архитектур и проблемах, с которыми столкнулись SIMD-расширения от Intel и MIPS, а также о концепции Scalable Vector, лёгшей в основу ARM SVE и RISC-V Vector.

В продолжении темы Vector Length Agnostic хочу поделиться интересными видеолекциями из серии Arm software developers

Эти видеолекции посвящены особенностям и возможностям нового векторного расширения Arm Scalable Vector Extension (SVE).
Рассматриваются ключевые преимущества SVE, включая аппаратно-независимую длину векторов, расширенные инструкции управления памятью и векторами (gather/scatter), механизмы предикации и спекулятивного исполнения, а также особенности программирования векторного сопроцессора.

1) Leveraging SVE Vectorization for HPC Workloads
2) Introduction to Arm SVE

Думаю, многие из вас уже знакомы с проектом pulp-platform, в котором представлены различные готовые IP-блоки: от простейших FIFO и LZC до сложных процессорных систем, таких как Snitch Cluster.

Сегодня хочу поделиться с вами GitHub-аккаунтом лаборатории открытых компьютерных архитектур, LOCA из Барселонского суперкомпьютерного центра BSC.

На GitHub-аккаунте BSC LOCA можно найти множество интересных проектов на любой вкус и цвет. Вот несколько примеров:

1. Sargantana — in-order RISC-V процессор, способный загрузить Linux.
2. SAURIA — тензорный ускоритель на основе систолического массива (Systolic Array) с поддержкой формата FP16.
3. Memory Management Unit (MMU) — базовый строительный блок для разработки процессорных ядер с поддержкой Linux. Реализована поддержка формата виртуальной адресации SV39.
4. L1 Instruction Cache — кеш инструкций первого уровня.

Подробнее c портфолио проектов ознакомиться можно здесь: https://github.com/bsc-loca

Помимо GitHub-репозиториев, у BSC также есть официальный каталог, в котором собраны ключевые проекты и инициативы в области RISC-V и полупроводниковых технологий:
BSC RISC-V Technologies Catalogue — посмотреть PDF

16, 8, and 4-bit Floating Point Formats – How Does it Work?

Классная статейка про работу с low-precision флотами.
Также упоминаются более продвинутые методы, применяемые в больших моделях, вплоть до 2-битного и тернарного представления весов.

An alternative design would have been to first convert from FP32 to BF16, rounding to odd, then use the instructions defined in the previous section to convert to OFP8. However, FP32 to OFP8 conversion is common enough to justify the direct conversion.

Интересный программный хак упомянули в сабсете векторных RISC-V инструкций для поддержки BF16 и операций преобразования для типов данных OFP8.

Чтобы избежать необходимости аппаратной реализации quad‑narrowing при конверсии FP32 в OFP8, можно использовать следующую последовательность из двух шагов, при этом сохраняя высокую точность операций конверсии:

1) FP32 → BF16 с обязательным режимом округления rounding to odd.

2) BF16 → OFP8 с требуемым режимом округления.

Дополнительные материалы по теме:

Черновик спецификации Zvfbfa доступен на GitHub.

Arm A64 Instruction Set Architecture: FCVTXN, FCVTXN2.

Открытое RISC-V ядро Sargantana, разработанное инженерами из группы Laboratory for Open Computer Architecture (LOCA) при Barcelona Supercomputing Center (BSC), получило масштабное обновление:

🎉 RISC-V Vector Extension (RVV) версии 1.0 (пока без поддержки инструкций с конфигурации длины вектора, для LMUL > 1 и без векторных инструкций для работы с плавающей точкой).

Подробнее ознакомиться с обновлением можно в исходниках проекта:

Исходный код ядра Sargantana
Исходный код VPU

Basilisk: A 34 mm² End-to-End Open-Source
64-bit Linux-Capable RISC-V SoC in 130nm BiCMOS

Linux-Capable процессор полностью спроектированный при помощи открытых EDA инструментов.

Для верификации, вероятно, всё ещё применялись коммерческие инструменты, однако маршрут от RTL до GDSII полностью построен на инструментах с открытым исходным кодом.

Результаты синтеза, техпроцесс IHP130:

At the nominal 1.2 V
voltage, Basilisk reaches a clock frequency of up to 62 MHz.
At 1.64 V, we reach Basilisk’s peak frequency of 102 MHz.

Из интересного — можно посмотреть ASIC-оптимизированную имплементацию Fused multiply-add модуля, написанного не через "+" и "*", а через CSA tree. Так что если есть желание покопаться в low-level bit-hacking и посмотреть, что же такое Wallace tree, Booth encoding, Sklansky parallel-prefix adder — welcome.