16, 8, and 4-bit Floating Point Formats – How Does it Work?

Классная статейка про работу с low-precision флотами.
Также упоминаются более продвинутые методы, применяемые в больших моделях, вплоть до 2-битного и тернарного представления весов.

An alternative design would have been to first convert from FP32 to BF16, rounding to odd, then use the instructions defined in the previous section to convert to OFP8. However, FP32 to OFP8 conversion is common enough to justify the direct conversion.

Интересный программный хак упомянули в сабсете векторных RISC-V инструкций для поддержки BF16 и операций преобразования для типов данных OFP8.

Чтобы избежать необходимости аппаратной реализации quad‑narrowing при конверсии FP32 в OFP8, можно использовать следующую последовательность из двух шагов, при этом сохраняя высокую точность операций конверсии:

1) FP32 → BF16 с обязательным режимом округления rounding to odd.

2) BF16 → OFP8 с требуемым режимом округления.

Дополнительные материалы по теме:

Черновик спецификации Zvfbfa доступен на GitHub.

Arm A64 Instruction Set Architecture: FCVTXN, FCVTXN2.

Открытое RISC-V ядро Sargantana, разработанное инженерами из группы Laboratory for Open Computer Architecture (LOCA) при Barcelona Supercomputing Center (BSC), получило масштабное обновление:

🎉 RISC-V Vector Extension (RVV) версии 1.0 (пока без поддержки инструкций с конфигурации длины вектора, для LMUL > 1 и без векторных инструкций для работы с плавающей точкой).

Подробнее ознакомиться с обновлением можно в исходниках проекта:

Исходный код ядра Sargantana
Исходный код VPU

Basilisk: A 34 mm² End-to-End Open-Source
64-bit Linux-Capable RISC-V SoC in 130nm BiCMOS

Linux-Capable процессор полностью спроектированный при помощи открытых EDA инструментов.

Для верификации, вероятно, всё ещё применялись коммерческие инструменты, однако маршрут от RTL до GDSII полностью построен на инструментах с открытым исходным кодом.

Результаты синтеза, техпроцесс IHP130:

At the nominal 1.2 V
voltage, Basilisk reaches a clock frequency of up to 62 MHz.
At 1.64 V, we reach Basilisk’s peak frequency of 102 MHz.

Из интересного — можно посмотреть ASIC-оптимизированную имплементацию Fused multiply-add модуля, написанного не через "+" и "*", а через CSA tree. Так что если есть желание покопаться в low-level bit-hacking и посмотреть, что же такое Wallace tree, Booth encoding, Sklansky parallel-prefix adder — welcome.

Сложно переоценить влияние компании Intel на современную полупроводниковую индустрию и подходы, которые сегодня применяются в дизайн-центрах по всему миру. Многие из этих подходов были впервые внедрены именно в Intel. Одной из таких важных концепций является «War Room».

Цена ошибки при выпуске микросхем крайне высока, но не менее критичен и срыв сроков. Очерёдность tape-out (финальной передачи дизайна микросхемы на производство) планируется не только условиями контракта, но и загруженностью фабрики. Поэтому перенести дату производства, если не невозможно, то крайне сложно.

В процессе подготовки микросхемы задействованы команды логического проектирования, верификации и физического дизайна. И чем ближе дата того самого RTL freeze (момента, после которого описание аппаратуры нельзя изменять), тем выше накал страстей при взаимодействии этих команд. В определённый момент уже нет возможности вносить исправления в чип, так как команде физического дизайнга необходимо иметь стабильное и неизменяемое описание аппаратуры.

Именно на этом этапе возникают критически важные вопросы: какой баг является действительно важным и требует немедленного исправления, и как его устранение повлияет на график подготовки продукта к выпуску? Для быстрого анализа таких ситуаций и оперативного принятия решений вводится понятие War Room.

Специалисты в полупроводниковой отрасли, знакомые с терминами tape-out и RTL freeze, отлично понимают важность и необходимость такого подхода.

Подробнее о применении концепции War Room и других интересных аспектах разработки процессоров можно прочитать в книге «The Pentium Chronicles».

мы?

А чтобы не скучали, вот вам пейпер на 40 страниц с исчерпывающим обзором современных подходов к проектированию систолических массивов.

A Survey of Design and Optimization for Systolic Array-based DNN Accelerators

Эту недельку придется потерпеть вам душные посты про матрицы, флоты, dot product и fma.
Но обещаю потом все лето не душнить про computer arithmetic (нет🗿)

Одна из задач при проектировании нейроускорителя — реализация вычислительного тракта для операций с плавающей точкой. Классический скалярный 4–5 стадийный FMA здесь не подходит: требуется параллельное перемножение большого количества пар операндов с последующим сложением в общий аккумулятор.

Для этого применяется техника поздней нормализации и перевода чисел с плавающей точкой в fixed-point представление, что позволяет выполнять точное накопление без промежуточного округления.

В этом посте найдете ссылки на статьи, подробно раскрывающие, как и почему NPU отклоняются от стандарта IEEE-754, как обрабатываются NaN и бесконечности, и как определяется ширина fixed-point представления для различных форматов чисел с плавающей точкой.

1. Exact Dot Product Accumulate Operators
for 8-bit Floating-Point Deep Learning
2. Experimental Analysis of Matrix Multiplication Functional Units
3. Modified Fused Multiply and Add for exact low precision product accumulation

MXDOTP: A RISC-V ISA Extension for Enabling Microscaling (MX) Floating-Point Dot Products

В этой статье представлена реализация dot product с аппаратной поддержкой формата Microscaling (MX) — нового стандартизованного формата, сочетающего простоту реализации для 8-битных чисел и расширенный динамический диапазон благодаря использованию scale-факторов (общих экспонент для блоков элементов, не путать с блочными флотами!).

MXDOTP — это расширение ISA для RISC-V, интегрированное в ядро Snitch. Оно позволяет выполнять dot product между двумя 8-элементными FP8-векторами с накоплением в FP32 и применением двух независимых scale-факторов. Для обхода ограничения на количество портов чтения регистрового файла используется механизм Stream Semantic Registers (SSR), что позволяет эффективно подавать четыре операнда за такт. SSR — особенность ядра Snitch, позволяющая передавать потоковые данные напрямую в вычислительные блоки без участия регистрового файла и LSU. Это компромисс между дополнительной сложностью в программной поддержке и выигрышем в доступности данных при минимальной площади.

Исходный код MXDOTP доступен на GitHub репозитории проекта.

Эмуляцию формата MX можно выполнить с помощью MX PyTorch Emulation Library от Microsoft.

Подробнее с форматом можно ознакомиться в спецификации формата или в обзорной статье Николаса Бруни.

p.s. Очень здорово оформлена самая статья. Работа выполнена в рамках европейского проекта NeuroSoC, финансируемого по линии Horizon Europe (Grant Agreement №101070634). По ссылке можно изучить детали проекта: участников, цели, бюджеты, отчётность, документацию и сроки:
https://cordis.europa.eu/project/id/101070634

Смотрите, что мне принесла лента LinkedIn.

Книга посвящена изучению процесса проектирования интегральных схем с использованием open-source инструментов OpenLane и Caravel. В ней описывается полный путь от уровня Register Transfer Level (RTL) до финального представления чипа в формате GDSII.

Книга (судя по описанию и оглавлению) объясняет весь процесс tape-out, делая его понятным и доступным для студентов, исследователей и инженеров.

Ссылка на книгу

Вышла новая книга по архитектуре процессорных систем от моих друзей и коллег из МИЭТ и BSC, которых вы можете знать по YouTube-каналу digital_machines и одноимённому курсу на GitHub!

Это пособие идеально подойдет тем, кто хочет освоить полный стек проектирования процессорных систем, включая аппаратную и программную составляющие.

Книга: «Архитектуры процессорных систем. Практический курс» (ISBN: 978-5-94836-714-9).