Принес вам классную статью с портала semianalysis: Groq Inference Tokenomics: Speed, But At What Cost?

В статье обсуждается производительность программно-аппаратного комплекса от Groq при работе с моделью Mixtral 8x7b. Обратите внимание, что на первом же графике указывается соотношение USD на 1 миллион токенов. Числа для топсов/флопсов придержите для рекламы и продакт брифов.

Интересен Groq в первую очередь с архитектурной точки зрения. Это VLIW машина, без внешний памяти, блоков типа предсказателя переходов, префетчеров, контроллера кэшей, а вся модель размещается на кластере, состоящей из Groq чипов.
В данной статье описывается, что для работы с моделью Mixtral потребовалось подключить 576-чипов, каждый из чипов обладает на кристальной SRAM памятью в 230 MB!

Фактически DSP-core AI/ML ускоритель от Groq — это классическая числодробилка. Блоки умножения матриц, как ни странно - для умножения матриц, VectorUnit для вычислений посложнее, например, обсчет активационных функций (sigmoid, softmax, и.т.п), а между модулями матричной и векторной обработки расположены блоки SRAM памяти.

Больше чисел, графиков и ссылок найдете в вышеуказанной статье

Продолжая тему чипа от Groq настоятельно рекомендую ознакомиться с докладом Andrew Bitar'a, Principal Compiler Engineer в компании Groq:
Groq’s Software-Defined Hardware for Dataflow Compute

Это доклад посвящен современным вызовам и решениям в области вычислительных архитектур. С окончанием закона Деннарда и ростом вычислений, связанных с обработкой больших массивов данных, особенно в области AI/ML ускорителей и высокопроизводительных вычислений, возрождается тренд на проектирование чипов на базе Domain-specific architecture.

В докладе рассказывается о концепции Software-Defined Hardware на примере архитектуры Groq.
Этот подход позволяет упростить управление вычислительными ресурсами, устраняя необходимость в аппаратном контроле за потоками данных, что в свою очередь значительно упрощает микроархитектуру конечного чипа. Важность такого подхода заключается в том, что он делает работу с данными более предсказуемыми и эффективными, что особенно критично в эпоху замедления закона Мура и роста требований к производительности в задачах AI/ML ускорителей.

В качестве дополнительной литературы автор доклада рекомендует ознакомиться со следующими статьями:

1) A Software-defined Tensor Streaming Multiprocessor forLarge-scale Machine Learning

2) Think Fast: A Tensor Streaming Processor (TSP)for Accelerating Deep Learning Workloads

Редакция канала Истовый Инженер поделилась замечательным ресурсом — Silicon Zoo, где собраны чип-арты, оставленные разработчиками микросхем.

На портале Silicon Zoo собраны самые разные чип арты, созданные разработчиками микросхем.
Эти рисунки создаются дизайнерами на свободных участках чипа и могут включать в себя как простые инициалы, так и сложные изображения, которые можно увидеть только под микроскопом. Такие изображения можно сравнить с аппаратной версией пасхальных яиц в программном обеспечении.

А в этом разделе, можете почувствовать себя в роли silicon art хантера и отыскать кремниевую creature на предложенном dieshot.

Chip Art из шапки поста — AMD Athlon K7 Pluto.

#dieshots

Понедельник день тяжелый — никаких лонгридов, только мемы.
Мне дико зашел шаблон Triangle Factory.
Принес вам интерпретацию мема про Texas Instruments.

RARS - RISC-V Assembler and Runtime Simulator

Многие старожилы моего канала и энтузиасты RISC-V знакомы с академическим симулятором RARS. Когда я учился в университете и читал первое издание книги Харриса и Харриса, я активно пользовался MIPS-версией симулятора MARS.

RARS — это программа для написания, сборки и симуляции выполнения программ на языке ассемблера для архитектуры RISC-V. Основная цель RARS — предоставить удобную и простую в использовании среду разработки для тех, кто только начинает изучать RISC-V.

Грустно наблюдать, но в последний год не видно никаких новых коммитов и исправлений, а десятки issues остаются открытыми.

Преподавательский состав из Университета Квебека в Монреале использует данный симулятор в своём курсе INF2171. Однако, поскольку поддержка RARS фактически остановилась, и у авторов не получается внести свои изменения в основной репозиторий, поэтому они продолжают исправлять проблемы RARS и добавлять новый функционал в собственной версии — RARSM.

Рекомендую обратить внимание на этот форк, так как он является поддерживаемой веткой RARS. В README можно ознакомиться со списком обновлений, исправлений в RARSM версии.

Завершилась конференция HotChips 2024 — одно из самых значимых и увлекательных ежегодных событий, посвященных передовым разработкам в области микропроцессоров и полупроводниковых технологий.

С программой конференции можно ознакомиться на сайте HotChips. Тут найдете и доклады от Nvidia, Intel, Qualcomm, AMD, OpenAI.
Но чтобы получить доступ к докладам и видеозаписям конференции придется раскошелиться на примерно на 130 долларов.

Если делать этого не хотите, то можно обратиться к изданиям, которые уже вовсю пишут статьи по прошедшим докладам. Один из таких сайтов — горячо мною любимый ChiP and Chease.

На момент публикации поста на портале уже доступны 3 доклада с прошедшей конференции:

1) AmpereOne at Hot Chips 2024: Maximizing Density. Особый интерес в том, что в докладе рассматриваются особенности архитектуры процессора от Ampere, включая детали разработки собственного ядра и отказа от лицензирования ядер Neoverse от Arm.

2) Hot Chips 2024: Qualcomm’s Oryon Core. Разбор микроархитектуры Snapdragon X Elite. Обсуждение предсказателя переходов TAGE, работы с памятью, особенности проектирования крупных TLB.

3) Tesla’s TTPoE at Hot Chips 2024: Replacing TCP for Low Latency Applications. Доклад посвящен суперкомпьютеру Dojo от Tesla и разбора проблемы ограничения пропускной способности из-за медленной передачи данных между хостами и суперкомпьютером через PCIe.

Вы еще тут? Бегом читать доклады, а потом обсудим их в комментариях 🤓

Очередной стартап вышел из стелс режима. Встречайте - Akeana.

Akeana представила три семейства процессорных IP на базе RISC-V:

1) Akeana 100 Series: 32-битные решения микроконтроллерного класса.
2) Akeana 1000 Series: 64-битные процессоры с поддержкой многоядерности, векторных расширений, гипервизора и неких опциональных AI расширений. Ну куда же без них в 2024-м.
3) Akeana 5000 Series: Высокопроизводительные 64-битные процессоры для ноутбуков, дата-центров и облачных инфраструктур.

Кроме процессоров, Akeana также представила набор IP для создания SoC, который включает контроллеры прерываний (AIA RISC-V APLIC) и когерентные кластеры. Кроме того, компания анонсировала Matrix Engine, о котором пока доступно очень мало информации.

Более подробную информацию о характеристиках продуктов можно найти на сайте компании. Однако отсутствие реальных бенчмарков и возможности тестирования предлагаемого продукта — затрудняет оценку нового игрока в экосистеме RISC-V на данный момент.

Введение в работу с EDA Vivado

Лектор Школы Синтеза Дмитрий Смехов подготовил прекрасное руководство по работе с инструментом Vivado, который используется при разработке аппаратуры для ПЛИС фирмы Xilinx (AMD).

Это руководство содержит рекомендации по организации репозитория проекта, запуска моделирования как в CLI, так и в GUI режимах.

Версия руководства на русском языке — link
Версия руководства на английском языке — link

#bestpractice

Не уходя далеко от темы Vivado, хочу напомнить, что в одном из лучших курсов по процессорным архитектурам есть руководство, которое помогает новичкам освоить основы работы с Vivado.

Если объём материалов курса АПС кажется пугающим и вы не знаете, с чего лучше начать, почему бы не начать знакомство со средой проектирования Vivado?

В руководстве разобраны следующие темы:

1) Создание нового проекта под отладочный стенд Nexys A7;
2) Навигатор по маршруту проектирования;
3) Менеджер проекта;
4) Как запустить симуляцию в Vivado;
5) Руководство по поиску функциональных ошибок;
6) Анализ RTL;
7) Как прошить ПЛИС;
8) Руководство по работе с ошибками обработки кода.

#bestpractice

Новая книга от авторов «Цифровая схемотехника и архитектура компьютера»

На сайте издательства Elsevier появилась страничка книги RISC-V Microprocessor System-On-Chip Design.
В авторах указаны хорошо знакомые нам Харрис и Харрис.
Кстати, знали ли вы, что они не муж и жена, а просто однофамильцы?

На данный момент книга не имеет цены и возможности предзаказа, но уже сейчас можно ознакомиться с оглавлением во вкладке «Table Of Contents».