Записки CPU designer'a – Telegram
Записки CPU designer'a
2.93K subscribers
195 photos
2 videos
5 files
292 links
Всем привет. Меня зовут Николай.
Работаю RTL design инженером, амбассадором в RISC-V International.
В свободное время пишу о магии процессоростроения и цифровом дизайне.
Download Telegram
Qualcomm выигрывает судебное дело по лицензионному конфликту с Arm

Вкратце, из-за чего Arm решила судиться с Qualcomm:

TLDR: Qualcomm поглотила компанию Nuvia и решила воспользоваться лицензиями ARM, поглощенной компании.
Но в удивительном и прекрасном полупроводниковом бизнесе (и не только) цена на лицензию устанавливается в том числе от того, что за компания запрашивает лицензию.
Видимо, ARM решила, что Qualcomm пытаются считерить с лицензионным соглашением, выдав лицензию Nuvia за свою, а Qualcomm в свою очередь, считает. что имеет права не только на интеллектуальную собственность купленной компании, но и на лицензии. Кто прав тут - скоро увидим в суде

Об этом я рассуждал в одном из старых постов почему RISC-V становится все востребованне и актуальнее из-за концепции свободной ISA.

Какой суд вынес вердикт?

Судебное решение подтвердило, что Qualcomm не нарушала лицензионное соглашение с Arm, приобретя Nuvia. Это позволяет Qualcomm продолжать использовать технологии Arm для разработки чипов, включая процессоры Oryon и Snapdragon X. Однако неопределённость остаётся: суд не вынес решения о том, нарушила ли Nuvia свои обязательства перед Arm. Это открывает возможность для повторного разбирательства, что в итоге может привести к новым попыткам пересмотра условий лицензирования.

Я только рад, что нас ждет только больше ARM чипов для десктопных решений.
Thinkpad же активно выпускает ноутбуки на базе ARM-чипов, что особенно круто для аккумуляторной электроники. Однако пока что программная экосистема и совместимость с x86-приложениями оставляют желать лучшего.

Когда-нибудь дождёмся переноса EDA для проектирования ASIC на ARM-машины, дождёмся же?👀👀👀

Схожее мнение и у автора канала Паразитное сопротивление. Для полноты картины рекомендую ознакомиться и с его постом — клик.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍98🔥2😁1🎉1
Принёс вам что почитать на новогодних каникулах — Performance Analysis and Tuning on Modern CPU, книга от performance-инженера Дениса Бахвалова из Intel. 🎄🎄🎄

Книга доступна как для заказа на amazon, так и в виде бесплатной версии, которую можно найти в github-аккаунте Дениса.

Так же нашел у Дениса классный курс. Курс посвящён практическому изучению низкоуровневой оптимизации кода, включая такие аспекты, как работа с кешем процессора и предсказание ветвлений.
23👍14🔥10🎉3
С наступающим Новым годом! 😀😀😀

Спасибо, что читаете, репостите и активно участвуете в жизни канала. Это действительно здорово мотивирует и заряжает энергией для создания нового контента.

В новом году всем:
▫️ крутых офферов и заслуженного карьерного роста;
▫️ интересных конференций и новых полезных знакомств;
▫️ увлекательных задач, которые вдохновляют и развивают;
▫️ времени на отдых и баланс между работой и личной жизнью.

Stay tuned 👀
Please open Telegram to view this post
VIEW IN TELEGRAM
26🎉15👍5🔥5
Возвращаемся в рабочий режим вещания👀

Делюсь с вами новым чипом от d-Matrix — Corsair

Основные моменты из статьи:

1) Авторы называют свой чип представителем архитектуры Digital In-Memory Compute (DIMC). В этой архитектуре вычислительные блоки, такие как умножители и аккумуляторы, интегрированы в ячейки памяти, что снижает задержку и энергозатраты на передачу данных.

2) Организация системы памяти. В чипе Corsair доступны два режима работы. Первый режим очень похож на подход Groq, где модели хранятся в 1 GB SRAM (1), доступной в каждом чипе Corsair, что в сумме составляет 2 GB SRAM на карту. Это означает, что при использовании формата MXINT8 на 8 картах Corsair может разместиться модель Llama3-8B.

3) Упор на современные форматы данных. d-matrix используют новые типы данных OCP Microscaling Formats. Эти форматы поддерживают вычисления с 8-битными числами с общей экспонентой. Однако классические форматы IEEE-754 (FP64, FP32, FP16), а также BF16 и TF32 не поддерживаются для повышения эффективности вычислительных мощностей современных форматов.
However, in order to maximize the amount of MX compute, Corsair does not support any IEEE 754 Floating Point numbers such as FP64, FP32, or even FP16 nor does it support popular lower-precision data types such as BF16 or TF32.


4) Один чип Corsair обеспечивает производительность 4,8 Petaflops для формата MXINT4, 1,2 Petaflops для MXINT8 и 300 Teraflops для MXINT16. Каждая карта Corsair содержит два чипа, что удваивает потенциальную вычислительную производительность.

Что еще почитать? d-Matrix’s Corsair Whitepaper
Что еще за Groq? Groq’s Software-Defined Hardware for Dataflow Compute
Please open Telegram to view this post
VIEW IN TELEGRAM
👍76🔥4
С 1 января Altera официально отделилась от Intel и стала крупнейшей в мире независимой компанией, занимающейся разработкой FPGA.
Директор компании Ed McGettigan отметил, что одним из основных направлений компании остаются развитие и поддержка серии Agilex, а также упрощение работы с FPGA для инженеров.

Новый сайт компании: altera.com 👀
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉53👍7👀61
Бывшая CEO RISC-V Calista Redmond перешла в Nvidia.

Конспираси, о том, что она переходит в Intel на место Pat Gelsinger, не оправдалась😑
Please open Telegram to view this post
VIEW IN TELEGRAM
👀15👍42😁2
Зимняя школа программирования для RISC-V

Зимняя школа от YADRO — это лекции и практическая проектная работа, посвящённые программированию и оптимизации программ под архитектуру RISC-V. Лекции будут доступны всем после регистрации, а участие в проектной части — в очном формате, рассчитано на студентов.

Лекторий: пройдёт онлайн с 13 по 30 января 2025 года.

Проектная работа: будет проводиться очно с 3 по 8 февраля 2025 года. Участники смогут работать в группах над реальными задачами под руководством опытных наставников.

Для себя я отметил два интересных доклада:
1) Компиляция: тулчейн на основе GCC, кросс-сборка, multilib.
2) Обзор докладов, новинок и трендов 2024 года по RISC-V.

Подробности и регистрация доступны на сайте школы 🤓
👍14🔥5🎉1
HiPEAC 2025

С 20 по 23 января 2025 года в Барселоне пройдет конференция HiPEAC (European Network on High Performance and Embedded Architecture and Compilation).

В программе — доклады и воркшопы от лидеров индустрии, включая ARM, Nvidia, Google, а также от европейских дизайн-центров и исследовательских институтов.

С программой конференции можно ознакомиться здесь.

А если захотите развиртуализироваться я буду на конференции 20-го и 22-го января, найти меня можно будет у стенда Semidynamics👀
Please open Telegram to view this post
VIEW IN TELEGRAM
👍16🔥7
В сообществе RISC-V вводятся новые правила голосования. Теперь участие в Special Interests Groups (SIGs) делится на две категории: Наблюдатели (Observers) и Участники (Participants). Только участники получат право голосовать в будущем.

Критерии, по которым будет определяться статус участника или контрибьютора, пока находятся в разработке. Подробные инструкции ожидаются на следующей неделе, а их официальное утверждение займет 2–3 недели.

I will also give a brief preview of the first steps for deploying the new RVI BoD policies over the next several weeks. This involves members officially self-identifying as Observers and Participants, and sorting out which participants will have voting rights (as well as preparing to track what is necessary to keep from losing one's voting right). This will just be a brief preview. Detailed guidelines are expected to be distributed to all technical groups (TGs, SIGs, IC/HCs, TSC) in the coming week. At which point putting together this official documentation will then happen over the next 2-3 weeks.

Оригинал сообщения от Greg Favor в IME TG - click
👀8👍3
Принес вам простой, но полезный инструмент анализа систолических массивов - SystoliC AcceLErator SIMulator (SCALE Sim)

SCALE Sim — это симулятор для анализа ускорителей на базе систолических массивов, для обработки операций свертки, матричного умножения (GEMM). Симулятор позволяет настраивать параметры систолического массива (размер, соотношение сторон) и памяти, а также моделировать производительность различных конфигураций,
что позволяет быстро итеративно проверять гипотезы и анализировать проектные решения для аппаратных ускорителей на базе систолических массивов.

Подробнее о методологии и возможностях SCALE Sim можно прочитать в статье - A Systematic Methodology for Characterizing Scalability of DNN Accelerators using SCALE-Sim
👍19🔥8
Hola!
Хардвера на конференции было немного, но удалось пообщаться с инженерами из redpitaya.

Компания занимается проектированием программного и аппаратного обеспечения для индустриальных, исследовательских и академических применений.

На фото представлена отладочная плата STEMlab 125-14, подключенная к ПК, с софтом от redpitaya.

Отладочная плата спроектирована на базе AMD Xilinx ZYNQ 7010 SoC.
Среди её особенностей – богатый набор интерфейсов: RF inputs/outputs, GPIO, Ethernet, USB, а также возможность работы через различные среды разработки, такие как MATLAB и LabVIEW.

Но мы со всем справимся через Vivado в batch-mode 👀
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18🔥11😁1
PhD_Thesis_Bertaccini.pdf
12.2 MB
Принес вам диссертацию на тему:
Architectural and Microarchitectural Solutions for Multi-Precision Hardware Acceleration

Работа была выполнена в ETH Zurich, а её рецензентом выступил известный специалист Luca Benini.

Диссертация посвящена архитектурным и микроархитектурным решениям для специализированных аппаратных ускорителей, а также вычислениям с низкоточными (low-precision) форматами чисел с плавающей запятой.

В разделе Doctoral Thesis можно также поискать другие работы по интересующим вас темам.

А если вы вдруг забыли или не знали, что такое HAL Open Science, предлагаю перечитать один из моих старых постов☺️
Please open Telegram to view this post
VIEW IN TELEGRAM
👍38
Лента в LinkedIn с каждым годом все активнее забивается абсолютно неинформативным трэшем, но, наверное, моя любимая рубрика в этом — VLSI-эксперты с методичками о том, как проходить собеседования, с типовыми вопросами для вакансии ASIC/FPGA-разработчика и т. д.

В чем проблема этих методичек? В том, что содержащиеся в них советы и рекомендации не просто бесполезны, а зачастую даже вредны.
И, наверное, я нашел просто эталон таких вредных советов.

Например, как вам имплементация 4-стадийного RISC-процессора в 20 строчках на Verilog или целочисленное АЛУ, которое почему-то называется FPU?

Единственное объяснение, которое я нашел, — это обычный кликбейт, на который я повелся и заодно потащил за собой еще и вас.

Иначе я просто не понимаю, зачем кто-то верстает эти PDF-файлы, постит их — и при этом они набирают сотни реакций и десятки репостов.

Не так давно, на канале обсуждали теорию мертвого интернета , а теперь я выкатываю разбор поста, который с 50% вероятностью составлен ботом 👀

Почему я поднял этот вопрос? Потому что начинающим инженерам и студентам теперь приходится не только осваивать сложные технические темы, но и критически оценивать источники информации. В море контента легко наткнуться на бесполезные практики и явную дезинформацию, которые могут не только запутать, но и сформировать у новичков и студентов ошибочные представления о профессии.
Поэтому важно учиться фильтровать учебные материалы, отличать качественные источники от сомнительных.

Stay tuned
Please open Telegram to view this post
VIEW IN TELEGRAM
👍38🔥12😁2👀21
У SemiAnalysis вышла новая классная статья про DeepSeek:
DeepSeek Debates: Chinese Leadership On Cost, True Training Cost, Closed Model Margin Impacts
Читать на SemiAnalysis

В этой статье разбирается стремительный рост компании DeepSeek и ее влияние на AI-рынок.

Одна из наиболее обсуждаемых тем — действительно ли обучение модели DeepSeek-V3 обошлось всего в $6M.
Авторы статьи утверждают, что реальные затраты гораздо выше:
We believe the pre-training number is nowhere near the actual amount spent on the model. We are confident their hardware spend is well over $500M over the company’s history. To develop new architecture innovations, during the model development, there is a considerable spend on testing new ideas, new architecture ideas, and ablations.

Также рассматриваются технические достижения DeepSeek, такие как Multi-Token Prediction (MTP), Multi-head Latent Attention (MLA) и Mixture-of-Experts (MoE). MTP оптимизирует процесс обучения, а MLA и MoE снижают затраты на инференс и увеличивают производительность моделей, сокращая ненужные вычисления.

Отдельное внимание уделяется ситуации с GPU, инвестициям DeepSeek и High-Flyer в ускорители Nvidia H100/H800, а также влиянию экспортного контроля США на поставки оборудования в Китай.

Все подробности — в статье, а самое интересное, как обычно, спрятано за пейволлом🐱

p.s. В комментариях добавили важное замечание:
"Но подождите, даже в самом пейпере на дипсик ровно это и говорится - что они просто умножили число гпу-часов на 2 бакса:"
Lastly, we emphasize again the economical training costs of DeepSeek-V3, summarized in Table 1, achieved through our optimized co-design of algorithms, frameworks, and hardware. During the pre-training stage, training DeepSeek-V3 on each trillion tokens requires only 180K H800 GPU hours, i.e., 3.7 days on our cluster with 2048 H800 GPUs. Consequently, our pre-training stage is completed in less than two months and costs 2664K GPU hours. Combined with 119K GPU hours for the context length extension and 5K GPU hours for post-training, DeepSeek-V3 costs only 2.788M GPU hours for its full training. Assuming the rental price of the H800 GPU is $2 per GPU hour, our total training costs amount to only $5.576M. Note that the aforementioned costs include only the official training of DeepSeek-V3, excluding the costs associated with prior research and ablation experiments on architectures, algorithms, or data.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13🔥5👀1
Будничное напоминание, что плавающая точка — зло, а спасение мы найдём только в 1.58 битном типе данных 🙏🙏🙏

А пока что принёс вам две классные обзорные статьи по работе с точками, которые плавают.

1. Обзор от Texas Instruments об имплементации Block Floating Point на DSP-ядрах TMS320C54x актуалочка из 1999-го года.
Программная часть не особо интересна, но введение в блочные флоты и теоретическая база хорошо раскрыты в этом руководстве. Рекомендую ознакомиться, особенно в свете популярности новой концепции — MicroScaling Floating Point, о которой мы обязательно поговорим в будущих постах на канале.
A Block Floating Point Implementation on the TMS320C54x DSP

2. В одном из профессиональных чатов нашёл занимательную статью на русском языке - "Стандартизация и тестирование реализаций
математических функций, работающих с числами с
плавающей точкой
"
Как видно из названия статьи, материал отлично подойдёт для тех, кто занимается имплементацией математических функций на базе IEEE-754, либо для тех, кто проверяет корректность вычислений или имплементацию, будь то программного, будь то аппаратного алгоритма. Статья неплохо покрывает базовые понятия 754-го стандарта и содержит богатый набор ссылок, которые можно и нужно использовать как дополнительный материал.
Please open Telegram to view this post
VIEW IN TELEGRAM
29👍17🔥12😁2
Как можно не любить FP4, где умножение мантисс, да и пары FP4 операндов можно сделать через простейший LUT, а не заморачиваться с CSA reduction tree и алгоритмом Booth'a, логикой нормализации и прочим классическим floating-point/digital arithmetic стафом? 👀
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11😁4
Optimizing Large Language Model Training Using FP4 Quantization
Ruizhe Wang, Yeyun Gong, Xiao Liu, Guoshuai Zhao, Ziyue Yang, Baining Guo, Zhengjun Zha, Peng Cheng
Статья: https://arxiv.org/abs/2501.17116

Формат мини.

Только обсудили обучение DeepSeek в FP8 (https://news.1rj.ru/str/gonzo_ML/3294) и упомянули старую работу про FP8-LM (https://arxiv.org/abs/2310.18313) от Microsoft, как та же команда анонсировала обучение в FP4!

С помощью ухищрений в виде differentiable quantization estimator для точного обновления весов и outlier clamping and compensation strategy для предотвращения коллапса активаций достигли качества аналогичного обучению в BF16 и FP8 и обучили 13B модель на 100B токенов.

FP16 использует формат E5M10 (5 бит на экспоненту, 10 на мантиссу), BF16 — E8M7, FP8 обычно есть в двух вариантах с E4M3 (был у DeepSeek-V3) и E5M2, а здесь FP4 сделали в формате E2M1. Ещё один бит — знак, если что.

Нвидиа теперь репортит флопсы в FP4 (https://news.1rj.ru/str/gonzo_ML/3182), эта разрядность поддерживается новыми GPU, так что можно ожидать ещё одного удвоения производительности/размера моделей относительно DeepSeek, или учетверения относительно более традиционных моделей типа Llama.

Так и до FP1 INT1 дойдём!

Очень круто.
👍10🔥2😁1