Человечество договорилось до компактных флоатов "AMD, Arm, Intel, Meta, Microsoft, NVIDIA, and Qualcomm Standardize Next-Generation Narrow Precision Data Formats for AI".

* Смешное название — Microscaling Formats (MX)
* Все форматы представляют собой массив из 32 чиселок с вынесенным мультипликатором
* Интересно что в мелких типах не предусмотрено Inf и NAN

https://www.opencompute.org/blog/amd-arm-intel-meta-microsoft-nvidia-and-qualcomm-standardize-next-generation-narrow-precision-data-formats-for-ai — новость
https://www.opencompute.org/documents/ocp-microscaling-formats-mx-v1-0-spec-final-pdf — спека

Сегодня стартует ROSCon 23, выглядит как неплохой способ начать погружаться в robotics.

https://roscon.ros.org/2023/#livestream — ссылка на лайвстрим

Попалась либа со стандартными контейнерами без динамических аллокаций от теслы — https://github.com/teslamotors/fixed-containers/

И я вот пытаюсь понять, они что ли весь код на C++ без аллокаций пишут? Не особо верится… ¯\_(ツ)_/¯

Ещё забавно, что github теслы максимально никакой, ни одной полезной опенсорс штуковины. При этом автор этой либы Sr. Staff Software Engineer at Tesla, Autopilot, судя по LinkedIn.

https://www.youtube.com/watch?v=AKMuA_TVz3A

Sutskever предлагает интересный взгляд на Unsupervised Learning как на задачу компрессии, а Kolmogorov Complexity как теоретический предел для этой компрессии.

У Scott Aaronson было хорошее объяснение почему Kolmogorov Complexity полезная абстракция.

Посмотрел keynote с bazelcon. Мне нравится, что bazel еле-еле, но становится таким стандартом де-факто для больших проектов. Грустно только что оно сильно завендерлочено, ничего не помешает гуглу через 5 лет закрыть проект, и всё загнётся.

Работают над тремя большими штуками.

* само собой пытаются выпилить поддержку С++ и Java из ядра, куда без этого
* bzlmod — перепридумали работу с внешними зависимостями, говорят давайте будем импортировать граф к себе, где-то я уже такое видел (вот так выглядит https://github.com/bazelbuild/bazel-central-registry/blob/main/modules/protobuf/3.19.6/MODULE.bazel)
* почему-то много внимания уделяют SBOM — списку зависимостей для проверки уязвимостей (https://security.googleblog.com/2022/06/sbom-in-action-finding-vulnerabilities.html)

Cruise забанили в SF, но это уже не новость, скорее интересно почему забанили сейчас за инцидент месячной давности.

Претензия к ним, что они "misrepresented information". Мне нравится версия, что они забыли выложить кусок видео.

Кстати, рекомендую NYT подкаст про рассуждения надо ли вообще разрешать беспилотники на текущем этапе развития — https://www.nytimes.com/2023/08/23/podcasts/the-daily/driverless-cars-san-francisco.html

https://getcruise.com/news/blog/2023/a-detailed-review-of-the-recent-sf-hit-and-run-incident/
https://twitter.com/Cruise/status/1716877217995894934
https://twitter.com/A_W_Gordon/status/1716892781984227384

Я верю в подход Carbon, да и Chandler внушает доверие. Пытаются сделать для C++ то, что Kotlin сделал с Java — drop-in replacement с хорошим interop-ом.

- в MVP 0.1 обещают только проработанный interop, выглядит неужасно
- в MVP 0.2 планируется заход на memory safety, но пока ничего непонятно, вероятно будет примерно как в Rust (borrow checker)
- для прозрачного interop-а активно используется clang (и очень правильно)

Всё это позиционируется как эксперимент, который может и не сойтись. Направление правильное, но господа двигаются медленее чем двигался Kotlin, хотя и задача у них сильно сложнее.

https://www.youtube.com/watch?v=1ZTJ9omXOQ0

nytimes про доставку дронами

Послушал подкаст Lex-а Fridman-а с CEO Boston Dynamics. Оч тяжко слушать с такой низкой плотностью информации.

* Boston Dynamics изначально делали симулятор, но потом вляпались в контракт с DARPA на создание собаки.
* Первая собака была на двухтактном ДВС — https://www.youtube.com/watch?v=cNZPRsrwumQ
* Раньше на эксперименты уходили годы, сейчас в симуляторе можно сделать всё за дни благодаря MPC(Model predictive control)
* Хуманоид (Atlas) скорее как R&D платформа, стоит миллион долларов, партия 1000+ штук, нужен мало где (атомные станции, fab-ы)
* Предыдущие 10 лет человечество учило роботов ходить ногами, следующие 10 лет будет учить делать что-то полезное
* Захотели сделать что-то полезное и заработать денег, так появился Stretch — роборука с колёсиками, тут вроде успех-успех

Я тут в дороге посмотрел много разных видео с Chris Lattner. Если кто не в курсе, то он сделал LLVM в рамках master thesis, делал девтулзы в Apple и там сделал Swift, потом были гугловые TPU, MLIR, TensorFlow и много всякого ещё.

Так вот, он говорит, что мир постепенно будет двигаться в сторону heterogeneous compute, т.е. системы будут состоять из всё большего числа специализированных сопроцессоров, а RISC-V поможет поджечь эту революцию.

Современные инструменты не готовы к такой модели вычислений, лучшее что есть — PyTorch. Ну и чтобы возглавить эту революцию они делают платформу — Modular и superset питона — mojo.

Заход сложный, но руки умелые, интересно будет понаблюдать.

https://nondot.org/sabre/
https://www.modular.com

Посмотрел как там дела у llvm libc

Господа придумали себе интересную задачу — реализовать libc на C++. Джастификация понятная — санитайзеры, статическая линковка, выкинуть тонны asm-а, современный язык.

Вот только из-за проблемы бутстрапа нельзя зависеть от STL и рантайма C++, т.е. не работают string, new/delete, virtual, global initialization, etc. Они не расстроились и написали свой STL…

Ещё 2-3 года планируют доделывать, и вряд ли оно окажется сравнимо по перфу с glibc сразу. А пока уже можно пытаться использовать в режиме overlay, как делает fuchsia.

libc корявая абстракция, с которой можно только смириться и вот так странно чуть-чуть улучшить, и хорошо что есть богатая компания гугл готовая за это платить

https://libc.llvm.org