Понравилась презентация Rabbit R1 — живенько и свеженько. Мне близка идея, что в ассистенте не должно быть никаких специальных приложений/навыков/агентов на каждый чих, а должен быть общий эфир. Интересно посмотреть как оно в живую работает, теперь хотя бы есть повод купить что-то от teenage.engineering. Обещают старт продаж на easter (easter bunny?).
Отдельно интересно как они планируют платить за GPU без подписки, железка явно в ноль или минус.
Рекомендую — https://www.youtube.com/watch?v=22wlLy7hKP4
https://www.theverge.com/2024/1/9/24030667/rabbit-r1-ai-action-model-price-release-date
Отдельно интересно как они планируют платить за GPU без подписки, железка явно в ноль или минус.
Рекомендую — https://www.youtube.com/watch?v=22wlLy7hKP4
https://www.theverge.com/2024/1/9/24030667/rabbit-r1-ai-action-model-price-release-date
👍4
https://www.youtube.com/watch?v=a1jXzx3884g
Тут вот uber рассказывают, что сделали кросс-компиляцию для cgo через
Тут вот uber рассказывают, что сделали кросс-компиляцию для cgo через
zig cc. Я даже не знал, что такое есть, и что этим так можно воспользоваться попытаться… Сомнительно, но поглядеть внутрь интересно. А ещё у них сервера на arm, интересно какие…Nix + Bazel
Мы тут активно экспериментируем со связкой Nix + Bazel, я верю, что это единственно верный путь для нативных репозиториев. Тем удивительнее, что такой подход пока достаточно мало распространён.
Есть какие-то странные консалтеры — tweag, которые программируют на Haskell. Вот вакансия висит даже на Haskell-разработчика, обещают поездку в Париж и mental health service. Так вот, от них есть bazel rules для интеграции Nix. Оно в первом приближении работает, но шаг в сторону, и всё разваливается. Там нет каких-то фундаментальных проблем, просто хорошо видно, что они этим не пользуются для разработки на C++. Чтобы не быть голословным
* никто не подумал про compiler_rt (читай санитайзеры) — https://github.com/tweag/rules_nixpkgs/issues/442
* не подумано про пакетирование, rpath в nix торчит, даже загрузчика — https://github.com/tweag/rules_nixpkgs/issues/449
Зато умеют очень складно и красиво рассказывать, даже рекомендую — https://www.youtube.com/watch?v=dBru1MVKsfE
С большим напильником это всё можно заставить хорошо работать в итоге, но готового ничего нет. В любом случае, это значительно лучше чем брать deb-пакеты из системы или мучаться об затаскивание внешних библиотек под bazel.
Спасибо ПЖ за идею :)
Мы тут активно экспериментируем со связкой Nix + Bazel, я верю, что это единственно верный путь для нативных репозиториев. Тем удивительнее, что такой подход пока достаточно мало распространён.
Есть какие-то странные консалтеры — tweag, которые программируют на Haskell. Вот вакансия висит даже на Haskell-разработчика, обещают поездку в Париж и mental health service. Так вот, от них есть bazel rules для интеграции Nix. Оно в первом приближении работает, но шаг в сторону, и всё разваливается. Там нет каких-то фундаментальных проблем, просто хорошо видно, что они этим не пользуются для разработки на C++. Чтобы не быть голословным
* никто не подумал про compiler_rt (читай санитайзеры) — https://github.com/tweag/rules_nixpkgs/issues/442
* не подумано про пакетирование, rpath в nix торчит, даже загрузчика — https://github.com/tweag/rules_nixpkgs/issues/449
Зато умеют очень складно и красиво рассказывать, даже рекомендую — https://www.youtube.com/watch?v=dBru1MVKsfE
С большим напильником это всё можно заставить хорошо работать в итоге, но готового ничего нет. В любом случае, это значительно лучше чем брать deb-пакеты из системы или мучаться об затаскивание внешних библиотек под bazel.
Спасибо ПЖ за идею :)
👍4😁1
NASA + Caltech жёпят исходники вояджеров, и даже контракт не показывают, хотя обязаны по Freedom of Information Act. Срочно нужна теория заговора.
Please be advised that the information you requested is not a Government record. Generally, software is not a Government record. Additionally, not all data at the Jet Propulsion Laboratory are government records. Contractor records are not subject to the FOIA in that they are not Government records, not in our control, and beyond the reach of a FOIA request. In accordance with Clause H-37 of NASA Contract NNN12AA01C, the Contractor, California Institute of Technology (Caltech), shall own all copyrights in computer software, including derivative works, developed under this Contract. As this software was developed under the JPL contract, Caltech holds a copyright thereto, and, thus, even if the government was in possession of the source code, we could not provide it to you in violation of copyright law. This is a “no records” response.
NASA has determined that releasing this information could compromise security at Federal facilities and the safety of persons at the facilities as well as compromise security of NASA IT Critical infrastructure. A comprehensive listing of the information could also obstruct the ability of the Information Technology Office to protect the IT systems from intrusion.
https://www.muckrock.com/foi/united-states-of-america-10/voyager-command-analysis-software-source-code-28641/
https://www.muckrock.com/foi/united-states-of-america-10/caltechjpl-voyager-contract-28949/
Please be advised that the information you requested is not a Government record. Generally, software is not a Government record. Additionally, not all data at the Jet Propulsion Laboratory are government records. Contractor records are not subject to the FOIA in that they are not Government records, not in our control, and beyond the reach of a FOIA request. In accordance with Clause H-37 of NASA Contract NNN12AA01C, the Contractor, California Institute of Technology (Caltech), shall own all copyrights in computer software, including derivative works, developed under this Contract. As this software was developed under the JPL contract, Caltech holds a copyright thereto, and, thus, even if the government was in possession of the source code, we could not provide it to you in violation of copyright law. This is a “no records” response.
NASA has determined that releasing this information could compromise security at Federal facilities and the safety of persons at the facilities as well as compromise security of NASA IT Critical infrastructure. A comprehensive listing of the information could also obstruct the ability of the Information Technology Office to protect the IT systems from intrusion.
https://www.muckrock.com/foi/united-states-of-america-10/voyager-command-analysis-software-source-code-28641/
https://www.muckrock.com/foi/united-states-of-america-10/caltechjpl-voyager-contract-28949/
MuckRock
Voyager Command & Analysis Software Source Code
Allan Lasser
made
this request
to NASA Jet Propulsion Laboratory (JPL) of
the
United States of America.
made
this request
to NASA Jet Propulsion Laboratory (JPL) of
the
United States of America.
Внешний аудит инцидента Круза, интересное чтиво в целом — https://getcruise.com/news/blog/2024/cruise-releases-third-party-findings-regarding-october-2/
Говорят 3 раза пытались показать видосы, но постоянно всё лагало… Ну и забыли пояснить детали.
Говорят 3 раза пытались показать видосы, но постоянно всё лагало… Ну и забыли пояснить детали.
Carbon вон планы выложил. Пора, говорят, уже хоть что-то рабочее сделать.
https://github.com/carbon-language/carbon-lang/discussions/3684
https://github.com/carbon-language/carbon-lang/discussions/3684
👍2
Cruise решил совсем развалиться, получается
https://www.linkedin.com/feed/update/share:7163857547001618432/
https://www.linkedin.com/feed/update/share:7163857547001618432/
😱3
bazel7
Сборка нативных библиотек это сложно, никто так нормально и не решил эту задачу и не похоже, что скоро решит. Помимо всех кривостей bazel-а, он ещё и удивительно бажный. Господа активно фигачят и не особо стесняются взрывать базовые сценарии.
Bazel7 выпустили в декабре, а он до сих пор вон умеет куда-то терять файлы при сборке, это конечно не то что ожидаешь от системы сборки — https://github.com/bazelbuild/bazel/issues/20886
Мораль? Если вы не уверены в проекте, то не надо asap переходить на свежие версии, иначе можно все силы потратить на отлов таких багов.
Сборка нативных библиотек это сложно, никто так нормально и не решил эту задачу и не похоже, что скоро решит. Помимо всех кривостей bazel-а, он ещё и удивительно бажный. Господа активно фигачят и не особо стесняются взрывать базовые сценарии.
Bazel7 выпустили в декабре, а он до сих пор вон умеет куда-то терять файлы при сборке, это конечно не то что ожидаешь от системы сборки — https://github.com/bazelbuild/bazel/issues/20886
Мораль? Если вы не уверены в проекте, то не надо asap переходить на свежие версии, иначе можно все силы потратить на отлов таких багов.
GitHub
"dangling symbolic link" flakes after upgrading to Bazel 7 · Issue #20886 · bazelbuild/bazel
Denoscription of the bug: googleapis/google-cloud-cpp#13444 After upgrading to Bazel 7, we have started seeing transient failures in our CI. These have all been from io_opentelemetry_cpp. ERROR: /h/....
boost конечно на века сделан, костыли для borland c++ вон торчат до сих пор в asio
https://en.wikipedia.org/wiki/Borland_C%2B%2B
https://github.com/boostorg/asio/blame/develop/include/boost/asio/detail/impl/socket_ops.ipp#L1897-L1915
https://en.wikipedia.org/wiki/Borland_C%2B%2B
https://github.com/boostorg/asio/blame/develop/include/boost/asio/detail/impl/socket_ops.ipp#L1897-L1915
https://wow.groq.com/what-nvidia-didnt-say/
Забавный наброс от groq на nvidia. Говорят, что nvidia со своим новым Blackwell лишь масштабирует существующее решение, а нужен иной подход с кастомным железом под задачу. Если верить тому, что скоро все будут упираться в электричество и что они правда 10x более энергоэффективно, то звучит разумно.
Забавный наброс от groq на nvidia. Говорят, что nvidia со своим новым Blackwell лишь масштабирует существующее решение, а нужен иной подход с кастомным железом под задачу. Если верить тому, что скоро все будут упираться в электричество и что они правда 10x более энергоэффективно, то звучит разумно.
Неплохой вводный рассказ от Руссиновича (каждый раз удивляюсь что он CTO Azure) про состояние инфры для обучения.
Потребление per gpu растёт экспоненциально, а рабочая температура у карточек должна быть порядка 30°C, поэтому мучаются об liquid cooling.
В обучении всё всегда упирается в пересылку данных, либо внутри карточки из памяти (HBM3 3 TB/s), либо между карточками внутри сервера (NVLink 1800 GB/s), либо между карточками по сети (Infiniband 400Gb/s). Самый большой Infiniband кластер в Azure специально для OpenAI. Почему-то всё это напоминает L1/L2/L3 кеши в процессоре — там и там нужно как можно быстрее подносить "снаряды" к вычислительным ядрам.
https://www.youtube.com/watch?v=ntKZ5CibuIQ
Потребление per gpu растёт экспоненциально, а рабочая температура у карточек должна быть порядка 30°C, поэтому мучаются об liquid cooling.
В обучении всё всегда упирается в пересылку данных, либо внутри карточки из памяти (HBM3 3 TB/s), либо между карточками внутри сервера (NVLink 1800 GB/s), либо между карточками по сети (Infiniband 400Gb/s). Самый большой Infiniband кластер в Azure специально для OpenAI. Почему-то всё это напоминает L1/L2/L3 кеши в процессоре — там и там нужно как можно быстрее подносить "снаряды" к вычислительным ядрам.
https://www.youtube.com/watch?v=ntKZ5CibuIQ
👍2
Очень интересный запрос разъяснений к Waymo по поводу всяких стюпидов, приятна степень погружения чиновников из NHTSA — https://x.com/WholeMarsBlog/status/1794058035863908708
пару примеров:
https://www.youtube.com/watch?v=UVK-hswkfoE
https://www.youtube.com/watch?v=HAZP-RNSr0s
https://www.youtube.com/watch?v=Mz9IEJOYKuU
Современный уровень развития беспилотных технологий будет содержать какое-то количество таких стюпидов, и тут либо общество должно смириться и забить на них, либо ждать следующего витка эволюции технологий. Лично у меня мало веры в то, что Маск что-то крутое покажет осенью. GPT4o вон не может нормально урлы с этих картинок распарсить, в каждом втором буквы путает.
пару примеров:
https://www.youtube.com/watch?v=UVK-hswkfoE
https://www.youtube.com/watch?v=HAZP-RNSr0s
https://www.youtube.com/watch?v=Mz9IEJOYKuU
Современный уровень развития беспилотных технологий будет содержать какое-то количество таких стюпидов, и тут либо общество должно смириться и забить на них, либо ждать следующего витка эволюции технологий. Лично у меня мало веры в то, что Маск что-то крутое покажет осенью. GPT4o вон не может нормально урлы с этих картинок распарсить, в каждом втором буквы путает.
Оч качественный рассказ про то как самые современные nvidia gpu выжимают TOPS-ы — https://www.youtube.com/watch?v=gofI47kfD28&t=3828s
* За 10 лет TOPS выросли в 10^7
* B200 (после P100, V100, A100, H100) видать так названо потому что просто два чипа склеены
* Самый большой гейн производительности из-за компактизации представления чисел FP32 -> FP16 -> INT8 -> FP4
* Второй по эффекту профит от CISC-инструкций таких как HMMA (12.5x раз)
* Интересная мысль, что оверхед на декодинг для операций перемножения матриц порядка 20%, поэтому специализированное железо не выигрывает GPU по эффективности
* Примерно половину энергии GPU тратит на вычисления, отальное на пересылку данных
* Вообще оч крутая и понятная мысль — важно сколько энергии тратится на вычисление, а сколько на всякое вспомогательное типа fetch/decode. На GPU хочется тратить энергию максимально эффективно, поэтому нужны CISC-инструкции и вредят любые предсказатели ветвления и прочие CPU-дуделки. Современны CPU тратит 50000x больше на всякое паразитное, чем на вычисление.
* Много усилий в Blackwell потратили на FP4 (вот ещё релевантный тред на реддит https://www.reddit.com/r/LocalLLaMA/comments/1bjlu5p/nvidia_blackwell_h200_and_fp4_precision/)
* За 10 лет TOPS выросли в 10^7
* B200 (после P100, V100, A100, H100) видать так названо потому что просто два чипа склеены
* Самый большой гейн производительности из-за компактизации представления чисел FP32 -> FP16 -> INT8 -> FP4
* Второй по эффекту профит от CISC-инструкций таких как HMMA (12.5x раз)
* Интересная мысль, что оверхед на декодинг для операций перемножения матриц порядка 20%, поэтому специализированное железо не выигрывает GPU по эффективности
* Примерно половину энергии GPU тратит на вычисления, отальное на пересылку данных
* Вообще оч крутая и понятная мысль — важно сколько энергии тратится на вычисление, а сколько на всякое вспомогательное типа fetch/decode. На GPU хочется тратить энергию максимально эффективно, поэтому нужны CISC-инструкции и вредят любые предсказатели ветвления и прочие CPU-дуделки. Современны CPU тратит 50000x больше на всякое паразитное, чем на вычисление.
* Много усилий в Blackwell потратили на FP4 (вот ещё релевантный тред на реддит https://www.reddit.com/r/LocalLLaMA/comments/1bjlu5p/nvidia_blackwell_h200_and_fp4_precision/)
👍5
Там вон вышел новый NixOS (24.05). Вообще с nix-ом всё хорошо кроме CUDA (но у кого с ней хорошо), кросс-сборки, нормального встроенного CI, упоротого языка и т д.
Боль неизбежна. Страдание – личный выбор каждого
https://nixos.org/manual/nixos/stable/release-notes#sec-release-24.05
Боль неизбежна. Страдание – личный выбор каждого
https://nixos.org/manual/nixos/stable/release-notes#sec-release-24.05
👍1
Посмотрел киноты NVIDIA и AMD с computex.
* Всё что говорит Jensen Huang это PR для накачки акций, ничему верить нельзя, всё по умолчанию маркетинговый булщет…
* Вскользь пообещили новый Jetson Thor на Blackwell, ждём, крутая железка.
* Интересно что AMD пытаются навязать конкуренцию серверным GPU от NVIDIA, мне конечно AMD сильно более симпатична открытостью стека, надо будем внимательнеее на ROCm поглядеть.
* Всё что говорит Jensen Huang это PR для накачки акций, ничему верить нельзя, всё по умолчанию маркетинговый булщет…
* Вскользь пообещили новый Jetson Thor на Blackwell, ждём, крутая железка.
* Интересно что AMD пытаются навязать конкуренцию серверным GPU от NVIDIA, мне конечно AMD сильно более симпатична открытостью стека, надо будем внимательнеее на ROCm поглядеть.