This media is not supported in your browser
VIEW IN TELEGRAM
Компания Shanghai Fourier выпускает Fourier N1, компактного робота-гуманоида с открытым исходным кодом, ростом 1,3 метра и весом 38 килограммов. Он имеет 23 степени свободы и изготовлен из армированного алюминиевого сплава и инженерного пластика, сочетающего в себе прочность и гибкость. Оснащенный несущей батареей, он может непрерывно работать более 2 часов.
Сервисный робот Lingxi от China Mobile и прототип промышленного дроида Borg 01 от Borg Robotics.
Golden Ratio Weighting Prevents Model Collapse
https://arxiv.org/abs/2502.18049
https://www.alphaxiv.org/overview/2502.18049
Для предотвращения коллапса генеративной модели при обучении на смеси реальных и синтетических данных, они должны быть взяты в соотношении золотого сечения (Golden Ratio).
Когда модели обучаются исключительно на синтетических данных, сгенерированных предыдущими моделями, информация ухудшается с каждой итерацией, что в конечном итоге приводит к значительному ухудшению качества. В данной работе решается эта фундаментальная проблема путем разработки теоретически обоснованной стратегии смешивания, которая использует как вновь собранные реальные данные, так и синтетические данные.
https://arxiv.org/abs/2502.18049
https://www.alphaxiv.org/overview/2502.18049
Для предотвращения коллапса генеративной модели при обучении на смеси реальных и синтетических данных, они должны быть взяты в соотношении золотого сечения (Golden Ratio).
Когда модели обучаются исключительно на синтетических данных, сгенерированных предыдущими моделями, информация ухудшается с каждой итерацией, что в конечном итоге приводит к значительному ухудшению качества. В данной работе решается эта фундаментальная проблема путем разработки теоретически обоснованной стратегии смешивания, которая использует как вновь собранные реальные данные, так и синтетические данные.
What Textbooks Don't Tell You About Curve Fitting
https://www.youtube.com/watch?v=q7seckj1hwM
Откуда на самом деле происходит оптимизация квадрата ошибки? Из Гаусса.
https://www.youtube.com/watch?v=q7seckj1hwM
Откуда на самом деле происходит оптимизация квадрата ошибки? Из Гаусса.
👍3
ZClip: Adaptive Spike Mitigation for LLM Pre-Training
https://arxiv.org/abs/2504.02507
https://www.alphaxiv.org/ru/overview/2504.02507
Всплески потерь (loss spikes) — это внезапные, резкие увеличения потерь при обучении, которые могут нарушить обучение. Эти всплески часто связаны с большими нормами градиента.
ZClip эффективно смягчает выбросы потерь и достигает значительно более низких значений.
https://arxiv.org/abs/2504.02507
https://www.alphaxiv.org/ru/overview/2504.02507
Всплески потерь (loss spikes) — это внезапные, резкие увеличения потерь при обучении, которые могут нарушить обучение. Эти всплески часто связаны с большими нормами градиента.
ZClip эффективно смягчает выбросы потерь и достигает значительно более низких значений.
This media is not supported in your browser
VIEW IN TELEGRAM
Ночник-проводник до туалета посреди ночи.
🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
Механический двоично-десятичный дешифратор.
🔥6
Rethinking RoPE: A Mathematical Blueprint for N-dimensional Positional Encoding
https://arxiv.org/abs/2504.06308
https://www.alphaxiv.org/ru/overview/2504.06308
Авторы используют теорию групп Ли и алгебр Ли для предоставления строгого математического фреймворка для RoPE. Центральным результатом работы является то, что любая допустимая N-мерная RoPE должна лежать в базисе максимальной абелевой подалгебры (MASA) специальной ортогональной алгебры Ли.
https://arxiv.org/abs/2504.06308
https://www.alphaxiv.org/ru/overview/2504.06308
Авторы используют теорию групп Ли и алгебр Ли для предоставления строгого математического фреймворка для RoPE. Центральным результатом работы является то, что любая допустимая N-мерная RoPE должна лежать в базисе максимальной абелевой подалгебры (MASA) специальной ортогональной алгебры Ли.
Так себе забег вышел. Tiangong победил.
This media is not supported in your browser
VIEW IN TELEGRAM
Language models thinking step by step to do arithmetic...