Forwarded from Грядка на чипе
Это победа! 🤩
Микроконтроллер распаян, компоненты драйвера двигателя тоже ( паять SMD компоненты - то ещё удовольствие... ). Прошивка залита, двигатель управляется, а это значит, что схема спроектирована правильно. Полторы недели работы были не напрасными. Завтра постараюсь рассказать подробнее, что я задумал.
Микроконтроллер распаян, компоненты драйвера двигателя тоже ( паять SMD компоненты - то ещё удовольствие... ). Прошивка залита, двигатель управляется, а это значит, что схема спроектирована правильно. Полторы недели работы были не напрасными. Завтра постараюсь рассказать подробнее, что я задумал.
🐳4🍌3
Forwarded from Love. Death. Transformers.
HF_ULTRASCALE_PLAYBOOK.pdf
10.6 MB
HF книжка по megatron, fsdp и прочему для обучения реально больших моделей
👨💻5
Forwarded from Data Secrets
HuggingFace релизнули замечательную свежую книгу про обучение LLM
200+ страниц, 7 больших глав. Содержание примерно следующее:
– Архитектуры, их особенности и оптимизация гиперпараметров
– Работа с данными
– Предобучение и какие в нем есть подводные камни
– Пост-трейнинг: все современные подходы и как их применять
– Инфраструктура, как ее правильно строить и оптимизировать
По сути, это готовое хардовое пособие по тому, как с нуля обучить и захостить LLM.
Написано все на довольно простом английском и читается легко + есть куча схем и примеров. В общем, выглядит годно.
huggingface.co/spaces/HuggingFaceTB/smol-training-playbook
200+ страниц, 7 больших глав. Содержание примерно следующее:
– Архитектуры, их особенности и оптимизация гиперпараметров
– Работа с данными
– Предобучение и какие в нем есть подводные камни
– Пост-трейнинг: все современные подходы и как их применять
– Инфраструктура, как ее правильно строить и оптимизировать
По сути, это готовое хардовое пособие по тому, как с нуля обучить и захостить LLM.
Написано все на довольно простом английском и читается легко + есть куча схем и примеров. В общем, выглядит годно.
huggingface.co/spaces/HuggingFaceTB/smol-training-playbook
🤗4🐳2
Forwarded from Love. Death. Transformers.
DOOM
Знаете в чем плюс заниматся не особо нужной ерундой?(ресерчем чего либо вокруг русских бенчей которые никому не интересно оптимайзить)
Можно наблюдать как прирстают модели на математике, при этом на физике прирост между поколениями всего несколько процентов. Причем если смотреть на ошибки там именно не понимание какие законы/формулы считать, а не численные.
Ну и gemeni3pro клево поскелйилась по токенам, хоть и гонится прям ОЧЕНЬ долго и дорого, но результаты на матемтике того стоят. А вот решит ли она jew problem будет известно позже
А и теперь у нас есть папир, мы даже свозили его на воркшоп EMNLP, спасибо рекламе в этом канале за возможность оплачивать эвалы моделей
Paper
LB
Знаете в чем плюс заниматся не особо нужной ерундой?(
Можно наблюдать как прирстают модели на математике, при этом на физике прирост между поколениями всего несколько процентов. Причем если смотреть на ошибки там именно не понимание какие законы/формулы считать, а не численные.
Ну и gemeni3pro клево поскелйилась по токенам, хоть и гонится прям ОЧЕНЬ долго и дорого, но результаты на матемтике того стоят. А вот решит ли она jew problem будет известно позже
А и теперь у нас есть папир, мы даже свозили его на воркшоп EMNLP, спасибо рекламе в этом канале за возможность оплачивать эвалы моделей
Paper
LB
🍌5
LakoMoor
https://huggingface.co/deepseek-ai/DeepSeek-V3.2 Говорят на уровне GPT-5 https://huggingface.co/deepseek-ai/DeepSeek-V3.2/resolve/main/assets/paper.pdf
This media is not supported in your browser
VIEW IN TELEGRAM
🐳3💯3
This media is not supported in your browser
VIEW IN TELEGRAM
Парень сделал в браузере полноценный автодиф на WebGPU.
Выглядит прикольно, понравилось то что визуализировали обучение. Можно посмотреть как вообще происходит обучение.
https://github.com/vinhowe/piston
https://sequence.toys/
Выглядит прикольно, понравилось то что визуализировали обучение. Можно посмотреть как вообще происходит обучение.
https://github.com/vinhowe/piston
https://sequence.toys/
🍌3🐳2💯1
Forwarded from Classical Vlad
Limit Order Book, он же стакан — механизм биржи, объединяющий покупателей с продавцами.
Исходя из названия, он собирает в себе лимитные заявки. У каждого ордера есть такие параметры как:
- side — всё просто, покупка или продажа.
- quantity — количество актива в заявке.
- price — очевидно, цена.
Про Time in Force и скрытые ордера чуть позже.
Когда мы хотим купить какой-то актив здесь и сейчас, мы отправляем market order на биржу, где её matching engine исполняет его, сопоставив с лимитными ордерами.
Приоритетность исполнения одних лимитных ордеров перед другими зависит от логики конкретного matching engine, но есть некоторые общие правила:
- Price–Time Priority — сначала метчим ордера с лучшей ценой, но если несколько стоят по одной цене, то из них выбирается тот, который был выставлен раньше.
- Price–Pro-Rata Priority — исполняем по лучшей цене, но если на этой цене стоит несколько крупных ордеров, то метчим их пропорционально их объёму.
- Size–Time Priority — на одинаковой цене между ордером с большим объёмом и выставленным ранее выберем тот, у кого больший объём.
- Visibility Priority — Visible > Iceberg > Hidden.
Про видимость ордеров:
- Visible — просто ордера, полностью видны всем участникам рынка.
- Iceberg — ордера, видимые в стакане лишь частично. Когда их заданная видимая часть исполняется, биржа обновляет ордер с новой видимой частью, которая будет максимум заданного в параметрах ордера размера, пока он не исполнится полностью. При обновлении ордер может терять приоритет по времени.
- Hidden — в ордербуке не видны, но трейды по ним исполняются. Можно заметить в виде сделок, которые прошли по непойми откуда взявшейся цене между best ask / best bid.
Time in Force:
- GTC (Good Till Cancelled) — ордер остаётся в стакане, пока его полностью не исполнят или пока пользователь не отменит его.
- IOC (Immediate Or Cancel) — ордер должен быть исполнен немедленно хотя бы частично; всё неисполненное сразу отменяется. Забирает ликвидность, но в отличие от простого Market ордера ставит ограничение на цену, а не просто исполняется по доступной цене.
- FOK (Fill Or Kill) — жёсткая версия IOC. Ордер должен быть исполнен полностью и сразу; если это невозможно — он отменяется полностью.
Поправляйте, может где ошибся
Исходя из названия, он собирает в себе лимитные заявки. У каждого ордера есть такие параметры как:
- side — всё просто, покупка или продажа.
- quantity — количество актива в заявке.
- price — очевидно, цена.
Про Time in Force и скрытые ордера чуть позже.
Когда мы хотим купить какой-то актив здесь и сейчас, мы отправляем market order на биржу, где её matching engine исполняет его, сопоставив с лимитными ордерами.
Приоритетность исполнения одних лимитных ордеров перед другими зависит от логики конкретного matching engine, но есть некоторые общие правила:
- Price–Time Priority — сначала метчим ордера с лучшей ценой, но если несколько стоят по одной цене, то из них выбирается тот, который был выставлен раньше.
- Price–Pro-Rata Priority — исполняем по лучшей цене, но если на этой цене стоит несколько крупных ордеров, то метчим их пропорционально их объёму.
- Size–Time Priority — на одинаковой цене между ордером с большим объёмом и выставленным ранее выберем тот, у кого больший объём.
- Visibility Priority — Visible > Iceberg > Hidden.
Про видимость ордеров:
- Visible — просто ордера, полностью видны всем участникам рынка.
- Iceberg — ордера, видимые в стакане лишь частично. Когда их заданная видимая часть исполняется, биржа обновляет ордер с новой видимой частью, которая будет максимум заданного в параметрах ордера размера, пока он не исполнится полностью. При обновлении ордер может терять приоритет по времени.
- Hidden — в ордербуке не видны, но трейды по ним исполняются. Можно заметить в виде сделок, которые прошли по непойми откуда взявшейся цене между best ask / best bid.
Time in Force:
- GTC (Good Till Cancelled) — ордер остаётся в стакане, пока его полностью не исполнят или пока пользователь не отменит его.
- IOC (Immediate Or Cancel) — ордер должен быть исполнен немедленно хотя бы частично; всё неисполненное сразу отменяется. Забирает ликвидность, но в отличие от простого Market ордера ставит ограничение на цену, а не просто исполняется по доступной цене.
- FOK (Fill Or Kill) — жёсткая версия IOC. Ордер должен быть исполнен полностью и сразу; если это невозможно — он отменяется полностью.
Поправляйте, может где ошибся
🍌4