Я завтра буду выступать на физтехе, в 115КПМ в 18:35, если вы с физтеха и хотите то приходите послушать, думаю что там не будут против. Толкнем пару матов про адаптивные батчи
❤25👍8🔥6🤡2💅1
Мне предлагали ОГРОМНЫЕ ДЕНЬГИ за эти знания, а с вами я поделюсь бесплатно!!!
Топ 5 названий для вашего HFT фонда:
1. Кальян двойное яблочко трейдинг
2. Девочка с ВШЭ дизайн рисерч
3. Томатная гозешка технолоджис
4. Совиньон блан
5. Греческий салат лаб
Топ 5 названий для вашего HFT фонда:
1. Кальян двойное яблочко трейдинг
2. Девочка с ВШЭ дизайн рисерч
3. Томатная гозешка технолоджис
4. Совиньон блан
5. Греческий салат лаб
2👍61❤30😁15💩5💯2
Kindly reminder: питон, как и плюсы, захватывает значения в лямбда-функциях по ссылке, а не по значению.
Наткнулся на эту особенность снова спустя 1.5 года. Сейчас раздебажил за 5 минут, но расскажу и вам.
Все мы знаем, как выглядит синтаксис лямбда-функций: lambda arg1, arg2, ... : do_something
Однако, если внутри do_something используется что-то, объявленное вне аргументов ф-ии, например в таком сценарии:
То значение i используется по ссылке! То есть все ф-ии в funcs будут выдавать 9-ый элемент массива x
Чтобы избежать такой проблемы, захватите отдельно этот аргумент вот так:
Лягушка вернется завтра с еще одним фактом.
Наткнулся на эту особенность снова спустя 1.5 года. Сейчас раздебажил за 5 минут, но расскажу и вам.
Все мы знаем, как выглядит синтаксис лямбда-функций: lambda arg1, arg2, ... : do_something
Однако, если внутри do_something используется что-то, объявленное вне аргументов ф-ии, например в таком сценарии:
funcs = []
for i in range(10):
funcs.append(lambda x: x[i])
То значение i используется по ссылке! То есть все ф-ии в funcs будут выдавать 9-ый элемент массива x
Чтобы избежать такой проблемы, захватите отдельно этот аргумент вот так:
funcs = []
for i in range(10):
funcs.append(lambda x, i=i: x[i])
Лягушка вернется завтра с еще одним фактом.
5👍81🥴11🌭6🤡3🤮2
Когда онлайн помогает оффлайну.
В последний год я сконцентрировался на изучении применения адаптивного батчирования для обучения современных больших моделей. Это когда на каждом шаге вы динамически выбираете размер батча, что позволяет и эффективнее использовать ресурсы, и быстрее обучать модели.
А еще я фанат многоруких бандитов - куда я их только не пихал, от финансов и клинических испытаний лекарственных препаратов до умных дейтинг-систем. Многорукий бандит это алгоритм онлайн оптимизации, когда у нас нет сложной среды (либо есть модель награды за действие), который выбирает на каждом шаге такое действие, чтобы максимизировать суммарную награду, поэтому и онлайн - учится в процессе.
И их можно поженить! Почти.
В этой статье, представленной на ICLR2025, исследователи взяли бандитов (картинка 1) не для выбора размера батча, а для непосредственно его формирования - какие примеры из выборки лучше всего взять в обучение в текущий момент?
Причем это получился как крутой теоретический результат (картинка 2), ибо они смогли улучшить второй член асимптотики и соответственно по теории их алгоритм быстрее учит нейронки, так и практический (картинка 3) - эксперименты реально работают лучше.
Поэтому, даже если вы занимаетесь LLMками и в гробу видали всю эту математику, к адаптивному батчингу советую все же присмотреться - за этим будущее эффективного обучения.
Поставьте классов/накидайте репостов, если хотите узнать подробности про бандитов, их математику и прикладное применение.
В последний год я сконцентрировался на изучении применения адаптивного батчирования для обучения современных больших моделей. Это когда на каждом шаге вы динамически выбираете размер батча, что позволяет и эффективнее использовать ресурсы, и быстрее обучать модели.
А еще я фанат многоруких бандитов - куда я их только не пихал, от финансов и клинических испытаний лекарственных препаратов до умных дейтинг-систем. Многорукий бандит это алгоритм онлайн оптимизации, когда у нас нет сложной среды (либо есть модель награды за действие), который выбирает на каждом шаге такое действие, чтобы максимизировать суммарную награду, поэтому и онлайн - учится в процессе.
И их можно поженить! Почти.
В этой статье, представленной на ICLR2025, исследователи взяли бандитов (картинка 1) не для выбора размера батча, а для непосредственно его формирования - какие примеры из выборки лучше всего взять в обучение в текущий момент?
Причем это получился как крутой теоретический результат (картинка 2), ибо они смогли улучшить второй член асимптотики и соответственно по теории их алгоритм быстрее учит нейронки, так и практический (картинка 3) - эксперименты реально работают лучше.
Поэтому, даже если вы занимаетесь LLMками и в гробу видали всю эту математику, к адаптивному батчингу советую все же присмотреться - за этим будущее эффективного обучения.
Поставьте классов/накидайте репостов, если хотите узнать подробности про бандитов, их математику и прикладное применение.
14👍82❤18🔥12🤮2🤡2
Почему я не могу разделить 10 яблок на 0 человек, но могу разделить 0 яблок на 10 человек?
В каком варианте все останутся сыты?
В каком варианте все останутся сыты?
❤30🤔3👎2💩1🤡1