TRANSFORMER2: SELF-ADAPTIVE LLMS

Идея какая: c помощью LORA мы доставляем матрички и учим в них новые знания на фиксированном сете, получаем на выходе примерно тоже самое что учили.

Что предлагают авторы: давайте с помощью RL и SFV(их метод представленный в этой статье ) найдем и затреним такой вектор внутри модели который будет отвечать за новую задачу(модель сама учится решать это новая или старая задача)

А зачтем на инференсе модель сама выберет какой вектор или комбинацию векторов использовать!

Бонусом: такие вектора переносятся между моделями(Mistral - LLama)



paper


От автора: https://sakana.ai/transformer-squared/ ребята из sakana.ai на мой взгляд делают один из самых интересных ресерчей в индустрии, идеи прям ОЧЕНЬ хороши, да еще и подробные ИНТЕРЕСНЫЕ статьи пишут

Мой сосед по телеграмму - Артем из @ai_newz

Чтобы преуспеть в век ускоряющегося AI вам не стоит тратить время на техноблоги, а нужно копать глубже: научные статьи, пейперы и технические отчёты из первых рук. Так вот, @ai_newz — это не очередной ИИ технобложек, которых в телеге развелось в последнее время. На канале Артёма, Staff Research Scientist-а в Meta, можно почитать пейперы из первых рук Meta GenAI. Ну и кроме того, обзоры других пейперов и важных новостей.

Вот, например:

— Артем рассказал о MovieGen, в обучении которого его команда принимала непосредственное участие
— Артём рассказал о новой модели Imagine Flash для риалтайм генерации картинок, которую он и его команда обучили — был ещё один громкий релиз от Meta.
— Пост про модель для генерации стикеров, которую Артём лично оптимизировал. Моделька уже крутится в Инсте и WhatsApp в проде.
— Актуальный список книг для изучения ML в 2024.
— Статья Артёма об ускорении диффузии с помощью кеширования, без потери качества, конечно же.
— Лонгрид про парижский стартап Mistral и знакомство Артёма с фаундером.
— Пост про грейды в бигтехе [ч1, ч2] и компенсации. Все же в курсе, что сеньор это еще не все?:) Ну и туда же запись стрима про собеседования в БигТех.

Такие люди как Артем, двигают SOTA и делают наступление AGI все ближе. Рекомендую подписаться, чтобы не потерять себя, когда наступит AGI: @ai_newz.

погодите это реально?

ориг тут

Когда у айтишников-парней две работы все такие типа вау

Но когда она...


А на самом деле ситуация оч страшная, надеюсь ее не уволят и все будет хорошо, профессианальные доклады на конфах неплохие.


Лучше найти лида на онлифансе чем его телеграмм канал

руководству респект!

Тренируете нейронку для создания изображений и столкнулись с кучей проблем? Нет легальных датасетов для тренировки, и это может стать серьезной юридической проблемой в самом ближайшем будущем. Боитесь, что в обучение попадет много синтетики. Нужно прокачать нейронку под определенную тематику или стиль, но у вас мало качественных входящих данных. А вы же знаете золотое правило ML: говно на входе — говно на выходе?

Но есть решение! Ребята из Bang! Bang! AI подготовили качественные датасеты для тренировки — как общие, так и с фокусом на конкретные темы. Сейчас доступны десятки тысяч лицензированных иллюстраций, и скоро обещают увеличить до сотен тысяч.

Inference-Time Scaling for Diffusion Models
beyond Scaling Denoising Steps

забавная статья, оказывается если сэмплить из диффузии несколько раз шум и фильтровать то можно получить результаты получше.

paper

Вышел первый обзор на 4090 c 48gb
Читаем!

на бенчах как о1, но бенчи скам, тестите сами


r1 довольно приятный, будто лучше о1 но не лучше o1 PRO

#от_подписчика
2029 год, республиканская партия проигрывает выборы.
Журналист CNN приглашает Илона Маска на интервью.

«Эти либеральные журналисты — коварные подонки, — думает Маск. — Наверняка будут провокационные вопросы задавать про то, что я зигу в 2025 кидал. Надо придумать, что отвечать».

Стоит Маск перед зеркалом и репетирует:

«Вы кидали зигу — Ну кидал и кидал, вам-то что?.. Нет, так не пойдёт...»

«Правда, что вы кидали зигу? — Нет, что вы, это я просто обратился к зрителям!.. И это плохой ответ…»

«Правда, что вы кидали зигу? — Какие-то вопросы у вас дурацкие, давайте по теме или мы закончим интервью!» — «Во! Вот так и отвечу!» — решил Илон Маск и пошёл на интервью.

Студия CNN,  начинается эфир, задают первый вопрос:

— Илон, это правда, что вы дали согласие на то, что ваш сын станет биоинформатиком?

— Кто? Я? Да я у Трампа на инаугурации зигу кидал!

Очень короткий обзор на DeepSeek r1.

читать обзор
paper

альтман: критерий agi это 100 млрд. прибыли
трамп: вбухивает 500
альтман: всем спасибо, аги достигнут пятикратно

https://openai.com/index/announcing-the-stargate-project/

По Мотивам увольнений в Abby

Теперь масштабные увольнения идут в Купер, он же Eком. Если у вас есть вакансии, кидайте @transformerslovedeatch

Recraft FrontEnd+Seo
https://www.recraft.ai/careers

стажера https://yandex.ru/jobs/vacancies/spetsialiststazhyor-po-dokumentooborotu-v-sluzhbu-reklamnogo-biznesa-28933

аналитик https://yandex.ru/jobs/vacancies/analitik-geomediynoy-reklami-v-karti-27074


Aiwing https://www.notion.so/Backend-Developer-17a91434cc4780ba8f3cd3a10425a228

Пост будет обновлятся