ещё из забавного — Meta продолбала модель свою, а какие-то челы из стэнфорда доучили её, но я хз есть ли доученный варик в открытом доступе (кажется по ссылке ниже есть)

Но хочу рассказать о другой интересной новости: у meta есть большая языковая модель LLAMA которая утекла в торент, и есть GPT-3 от openai, у которой есть доступ только к API и нужно платить деньги)
Но исследователей из Стэнфорда это никак не смутило!
Они взяли LLAMA, сгенерировали 52к инструкций с помощью доступной по API модели GPT-3 (как они пишут, что на это ушло порядка $500), дообучили LLAMA за несколько часов (еще $100) и по качеству генерации полученная модель не уступает GPT-3.
Вроде бы очень простая идея, но результат супер! (назвали получившуюся модельку ALPACA)