​На неделе, от Meta, вышла новая серия «больших языковых моделей» — которая позволяет генерировать код по текстовому запросу, ну, как многие это делали в ChatGPT.


Поскольку темпы в нашей индустрии невероятные, модель подхватили в сообществе, и уже через пару дней опубликовали дообученные версии (общей направленности, и отдельно дообученную модель для генерации Python кода). Что интересно, сделали это несколько разных команд, и обе получили результаты в спец тесте чуть выше, чем есть сейчас у GPT4 в генерации кода (1, 2).

Я такое очень люблю, локальные языковые модели на базе llama2 это:

— Хорошая лицензия для бизнеса: то есть можно прикручивать в стартапы;

— Безопасность: я точно знаю, что сотрудникам крупных компаний запрещают отсылать в ChatGPT корпоративные данные, локальные модели это обходят, так как никуда данные не отправляют и процессят их только на устройстве;

— Гибкость: модель можно дообучить, играться с параметрами или можно передать негативный промпт и снять с нее цензуру (тут я написал небольшую инструкцию как этого добиться), или заставить отдавать только строгий JSON формат и тп.

— Это дешевле в частном использовании: не все готовы отдавать по $20 в месяц за GPT4, так как могут учиться программировать, не обладать лишними деньгами и тп.

Поэтому я сразу побежал играться с этой моделью, с конкретной задачей — мне лениво пытаться самому понять, что делают некоторые скрипты (скрипты умнее меня), поэтому я прошу языковые модели конвертировать код в обычный текст.

Для тестов я взял исходный код древнего вируса Чернобыль (CIH), тот самый, который с 1998 вывел из строя 600 миллионов компьютеров, и нанес ущерба на 35 миллионов долларов.

Если откроете ссылку, то увидите что кода довольно много, а каждая языковая модель ограничена на входе размером текста который она может принять на вход (например, модель в которой я тестирую, была натренирована на 4K токенов, что примерно ~2800 слов) — поэтому пришлось насильно расширить контекстное пространство до 16K токенов (спасибо GGUF, не реперу, а новому формату llama.cpp который специально создан, чтобы упростить жизнь для работы с большим контекстом). Короче, спустя пару минут шумящего компьютера я получил описание того, что делает вирус, простым языком, и без всякого интернета 🫣

Дальше планирую с помощью модели порешать разные задачи которые встречаются в работе продуктолога: процессинг данных о использовании сервисов, написание запросов и тп, с GPT4 я уже довольно много всего наделал работая с данными, теперь интересно попробовать что же умеет делать GPT-дома.

☆ Модель с которой я игрался (34B)
☆ Скрипт которым запускаю инференс (Mac)

TL;DR: Жесть мы в будущем, теперь без интернета можно писать и дебажить скрипты

@Denis