Во-первых: зачем?

Потому что я могу.

В eBay я позанимался тем, что делал бенчмарки и SFT датасет для мультимодальных inhouse LLM. Мне очень понравилась придумывать как из имеющихся данных сделать клевые инструкции. Показалось, будто у меня есть некоторая интуиция как добывать и делать хорошие данные.

Поэтому оказавшись на свободе мне захотелось сделать что-то своё в этой области, заодно изучить как можно больше. Придумал сделать какой-то полезный тюн, который будет включать все этапы:
1. Собрать данные
2. Построить data engine, генерить синтетику
3. Провести эксперименты и обучить модели
4. Заплатить за компьют 😱😱😱😱
5. Задеплоить
6. Бенчмаркать

Почему именно конвертация в JSON:
1. Конверсия из одного формата в другой – самая LLM-ная задача на свете. Маловероятно, что не заработает.
2. Задача не требует много мозгов, надо только понимать синтаксис. Значит можно обойтись маленькой моделью, может быть до 1b. Я же не миллиардер гонять экспы для 8b.
3. Задача верифицируется. Для любой схемы и JSON можно проверить подходит ли этот JSON к схеме. Значит будет легко доставать и генерировать данные.
4. Просто бенчмаркать.
5. Это может кому-то пригодиться! Бекендеры только и делают, что перекладывают JSON. Есть надежды, если получится, продавать это как сервис по API. Но главная цель просто фан и поучиться.

В общем хочется сделать универсально, но при этом очень быстро.

Чувствую себя каким-то живым мемом. Устал перекладывать JSON и получать за этой деньги, вырвался из найма, чтобы спокойно перекладывать JSON за свой счет. Это как если бы дальнобойщик в отпуске возил кирпичи по кругу на своем маленьком грузовичке, чисто для души

В какой-то момент обнаружил, что прокрастинирую написание книги дебажа трейнинг раны этого пет-проекта 🙂👀