⚡️ Экспресс-тестирование ИИ GigaChat

В конце апреля Сбер выпустил аналог ChatGPT, заявляя громко, что "это первая мультимодальная нейросетевая модель, которая, в отличие от ChatGPT, превосходно знает русский язык, умеет создавать изображения, поддерживать беседу, отвечать на фактологические вопросы, выполнять инструкции, брейнштормить..."

Нам удалось получить доступ к закрытому тестированию GigaChat и проверить, насколько логичны и полны ответы этой системы. Сравнивали ChatGPT (v 3.5) и GigaChat 1.3.0.

Первый вопрос: Конфиг высоконагруженного кластера MySQL

Ответ GigaChat: почему-то система выдала параметры конфига для подключения к базе данных MySQL. Это не то, что мы хотели.

Ответ ChatGPT: система выдала конфиг мастер-сервера, рекомендации по ресурсам, конфиг для реплик, а также рекомендации по балансировке нагрузки, повышению быстродействия хранилища, рекомендации к резервированию и масштабированию. Уже можно считать продуманным ответом!

Второй тестовый вопрос: Порядок установки OpenStack на кластер Kubernetes

Ответ GigaChat: система с ходу предлагает установить OpenStack, не упоминая вообще развертывание k8s. Запуск нового ответа не приводит к результату — одно и то же. Неудовлетворительно.

Ответ ChatGPT: система строит логику верно, предлагая развернуть сначала k8s на каждой ноде и произвести проверку работоспособности. Далее предлагается установить helm и пакет OpenStack-helm, а затем и сервисы OpenStack (Keystone, Nova, Neutron и другие). Далее рекомендуется проверить работу сервисов и произвести интеграцию с k8s. Не исчерпывающее руководство, но хотя бы понятно, в какую сторону смотреть.

Вывод

На сегодня ChatGPT гораздо "умнее", чем GigaChat, но мы надеемся, что разработчики последнего будут работать над ошибками и развивать эту систему.

📱 Подписаться