🤖 Результати AI vs Advent of Code: які моделі для чого підходять

Привіт, розробники! Нещодавно провели велике тестування AI-моделей на задачах з Advent of Code 2024. Розкажу детально, яку модель краще вибрати для різних задач у розробці.

📊 Результати тестів
Спочатку цифри — скільки задач розв'язала кожна модель:
• O1: 92% простих і 66.7% складних задач
• O1-mini: впоралась з 61.2% всіх задач
• Claude-3.5-Sonnet і Gemini-1206: по 55%
• Deepseek: 49%
• GPT-4o: 41%
• Claude-3.5-Haiku: 38.8%
• GPT-4o-mini: лише 22.4%

🎯 Коли яку модель використовувати

⏭ o1 — найсильніша модель
Беріть її, коли:
• Треба розібратися зі складним кодом, де багато різних умов і перевірок
• Переписуєте великі частини проєкту
• Налаштовуєте складні процеси збірки та деплою
• Шукаєте помилки в складній логіці програми

⏭ o1-mini — для щоденної роботи
Добре підійде, коли:
• Пишете звичайний код без складної логіки
• Шукаєте прості помилки
• Треба написати скрипт для автоматизації
• Розбираєтесь з логами програми

⏭ Claude-3.5-Sonnet — розуміє код і вміє пояснювати
Використовуйте для:
• Більшості задач, які не потребують пошуку складних алгоритмів вирішення
• Розбору складних логів або помилок
• Написання зрозумілої документації до коду

⏭ Gemini-1206 — добре працює з алгоритмами
Іноді показує себе досить непогано на складних задачах, наздоганяє Claude 3.5 Sonnet по ефективності

⏭ Deepseek — іноді знаходить нестандартні рішення
Має режим Deepthink, який показує себе досить непогано на більшості простих задач.

⏭ Claude-3.5-Haiku — для простих задач
Підходить якщо:
• Пишете код, який не потребує складної логіки
• Робите базову обробку тексту

⏭ GPT-4o — універсальний помічник
Добре справляється з:
• Поясненням що робить код
• Невеликими змінами в коді
• Написанням простих функцій

⏭ GPT-4o-mini — для найпростіших задач
Використовуйте коли треба:
• Швидко написати просту функцію
• Додати шматок простого коду
• Виправити очевидну помилку
• Причепурити форматування (додати емодзі до тексту)

💡 Що я помітив

Коли тестував моделі, побачив цікаву річ: якщо модель добре справляється зі складною частиною задач AOC (як O1), вона також добре розбирається з реальним кодом — особливо коли треба знайти підступні баги чи передбачити як програма буде себе поводити в різних ситуаціях.

🔍 Головні висновки
1. Не варто чекати від однієї моделі, що вона впорається з усім
2. Для реально складних задач беріть O1 — вона найрозумніша
3. Для простої щоденної роботи вистачить O1-mini або Claude 3.5 Sonnet та Gemini 1206

📚 Всі деталі тестування є тут:

https://github.com/Latand/AI-vs-AOC-2024/blob/main/README.md

А які моделі використовуєте ви? З якими задачами вони найкраще справляються? Поділіться досвідом!