На днях возникла идея, а что будет если подключить llm модель (нейросеть) напрямую в консоль Linux и пускай она по запросу пользователя простым языком сама выполняет команды, управляет системой, было интересно, что из этого может выйти!

Взял за основу локальную модель "qwen2.5-coder:32b", запущенную на GPU.
Написал с помощью этой же модели скрипт на python, который реализует эту концепцию.

Итог работы на скриншотах, идея работает, и какие-то простые вещи делает вполне не плохо, сложные вещи, которые требуют больше 10 команд системе, пока работают не всегда удачно, модель теряет контекст время от времени, но это дело тюнинга при желании, главное сама идея рабочая.

Думаю в будущем наши дети уже не будут ничего руками вводить в консоль. 🙈

Ещё примеры в комментах к посту...

@HWvsSW

Собрал данные по производительности GPU в инференсе LLM — вот что получилось! 🚀📊

Надеюсь кому-нибудь поможет сделать выбор в пользу того или иного решения. 💡✅

Данные по-сути уникальные 🔍 - найти в интернете сравнение GPU при работе с LLM крайне сложно, собирали вместе с каналом PRO Hi-Tech. 🤝

Модели запускались на последней версии llama.cpp и драйверах на Linux
На картах Nvidia использовался CUDA
На Intel и AMD - Vulkan

Данные текстом, в скобках указано VRAM карты.

Gemma 3 12B Q4_К_М Tok/sec
115 = Nvidia RTX 5090 (32)
80,2 = Nvidia RTX 4090 (48)
77,6 = Nvidia RTX 3090 (24)
71,7 = Nvidia RTX 4080 (16)
69,7 = AMD RX 7900 XTX (24)
58,1 = AMD RX 9070 XT (16)
57,2 = AMD PRO Ai R9700 (32)
43,3 = AMD RX 6800 XT (16)
42,3 = Nvidia RTX 5060 Ti (16)
36,1 = Intel ARC B580 (12)
32,1 = Nvidia RTX 4060 Ti (16)
31,1 = Intel ARC Pro B60 Dual (48)
17,4 = AMD RX 7600 XT (16)
9,2 = AMD Ryzen 8845HS + 780M

Qwen3 30B A3B Instruct 2507 Q4_K_M Tok/sec
186,5 = Nvidia RTX 5090 (32)
163,3 = Nvidia RTX 4080 x2 (32)
154,7 = Nvidia RTX 4090 (48)
153,6 = Nvidia RTX 3090 (24)
141 = AMD RX 7900 XTX (24)
125 = AMD PRO Ai R9700 (32)
90 = Nvidia RTX 4060 Ti x2 (32)
64,1 = Intel ARC Pro B60 Dual (48)

💡 Эти цифры — не просто про две модели: они показывают, как GPU справляются с инференсом LLM в целом. Так что выводы можно смело интерпретировать и к другим моделям — главное учитывать их размер и объём видеопамяти!

@HWvsSW

Интересный эксперимент о вреде быстрой зарядки и особенностях зарядки АКБ.

Энтузиасты решили на практике проверить, какой вред наносит быстрая зарядка аккумуляторам мобильных телефонов, а за одно проверить, насколько полезно поддерживать уровень заряда в диапазоне от 30 % до 80 %.

Использовались аппараты iPhone 12 и IQOO 7.

В каждой группе было по 3 телефона, которые прошли по 500 полных циклов заряд-разряда, плюс один телефон просто лежал для референса.

Итоги такие:
Из-за быстрой зарядки батареи потеряли на 0,3-0,5% больше ёмкости, чем при медленной.

Группа аккумуляторов, которая заряжалась с 30% до 80% сохранила на 2,5%-4% больше ёмкости.

Из всего этого масштабного эксперимента автор делает вывод, что можно заряжать телефон как угодно, а эффект от попыток сохранить дольше максимальную ёмкость батареи своего телефона не стоит потраченных усилий и само ограничений.

Исходник

P.S. деградировали батареи даже в тех экземплярах, которые просто лежали всё это время в тумбочке.

@HWvsSW

Большое сравнение производительности мобильных чипов

Китайцы собрали более 70 смартфонов с разными процессорами и протестировали их все, собрав в единую табличку.

Вышло довольно интересное сравнение!

За базу в 100 баллов принят Snapdragon 8+ gen 1.

За результат теста CPU взято соотношение 25% однопотока + 75% многопотока Geekbench 6.
GPU: 50% Wild Lige Extreme + 50% Aztec 1440P
Общий результат 65% CPU + 35% GPU

Итог таков:
За 10 лет производительность CPU увеличилась в 9 раз.
Производительность GPU в 22 раза!

Ещё из интересного:
Уже несколько лет подряд мобильные чипы от Apple не самые быстрые в текущем поколении.
Последние пару лет решения от MediaTek по графике чуть быстрее Snapdragon.

Источник

@HWvsSW