Я не злобный гений который захватит весь мир 😭😭😭😭😭https://www.idrlabs.com/ru/big-tent-dark-traits/test.php

В прошлом году делал простейшего робота за три копейки, который может поворачиваться (синие сервоприводы), а основной микроконтроллер ( черная плата) с камерой и wi-fi.
Хотелось прогонять видео поток через специальную нейронку, которая понимает что находится в кадре, а другой понять какие движения двигателями "хорошо", а какие "плохо", имея текущий видеокадр. Ничего хорошего не получилось. Я сильно упёрся в скорость распознавании кадра, а затем попытался создать дистиллированную маленькую модель под текущую камеру и датасет. Тоже ничего хорошего не получилось.
Появилась идея, которую я не реализовал: давайте сделаем несколько маленьких моделей, каждая из которых эксперт в понимании своей сцены и тем самым будем экономить вычисления.
На текущий момент, если этого робота опять оживлять, то определенно стоит использовать языковую модель, которая будет принимать текстовое описание сцены(или использовать LLaVa, которая видит изображение как вектор и работает лучше), размышлять и выдавать инструкцию куда двигать моторами.