В прошлом году делал простейшего робота за три копейки, который может поворачиваться (синие сервоприводы), а основной микроконтроллер ( черная плата) с камерой и wi-fi.
Хотелось прогонять видео поток через специальную нейронку, которая понимает что находится в кадре, а другой понять какие движения двигателями "хорошо", а какие "плохо", имея текущий видеокадр. Ничего хорошего не получилось. Я сильно упёрся в скорость распознавании кадра, а затем попытался создать дистиллированную маленькую модель под текущую камеру и датасет. Тоже ничего хорошего не получилось.
Появилась идея, которую я не реализовал: давайте сделаем несколько маленьких моделей, каждая из которых эксперт в понимании своей сцены и тем самым будем экономить вычисления.
На текущий момент, если этого робота опять оживлять, то определенно стоит использовать языковую модель, которая будет принимать текстовое описание сцены(или использовать LLaVa, которая видит изображение как вектор и работает лучше), размышлять и выдавать инструкцию куда двигать моторами.

Дорогие подписчики, я хотел бы пожелать вам всего самого лучшего в этом новом году. Пусть он наполнен любовью, счастьем, здоровьем и успехом в ваших начинаниях. Пусть все ваши мечты сбываются и вы достигнете всего, что задумали.

Хоть я не часто выкладываю, я благодарен за вашу поддержку в прошедшем году. Благодаря вам, я могу продолжать делиться своими творениями и идеями. Этот год был для меня настоящим развитием во всех направлениях моей жизни и я уверен, следующий год будет не хуже. Я надеюсь, что канал продолжит расти и будет больше интересного контента.

Люблю вас! С 2024 годом!