🦮 Вербальное управление робопёсиком Spot с помощью Whisper

В предыдущем посте я допустил неточность. ChatGPT к робопёсику Spot прикрутили не Boston Dynamics, а их партнёры – фирма Levatas, которая программирует Спотов выполнять различные миссии в индустрии. Например, побегать по фабрике и проверить, что все в порядке, снять показания с датчиков температуры, давление и т.д., сделать теплоснимки оборудования, и прочие рутинные задачи, которые нужно регулярно производить в индустрии.

"There is nothing better than looking at the effect of you code in real-time". Как же я согласен с этим!

На видео пример того, как парни используют модель Whisper (я про нее писал в этом посте) для передачи базовых команд робопсу.

@ai_newz

Когда ютуб хорни

Как подключить Colab к удаленной машине\хостингу\vast.ai\runprod и иже с ними.
(ну или пробросить любой порт с удаленной машины на localhost локальной)

1. Заходим на https://ngrok.com/ и регистрируем аккаунт. Копируем токен авторизации (или всю команду авторизации целиком)
2. Качаем и распаковываем ngrok куда-нибудь.
3. Открываем терминал в папке с ngrok.
4. Выполняем команду авторизации, которую получили после регистрации в пункте №1 -

ngrok config add-authtoken <your token>

5. Открываем туннель для ssh -

ngrok tcp 22

6. Поднимаем ssh-сервер.
Linux:

sudo apt install openssh-server
sudo service ssh start

Win10/11:
пуск - настройки - приложения - дополнительные функции -
(run - settings - apps - optional features)
Ищем там OpenSSH. Если у вас есть OpenSSH Server - все ок. Если нет, идем в
пуск - настройки - приложения - приложения и функции -
(run - settings - apps - apps&features)
ищем OpenSSH и ставим OpenSSH Server.

После установки:
пуск - службы - OpenSSH Server - запустить
(run - services - openssh server - start)

7. На локальной машине: ставим клиент OpenSSH. (через пуск - настройки - приложения - приложения и функции или run - settings - apps - apps&features)

8. В консоли пишем:

ssh <username>@<ngrok external address> -p <ngrok port> -L 8888:localhost:8888

Где <username> - это имя пользователя удаленной машины, <ngrok external address> и <port> - те, которые вы получаете при запуске ngrok сервера в пункте №5.

9. Введите пароль вашего удаленного пользователя.

10. Подключаем колаб через connect -> connect to local runtime

@derplearning

Похоже варп перестает быть ламповым инди.
https://youtu.be/HkM-7wxtkGA

Finally, a GTA: San Andreas we deserve

Тензор в виде звезды.

                                              
                                               [0][0][0] 
                                             [0][0][0][0]                                                                                         
                                            [0][0][0][0][0]      
                                          [0][0][0][0][0][0]                                    
                                        [0][0][0]     [0][0][0]   
                                     [0][0][0]          [0][0][0]                                        
                                   [0][0][0]              [0][0][0]  
                                 [0][0][0]                  [0][0][0]                                   
 [0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0]
[0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0]
    [0][0][0]               [0][0][0]                            [0][0][0]              [0][0][0]      
      [0][0]               [0][0][0]                              [0][0][0]               [0][0] 
        [0][0]            [0][0][0]                                 [0][0][0]           [0][0]    
         [0][0]         [0][0][0]                                    [0][0][0]         [0][0]              
          [0][0]       [0][0][0]                                       [0][0][0]      [0][0]  
            [0][0]   [0][0][0]                                          [0][0][0]   [0][0]            
              [0][0][0][0][0]                                             [0][0][0][0][0]                   
               [0][0][0][0]                                                [0][0][0][0]
               [0][0][0][0]                                                [0][0][0][0]               
              [0][0][0][0][0]                                             [0][0][0][0][0]                  
            [0][0]   [0][0][0]                                          [0][0][0]   [0][0]
          [0][0]       [0][0][0]                                       [0][0][0]      [0][0]             
         [0][0]         [0][0][0]                                    [0][0][0]         [0][0]
        [0][0]            [0][0][0]                                 [0][0][0]           [0][0]         
      [0][0][0]            [0][0][0]                              [0][0][0]             [0][0][0]      
     [0][0][0]               [0][0][0]                           [0][0][0]               [0][0][0]    
[0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0]
[0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0][0]
                                 [0][0][0]                 [0][0][0]                    
                                   [0][0][0]             [0][0][0]                                    
                                     [0][0][0]          [0][0][0]
                                       [0][0][0]      [0][0][0]                                       
                                          [0][0][0][0][0][0]  
                                            [0][0][0][0][0]                                       
                                             [0][0][0][0]   
                                               [0][0][0]

Вот так выглядит кросс-модальный поиск, с помощью ImageBind.

Можно даже складывать и вычитать эмбеддинги. Например, сложив звук мотора и фото голубя, поиск найдет в датасете фото мопеда, разгоняющего голубей на улице.

Тот факт, что линейные операции на эмбеддингах дают осмысленный результат, значит что разные признаки, закодированные в эмбеддингах, хорошо распутаны и отделены нейронной сеткой.

@ai_newz

Выглядит явно интереснее недавнего высера от амазон.
Wow 😸

90 % вчерашней презентации Google за 18 секунд.

Пользуясь случаем, хочу передать привет всем вновь прибывшим!
Как вы уже, наверное, догадались, я сварщик не настоящий.
В этом канале я обычно пощщу упоротые мемы, обработанные видосы и, реже, анонсы чего-нибудь интересного лично мне.

Если же вам нужны настоящие сварщики Deep Learning гуру, которые не понаслышке знакомы с AI/DS
то вам в эту прекрасную папку с отборными каналами на тему ИИ.

Вышел выпуск Редакции про ИИ

Спасибо журналистам Редакции за такое серьезное и тактичное отношение к теме ИИ, в выпуске есть и неироискусство, и текстовые нейросети, все темы, куда ИИ проник и продолжает проникать, а также мнение искусствоведов, психологов и других специалистов.

Рада оказаться в выпуске среди дорогих коллег и визионеров.

Смотрите выпуск, я не могу подобрать слова, как для меня важно представлять нейроискусство именно на этом ютуб-канале, сегодня для меня как день рождения.

Посмеялись над презентацией Гугла, а теперь немного поплачем над презентацией диаблы. Прости, Юра, мы все проебали 😭🥺😸