🎥 СТРИМ - ДЕЛАЕМ AI ГОЛОСОВОГО ПОМОЩНИКА С НУЛЯ

Сегодня в прямом эфире с нуля в Cursor сделаем демку AI голосового помощника на базе Open AI Realtime API.

Стрим будет здесь в родной телеге.

Дропните коммент, кому интересно и кто возможно заглянет на огонёк.

Стартуем через 5-10 минут.

📹 СТРИМ - PART 2

Возобновляю стрим через минут 20.

Уже есть фронтенд и я смог подключить Realtime API, чтобы без задержек говорить с AI.

Продолжаю стрим - утром за 2 часа:

- Сделан фронтенд
- Подключена база данных
- Работает в режиме реального времени общение с ассистентом

Далее - научить его создавать события в нашем календаре и вытаскивать инфу из базы данных.

Похоже, устаканил свою вовлеченность в проекты. Что произошло за последние пару месяцев.

1. Фулл-тайм сместился в разработку с помощью AI (Cursor). Хотя вру. Не full-time. Около 2х full-time.

2. Cделал exit из своего издательства.

3. Вышел из агентства по лидгену в Linkedin, кот. запустил в штатах в 2023.

4. За 5 дней сделал 3D игру и отправил её на конкурс VibeJam.

5. Зашел в партнерство и долю с ребятами, кот. сделал web app по фин. аналитике для мерчантов Wildberries.

6. Зашел внедрять AI практики в ecom маркетплейс - дочку самого крутого банка Киргизстана.

7. Еще 2 проекта, в кот. вписываюсь:

а) AI голосовой помощник в b2c аппку в ParentTech стартапе (делал 7 часовой стрим как я делаю для них демо)
б) AI бот для бренда одежды для общения в соц. сетях с потенциальными клиентами

8. Чувствую себя настолько в своей тарелке, что последние 2 месяца работаю без выходных с 10 утра до 2-3 ночи.

9. Вчера начал проходить чудесный курс по разработке 3D в Three.js (именно на этом движке я делаю игру).

10. В таком состоянии я встречаю своё 38-летие 🖖

Запись стрима - создаем с нуля голосового ассистента через Cursor AI

Про просьбам трудящихся выкладываю стрим.

Из 7 часового он стал 4-х часовым ибо было место, где скриншэр завис.

Под капотом Realtime API от OpenAI, кому можно давать задачки и видеть реализацию.

https://youtu.be/zK563fPeM0M?si=SvSts9DdytR0z9hf

Сделал обзорчик своего перехода с начала года

Что сработало
1/ Начал делать то, что по кайфу - кодить часами. Люди заметили мою страсть. Монетизировалось.

Смог работать по много часов и без выходных.

И хоть перегруз был в кайф, это аукнулось — сорвался и швырнул телефон в экран макбука. Попадос на $700+ за замену экрана. Да, Саш, ты был прав 🙂

2/ Один из фриланс проектов перерос в кофаундерство.

3/ Отказался от одного из проектов. Правильный и реалистичный шаг. Продал свой код за $95 (стоимость ThreeJS курса)

4/ Слез с зависимости от агентских денег. То, к чему не лежала душа. Было непросто, но теперь это позади.

5/ За 5 дней с нуля сделал 3D игру, в кот. было прикольно играть. Уложился в дедлайн и отправил на конкурс. Зажгло страсть. Lol, в прошлом году я подавал анкету в Valve, ибо gamedev был всегда интересен.

Что было бы прикольно делать ближайшие 3 месяца и достичь в итоге

1/ Выпустить мою водноскутерную игру. Осталось определиться, что в ней должно быть, чтобы я счел её завершенным проектом.

2/ Сделать лендос для своей nano-ai-vibe-game-dev studio.

3/ Распределить чужие проекты макс на 4 часа в день, чтобы освободить время на свои, кот. вряд ли быстро монетизируются.

4/ Не входить больше кофаундером без кэша ни в какие проекты, кот. не приносят уже выручку. Представил, что вписался в N проектов так, что не на что стало пить масала латте.

5/ Запустить AI Gamedev lab. Экспериментировать с AI в микcе с Gamedev. Не только NPC, но и LLM штуки и AI-generated infinity.

6/ Найти напарника в game-dev студию? Такого же vibe-coder? Мейби.

7/ Пройти 3 курса по ThreeJS / Rive (один уже в разгаре)

8/ Сделать простую Multiplayer game.

Как устроен GPT

Курс не новый, но если вы хотите познать как работает Generative Pre-trained Transformer aka GPT и даже сделать свой tiny gpt уровня GPT2, айда учиться!

Отлично разминает мозги, кот. иначе атрофируется постоянным использованием AI.

Андрей Карпатый - ex Head of AI в Тесле!

https://www.youtube.com/playlist?list=PLAqhIrjkxbuWI23v9cThsA9GvCAUhRvKZ

P.S. Иногда приходится подключать AI объяснить объяснения Андрея 😅

30 минут и TimeTracker готов

Я разрываюсь между проектами и стало интересно, сколько трачу время на тот или иной.

Где-то в телефоне есть time-tracker. Но мне нужна была супер-минималистичная версия.

Плюс ощущение, что быстрее закодить с AI, чем искать или переустанавливать приложение.

Флоу:

1. Feature request промпт + 2 раза ответил на вопросы o4-mini: https://chatgpt.com/share/681d6d3d-b38c-8001-8c4e-06bccfb67a09

2. Шесть итераций с V0: https://v0.dev/chat/pNfDiZH8DYw

3. Деплоймент на Vercel, с кот. связан мой v0 аккаунт

4. Tracker: https://v0-local-time-tracker.vercel.app/

Фич-лист:
- Работает без бекенда через localstorage
- Создать, переименовать, удалить проект
- Запустить, поставить на паузу, сбросить проект
- Скопировать в буфер саммари за день, сбросить все проекты

Nothing fancy but minimalistic.

Вайб-кодинг выходного дня

Последнее время по выходным я берусь за рандомный проект. Во что бы ни пригласило моё любопытство.

В этот раз меня дёрнуло сделать интерфейс для чтения научных статей с помощью AI 📚🤖.

Путь был таким: YouTube нейро-серии Андрея Карпати From Zero to Hero → культовая статья 2016 года “Attention is All You Need” про трансформеры (те, что в основе LLM), кот. я не понимал → бегу делать AI-помощника для чтения научных статей.

Серьёзно застрял (на этих выхах отстрял) на попытке совместить красиво отрисованные SVG формулы ✨ и возможность скормить их LLM-модели.

Часы итераций с лучшими LLM не помогли решить, казалось бы, тривиальную задачу: сопоставить <noscript> формулы, полученные через Mathpix (PDF конвертер), с их тектовыми версиями в LaTex, кот. будут по зубам эл-эл-эмкам.

Всё вышло за рамки выходных. На Бали отрубали электричество ⚡️, что помогло выкроить время для этого поста.

Иногда кажется, что такого рода проекта — пустая трата времени. Потом мысль, что можно это как-то монетизировать 💸, затягивает снова.

А затем приходит осознание, что рынок, скорее всего, микроскопический — и вся идея снова тонет в тумане.

Тогда я напоминаю себе: это просто путь чему-то научиться и тренировка направлять AI на решение задач.

Инсайты?

1. 🤯 ИИ плохо ориентируется в докуменациях API. Даже с подгруженными доками и прямыми ссылками — Cursor путается в элементарных вещах. Параметр "md: true”, чтобы конвертировать в markdown нашёл я, а не AI. Это фрустрирует.

2. 🧩 Выбор ошибочного пути для решения задачи может затянуть в черную дыру и сожрать N часов. AI чересчур самоуверенный и склонен газлайтить. Нужны sanity-checks и триангулировать через разные AI-моделей.

3. ⚡️ Одержимость скоростью — палка о двух концах. Быстрые итерации в итоге выводят к правде. Но в процессе упускаю глубокое понимание, а с ним и удовольствие от решения задач.

Это наталкивает на гибридный подход: фигачить с AI и асинхронно учиться.

Поэтому я и заинтересовался трансформерами. То же было и с моей 3D-игрой: сделал за 5 дней → отправил на vibejam конкурс → купил курс по Three.js → разбираюсь в основах.

Я вдохновлён, но и немного тревожен: с каждым новым “6.78o-mini-ultrathink-preview” естественной мотивации учиться самому становится всё меньше. Если только ты не мазохит, lol.

А ещё это потакает нетерпеливости — ведь планка “быстро что-то сделать” неумолимо растёт.

P.S. Оригинальный пост писал на англ. Поэтому кое-где перевод получился косноязычным. Сорян.

🔥 Кто хочет влиться в вайб-код-мини-челлендж?

Каждый соберёт проект на стыке:

- образования
- анимированной 3D-графики
- computer vision с распознаванием жестов
- голосового управления в реальном времени

Tech stack:
- Three.js — 3D-анимация
- MediaPipe — жесты
- Realtime API — голосовой AI
- Cursor AI — AI-assisted кодинг

Идея:
Визуализировать Солнечную систему, которой можно управлять жестами и голосом.

Плюс — задавать вопросы AI прямо внутри сцены.

А дальше?
Может, вырастет в игру со сторителлингом 👀

Я точно этим займусь — просто вместе будет куда веселее!

P.S. Чекните кусочек демки, кот. показали OpeanAI: https://youtu.be/mM8KhTxwPgs?si=ZzUcsvvYhS6SWJo1&t=1263

Танец, а не марш

Начал разгонять с GPT путь индипренёра, кот. мне так интересен.

Да, у меня с этим есть резонанс, но я все равно смотрю на ролевые модели, подсознательно устремляясь повторить их успех.

Интуитивно же знаю, что у меня такое не сработает.

Потому что как только я начну настраиваться на определенную частоту, я слечу со своей.

Я знаю, что ни один ментор, ни один трекер, ни один предприиматель, который прошел путь, кот мне интересен, не даст верного направления.

Следовать любому пути это путь в никуда.

Напоминает процедурально генерируемые ландшафты, которые рождаются по ходу.

Но те, которые не просчитать наперёд.

Не запланировать. На которые не прицелиться.

Та метка и цель, которая ждёт мою стрелу, еще не отрисовалась.

Всегда запаздывает. Любой продуманный путь будет ложным.

Принять такой порядок, который рождается из хаоса на прошлом шаге, очень непросто.

Поэтому приходится запихивать себя в какие-то рамки, которые приютили кого-то с совершенно другой ДНК.

Из игры, спонтанности, неуклюжести и несистемности может родиться…

Броненосец…

Откуда он появился? Ожидал ли я его? Конечно, же нет.

Сэмпровизированный, сотканный из танца для мюзикла, изданного текста на мелованной бумаге, кода внутри папирусного интерфейса, си бемоль мажорного септаккорда.

Броненосец.

Принимая свою странность, потихоньку настраиваюсь на то, что бы не теряя свой вайб, окунуться в наработанную годами нецензуриремую уникальность.

Куда бы они ни вела.

Snowballing ❄️

Продолжнаю кайфовать от интерактивного проекта 3D солнечной системы, кот. недавно начал.

https://solar5d.vercel.app/ (заходить с десктопа)

- Нацепил текстуры на планеты и даже кольца Сатурна.

- Организовал подъезды камеры к планетам: заготовка для голосового AI управления.

- Включил управление жестами через Computer Vision (пока два жеста).

Snowballing - это когда маленькие проекты выходного дня через закон сложного процента приводит к чему-то внушительному.

Про то, как рандомные фан-проекты привели к основанию OpenAI раскажет Андрей Карпати (18 минут видео).

WebGL, ThreeJS, Computer Vision, Voice AI 🎛

Записал демку своей интерактивной образовательной штуки.

Сел писать подробную статью, что под капотом и как я её делал.

[upd] статья: https://bip2.substack.com/p/vibe-coding-the-cosmos