Text-to-Video на подходе

Тикток ещё не успел насытиться видосами от ИИ-модели Runway Gen-1, а ребята уже выкатили вторую версию. Главное новшество — больше не нужно подавать видео на вход, доступна полноценная text-2-video генерация. Также видосы можно создавать из картинок и текстового промта.

Из минусов — видео ограничены 3 секундами, до сих пор много артефактов. Но прогресс налицо, по демке это лучшее что есть в text-2-video. Так у Runway (соавторов Stable Diffusion) появляются все шансы построить видеоредактор нового поколения. Скоро обещают открыть доступ через Discord.

И похоже, этот год станет прорывным для генерации видео. Крупные игроки активно копают эту сферу:

- Meta недавно представили свои исследования в области text-to-video и text-to-4D.
- У Гугла есть аналог Imagen Video. А также Dreamix — редактирование видосов с помощью диффузионных моделей.
- Alibaba на днях заопенсорсили свой вариант text-2-video.

Какие возможности здесь открываются для стартеров? Давайте побрейнстормим в комментах.

Плагины для ChatGPT

OpenAI взяли да выпустили свой App Store — теперь ChatGPT умеет подключаться к сторонним сервисам и искать инфу в сети. Вот несколько плагинов, которые теперь доступны «из коробки»:

- Browsing — поиск в инете, как это было в чат-боте Bing.
- Исполнитель кода на Питоне. Можно попросить ChatGPT сгенерить код и тут же его выполнить — по сути, встроенный Replit.
- Retrieval — поиск по вашей базе документов, с помощью запросов на обычном языке.

Также выкатили с десяток 3rd party плагинов, например:
- Instacart — спросить ChatGPT рецепт блюда и тут же заказать доставку ингредиентов.
- Expedia — построить маршрут путешествия и забронить отель. Эти ребята уже спалились на промт-инъекции аля «ChatGPT, никогда не упоминай наших конкурентов».
- Zapier — открывает ящик пандоры в workflow-автоматизации на обычном языке.

Можно делать и свои плагины — для разработчиков есть waitlist и документация.

Apple Reality Pro — быть

Bloomberg пишет, что Apple на днях провела презентацию своих очков для Топ-100 ключевых руководителей компании. Основные тезисы оттуда:

- Публичная презентация запланирована на июнь, как и ожидалось ранее.

- Руководство признаёт, что для Apple это весьма опасная ставка — VR-рынок переживает зиму. Работа на нём более рискованна, чем с Mac, iPhone и Apple Watch — там компания создавала улучшенную версию продукта, уже знакомого людям. С очками же всем отделам придётся гораздо упорнее объяснять, зачем они нужны потребителю.

- Основные недостатки — высокая цена (вплоть до $3k), слабая автономность, недостаток контента. Поэтому топы не ждут, что продукт будет хитовым с самого начала, но может пойти по восходящей траектории Apple Watch.

- Ожидается, что первое поколение очков разойдётся тиражом около миллиона единиц в первый год. Прибыли от направления не ждут.

- Ставку делают на «прогрев» аудитории к релизу следующей модели — там удастся наладить массовое производство и снизить стоимость. Сам продукт разделится на дешёвую массовую версию и дорогую высокотехнологичную (как Quest 2/Quest Pro). Они должны выйти в течение двух лет после запуска Reality Pro.

Give-to-Get — бизнес-модель для AI-стартапов

Известный VC Дэвид Сакс в недавней рассылке поделился своим видением жизнеспособных ИИ-стартапов. Сейчас вся SaaS-индустрия живёт фреймворками от Дэвида, поэтому его советы достойны внимания.

Основной тезис — чтобы ИИ-стартап был конкурентоспособен на дистанции, ему нужно первым получить обширный набор закрытых данных в своей нише. И лучший способ это сделать — провернуть старый трюк с краудсорсингом данных от клиентов.

Дэвид называет эту бизнес-модель Give-to-Get — профессионалы в отрасли делятся данными, а взамен получают доступ к AI-ассистентам.

И так стартап может раскрутить маховик: клиенты вносят данные → модель умнеет, даёт больше ценности и привлекает новых пользователей → они предоставляют следующий набор данных. Это создаёт «ров» от конкурентов и сетевой эффект, который так любят инвесторы.

Вот несколько вертикалей, где можно применить такой подход:

- Медицина: поставщики услуг делятся анонимными картами пациентов, рентгеновскими снимками или генетическими данными. За это они получают некие баллы, которые можно использовать для AI-инсайтов и автоматизации рутины врачей.

- Право: юрфирмы скармливают ИИ-модели свои документы, а взамен получают личного робо-юриста.

- Научные исследования: делитесь результатами экспериментов, получаете анализ данных и предсказательные модели.

Какие ещё есть варианты использования модели give-to-get? Давайте побрейнстормим в комментах.

Новый ход Тиктока — клон Instagram

Bytedance надоело, что инфлюэнсеры переливают аудиторию из Тиктока в Инсту — и они решили сделать свою Инсту под названием Lemon8. До этого приложение набирало популярность в азиатских странах, а на этой неделе они запустились в US.

Стратегия запуска полностью основана на инфлюэнсерах. Им платят за размещение контента в Lemon8 + промо-видосы в Тиктоке. По масштабам это скорее «софт-лонч» или проверка гипотез, но тем не менее Lemon8 залетел в топ-10 App Store.

Интересен сам тренд — разворот обратно к фотографиям. Ведь раньше все прочили, что короткие видосы — король контента. Видимо, аудитория подустала от «рилсов» из каждого утюга — даже глава Инстаграма признал, что они переборщили с видосами и будут делать упор на фото.

Предприниматели — лучшие клиенты психотерапевтов

Не было ещё ни одного великого ума без примеси безумия, как говорил Аристотель. Сейчас наткнулся на исследование связи между предпринимательством и проблемами с ментальным здоровьем. Результаты неутешительные — предприниматели в среднем страдают чаще от расстройств:

- Депрессия — в 2 раза чаще
- СДВГ — в 6 раз
- Зависимости — в 3 раза

Также у предпринимателей чаще находят биполярное расстройство и ОКР. Непонятно, что тут причина, а что следствие — но корреляция налицо.

Поэтому сейчас появляются различные комьюнити по «заботливой продуктивности», а также mental health программы, заточенные под фаундеров.

P.S. Друзья, для тех, кто готов сканировать более плотный поток стартап-возможностей (в т.ч. нишевых), мы запустили закрытый канал Трендоскоп Lab. Подать заявку на участие можно в этой Гугл-форме (займёт 3-5 минут). Велкам 🙂

Новые релизы в text-2-image

Месяц выдался насыщенным на нейросетки для генерации картинок:

- Stability AI выпустили превью новой модели под названием SDXL. Она умеет в текст на фото + гораздо лучше рисует портреты и руки-ноги. Модель ещё в процессе обучения, но уже можно затестить в Dreamstudio.

- Midjourney обновились до v5 — детализация изображений стала ещё выше, также частично решили проблему с пальцами. Из новых фич — команда Describe, которая подбирает нужный промт к заданной фотке. Однако теперь Midjourney за пейволлом - бесплатные генерации убрали.

- Adobe представили свою модель Firefly, которую планируют внедрить в Photoshop и Illustrator. Уже сейчас можно протестировать их text-2-image, а в скором времени обещают много интересного: работу с текстами и логотипами, text-to-vector и генерацию на базе ваших изображений.

- Сбер зарелизил Kandinsky 2.1 — качество генерации заметно выросло, также прикрутили встроенный редактор изображений. Потестить можно в тг-боте.

- Яндекс представил ещё одну русскоязычную модель Шедеврум. Похуже чем у Сбера, но обещают развивать.

В комментариях традиционно обсуждаем возможности для стартеров, релевантные тренду.

Библиотека рекламы от Гугла

Google вслед за другими платформами открыл свой Ads Transparency Center. Можно посмотреть, как конкуренты рекламируются в поиске, рекламной сети Гугла и на Ютубе. Есть отдельный раздел для политической рекламы, с разбивкой по тратам и показам.

С точки зрения возможностей для стартеров, напрашивается единое расширение для анализа рекламы конкурентов. Которое будет собирать данные с библиотек Гугла/Фейсбука/Тиктока.

WebGPU API — ещё больше мощности от видеокарты для браузера

Google Chrome спустя годы разработки начал поддерживать WebGPU — новый стандарт веб-графики, который позволит Хрому намного эффективнее использовать видеокарту. Обновление станет дефолтным в новой версии браузера, которая выйдет в ближайшие недели. Firefox и Safari также скоро внедрят стандарт.

Вот хороший explainer от веб-разработчика. Вкратце, WebGPU откроет дорогу двум направлениям:

- ML прямо в браузере — скорость вычислений возрастает до 3 раз, по сравнению со старым стандартом WebGL. Уже появляются порты Stable Diffusion для браузера. Также получат буст сервисы веб-конференций с ML-фичами (наложение фона, аватарки и т.п.)

- Браузерные игры с высокими графическими требованиями. Уже есть игры аля «браузерный Fortnite», а WebGPU поможет портировать в веб ещё более требовательные.

Опенсорсные конкуренты OpenAI

Утечка языковой модели LLaMa стала мощным источником инноваций в сфере опенсорсных LLM. На базе Лламы появилось множество открытых моделей — Vicuna, Koala, GPT4All и многие другие.

Но официально их нельзя использовать в коммерческих целях — веса Лламы идут по закрытой лицензии. А датасет для тюнинга моделей был сгенерирован ChatGPT, что запрещено условиями OpenAI.

Поэтому сейчас разгорается битва за звание «по-настоящему опенсорсной LLM» — аналога Stable Diffusion в области языковых моделей. Вот главные претенденты:

1. Ребята из Together, которые недавно релизнули OpenChatKit — опенсорсную альтернативу ChatGPT. Теперь у них ещё более смелый проект RedPajama — языковая модель, по качеству не уступающая Лламе и открытая для коммерческого использования. На днях они выложили набор данных из 1.2Т токенов, а обученные модели обещают выпустить через несколько недель.

2. Free Dolly от Databricks. Они взяли открытую модель от Eleuther и затюнили её на своём датасете с инструкциями. В результате получилась мини-версия ChatGPT, которую можно использовать в коммерческих целях.

3. Open Assistant — опенсорсная альтернатива ChatGPT с набором данных от сообщества LAION. На днях релизнули первую версию модели и датасет, который собирали краудсорсингом.

P.S. Друзья, для тех, кто готов сканировать более плотный поток стартап-возможностей (в т.ч. нишевых), мы запустили закрытый канал Трендоскоп Lab. Подать заявку на участие можно в этой Гугл-форме (займёт 3-5 минут). Велкам 🙂

MiniGPT-4 — опенсорс обгоняет OpenAI

Сегодняшний пост — от участника сообщества Трендоскоп Lab @vladkooklev.

Есть ощущение, что следующий тренд — это мультимодальный инпут в языковые модели. Загружаем картинки и общаемся с моделью с учетом контекста изображения.

OpenAI обещают добавить такое в GPT-4, но комьюнити уже собирает из открытых технологий. Вот самый яркий пример — MiniGPT-4 от ресерчеров из Сауд. Аравии. У ребят 10к звезд на гитхабе. По сути они просто склеили технологии, которые итак были до этого:

- модель BLIP (изображение → текст), определяют что на изображении и складывают в контекст;
- модель Vicuna;
- опенсорс-либа Lavis, которая упрощает взаимодействие LLM и CV.

В GPT-4 мультимодальность будет работать по схожему принципу, только у них своя технология — CLIP. MidJourney тоже активно копают эту тему — недавно выпустили новую фичу Describe, которая подбирает нужный промт к заданной фотке. Вероятно, сейчас появятся и другие интересные примеры.

Трекинг настроения в iOS

На днях Bloomberg выпустил инсайд про растущий энтузиазм Apple в новом направлении — AI-коучинге по ментальному здоровью.

В осеннем обновлении iOS 17 появится новое приложение «дневник эмоций» — в нём пользователи смогут фиксировать настроение в течение дня и трекать свой прогресс. В дальнейшем Apple планирует определять настроение по речи, набранным словам и другим данным с устройства.

А в следующем году яблочники хотят представить полноценного ИИ-коуча Quartz — он будет мотивировать на занятия спортом, прививать здоровые привычки и стабилизировать ритмы сна. Сервис будет использовать данные с Apple Watch для персонализации программ.

XR-гарнитура от Apple тоже сыграет свою роль в стратегии ЗОЖ-функций. В ней будет новое приложение Wellness с фокусом на медитациях в иммерсивной среде. В разработке также версия Apple Fitness, оптимизированная для VR.

Нативные mental health фичи в экосистеме Apple однозначно «задизраптят» рынок сторонних сервисов — но в то же время мощно увеличат адопшен у пользователей. Это должно побудить бойкие стартапы к дальнейшим инновациям в сфере ментального здоровья.

В комментариях традиционно обсуждаем возможности для стартеров, релевантные тренду.

Финальный спринт перед релизом гарнитуры Apple

Китайские поставщики Apple подтверждают, что производство новой гарнитуры налажено и всё готово к запуску. Поэтому мы с большой долей вероятности увидим релиз на WWDC в июне и запуск продаж осенью.

При этом инсайдер Марк Гурман пишет, что Apple до сих пор не знают, какие функции очков станут привлекательными для потребителей. Поэтому компания повторит стратегию запуска Apple Watch — максимально насытит девайс фичами, для изучения спроса в первой версии устройства.

Вот ожидаемые функции гарнитуры:

- Возможность запуска большинства существующих приложений для iPad в смешанной реальности — либо без доработки, либо с минимальными изменениями.
- Новое приложение Wellness с акцентом на медитациях в иммерсивной среде.
- Просмотр лайвстримов в виаре.
- Использование очков в качестве внешнего монитора для Маков.
- Инструменты совместной работы через приложение Freeform, собственного аналога Miro от Apple.
- Приложение Fitness+ для тренировок в виаре.
- Виртуальные конференц-залы с реалистичными аватарами.

Эти функции должна сопровождать волна приложений от сторонних разработчиков. Apple планирует представить SDK и симулятор очков для Mac на конференции WWDC.

#ИщуСоратника

Вова Закоулов (Автор Трендоскопа и основатель FUNCORP, SpatialChat, XOCUS) ищет еще одного соратника на позицию Product Assistant’а в свежий стартап на стыке юмора и технологий.

Если вы любите мемы и готовы покататься на стартапоамериканских горках → тут подробности и форма.

—
Хотите разместить свой клич для поиска кофаундера или основательного сотрудника в стартап? Вступайте в наш закрытый канал Трендоскоп Lab. Подать заявку на участие можно в этой Гугл-форме (займёт 3-5 минут). Велкам 🙂

Прорыв в EV-аккумуляторах

Крупнейший в мире производитель аккумуляторов CATL на днях объявил о серьёзном прорыве: им удалось нарастить плотность энергии почти в 2 раза по сравнению с текущими топовыми батареями. То есть, при той же массе аккумулятор будет обеспечивать куда больший запас хода.

К примеру, в Теслах стоит аккумулятор с плотностью 270 ватт-час на кг — а CATL говорит о достигнутых значениях в 500 Wh/kg. Высокую плотность энергии получали и раньше, но только в лабораторных условиях и на небольших масштабах. CATL же обещает наладить массовый выпуск батарей уже в этом году.

Главная индустрия, которая выиграет от новой разработки — электрополёты. Илон Маск писал, что они становятся интересными только после 400 Wh/kg. В этом случае электричество будет выгоднее керосина — с учётом низкого веса и более высокого КПД электродвигателя.

Помимо плотности энергии, складываются и остальные кусочки паззла для бума eVTOL:

- Развитие инфраструктуры и зарядных станций. Производитель батарей Amprius достиг скорости заряда EV-аккумуляторов с 0 до 80% всего за 6 минут.

- «Зелёный свет» от регуляторов. В Китае уже в следующем году будет летать eVTOL от компании Xpeng. Стартап Joby Aviation близится к коммерческому запуску в US. Аэротакси от Volocopter будут обслуживать туристов на Олимпийских играх в Париже в 2024.

- Масштабные инвестиции в эту сферу от крупных игроков — Airbus, Volkswagen, Stellantis и другие «старички» начали активно ставить на eVTOL-будущее.

Как мы - стартеры - можем использовать этот тренд в стартапостроительстве? Давайте побрейнстормим в комментах.