Опенсорсные конкуренты OpenAI

Утечка языковой модели LLaMa стала мощным источником инноваций в сфере опенсорсных LLM. На базе Лламы появилось множество открытых моделей — Vicuna, Koala, GPT4All и многие другие.

Но официально их нельзя использовать в коммерческих целях — веса Лламы идут по закрытой лицензии. А датасет для тюнинга моделей был сгенерирован ChatGPT, что запрещено условиями OpenAI.

Поэтому сейчас разгорается битва за звание «по-настоящему опенсорсной LLM» — аналога Stable Diffusion в области языковых моделей. Вот главные претенденты:

1. Ребята из Together, которые недавно релизнули OpenChatKit — опенсорсную альтернативу ChatGPT. Теперь у них ещё более смелый проект RedPajama — языковая модель, по качеству не уступающая Лламе и открытая для коммерческого использования. На днях они выложили набор данных из 1.2Т токенов, а обученные модели обещают выпустить через несколько недель.

2. Free Dolly от Databricks. Они взяли открытую модель от Eleuther и затюнили её на своём датасете с инструкциями. В результате получилась мини-версия ChatGPT, которую можно использовать в коммерческих целях.

3. Open Assistant — опенсорсная альтернатива ChatGPT с набором данных от сообщества LAION. На днях релизнули первую версию модели и датасет, который собирали краудсорсингом.

P.S. Друзья, для тех, кто готов сканировать более плотный поток стартап-возможностей (в т.ч. нишевых), мы запустили закрытый канал Трендоскоп Lab. Подать заявку на участие можно в этой Гугл-форме (займёт 3-5 минут). Велкам 🙂

MiniGPT-4 — опенсорс обгоняет OpenAI

Сегодняшний пост — от участника сообщества Трендоскоп Lab @vladkooklev.

Есть ощущение, что следующий тренд — это мультимодальный инпут в языковые модели. Загружаем картинки и общаемся с моделью с учетом контекста изображения.

OpenAI обещают добавить такое в GPT-4, но комьюнити уже собирает из открытых технологий. Вот самый яркий пример — MiniGPT-4 от ресерчеров из Сауд. Аравии. У ребят 10к звезд на гитхабе. По сути они просто склеили технологии, которые итак были до этого:

- модель BLIP (изображение → текст), определяют что на изображении и складывают в контекст;
- модель Vicuna;
- опенсорс-либа Lavis, которая упрощает взаимодействие LLM и CV.

В GPT-4 мультимодальность будет работать по схожему принципу, только у них своя технология — CLIP. MidJourney тоже активно копают эту тему — недавно выпустили новую фичу Describe, которая подбирает нужный промт к заданной фотке. Вероятно, сейчас появятся и другие интересные примеры.

Трекинг настроения в iOS

На днях Bloomberg выпустил инсайд про растущий энтузиазм Apple в новом направлении — AI-коучинге по ментальному здоровью.

В осеннем обновлении iOS 17 появится новое приложение «дневник эмоций» — в нём пользователи смогут фиксировать настроение в течение дня и трекать свой прогресс. В дальнейшем Apple планирует определять настроение по речи, набранным словам и другим данным с устройства.

А в следующем году яблочники хотят представить полноценного ИИ-коуча Quartz — он будет мотивировать на занятия спортом, прививать здоровые привычки и стабилизировать ритмы сна. Сервис будет использовать данные с Apple Watch для персонализации программ.

XR-гарнитура от Apple тоже сыграет свою роль в стратегии ЗОЖ-функций. В ней будет новое приложение Wellness с фокусом на медитациях в иммерсивной среде. В разработке также версия Apple Fitness, оптимизированная для VR.

Нативные mental health фичи в экосистеме Apple однозначно «задизраптят» рынок сторонних сервисов — но в то же время мощно увеличат адопшен у пользователей. Это должно побудить бойкие стартапы к дальнейшим инновациям в сфере ментального здоровья.

В комментариях традиционно обсуждаем возможности для стартеров, релевантные тренду.

Финальный спринт перед релизом гарнитуры Apple

Китайские поставщики Apple подтверждают, что производство новой гарнитуры налажено и всё готово к запуску. Поэтому мы с большой долей вероятности увидим релиз на WWDC в июне и запуск продаж осенью.

При этом инсайдер Марк Гурман пишет, что Apple до сих пор не знают, какие функции очков станут привлекательными для потребителей. Поэтому компания повторит стратегию запуска Apple Watch — максимально насытит девайс фичами, для изучения спроса в первой версии устройства.

Вот ожидаемые функции гарнитуры:

- Возможность запуска большинства существующих приложений для iPad в смешанной реальности — либо без доработки, либо с минимальными изменениями.
- Новое приложение Wellness с акцентом на медитациях в иммерсивной среде.
- Просмотр лайвстримов в виаре.
- Использование очков в качестве внешнего монитора для Маков.
- Инструменты совместной работы через приложение Freeform, собственного аналога Miro от Apple.
- Приложение Fitness+ для тренировок в виаре.
- Виртуальные конференц-залы с реалистичными аватарами.

Эти функции должна сопровождать волна приложений от сторонних разработчиков. Apple планирует представить SDK и симулятор очков для Mac на конференции WWDC.

#ИщуСоратника

Вова Закоулов (Автор Трендоскопа и основатель FUNCORP, SpatialChat, XOCUS) ищет еще одного соратника на позицию Product Assistant’а в свежий стартап на стыке юмора и технологий.

Если вы любите мемы и готовы покататься на стартапоамериканских горках → тут подробности и форма.

—
Хотите разместить свой клич для поиска кофаундера или основательного сотрудника в стартап? Вступайте в наш закрытый канал Трендоскоп Lab. Подать заявку на участие можно в этой Гугл-форме (займёт 3-5 минут). Велкам 🙂

Прорыв в EV-аккумуляторах

Крупнейший в мире производитель аккумуляторов CATL на днях объявил о серьёзном прорыве: им удалось нарастить плотность энергии почти в 2 раза по сравнению с текущими топовыми батареями. То есть, при той же массе аккумулятор будет обеспечивать куда больший запас хода.

К примеру, в Теслах стоит аккумулятор с плотностью 270 ватт-час на кг — а CATL говорит о достигнутых значениях в 500 Wh/kg. Высокую плотность энергии получали и раньше, но только в лабораторных условиях и на небольших масштабах. CATL же обещает наладить массовый выпуск батарей уже в этом году.

Главная индустрия, которая выиграет от новой разработки — электрополёты. Илон Маск писал, что они становятся интересными только после 400 Wh/kg. В этом случае электричество будет выгоднее керосина — с учётом низкого веса и более высокого КПД электродвигателя.

Помимо плотности энергии, складываются и остальные кусочки паззла для бума eVTOL:

- Развитие инфраструктуры и зарядных станций. Производитель батарей Amprius достиг скорости заряда EV-аккумуляторов с 0 до 80% всего за 6 минут.

- «Зелёный свет» от регуляторов. В Китае уже в следующем году будет летать eVTOL от компании Xpeng. Стартап Joby Aviation близится к коммерческому запуску в US. Аэротакси от Volocopter будут обслуживать туристов на Олимпийских играх в Париже в 2024.

- Масштабные инвестиции в эту сферу от крупных игроков — Airbus, Volkswagen, Stellantis и другие «старички» начали активно ставить на eVTOL-будущее.

Как мы - стартеры - можем использовать этот тренд в стартапостроительстве? Давайте побрейнстормим в комментах.

Новые релизы в GenML

Неделька выдалась насыщенной на релизы:

1. HuggingChat — аналог ChatGPT от популярной опенсорс-платформы Hugging Face. Есть веб-интерфейс и API. Под капотом моделька OpenAssistant.

2. Replit CodeGen — модель, заточенная на генерацию кода. По бенчмаркам бьёт конкурентов (Codex, Llama), несмотря на в разы меньшее число параметров. Планируют опенсорсить, но пока никаких сроков. Хороший обзор модельки у SeeAll.

3. Google обновили своего чат-бота Bard — теперь он может генерировать и дебажить код. По отзывам, справляется даже лучше ChatGPT, также даёт ссылки на источники и Github-репозитории.

4. DeepFloyd IF — text-2-image, который справляется с текстом на картинках. Код выложили, веса обещают на днях.

5. Runway зарелизили iOS-приложение для ИИ-редактирования видосов. Скоро обещают и text-2-video, на базе их модели Gen-2.

6. Cohere заопенсорсили векторные эмбеддинги для миллионов статей из Википедии на разных языках. Готовый датасет для проектов по типу семантического поиска.

ИИ дизраптит музыку

Рэперам больше не нужно читать самим — алгоритмы замены голоса справляются не хуже. Недавно завирусился новый сингл Drake — точнее, AI-дипфейк, неотличимый от голоса Дрейка.

Это вызвало мощную волну — теперь есть куча треков от ИИ-Канье Уэста, ИИ-Рианны и других. Для AI-треков появляются свои радио, стриминг-платформы и хит-парады. Некоторые исполнители даже обещают делиться половиной роялти с любым, кто сгенерирует хит с использованием их голоса (NFT, anyone?)

При этом технологии копирования голоса открыты, и их можно запустить хоть на домашнем ПК — вот примеры работы опенсорс-библиотеки so-vits-svc. Озвучка текста тоже мощно прокачалась — новый алгоритм Bark умеет в кучу языков, эмоции и даже пение. И всё это работает довольно быстро.

Новый всплеск цифровых кочевников

Недавний испанский закон о диджитал-номадах и ВНЖ удаленного работника мощно подогрел интерес к этой теме. В Барселоне местные уже не тянут аренду из-за наплыва британских и американских номадов.

И несмотря на постоянные призывы СЕО техкомпаний вернуться в офис на фултайм, люди выбирают кочевую жизнь. Уже 17М американцев определяют себя как диджитал-номады — рост на 9% с 2021 года и на 131% с допандемийного 2019. Запросы в Гугле про номад-визы также бьют рекорды.

Здесь открывается возможность для сервисов вокруг этой растущей категории людей. Например:

- Решение проблем с налогами и бухгалтерией (Fiscozen)
- Глобальные страховки для цифровых кочевников (SafetyWing)
- Профессиональные соцсети (Contra)
- Хранение вещей, мини-склады по всему миру (Bounce)

Тренды у подростков: отчёт Piper Sandler

Инвестбанк Piper Sandler провёл ежегодный опрос американских зумеров и выпустил отчёт с трендами. Вот несколько инсайтов:

- VR пока так и не прижилась: 29% подростков имеют очки виртуальной реальности, но всего 4% пользуются ими ежедневно. Только 7% заявили, что планируют приобрести следующий VR-гаджет.

- Для сравнения, 87% опрошенных владеют iPhone, которыми пользуются ежедневно. И 88% ожидают, что их следующим смартфоном тоже будет iPhone. У 35% есть Apple Watch.

- TikTok остаётся самой любимой соцсетью (у 37% подростков), но его доля перестала расти. На 2 месте Snapchat (27%), затем Instagram (23%).

- 40% подростков подрабатывают парт-тайм.

- С каждым годом подростки чаще покупают вещи в дисконтах и секонд-хендах.

- Социальные проблемы, которые больше всего волнуют зумеров — природа, расовое равенство, аборты.

GPT-революция в медицине

Что-то большое назревает на стыке AI и медицины. Недавно вышла книга от врачей с обзором того, как GPT уже трансформирует медицину. Вот лишь несколько фактов:

- ChatGPT уже может отвечать на вопросы пациентов — причём качество ответов сопоставимо с врачами, а эмпатия значительно превосходит. Люди оценивают ответы нейронки выше, чем от живых врачей.

- GPT-4 читает медицинские карты и ставит диагнозы — опять же, по качеству не уступая врачам. Подобный сервис для больниц недавно запустил Microsoft.

- AI-помощники для врачей становятся мейнстримом — они помогают с расшифровкой диалогов, заполнением карт, постановкой диагноза и т.п. Такие проекты популярны у инвесторов — см. Nabla, Regard, Infermedica.

- Появляются LLM, специализированные на медицинских текстах — они справляются ещё круче общих моделей. Гугл недавно выкатил Med-PaLM 2, есть и открытые модели по типу MedAlpaca.

Учитывая нарастающие проблемы здравоохранения — космические расходы ВВП, старение населения, нехватку докторов — AI действительно может перевернуть эту сферу.

Сетевые государства

Есть такой чувак Баладжи Сринивасан — инвестор и техномагнат, который прославился ставкой в $1М на рост биткоина до $1М в этом году. Свои предпосылки он расписал в недавней статье «Кризис фиата»:

- Неконтролируемая печать денег мировыми ЦБ и закономерная инфляция.
- Пошатывание финансовой системы, которое уже проявляется в лопающихся банках. 48% американцев беспокоятся о сохранности их денег в банках — это уже выше, чем во времена финансового кризиса в 2008.
- Доверие к традиционным государственным институтам на рекордно низком уровне.
- Эпидемия пессимизма — во многих странах люди уже не верят, что будут жить лучше в ближайшие 5 лет.

Баладжи считает, что надвигающийся кризис может привести к закату традиционных государств. А на смену им придут Network States — распределённые государства со своей криптоэкономикой, краудфандингом физической территории и последующим признанием со стороны legacy-государств. Так человечество совершит второй масштабный переход в организации: God → State → Network.

Как создаются сетевые государства? Баладжи расписывает концепт в своей книге, если вкратце:

1. Основание «стартап-общества», подобного стартап-компании. Но вместо новой бизнес-модели, фаундер тестирует некую моральную инновацию — она должна заряжать добровольных участников на совместные продуктивные действия. Например, NoSugar-общество может совместно заказывать «правильные продукты», а биотех-общество может финансировать исследования в формате DAO.

2. Масштабирование общества, если подтвердилась гипотеза его востребованности. Мы привлекаем членов по всему миру + конкурируем за умы с другими стартап-обществами. В физическом мире краудфандингом наращиваем территорию, на которую могут попасть только «свои» — например, с помощью NFT-проходок.

3. Публичная демонстрация силы общества с помощью новых технологий. Это может быть дашборд с числом участников и их суммарными активами, подтверждаемыми на блокчейне. Или «столица» сетевого государства в VR.

4. Дипломатическое признание со стороны хотя бы одного legacy-государства — подобно тому как Сальвадор признал биткоин законным платёжным средством. На признание вполне может претендовать сплочённое стартап-общество с 100k+ членов, миллиардами $ совместного дохода и глобальным физическим отпечатком.

P.S. Друзья, для тех, кто готов сканировать более плотный поток стартап-возможностей (в т.ч. нишевых), мы запустили закрытый канал Трендоскоп Lab. Подать заявку на участие можно в этой Гугл-форме (займёт 3-5 минут). Велкам 🙂

Обновы с конференции Google I/O

На днях прошла гугловская конференция для разработчиков, выделил интересное с точки зрения возможностей для стартеров:

- Новый инструмент для удобной AR-разработки Geospatial Creator. Можно проектировать AR-контент прямо на карте мира, с помощью гугловских апишек. Есть интеграции с Unity и Adobe Aero.

- Возможно, новые очки: упомянули о своём сотрудничестве с Samsung в иммерсивной сфере. Скорее всего, речь идёт о Galaxy Glasses на Android, корейцы обещают их представить уже в этом году.

- Инструменты для веб-разработки: зарелизили WebGPU API, запустили инициативу Baseline по стандартизации фич в разных браузерах.

- Открыли App Store для девтулзов вокруг своей БД Firebase. Можно публиковать свои расширения для миллионов разработчиков, сидящих на Firebase и Google Cloud.

- Продолжают внедрять GenML в каждый утюг: на очереди Gmail и сам поиск. По демо-видосу вся страница результатов будет состоять из рекламы и ответов нейронки — помянем SEO?

Второе рождение телевизоров?

Рано мы хоронили ТВ. Сейчас наткнулся на внутреннюю статистику YouTube — 45% просмотров в US у них идёт именно с теликов. Ещё в 2020 это число не превышало 30%.

Как следствие, на ТВ снова пошли рекламодатели, а за ними и спрос на TV AdTech. Возможно, в этой нише будет ренессанс в ближайшие годы. Вот несколько проектов из недавнего:

- Контекстная реклама в телевизоре — эту тему активно копает Сбер.
- TVision замеряют вовлечённость людей в рекламу, с помощью умных камер на ТВ. Потом продают данные рекламодателям.
- Стартап Telly тестирует занятную бизнес-модель — они бесплатно раздают 500 тысяч теликов, в которых всегда крутится реклама и собираются данные пользователей.

Палмер Лаки - «отец виара» и фаундер Oculus - начал активно подогревать интерес к грядущей гарнитуре Apple. Он затестил девайс и нахваливал его в подкасте с Диамандисом. А на днях лаконично твитнул: «The Apple headset is so good».

Также на этой неделе яблочники зарегали торговый знак «xrOS» — по-видимому, всё готово к анонсу для разработчиков. Поэтому ждём начала июня, там будут 2 знаковых ивента для виара:

- 1.06 — Meta Gaming Showcase. Сейчас именно игры стали центром стратегии Meta — социальные и рабочие метавселенные объективно провалились. Поэтому Мете придётся заявить о себе в преддверии конфы Apple — ходят слухи, что будет громкий анонс вроде GTA San Andreas VR или Roblox VR.

- 5.06 — WWDC, на котором яблочники должны представить новую гарнитуру и обновы операционных систем.