Тем временем Mistral активно ищет инвестиции

В декабре стартап уже привлек $415 млн. Тогда они оценивались в $2 млрд. Сейчас оценка компании – $5 млрд. К тому же, недавно Mistral стал получать доход.

Короче, несложная математика и здравый смысл подсказывает, что компания может привлечь сотни миллионов долларов. Среди инвесторов: Andreessen Horowitz, Microsoft (OpenAI ревнует, да) и др.

На днях вышла новая книга по Computer Vision от трех крутых авторов: Antonio Torralba, Bill Freeman и Phillip Isola

Авторы работали над книгой почти 10 лет. В ней собрано вообще все, от линейных фильтров и оптики до современных диффузионнок. Скорее всего, чтиво скоро будет признано сообществом как мастрид.

Самая приятная вещь в книге - авторские иллюстрации. Ну и вообще, на выходные самое то.

Опенсорс вперед ❤️

Миниатюра: я пытаюсь файнтюнить новую Llama-3 на своем линово 2001 года

Визуализация эмбеддингов от TensorFlow

Пространство эмбеддингов с огромной размерностью представить себе очень сложно. Поэтому иногда, чтобы лучше понять задачу и/или наглядно оценить качество векторов, полезно посмотреть на эмбеддинги меньшей размерности. Крутейший залипательный инструмент для этого – Embedding Projector.

Что делаем: загружаем свои эмбеддинги/выбираем предобученные -> выбираем алгоритм сокращения размерности -> любуемся. На картинке сверху, например, можно увидеть кластер чисел снизу слева. Это означает, что эмбеддинги неплохо отражают семантическую близость слов.

Красивое...

Ждем GPT-5 завтра?

Если сегодня Claude-3 может кого-то загипнотизировать, то через несколько лет ИИ станет в разы умнее гениев человечества?

В последнее время в сети часто мелькает график с картинки. Мнение сообщества снова разделилось.

Одни говорят: «как мы можем выйти за пределы человеческого разума, если тренируем модели только на данных от зеленой до оранжевой линии? Это невозможно».

Другие же отмечают, что LLM уже несколько раз показывали свою способность находить в обучающих данных паттерны, которых человек не видит, и делать на их основе продвинутые выводы. Эта способность и даст ИИ взлететь по экспоненте.

Что думаете?
❤️ - будет так, как на графике
🗿 - да не, не будет

“Так, Цук, как и планировали, заходим, подбрасываем 8В и уходим”

llama-3 8b >>> gpt4, mistral large, mistral 8x22b, claude3 haiku

Оценка стоимости обучения известных моделей из отчета Stanford 2024 AI Index Report

Зацените разрыв: обучить оriginal transformer в 2017 стоило $930, а потом началось…

GPT-3 - $4.3M
GPT-4 - $78.4M
Gemini Ultra - $191.4M

Кстати, новой Llama-3 здесь нет, ее обучение стоило Meta $100M. Да, больше чем GPT-4.