Будущее наступает – Telegram
Будущее наступает
1.06K subscribers
118 photos
102 videos
248 links
"Будущее уже здесь. Просто оно ещё неравномерно распределено" - У. Гибсон

- Разбираемся в практическом применении ИИ и новых технологий, и как они влияют на нашу жизнь и работу

О канале: https://news.1rj.ru/str/aiworkfuture/5

Автор - Сергей Карпенко @sergekarp
Download Telegram
Что такое кастомные GPT в ChatGPT, для чего они нужны и как ими пользоваться

Custom GPT — это "пользовательские приложения" внутри ChatGPT, в чем-то похожие на плагины в браузере. Они разрабатываются пользователями специально для конкретных задач🛠

Например, с помощью custom GPT можно создать персонального помощника, который будет отвечать на вопросы или помогать с решением задач. Также можно создать автоматизированные системы обработки данных или развлекательные приложения, такие как генераторы сюжетов для игр или историй. Вариантов применения существует множество🎮📚

Если вы решите использовать ChatGPT для решения какой-то задачи, вы можете
1️⃣ разрабатывать промпты самостоятельно✍️
2️⃣ найти готовый GPT, который уже решает вашу задачу✔️

Давайте рассмотрим пример:

Скажем, вы часто используете фотографии в работе или вашем блоге. Вам обычно приходится их где-то искать - гуглить, подбирать, и часто это стоковые изображения. Вы могли бы создавать оригинальные фото с помощью ИИ, но не умеете составлять детальные промпты для получения качественных результатов🫤

В таком случае, вы можете воспользоваться одним из кастомных GPT, созданных как раз для этих целей - например, я использую AI Photo Prompt Wizard. С его помощью вы сможете написать простыми словами, фото чего вы хотите, и он создаст три готовых варианта детального промпта для ИИ. Теперь вам достаточно просто скопировать один из них в любой инструмент по созданию ИИ-изображений, и через несколько секунд у вас будет готовое оригинальное фото📸🤩

Находить и добавлять кастомные GPT можно через меню "Explore GPTs" в левой панели ChatGPT или по прямой ссылке, как в предыдущем примере.

#юзкейсы
#практикум
#ИИинструменты
#чтоэтотакое
Подписывайтесь на @aiworkfuture, чтобы ничего не пропустить🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍4
This media is not supported in your browser
VIEW IN TELEGRAM
Друзья, пока я был в коротком отпуске, а затем разбирался с накопившимися после него делами, в мире ИИ произошел ряд интересных событий🤖

Сегодня об одном из них: на прошлой неделе компания Anthropic выпустила Claude 3.5 Sonnet — новую state-of-the-art LLM. Вы же помните Anthropic — одного из главных конкурентов OpenAI, созданную бывшими сотрудниками OpenAI?

По способности решать широкий спектр задач новая модель превосходит не только бОльшую модель Claude 3 Opus самого Антропика, но и, собственно, лидера GPT-4 Omni от OpenAI. Поэтому можно сказать, что в мире AI сменился лидер🏆🌐

Вот ключевые особенности этой модели:

Усиленный визуальный анализ. Она может точно интерпретировать диаграммы, графические изображения и расшифровывать текст с фотографий📊🖼
Продвинутые возможности написания компьютерного кода — в тестах она решила 64% задач по программированию по сравнению с 38% у Claude 3 Opus.💻
Увеличенная скорость: она работает в 2 раза быстрее, чем предыдущая версия. По моему опыту — выполняет задачи почти моментально⚡️⌛️
Улучшенное понимание контекста: модель лучше справляется с нюансами, юмором и сложными инструкциями 🧠💡
Широкий спектр применения: Claude 3.5 Sonnet может использоваться для планирования проектов, улучшения командной работы, автоматизации создания деловой документации и анализа данных📈🗂

Также Антропик добавил в интерфейс своего чат бота интересный функционал, который назвал “Артефакты”. При включении этого режима окно делится вертикально на 2 половины: в левой отображается собственно чат с ИИ, а в правой — результат работы нейросети. Например, при запросе на написание кода, чат бот сразу же начинает писать код в правой половине экрана, а затем там же показывает результат исполнения этого кода🔄💻

Контекстное окно этой модели — 200 тыс. токенов по сравнению с 128 тыс. у GPT-4 Omni.

Но, наверное, самое интересное, что они дали бесплатный доступ к Claude 3.5 Sonnet‼️ Если у вас есть учетная запись Anthropic, вы можете попробовать его прямо сейчас (необходим VPN страны, в которой Claude доступен, например США). Или его можно также попробовать бесплатно без аккаунта в Антропике - в приложении POE (для чего понадобится только любой VPN)🌐🆓

Я хотел быстро проверить его способности и задал такой промпт:
“Напиши код для веб-страницы с эффектом дождя из цифровых символов зеленого цвета из фильма Матрица”

И он с первого раза (!) моментально выдал работающий HTML-код (пример кода можно посмотреть в комментарии к этому посту)🖥🔥

#ИИновости
#ИИинтересно
Подписывайтесь на @aiworkfuture, чтобы ничего не пропустить🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥41👌1
This media is not supported in your browser
VIEW IN TELEGRAM
В середине февраля я рассказывал, что компания OpenAI представила Sora — модель, которая генерирует видео высокого качества по текстовому запросу🎬

Тогда я писал о том, как в будущем это повлияет на работу людей, чья работа так или иначе связана с производством видео-контента 💼🔮

И вот, четыре месяца спустя, американский сетевой ритейлер игрушек Toys 'R' Us выпустил первый рекламный видеоролик, созданный с помощью Sora🧸

Они доказали, что это вполне возможно. Думаю, что совсем скоро мы увидим массовое создание коммерческого видео-контента при помощи нейросетей📺

Наблюдаем в режиме реального времени будущее, которое наступает🚀🌟

#юзкейсы
#будущееработы
#ИИинтересно
Подписывайтесь на @aiworkfuture, чтобы ничего не пропустить🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍32
#ИИпятница Выдыхаем!

Я тут рассказывал про Claude 3.5 Sonnet. И вот увидел интересный пример его применения для развития творческих способностей

Попробуйте себя в качестве соавтора детских стихов✍️

Задал промпт:
Напиши короткий стих в стиле Агнии Барто, чтобы строки рифмовались

Пару раз подправил, и получилось очень неплохо - душевно и со смыслом🤗 (результат можно посмотреть в первом комментарии)

На эту идею меня натолкнул следующий пост👇

Насколько я понимаю, в нем стихи Claude 3.5 Sonnet, музыкальное исполнение SunoAI, видео анимация - Hedra.

Всем хорошей пятницы!
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥2
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Новый Клод Сонет просто огонь.

Поглядите, как он пишет стихи теперь.

А чтобы вам было веселее глядеть, я скрестил Хедру с Гидрой, то есть сделал химеру медведя и кожаного.

Если изловчиться, то можно присунуть Хедре любого двуглазого и одноротого персонажа. И пока он не откроет рот, все будет отлично.
А когда откроет - будет просто прекрасно. Ржу в голос. Сам пошутил, сам ору.

Но вы стихи зацените, это же уже гораздо лучше, чем в детских книжках. Да и во многих взрослых тоже.

Ну, за детских писателей:

Мишка косолапый по лесу гулял,
О любви мечтая, он стихи слагал.
Но упала шишка прямо по макушке,
И забылись рифмы в этой заварушке.

Мишка призадумался: "Вроде я один,
Но в груди трепещет, словно я не с ним.
Это что за чувство, может я влюблён?
Сердце замирает, мыслями пленён..."

Мама улыбнулась: "Милый мой медведь,
То весна играет, нужно потерпеть!
Ты в пору взросления, первая любовь
Учит состраданию, нежности без слов."

Мишка вдохновился, сел писать стихи,
Вышел на полянку, крикнул от души:
"Я в тебя влюбился, милая моя,
Чувствами делиться - радость для меня!"


(С) Claude&AK
🔥32
Forwarded from TechSparks
Мира Мурати, CTO в OpenAI, недавно заметила, что ИИ вполне может сократить потребность людях творческих профессий, чем — ожидаемо — вызвала бурную реакцию со стороны этих самых творческих деятелей. По непонятным причинам они полагают себя незаменимыми, а на мир возлагают обязанность обеспечивать их работой.
Дженсен Хуанг, CEO в Nvidia, пошел дальше и заявил, что агентность ИИ-систем не за горами, над ней сейчас уже вовсю работают, так что вскоре компании будут готовы нанимать ИИ-агентов на должности, ныне занятые людьми.
Кажется, вместо бесконечных жалоб на недостаточно почтительных разработчиков стоило бы начать осознанно готовиться к новой конкуренции, а не рассчитывать, что добрые дяди и тети защитят от ненавистных машин 🙂
https://www.windowscentral.com/software-apps/nvidias-ceo-envisions-a-future-where-multi-shot-agentic-ais-armed-with-reasoning-superpowers-outperform-humans-in-the-job-market
1
TechSparks
Мира Мурати, CTO в OpenAI, недавно заметила, что ИИ вполне может сократить потребность людях творческих профессий, чем — ожидаемо — вызвала бурную реакцию со стороны этих самых творческих деятелей. По непонятным причинам они полагают себя незаменимыми, а на…
И Мира Мурати, и Дженсен Хуанг - представители "биг теха". Это объясняет их про-технологическую позицию, согласно которой автоматизация и замена человеческого труда искусственным интеллектом и агентами ИИ неизбежна и людям надо перестать жаловаться и начать адаптироваться.

Я согласен с тем, что внутренний локус контроля более полезен, с практической точки зрения, чем внешний. Готовиться к изменениям на рынке труда действительно необходимо.

Но вот с чем трудно согласиться - это с этической позицией: с тем, что проблемы потери работы людьми различных профессий в пользу ИИ - это проблемы самих этих людей.

Здесь имеет значение масштаб. Точно так же, как в случае с выбросами СО2: если проблема выбросов отдельными людьми - это почти и не проблема вовсе, то уже в масштабах даже города, несколько заводов без очистительных сооружений сделают среду непригодной для обитания.

Так же и в случае с ИИ. Пока это отдельные непонятные дизайнеры и копирайтеры, которых мы лично не знаем, где-то там теряют заказы, это для нас не проблема. А вот когда упадет спрос бизнеса на работу, которой люди годами обучались в школе / колледже / университете, тогда это очень быстро станет общей социальной проблемой.

И кажется логичным, что раз это "биг тех" драйвит развитие ИИ, чтобы на нем зарабатывать, то и ответственность за последствия должна быть на нем.
🤔4
Нейросеть научилась читать мысли

🤔 Ученые из Нидерландов смогли с высокой точностью воссоздать изображения из электрических импульсов мозга обезьян.

🔘 Верхний ряд — то, что видела обезьяна с чипом в голове;
🔘 Средний — генерации нейросети на основе импульсов мозга обезьяны;
🔘 Нижний — прошлогодняя версия ИИ.

ООН предупреждал, что ИИ-чипы в головном мозге смогут вторгаться в личные мысли, воспоминания и сны.

#O2Consultingweekend
🌐 Ваш O2Consulting
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7😱3👍1
Вот ссылка на источник, которой нет в посте выше.

Внесем ясность: то, что сделали исследователи из голландского университета - это не создание нового нейроимпланта, как может показаться.

Они просто натренировали нейросеть так, что теперь она очень точно восстанавливает образы в мозгу обезьян на основании уже существующих данных. Получает на вход электрические импульсы из мозга и выдает на выход изображения, которые очень похожи на те, которые изначально показывали обезьянам.

То есть это уже частичная практическая телепатия. Частичная - потому, что здесь речь идет о чтении образов, а не мыслей. Исследования природы мыслей - это тема отдельных научных работ.

Но даже так, давайте пофантазируем о возможных сценариях применения:

- в медицине для людей с ограниченными возможностями (которые упоминаются в статье)
- чтение мыслей обезьян, собак, кошек (очень ждём 🙂)
- чтение мыслей людей в целях общественной безопасности
- чтение мыслей кандидатов при приеме на работу
- мониторинг настроений сотрудников
- в психологии и психиатрии
- в маркетинге
- в обучении сотрудников
- запись сновидений (пока не совсем понятно зачем)

Напишите в комментариях, какие сценарии применения вам кажутся наиболее интересными или предложите свои варианты 💬
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5👀42
В Forbes вышла интересная статья Андрея Себранта о том как изменились рассказы об искусственном интеллекте за последний год.

Если сначала все говорили о революции, которая все радикально перестроит, то теперь многие спикеры, включая представителей крупных технологических компаний, убеждают в том, что никаких фундаментальных или катастрофических изменений не случится.

Автор же соглашается с директором Microsoft по ИИ Мустафой Сулейманом, в том, что ИИ, который сейчас создается это скорее отдельный вид, "новые цифровые существа". И у нас просто нет даже смыслового аппарата, чтобы осмыслить и описать изменения, которые происходят.

А дальше предстоит создать множество различных сущностей, которые позволят нам функционировать в этом мире: продукты, законы, бизнесы и т.д.

#ИИинтересно
Подписывайтесь на @aiworkfuture, чтобы ничего не пропустить🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍4🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Китайский технологический гигант Xiaomi объявил о запуске новой фабрики в Пекине, где все процессы выполняются исключительно роботами. Фабрика стоила $330 миллионов, на ней 11 полностью автоматизированных производственных линий.

Генеральный директор Лэй Цзюнь сообщил, что фабрика может работать круглосуточно и производить один смартфон каждые 3 секунды, или 10 миллионов устройств в год.

На фабрике роботы не только собирают гаджеты, но и контролируют их качество, а также поддерживают чистоту помещений.

Xiaomi занимает 3 место в мире по объемам производства смартфонов и планирует продолжать расширять роботизированное производство.

#будущееработы
#ИИновости
#ИИроботы
Подписывайтесь на @aiworkfuture, чтобы ничего не пропустить🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8👍32👎1
Forwarded from Сиолошная
😏 Клубничку не хотите? 😏Ну, Strawberry? Тут Reuters пишут, что это — кодовое название проекта OpenAI, ранее известного как Q* (всплывал ранее тут 8 месяцев назад). Это следует из внутренней документации, раскрытой источником и отсмотренной Reuters.

TLDR новостной заметки:
— документ является подробным планом того, как OpenAI намерены использовать Strawberry для проведения «deep research» (исследований) — для этого сильно прокачали reasoning, то есть «рассуждения» модели
— деталей о публичном появлении системы нет, равно как и нет деталей о принципе работы. Последнее хранится в секрете даже от большинства сотрудников компании
— ранее в этом году два источника описывали увиденную ими демонстрацию Q*: система была способна отвечать на сложные научные и математические вопросы, находящиеся за пределами возможностей моделям сегодняшнего дня. Данная информация о двух источниках появляется впервые (то есть скорее всего Reuters не были убеждены на 100%, и не публиковали новость. Сейчас информация, вероятно, каким-то образом подтвердилась)
— в четверг в OpenAI была еженедельная встреча «на всех», где показывали свежие навыки моделей (об этом писал Bloomberg). Однако не ясно, имеет ли это хоть какую-то связь с Strawberry/Q*
— также в документе подчёркивается, что «среди возможностей, на которые нацелен проект Strawberry, входит выполнение задач с длинным горизонтом планирования». Тут имеются в виду сложные задачи, которые требуют от модели выполнения ряда действий в течение длительного периода времени
— дообучение модели производилось на «deep-research» наборе данных. Не уточняется, что это такое, но сделаю аккуратное предположение, что это грубо говоря промежуточные мысли, которые приводят к некоторым выкладкам. Именно эта часть данных обычно нигде не сохранена и не описана, и потому модели не могут ей научиться — мол, почему было сделано так, а не эдак
— OpenAI также планирует протестировать возможности Strawberry в выполнении работы программистов и инженеров машинного обучения

===

Моё мнение: в целом всё достаточно верхнеуровнево и правдоподобно-логично, очевидного бреда нет. Однако это не говорит о том, что это правда. OpenAI, как и другие, 100% работают по этим направлениям, главный вопрос в конкретных достижениях.

Появление аж двух новостей за неделю (Bloomberg и Reuters), а также проведение внутреннего демо скорее указывает на приближение к релизу. Это не значит, что систему анонсируют через пару недель, но ждать, должно, осталось не долго. Хоть до ноябрьского DevDay ещё... 😪

Такие демо недолго живут без анонса, потому что быстро утекают: Sam Altman говорил, что увидел приложение с голосовым режимом GPT-4o буквально за неделю до мини-презентации: до этого работа шла маленькой командой.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52🔥2
Forwarded from TechSparks
Яндексовый нейростат добавил свежие данные по использованию нейросетей городским населением России. Сенсаций никаких, конечно, нет, но монотонный рост и знания, и использования радует.
На картинке — использование для генерации текстов. Результат на уровне 60% в группе 18-24 очень наглядно демонстрирует практическое отношение студентов к генеративным текстам:)
Про сценарии использования тоже интересно почитать.
https://ya.ru/ai/stat
👍42
TechSparks
Яндексовый нейростат добавил свежие данные по использованию нейросетей городским населением России. Сенсаций никаких, конечно, нет, но монотонный рост и знания, и использования радует. На картинке — использование для генерации текстов. Результат на уровне…
Конечно, исследование Яндекса, скорее всего, сделано на основании данных самого Яндекса о том, как люди используют их собственные нейросети.

Тем не менее, его данные показательны.

Так, 2/3 россиян слышали о нейросетях, и 1/3 ими пользуются в среднем. Это немало. А среди возрастной группы "студенты" ими пользуются уже 2/3. Это прямо много.

Разделение целей использования сейчас 80/20, где 80% - для работы и 20% для развлечения. Это имеет смысл, учитывая, что готовых массовых продуктов для развлечений на основе нейросетей еще фактически нет.

Думаю, что мы скоро увидим их появление - ИИ-игрушки, роботы, приложения, партнеры и т.д.

Также интересны конкретные сценарии использования ИИ. Из таблицы видно, что они четко привязаны к жизненным сценариям. Что не удивительно, учитывая, что в 80% случаев ИИ используют для работы.

#ИИисследования
Подписывайтесь на @aiworkfuture, чтобы ничего не пропустить🚀
7👍1
OpenAI представила GPT-4o mini, более компактную и экономичную версию своей последней модели GPT-4o.

GPT-4o mini сразу заменит предыдущую модель GPT-3.5 Turbo в качестве модели по умолчанию для бесплатных пользователей, а также для пользователей ChatGPT Plus.

GPT-4o mini стоит 15 центов за миллион входных токенов и 60 центов за миллион выходных токенов, что более чем на 60% дешевле, чем GPT-3.5 Turbo.

Несмотря на свои меньшие размеры, GPT-4o mini превосходит ведущие в отрасли небольшие модели, такие как Gemini Flash и Claude Haiku, по показателям рассуждений, математики, кодирования и мультимодальных задач.

Новая модель поддерживает текстовые и визуальные входные и выходные данные в настоящее время, при этом планируется добавить возможности работы с видео и аудио в будущем.

#ИИновости
Подписывайтесь на @aiworkfuture, чтобы ничего не пропустить🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥42👍2
Большинство пользователей ChatGPT считают, что он обладает сознанием

Недавний опрос, проведенный исследователями из Университета Ватерлоо и Университетского колледжа Лондона, показал, что значительная часть пользователей ChatGPT считает, что эта модель искусственного интеллекта обладает сознанием.

Исследование, опубликованное в журнале "Нейронаука сознания", выявило, что две трети участников верят, что ChatGPT может иметь чувства, воспоминания и другие субъективные человеческие состояния, несмотря на консенсус экспертов, что современные модели ИИ не обладают сознанием.

Что интересно: чем чаще люди используют ChatGPT, тем они более склонны приписывать ему сознание.

#ИИпятница
#ИИнтересно
Подписывайтесь на @aiworkfuture, чтобы ничего не пропустить🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
😁53👍1
Недавно на канале консультанта АККС Александры Имаевой вышли независимые обзоры нашего сервиса с ИИ-инструментом для кандидатов на вакансии, которые были сделаны её подписчиками. Ознакомиться с ними можно здесь и здесь. Несколько человек протестировали наш сервис по созданию сопроводительных (мотивационных) писем и написали, что им понравилось, а что нет.

Мы с интересом прочитали критические отзывы и, по их результатам, обновили оба наших сервиса - как сервис для кандидатов, так и AI4HR.ru - наш сервис с набором ИИ-инструментов для HR.

Сделали следующие доработки:

Подключили самую последнюю модель GPT-4o-mini от OpenAI. 👉Это позволило значительно улучшить качество текстов и скорость их написания.
Добавили кнопку “Копировать”, которая появляется после каждой генерации. 👉Теперь любой полученный текст можно легко скопировать в буфер обмена, чтобы затем вставить в нужный документ.
Изменили формат некоторых полей (“ключевая задача” в описании вакансии, “качества кандидата” в рекомендательном письме и все поля в мотивационном письме) с текстовой строки на блок текста гибкого размера. 👉Надеемся, что это сделает работу с формами более удобной.

Попробуйте и напишите в комментариях, понравилось ли вам и что бы хотелось ещё изменить 💬

#ИИинструменты
#онас
Подписывайтесь на Будущее наступает, чтобы ничего не пропустить🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
👍92🔥2
Когда ИИ сможет заменить человека?

Как вы, возможно, знаете, среди ученых и экспертов нет единого мнения о том, какие критерии должны быть выполнены ИИ, чтобы признать, что он стал достаточно сильным для замены человека. Или, другими словами, что мы достигли AGI (Artificial General Intelligence - искусственный общий интеллект).

Так вот, совсем недавно, в первой половине июля, OpenAI представила пятиуровневую систему для оценки своего прогресса в достижении искусственного общего интеллекта (AGI). Эта структура классифицирует возможности ИИ от базовых функций разговорного ИИ до продвинутого решения проблем и способности создавать инновации.

Обзор пяти уровней

1️⃣ Разговорный ИИ (Conversational AI): Это текущий уровень, который включает существующие технологии ИИ, такие как ChatGPT.

2️⃣ Рассуждающие системы (Reasoners): OpenAI близка к этому уровню, который предполагает наличие ИИ, способного к базовому решению проблем, сопоставимому с человеком, имеющим докторскую степень, но без доступа к инструментам.

3️⃣ Агенты (Agents): На этом уровне ИИ может выполнять различные задачи в течение длительного времени от имени пользователей.

4️⃣ Новаторы (Innovators): Этот уровень описывает ИИ, который может помогать в создании новых изобретений.

5️⃣ Организационный ИИ (Organizational AI): Последний уровень предполагает наличие ИИ, который может справляться с объемом работы целой организации.

Руководители OpenAI считают, что они близки к достижению второго уровня. Недавние демонстрации GPT-4 показали способности к рассуждениям, сопоставимые с человеческими.

Этот фреймворк полезен тем, что позволяет оценить, где мы находимся сейчас, и увидеть направление, в котором прикладывают усилия ведущие мировые разработчики ИИ. То есть понять, куда мы движемся.

Еще на прошлой неделе была новость о том, что OpenAI представила SearchGPT. Но, по-моему, это не очень интересно, так как Яндекс и Perplexity уже давно это сделали.

#ИИновости
#чтоэтотакое
#ИИинтересно
Подписывайтесь на @aiworkfuture, чтобы ничего не пропустить🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
👍75🔥2
Forwarded from Denis Sexy IT 🤖
У легенды АИ-ресеча, Андрея Карпаты, вышел классный пост с попыткой рассказать что же такое токены в понимании языковой модели и почему используются они, а не обычные нормальные человеческие слова – чуть перескажу его:

Слова - это то, что мы обычно используем, когда говорим или пишем (ваш капитан). Например, в предложении "Мне нравятся кошки" - три слова

Токены - это немного сложнее:
Они используются машинами для обработки языка, токен может быть словом, частью слова или даже знаком препинания. Компьютеры разбивают текст на токены, чтобы лучше его понимать и работать с ним (и это эффективнее и быстрее чем работать с целыми словами)

Есть разные способы разделить текст на токены, и их называют токенизаторами и разные токенизаторы работают по-разному, в зависимости от того, для чего они нужны

В среднем, на один токен приходится примерно 0,75 слова, или другими словами, на каждые четыре токена приходится примерно три слова. Опять же, это может меняться в зависимости от того, какой токенизатор используется – вот пример такого от OpenAI, им я считаю себестоимость исходящих запросов для их моделей

Если совсем наглядно, то вот как текст этого поста видит «языковая модель»:
👨🏿‍❤‍💋‍👨🏻🧑🏼‍🦽‍➡️🙋🏻‍♀️🧗🏼‍♀️🥖👩🏽‍🚒🫱😈🦸🏾‍♂️🍏👩🏾‍🦳👱🏾‍♂️🧑‍🦽👩🏾🧑🏾‍🦼‍➡️
😈👩🏿‍🦯💃🏾🧙🏽‍♀️🤝🏾💌↕️🧝🏿‍♀️🛞🫱🧑🏾‍🦼‍➡️🧙🏽🙅‍♀️🗣😶
👨🏻‍🦲☺️🍱👩🏼‍🤝‍👨🏾🧑🏼‍🦽‍➡️🧝🏿‍♀️🔣🫱💆🏽‍♀️🌶☺️🧑🏽‍⚖️🇹🇯🍧〰️
🤵‍♂️🧑🏼‍🦽‍➡️🖊🚶🏼‍♂️‍➡️🏃🏿‍♀️‍➡️📕🔃🏊🚶🏻‍♀️‍➡️🧑🏼‍🦽‍➡️🧝🏿‍♀️💑🏾🔶🤣🫁
🏃🏽‍♂️‍➡️👩🏽‍⚖️🫱♀️☺️🇳🇫🇰🇾🏄🏾‍♂️🧑🏼‍🦽‍➡️🧝🏿‍♀️🕵🏼‍♀️🗜🧑🏻‍🎓✋🏼🧑🏿
💆🏽‍♀️📮👔🇲🇫🧑🏾‍🦼‍➡️🏋🏿🧑🏼‍🦽‍➡️👨🏾‍🦯‍➡️🧑🏼‍🦽‍➡️🏾📏🪱🧑‍🍼👨🏾‍🦲
🪱🧖‍♂️🗣🚶🏿‍♂️🧑‍🦽👱🏾‍♂️🇼🇸🧙🏽‍♀️☪️👩🏾🧑🏼‍🦽‍➡️🏌️🧖‍♂️💇🏼‍♂️👩‍❤️‍👨
👱🏾‍♂️🌶👩‍🦽‍➡️🧑🏻‍🎓🖲👨‍⚖️👭🏾🙋🏻‍♀️🚶🏿‍♂️👩🏾🧑🏼‍🦽‍➡️🏌️🕵🏿‍♀️🧑🏼‍🦽‍➡️😕
🧑🏾‍🦼‍➡️🤵‍♂️🤫🧑🏼‍🦽‍➡️🏾📏🏌️‍♂️✋🏼🧑🏻‍🎓🗜🧑🏾‍🦼‍➡️🤵‍♀️🚶🏿‍♂️‍➡️🇫🇷🧑🏼‍🏫
🚶🏿‍♂️🈴🔶🧵🥘🫁🙅‍♀️🗜🧚🏻‍♀️🙇‍♂️🌭🤵‍♀️👩🏻‍🦲🫷👩🏻‍❤‍💋‍👨🏾
🇳🇨👁‍🗨👩🏻‍🦲👩🏾‍🦳🤸🏾‍♂️🧑🏾‍🦼‍➡️🚶🏻‍♀️‍➡️🧑🏼‍🦽‍➡️🧝🏿‍♀️🧚🏿‍♂️👩🏽‍🔧🇦🇫👦🏾👩🏿‍🎓👨🏾‍🦯‍➡️
🪮👨‍🍼📮🧑🏻‍🦳🙅‍♀️🇼🇸👨🏾‍🦱🧑🏼‍🦽‍➡️🏌️📕🙍🏽‍♀️☪️👩🏾🖖🏾
🧔🏽‍♀️🔃🏊🧑🏼‍🦽‍➡️🏌️🕵🏿‍♀️🗜🧑🏻‍⚖️🙇🏿‍♂️🙎🏻‍♀️👩🏿‍🦯🏄🏼🧎‍♀️♋️
🇲🇫✋🏼🧑🏿💆🏽‍♀️📮🤲🏿🌭🧑‍🦼‍➡️🕴🏾👩🏾‍❤‍👨🏾🏃🏿‍♂️‍➡️📆🇼🇸🏃🏽‍♂️‍➡️👩🏽‍⚖️
🫱🌫🧑🏾‍🦼‍➡️📕🔃🥖🧛🏽‍♀️🇷🇪☪️👨‍👩‍👦🧑🏾‍🦼‍➡️🧖‍♂️👩🏾👨🏽‍🌾🇨🇱
☪️👩🏾🧵🇵🇾👩‍🦽‍➡️🧙🏽‍♀️👆🏻👩🏿‍🦯🤽🏻‍♂️👨‍👩‍👦👱‍♀️🧎🏾‍♀️‍➡️🧑‍🦼‍➡️🚣🏿‍♀️🙍‍♀️
💌👨‍👩‍👦🧝🏿‍♀️👷‍♀️🪤🫱🔓👐🏻🥔👩🏾💇🏽‍♂️👩🏿‍❤‍👩🏻🧑🏼‍🦽‍➡️💆🏽‍♀️
🔃🏊🧑🏾‍🦼‍➡️🇻🇺👩🏾‍🦯‍➡️🦹🏼‍♂️⬆️🖲🥘💑🏾🔶〰️🏄🏾‍♂️🧑🏼‍🦽‍➡️📆
〰️👩🏼‍🤝‍👨🏾🧑🏼‍🦽‍➡️👩🏿‍🦯🔶🧚🏻‍♀️🫁🧑🏼‍🦽‍➡️🧚🏻‍♂️😕🪖👮🏻‍♂️👮🏻‍♂️🤽🏿‍♀️🧑🏽‍🤝‍🧑🏼
👩🏿‍🦯🏄🏼🏄🏾‍♂️🧑🏼‍🦽‍➡️👐🏻🫱🤎🏄🏼🧖‍♂️🗜🚶🏽‍♂️〰️👩🏼‍🤝‍👨🏾🧑🏼‍🦽‍➡️🗞
🗣🫱🧑🏽‍🎓☪️🕴🏾👳‍♂️🍺👨🏽‍🌾🔓🪱🏋🏾‍♀️🏃🏾‍➡️🏾🔓🧑🏾‍❤‍💋‍🧑🏿
🏳️👩🏿‍❤‍👩🏻🧑🏼‍🦽‍➡️💆🏽‍♀️🔃🏊🧑🏾‍🦼‍➡️🏄🏾‍♂️🧑🏼‍🦽‍➡️👩🏾‍🦯🧑🏼‍🦽‍➡️👩🏿‍🦯👩🏻‍🤝‍👩🏼🧑🏻‍❤‍💋‍🧑🏼
👩🏾💇🏽‍♂️📕🔃🧑🏽‍⚕️👩🏽‍⚖️🇨🇦🕴🏾🏄🏾‍♂️🧑🏼‍🦽‍➡️🧖🏾‍♀️🪱📕🔃🧑🏽‍⚕️
👩🏽‍⚖️🇨🇦🫱🚶🏽‍♂️👩🏾💇🏽‍♂️☺️🍏🧖🏾‍♀️👩🏿‍🦯🕓🧑🏾‍🦼‍➡️🚶🏻‍♀️‍➡️🧑🏼‍🦽‍➡️👩🏽‍⚖️
🧑🏽‍🤝‍🧑🏽🏖🔶🧎🏿‍➡️🇹🇱🧑🏼‍🦽‍➡️💆🏽‍♀️💇🏿‍♀️🧑🏾‍🦼‍➡️👩🏾‍❤‍👨🏾🧖‍♂️💇🏾👔🇲🇫🇬🇹
👩🏿‍🦱🖖🏾🎅🏼🧑🏼‍🦽‍➡️🛸🧚🏿‍♂️👩🏿‍🦯🗜🧑🏾‍🦼‍➡️👩🏿‍❤‍👩🏻🧑🏼‍🦽‍➡️🧚‍♀️🧑‍🦼‍➡️📕🔃
🥖🧔🏼🪥👱‍♀️🤸🏾‍♂️🏌️‍♂️🧑🏽‍❤‍🧑🏾✌🏿🧑🏾‍🦼‍➡️👩🏿‍❤‍💋‍👨🏻🧑🏼‍🦽‍➡️🧗🏻‍♀️🚶🏿‍♂️👩🏾
🧑🏾‍🦼‍➡️🧵🔔🔶🫁☪️🕴🏾🧑🏾‍🦼‍➡️👩🏿‍❤‍👩🏻🧑🏼‍🦽‍➡️🌶🏳️‍🌈💂🧖‍♂️🚶🏾‍♀️‍➡️
🫱👩🏾‍🦳🧙🏽‍♀️📕🔃📚🧔🏼🪥👱‍♀️🤸🏾‍♂️🏌️‍♂️📕🙍🏽‍♀️☪️
👩🏾🙍‍♀️👩🏻‍❤‍💋‍👩🏾🧝🏿‍♀️🤸🏼‍♀️🧑🏼‍🦽‍➡️🖊🧑🏾‍🦼‍➡️🕵🏿‍♀️🧛🏽‍♀️🤵🏼‍♀️🤸🏼‍♀️📮🚶🏻‍♀️‍➡️🧑🏼‍🦽‍➡️
👩🏽‍⚖️🧑🏽‍🤝‍🧑🏽🏖🔶🧎🏿‍➡️🇹🇱🧑🏼‍🦽‍➡️💆🏽‍♀️💇🏿‍♀️🧑🏾‍🦼‍➡️🇪🇷☺️📕🔃🧑🏽‍⚕️
👩🏽‍⚖️🇨🇦✋🏼🧑🏻‍🎓🧗🏾‍♂️🧑🏼‍🦽‍➡️🏌️🚶🏻‍♀️‍➡️👮🏾👱‍♀️🤸🏾‍♂️🚶🏼‍♂️‍➡️💇🏿‍♀️🇹🇱🧑🏼‍🦽‍➡️
🧑🏾‍🦯🖲🧑🏾‍🦼‍➡️🧑🏼‍❤‍💋‍🧑🏾🧑🏼‍🦽‍➡️🤝🏾🧑🏼‍🦽‍➡️🛸🧍🏿👩🏾🇨🇱👩🏼‍🤝‍👨🏾🤾🏻‍♀️🏎👯
🔶🙇🏻‍♂️🏄🏾‍♂️🛸🪥🤝🏾♑️👩🏾‍🦯🌱🚶🏿‍♂️👩🏾‍❤‍👨🏾🏄🏾‍♂️👨🏾‍🏫🧑🏼‍🦽‍➡️🚶🏽‍♀️‍➡️
🧚‍♀️🗣🎗🖖🏾🍺🤙🏻👩🏼‍🤝‍👨🏾🚶🏿‍♂️🛸🗜🧑🏾‍🦯‍➡️🧑🏻‍🦯‍➡️👩🏽‍🚒🏌️‍♂️
🧑🏾‍🦼‍➡️🪪🧑🏼‍🦽‍➡️🙇‍♂️👮🏾🇪🇷💆‍♂️💇🏿‍♀️☺️🍱👩🏾👦🏾🙇‍♂️👨🏽‍❤‍👨🏽
🫷👨🏾‍🦱🏃🏽‍♂️‍➡️👩🏽‍⚖️🫱♀️👨‍🦽‍➡️🇳🇫👨🏾‍🦽‍➡️🤾‍♀️