Подсчет токенов для GPT по API

Кто уже интегрировал GPT в своих проектах знает, что размер контекста (памяти) у него ограниченный.

Например, GPT 3.5 (который ChatGPT) в своей памяти вмещает 4096 токенов. GPT 4 умеет работать уже с 8192 токенами и даже отдельная модель есть, вмещающая 32768 токенов.

Токены - это то, как GPT разбивает текст на кусочки, с которыми далее работает. Например, слово “hamburger” разбивается на токены “ham”, “bur” and “ger”. А слово “pear” это один токен.

Сложность работы с токенами в том, что если отправить в GPT текст, размер которого в токенах больше, чем лимит модели, то в ответ приходит ошибка. И приходится исключать ранние сообщения чата, чтобы уложиться в лимит. Затем отправлять еще один запрос, смотреть не пришла ли ошибка и так далее. Все это занимает время.

Так вот, подсчитать количество токенов можно только на Python, то есть в коде. У мы тут адепты ноукода, и нам это не подходит. Нужно API.

Вот вчера некто “Bilal Tahir” запилил такое API, и оно на текущий момент даже бесплатное:
https://gptcalculator.xyz/docs

Я думаю, что стоит поддержать начинание, потому что все, кто пытался использовать GPT, сталкивался с этими токенами и тем, что их невозможно считать без кода.

https://producthunt.com/posts/gpt-calculator - вот тут поддержать можно лайком, если у вас есть аккаунт.

К слову, однажды я попрошу вас поддержать запуск Creatium на Product Hunt. Если вы готовы поддержать нас в будущем, то в зависимости от вашей готовности, вы можете:

1. Держать за нас кулачки (ничего не делать)

2. Просто зарегистрировать на сайте сейчас, чтобы потом проголосовать (чтобы не было так, что все вдруг в день запуска продукта зарегистрировались)

3. Зарегистрироваться и даже проявлять некоторую активность на сайте - голосовать за проекты, комментировать.

Формулы Creatium - что это такое, и почему оно такое (часть 1)

Я разрабатываю конструкторы уже 10 лет. В начале это была “Платформа LP”, сейчас Creatium. Казалось бы, за столько времени можно было решить все хотелки клиентов, но это так не работает.

Чем больше возможностей дает конструктор, тем выше требований к нему. В какой-то момент становится понятно, что интерфейсами в конструкторе все возможные проблемы и задачи решить невозможно. Это происходит примерно тогда, когда помимо сборки визуала, появляется сборка логики.

Допустим, мы сделали сайт с блогом, где любой может зарегистрироваться и писать посты. А потом, если необходимо, то и редактировать. Выглядит просто, логику можно описать так: “Пользователь может редактировать пост, если он автор поста”.

Дальше все начинает усложняться. Вы хотите добавить особых пользователей - модераторов - которые тоже могут редактировать посты. Теперь логика у нас “Пользователь может редактировать пост, если он модератор или автор поста”.

А потом вы решаете, что нечего редактировать свои старые посты, и хотите закрыть редактирование спустя сутки. А модератор при этом может когда захочет. “Пользователь может редактировать пост, если он модератор или (он автор поста и пост опубликован меньше 24 часов назад)”.

Да, мы могли бы придумать интерфейс, который позволял бы задавать такие условия, но охватить все возможные требования интерфейсами невозможно. Предположим, добавили вы в блог помимо пользователей еще и компании, которые этих пользователей объединяют в группы, и пользователи внутри одной группы могут редактировать посты других пользователей. И тут интерфейс, который мы придумали, заканчивается, и вы упираетесь в предел возможностей конструктора.

Формулы - это универсальный инструмент описания логики, зависимости и условий, который позволяет значительно расширить пределы возможностей конструктора.

Формулы Creatium - что это такое, и почему оно такое (часть 2)

Некоторые справедливо замечают, что формулы - это уже практически код. И они правы. Однако формулы в екселе или гугл таблицах никто не называет программированием, хотя возможности их невероятны.

Мы считаем, что формулы - это все еще ноукод (ну может быть уже лоукод), если язык простой и не содержит сюрпризов. По этой причине мы не стали использовать язык Javanoscript, который многие ноукод-платформы используют, потому что его легко интегрировать, и все веб-разработчики с ним знакомы.

Javanoscript полон сюрпризов. Смотрите сами:
Проверка, является ли переменная числом: typeof x == "number"
Является ли переменная строкой: typeof x == "string"
Является ли переменная массивом: x instanceof Array
Является ли переменная объектом: typeof x == "object" && x !== null 😅
При этом массив - это тоже объект. И дата это тоже объект. И это далеко не все.

Еще один объект не равен другому такому же. Чтобы сравнить 2 объекта нужно трансформировать их в JSON-строки, после чего сравнивать, или использовать дополнительные библиотеки вроде Lodash. И еще Moment для адекватной работы с датами. И в итоге вам нужно знать поверхностно и Javanoscript, и Lodash, и еще Moment в придачу.

В то же время в формулах:
Проверка, является ли переменная числом: type(x) == "number"
Является ли переменная строкой: type(x) == "string"
Является ли переменная массивом: type(x) == "array"
Является ли переменная объектом: type(x) == "object"
При этом массив - это только массив, а не еще и объект. То же и с датой.

Я не говорю, что Javanoscript это плохо. У всех его “странностей” есть причины. Это хороший язык программирования. Просто я не хочу, чтобы наши клиенты должны были его изучать, чтобы иметь возможность создавать сложные проекты на Creatium. Не хочу, чтобы Javanoscript был обязательным требованием, вот и все.

Поэтому мы и делаем свой язык формул, который намного проще изучить и начать использовать. Сравните документацию Javanoscript и наших формул.

Формулы Creatium - что это такое, и почему оно такое (часть 3)

Есть еще одна грань нашего языка формул, которая раскрывается на текущий момент только в бета-версии, это возможность повсеместного использования этого языка в конструкторе.

Мы сделали один язык, который может использоваться везде. На страницах, в формах-калькуляторах, в сценариях, в условиях, в базах данных - везде.

Даже при выводе табличных данных на странице (товары, вакансии и тд) можно будет указать “фильтр по формуле”.

Подводя итог, нашей целью было создание как можно меньшего по размеру и сложности языка, который бы решал как можно большее количество задач при сборке сложных проектов. Некоторые плюсы такого подхода уже можно ощутить в бета-версии Креатиума, но даже там мы еще не использовали весь потенциал формул.

Вот буквально сейчас в чате бета-версии Creatium пишут, что поиск по товарам не работает, потому что ищут "3600 мм”, а в таблице там везде неразрывные пробелы стоят.

(да, неразрывный пробел и просто пробел это разные знаки)

Без формул единственным решением является отказ от неразрывных пробелов. С формулами можно будет сделать “фильтр по формуле”, которая выглядит примерно так: contains(replaceAll(' ', ' '), search), и это полностью решит проблему.

Мы делаем все, чтобы снизить порог входа при изучении платформы Creatium. Но иногда к нам приходят и более опытные пользователи, знакомые с программированием, и имеющие совсем другие требования.

Для более профессиональных пользователей мы готовим возможность использования на сайтах самого быстрого языка на планете: языка ассемблера. Это язык, в котором команды подаются напрямую в процессор, за счет чего скорость работы программ получается просто феноменальной.

Вот пример кода, который выводит текст “Hello, World!":

org  0x100 
mov  dx, msg
mov  ah, 9
int  0x21
mov  ah, 0x4c
int  0x21
msg  db 'Hello, World!', 0x0d, 0x0a, '$'

Как видите ничего сложного для тех, кто готов немного разобраться в теме ради максимальной производительности.

Ожидать подключение нового языка к набору инструментов можно уже в текущей бета-версии Creatium в конце апреля.

Нашел тут свою старую, очень старую рассылку - которую писал еще 2007 году.

https://subscribe.ru/archive/inet.webbuild.prostosite/200703/16154715.html

Мне было 12 лет, я делал первые шаги в “сайтостроении”, и спешил поделиться успехами со всем миром. И хотел научить всех делать свои сайты. Я был молод и наивен.

Однако в тексте есть нечто примечательное, цитата:

“На самом деле сдесь НЕТ ничего сложного, все что понадобится, так это водить, клацать мышкой и печатать текст.
И ни каких работ с кодом!С кодом мы будем работать ОЧЕНЬ РЕДКО!!!”

Похоже, мое призвание в No-code было найдено еще 16 лет назад.

Писал пост про ценности No-code, и обнаружил интересный парадокс.

Наша ценность для исполнителей (студий, фрилансеров) это возможность брать сложные и более дорогие заказы, повышая средний чек, а ценность для заказчиков это возможность запускать новые продукты быстрее и дешевле.

Увидели? Заказчик платит меньше, а исполнители получают больше. Как такое возможно?

Просто речь о разных исполнителях. Раньше платили программистам, теперь будут платить ноукод специалистам. Любой дизайнер/верстальщик/программист-джуниор может изучить ноукод-инструменты и начать выполнять более сложные заказы, зарабатывая при этом больше. Но стоимость проектов для заказчика при этом может быть ниже, чем если заказывать у программистов.

В будущем, над которым я работаю, у заказчиков есть выбор - код или ноукод. И чтобы все чаще решения принимались в сторону ноукода, нужно 2 вещи:
1. Создать платформу, которая позволяет реализовывать любые хотелки заказчиков, выдерживать большие нагрузки, и при этом быть надежной с точки зрения защиты персональных данных
2. Обучить ноукод специалистов, качественно и быстро выполняющих сложные проекты.

Над этим мы и работаем.

а есть еще те для кого
3. Получить свой вебсервис в котором можно вносить изменения за пару минут
(я вот сам не ставя тз айтишнику вносил изменения на этой недели каждый день почти, при этом у меня есть и другой сервис на коде на движке moodle, на котором сидят все универы в рф, в котором части тз я не могу дождаться от кодера уже с декабря)

Мы учимся на чужих ошибках

Конструктор Bubble недавно изменил принцип образования цен. Это уже вторая их попытка (первая была год назад). Обе попытки сообщество восприняло очень негативно, потому что это не просто подорожание, а именно изменение принципа, при котором некоторые проекты могут начать стоить в разы дороже.

Мне казалось, что мы умнее, и не наступаем на такие же грабли, и не окажемся в такой ситуации в будущем, но вникнув в ситуацию глубже, я понял, что ошибался.

Мы выбирали между двумя принципами образования цен:

Первый, когда мы считаем выполнение каждой операции, количество строк в базе данных поштучно, как это сделано в Make (ранее Integromat) и как это работает у нас на сайтах сейчас.

Второй, когда мы каждому клиенту выделяем определенноге количество ресурсов (процессор, память, диск, сеть и т.д.), в рамках которых клиент делает что хочет, и вокруг этого строим экономику.

Сначала мы думали идти первым путем, считая каждую операцию, но быстро поняли, что очень сложно определить справедливую стоимость операций, учитывая что некоторе их них простые, а некоторые очень сложные. Разница в сотни раз может быть.

Поэтому мы решили пойти вторым путем, а сейчас обнаружили, что Bubble наоборот, от второго пути пришел к первому. Одна из причин - это то, что когда они оптимизировали и ускоряли работу конструктора, клиентам становилось достаточно более дешевых тарифов, и в итоге конструктор терял выручку. Появлялся внутренний конфликт интересов.

В свете этого оптимальным для нас выглядит вариант, при котором мы разделяем оплату самого продукта (лицензии на продукт) и ресурсов сервера (которые отдаем почти по себестоимости с учетом расходов на администрирование, бэкапы и тд), с возможностью переезда на свой сервер любой мощности. И стремиться зарабатывать не на продаже серверов с наценкой, а именно на лицензиях.

Другими словами, можно будет делать проекты с большой нагрузкой и не бояться, что эта нагрузка приведет к неадекватным ценам. Можно будет масштабировать проекты до бесконечности, оплачивая только стоимость лицензии и сервер (свой или в нашем облаке).

Важно отметить, что все что я пишу про цены тут - это именно к приложениям относится, а не к сайтам.

Сайты ≠ Приложения!

Весь текущий функционал останется рабочим - интеграции с Google таблицами, Make, Directual и так далее. Работа с пользователями на сайтах в текущем виде - все это будет продолжать работать.

Тот функционал, что сейчас у нас в бета-версии, в итоге станет просто новым под-продуктом, который не затронет текущие цены. Он будет дороже на старте, чем текущие сайты, но все мои рассуждения о ценах относятся именно к новому функционалу.

Другими словами, скоро в личном кабинете появится разделение по типам проектом: сайты (текущий функционал, текущие цены) и приложения (новый функционал, новые цены).

Я записался на курс по питчингу и бизнес-английскому. Английский у меня есть на уровне B1-B2, но я никогда не презентовал свой проект инвесторам.

В субботу нужно будет полноценно презентовать мой проект на английском языке. Это скорее тренировочная презентация в рамках курса, но все равно немного волнительно.

Сейчас буду смотреть презентации чужих проектов, чтобы понять, о чем стоит говорить, как говорить, и сколько времени говорить.

Зачем нам вообще инвесторы?

У нас хорошо идут дела как в России, так и на Creatium International. Мы растем и там и там, несмотря ни на что. У нас есть определенная репутация, и многие нас знают. Мы окупаем свои расходы, и даже в чате почти не пишут “а вдруг вы загнетесь”, как это было несколько лет назад, как только мы запускались.

Но мы хотим сделать запуск на английском языке. А там нас никто не знает, и не ждет. У нас отличный продукт, но от этого не будет никакого толку, если он не станет известным в нужных кругах.

Может быть сработает вирусность, но это вероятность, а мы пока плохо понимаем, как все работает на англоязычном рынке.

Поэтому и думаем об инвестициях, чтобы был хороший старт на новом рынке.

Новая версия старого мема.

Попытка установить верную цену для нового продукта - это ад.

1. Сделать бесплатно - остаться без средств на развитие и вообще на жизнь.
2. Сделать дешево - не построить экономическую модель нормально.
3. Сделать дорого - лишить себя большого количества “маленьких" клиентов.
4. Сделать средне - а сколько это вообще "средне”? Ответы разные будут.
5. Модель “плати сколько хочешь” - не работает, проверено (не нами).
6. Бесплатно для некоммерческого использования - будут использовать для коммерческого.
7. Бесплатно для личного, платно компаниям - то же самое.

Кроме этого, есть огромное количество ложных идей вроде того, что чтобы продуктом пользовалось больше людей, нужно сделать его дешевым и бесплатным. Удивительно, но это так не работает. Если экономическая модель не покрывает расходы на рекламу, то о продукте никто не узнает. Даже если продукт очень хороший.

Исключения есть, но это ошибка выжившего.

Добавлю, что разделение функций по тарифам - задача тоже сложная.

Общая логика в том, что чем больше пользы приносит продукт, тем больше он стоит.

Вот эту «пользу» измерить сложно, всегда будут исключения. Больше товаров в каталоге - выше цена? Да, но потом мы получаем сообщения от ребят, у которых заказов не много, но каталог огромный просто в силу специфики бизнеса.

Можно взять какую-то функцию и решить что она «для бизнеса», поместить ее на старшем тарифе, но найдется много «не бизнесов», которым эта функция нужна.

Иногда это доходит до абсурда. На Cloudflare если ты купил домен, то собственные NS сервера указать можно только на тарифе за $250. И кстати, у компании дела идут отлично.

Creatium - ошибка выжившего?

Вот уже 10 лет я занимаюсь конструкторами. Началось все с простой идеи - визуальный конструктор лендингов в облаке. Я помню, какие игроки были на рынке тогда, и все время наблюдал как одни конструкторы появляются, а другие умирают.

Это было удивительным для меня на всем пути - видеть как те, кого я считал перспективными, по какой-то причине прекращают работу, или просто перестают развиваться.

Первым был LPGenerator, который казался мне большой компанией, с которой я и не думал конкурировать, потому что мы маленькие и на многое тогда не претендовали. Потом пришли наши первые клиенты и сказали, что мы лучше. Из-за внутренних конфликтов LPG перестал развиваться. Ходят слухи, что там все еще есть живые пользователи.

Еще был конструктор Spagece, который потом переименовался в Bloxy. Они несколько раз полностью переписывали весь функционал, и может быть это их погубило, а может быть что-то другое. Мы даже обсуждали возможность слияния их с Платформой LP, но этого не случилось. Сейчас у них даже сайт не работает.

Примерно в одно время с нами запускались коснтрукторы LPTrend, Borstch, которые тоже остались в прошлом.

Еще помню БМ Пулю, которую хорошо продвинули в Бизнес Молодости, и мне казалось, что с такой поддержкой у них все будет просто прекрасно.

Недавно узнал о закрытии еще одного конструктора. Только на этот раз конструктора статей. Речь о Setka.io - который использовался во многих крупных медиа-изданиях. Я на них смотрел и думал - вот крутая бизнес модель, даже завидовал, потому что и продукт у них прекрасный. Но их сначала купила крупная американская компания, а потом закрыла прошлым летом.

Я не злорадствую. Я все эти продукты считал сильными и перспективными. Просто я не всегда понимаю, почему мы выжили, а они - нет. Иногда думаешь: “вот у них классно, а у нас не очень”. А потом видишь как эти “они” закрываются. Это очень странно, и каждый раз удивляет меня.

Хотели бы вы, чтобы Creatium купила большая компания?

У нас пока нет предложений, просто интересно мнение. С одной стороны может быть больше ресурсов на развитие, с другой - фокус развития может измениться.

Вчера было 720 подписчиков, сегодня 745. Никакой активности не было, репостов вроде бы тоже.

Откуда эти 25 подписчиков, может кто знает? Боты? Инвесторы?

Для новых подписчиков расскажу, что тут происходит, и что мы делаем.

Стартапы имеют обыкновение умирать, такова статистика. Огромное количество хороших идей умирают вместе с ними, а еще больше так и остаются нереализованными идеями.

Среди частых причин - несоответствие продукта рынку, неверная стратегия запуска, банально заканчиваются деньги.

Мы хотим увеличить процент “выживших” и успешных компаний. Для этого мы модернизируем конструктор сайтов Creatium и на его основе делаем No-code платформу для разработки полноценных MVP, таких как маркетплейсы, личные кабинеты, соц-сети и так далее, любые проекты с личным кабинетом.

Ключевая ценность - быстрый Time-to-market, чтобы тестировать больше идей, запуская рабочие MVP с функционалом и приемом платежей от пользователей (подписка, разовые платежи, любая другая логика). Больше идей проверили - больше шансов найти “ту самую”.

Вы можете:
1. Потратить немного времени на обучение и самостоятельно запускать продукты для тестирования идей, или
2. Воспользоваться услугами экспертов из сообщества, которые во всем уже разобрались, и работают быстро и качественно.

Возможности не ограничены одним MVP, если ваша идея “выстрелит”, вы можете его развивать до полноценного продукта, не покидая платформу. Она построена так, чтобы выдерживать большие нагрузки (результаты стресс-тестов будут позже). Безопасность персональных данных тоже учли.

Сейчас все в бета-версии, из которой мы планируем выйти в начале лета.