🤬Быстрая мысль про ChatGPT.
С новым годом, етить его на право! 🎄

Понимаю, что про это говно не написал только очень ленивый. И я прям не хотел про него писать, потому что нейробесие и вот это все уже поперек горла стоит и булькает. Но блин, я не могу не написать.

Короче, ChatGPT можно использовать в качестве советника для составления имен для доменных сущностей. Я попробовал спросить эту штуку, как мне лучше назвать класс для составного продукта – CompoundProduct или CompositeProduct и вот что он мне ответил. (смотри на скрине)

Для меня это частично решает проблему глоссария: когда выбираешь между похожими по смыслу определениями при занесении новой записи. Всегда хочется спросить совета, как будет точнее. И кажется, что нейронка как нельзя лучше подходит для такого вопроса.
#chatgpt #инструменты

ПС Понятно, что это пока все ненадежное и после каждого такого ответа нужен дополнительный анализ, но тем не менее!

🙏 Kafka #5: Сегменты и индексы. Как брокер указывает консьюмеру на своё место?

Кажись у меня появилась энергия даже на такую душную тему, как кафка.

Мы в прошлый раз изучали, как устроено хранение данных на брокере – сегменты и партиции. Теперь рассмотрим, как брокер управляется с этим добром и как консьюмер общается с брокером.

🚸 Начнем с того, что кафка работает по TCP и использует свой бинарный протокол. Как он работает?

1️⃣ Когда консьюмер подключается к брокеру, он посылает в него запрос на поиск нужного оффсета: void seek(TopicPartition, offset). Есть еще seekToBeginning или seekToEnd, они работают почти так же, только ищут по времени, а не по оффсету.
2️⃣ Брокер находит нужный оффсет.
3️⃣ Консьюмер вызывает метод poll(timeout) и начинает консьюмить.
(Пояснительный дикпик 1)

🅰️ Как брокер быстро находит нужный оффсет? Понятное дело по индексу. Обычно индекс кажется загадочной структурой, которая магически ускоряет всё в этой жизни, но на деле это тупо файл.

Мне проще разбирать штуки на конкретных примерах, поэтому представим, что нам пришел запрос seek() с параметрами TopicPartition = "configured-topic-0" и offset = 1.
 
1️⃣ Сначала по имени партиции находим нужную папку.
2️⃣ Потом в нужной папке находим файл с индексом.
3️⃣ В файле индекса находим нужный offset.
4️⃣ В файле сегмента находим нужное сообщение по offset.
(Пояснительный дикпик 2)

Так и работают индексы в кафке. Индексы по времени устроены так же, только мы лезем в файл с расширением .timeindex.

Мне было прикольно во всем этом разобраться, но возможно я где-то накосячил. Так что не стесняйтесь в комментариях или личке писать мне всякие критические доводы по этому посту. А в следующий раз я думаю разобрать механизмы реплицирования топиков.
#kafka

🤖 Tralebot

🏇Недавно прошёл Red Dead Redemtion 2. Прохождение заняло 60 часов чистого времени и три месяца в целом.
 
Игра невероятна! Столько пищи для размышлений я давно не получал. Словно прочитал какой-нибудь многотомный эпос. Да и по времени, кстати, так и выходит. Единственный момент в том, что в игре дохрена каких-то новых для меня английских слов.

Казалось бы что тут такого – стопнулся, кинул в переводчик и продолжаешь играть. Но у меня это вызвало своего рода компульсивное расстройство – хотелось слово выучить и как-то отследить, что я его выучил. 🧼

Так я начал мутить себе телеграм-бота переводчика, который умеет заносить слова в словарь, а потом гонять по ним квизы.
 
Прикольный и небольшой проект, на котором я решил лишний раз Clean Architecture паттерн (хер его знает, паттерн ли это или типа такая структура проекта просто). Заодно подтянул своего хорошего друга Сашу Коновалова на настройку инфраструктуры, ибо мне возиться со всеми этими деплоями лень, а он вроде как недавно курсы девопса прошёл (а не как я Red Dead Redemption).
 
Собственно, поэтому я сюда и не писал. Что-то увлекся этим ботом и допиливанием фич по нему, а еще за этот месяц с помощью него выучил 124 новых слова.
 
🅰️ Тут я хочу поделиться репозиторием, который будет полезен, если хотите посмотреть:
1️⃣ Как по-быстрому настроить деплой на сервак с докером по коммиту в мастер

2️⃣ Как настроить секреты, чтобы они не лежали в репе

3️⃣ И как настроить оплату в телеге через нативный телеговский виджет.

4️⃣ Ну и хз, можете подсмотреть еще архитектуру бота. Там много что есть еще что допиливать с технической стороны, но мне что-то лень, я сейчас в основном фичи новые пилю. (Хочу чтобы эта штука сыпала в меня ачивками за каждое дейсвтие и тешила мое ЧСВ)

5️⃣ Чуть позже хочу сделать там еще запись в логи через Loki, это чтобы можно было смотреть их прям в графане и не деплоить и не лазить в кибану.

Секретный пункт 6️⃣ Ой и да, там нет тестов. Это плохо, но я пока типа в творческом поиске, поэтому положил на них с прибором ибо переписывать их после каждого нового переосмысления мне лень. Простите, не делайте так – тесты это очень и очень хорошо.
 
Самого бота пока не рекламирую, так как он в стадии пре-альфа тестирования. Но в ридмихе репозитория ссылка есть, так что можете опробовать, если хотите. 😉
#петпроекты #cleanarchitecture

🌴 Expression Trees

Рубрика задротские штучки.

Если вы заглядывали в репозиторий TraleBot’а, то видели там метод IsApplicable у каждой команды. Этот метод в тупую проверяет пользовательский ввод, и, если тот подходит под условия, то вызывается метод Execute у команды.
 
Я подумал, что было бы круто как-то ускорить все эти проверки, и вспомнил, что когда-то давно на одной работе тимлид советовал мне переписывать большие if'ы на Expression Tree. Тогда я поверил, что это всё ускоряет и вопросов не задавал, а сейчас решил проверить, а реально ли оно быстрее работает?
 
🅰️ Оказалось и правда быстрее. К примеру вот такое выражение

return person != null
&& person.Name != null
&& person.Age < 9;
 
Оказалось примерно в два раза медленее, чем аналгичное скомпилированное ExpressionTree (тут неполный код, чисто для примера):

var hasNameAndAge = Expression.AndAlso(
Expression.AndAlso(
objectNotNull,
hasNameNotNull),
hasAgeLessThanParam);

SimpleCodeScenario: 2.662 ns
ExpressionsScenario: 1.213 ns

И вот я пока что-то ХЗ почему так.

P.S: код самого бенчмарка я загнал в sharplab.io, про который когда-то давно рассказывал. Вот ссылочка на него

Может кто-то знает ответ, почему так? Напишите в комменты или мне в личку, а то я так по форумам поискал, но что-то внятного ничего не нашел. Только пост на StackOverflow, где люди нашли ту же зависимость, но внятно ответить, почему так не смогли.
#петпроекты #бенчмарки

🌴 Pattern Matching.

Знаете, вот эта штука с увеличенной скоростью паттерн матчинга становится для меня еще более загадочной.

Я только что прогнал оба варианта кода через Sharplab.io чтобы посмотреть какой шарповый код сгенерирует компилятор и знаете что, вот так он выглядит:

Вот так:
public bool PatternMatchingExpressionScenario()
{
PersonRecord personRecord = person;
return (object)personRecord != null && personRecord.Name != null && personRecord.Age < 9;
}

В целом ничего не поменялось, ну кроме разве что копирование переменной для тред-сейфности добавилось, ну и привидение к типу object. Наверное в этом и кроется вся загадка. 🦆
#бенчмарки

🌴 Pattern Matching 2: Паттерн-матчинг и тайны перфоманса.

Так, вроде докопался до сути. Если просто прикопать персону var personCopy = person;

[Benchmark]
public bool SimpleCodeScenario()
{
var personCopy = person;
return personCopy != null && personCopy.Name != null && personCopy.Age < 9;
}

То ничего не изменится. Но если добавить каст к объекту, то производительность выправится

[Benchmark]
public bool SimpleCodeScenarioWithCast()
{
var personCopy = person;
return (object)personCopy != null && personCopy.Name != null && personCopy.Age < 9;
}

🅰️А если долго смореть IL код, то (IL код начнет смотреть в ответ) можно увидеть, что вот такой вариант, приведением к объекту приводит к тому, что объект person кладется на стек всего один раз, а в случае с отсутствием такого каста, при каждой проверке условия объект будет класться на стек заново. То есть в первом случае его положат на стек аж три раза, а во втором случае всего один.

Дело раскрыто, ducktective Димас удоляется на выходные. 🦆

P.S.: И, да, какой же топовый инструмент sharplab.io! Без него в таком душном деле, как без рук. Всем советую.
#бенчмарки

🤖OpenAi API для шарпистов.

Короче, у меня есть охуенная новость, которую я не могу сдержать.

👸 Знаете ли вы что у OpenAI есть изичный туториал для знакомства с их API? Ну типа за пару часов можно сделать херню внутри которой будет встроен ChatGPT (ну почти)?
 
👉 Если не знаете, то вот ссылка: https://platform.openai.com/docs/quickstart
 
Там всё как два пальца, но есть нюанс – примеры кода либо на ноде либо на питоне. Для бывалых не проблема, но для шарповых любителей – как минмум неудобство.

🅰️ Но не спешите прокрастинировать! Короче, сели вчера с Саней Коноваловым и в четыре руки запилили пример для оного туториала на шарпе! https://github.com/Undermove/openai-quickstart-csharp

Теперь ничто не остановит вас от изучения ChatGPT Api. Отмазок больше нет!
 
PS Есть одно маленькое но. Для взаимодействия с API используется бибилиотечка https://github.com/OkGoDoIt/OpenAI-API-dotnet которая пока что не поддерживает модель gpt3.5-turbo, но скоро её добавят – это дело одного вечера на самом деле и если не терпится, то можете форкнуться и добавить сами. ПР на добавление там уже висит и думаю, что на следующей неделе уже дойдет до релиза.

PPS Ну и втрепите звезду что ли моему репозиторчику, а мне будет притяно ❤️

PPPS Распространите 🗣
#openai #chatgpt

🏳️Как внедрять изменения, даже если вы не смогли никого переспорить.

Короче, я очень часто имею свое мнение, а посему дохера спорю. И в спорах я чаще всего остаюсь при своем мнении.

Весь последний год я потратил на то, чтобы научиться продвигать свои решения даже там, где меня не спрашивают пепеспоривают. Где-то получается лучше, где-то хуже, но думаю, что скоро будет получаться вообще топово.

Сегодня прочитал историю чувака по имени Нараян Писапати, который в Индии в городе Хайдарабаде обнаружил, что уровень грунтовых вод стал охуеть как снижаться.

Дело было в том, что фермеры, которые всю жизнь выращивали просо, вдруг стали выращивать рис. Оно и понятно, ибо рис стоил в 60 раз дороже, а государство щедро субсидировало электричество для юных натуралистов.

Будучи экологом, Нараян забил тревогу, но окружающие забили на Нараяна. Он попытался продвигать свои доклады через политиков, но это тоже не возымело успеха.

И вот тут Нараян показал, что не лыком шит! Вместо того, чтобы обвинить весь мир в непонимании, он подумал, а что если каким-то образом поднять спрос на просо?

В итоге он убил целый выводок зайцев одним выстрелом: придумал одноразовые приборы из просо. И пластиковое загрязнение снизил и грунтовые воды вернул на место и деньжат подзаработал.

Короче, хочу мыслить, как Нараян!

История взята из статьи: "Воплощение прорывных идей" Сирил Буке, Жан-Луи Барсу, Майкл Вейд.
#harvardbusinessreview

😆 Шутка-минутка.
Блин, простите, сейчас будет несмешная штука, но я не могу её не запостить.

Если у вас у программистов есть Дональд Кнут, то почему нет Дональда Пряника? И, если такие здоровенные книги пишет Дональд Кнут, то какие тогда книги мог бы писать Дональд Пряник?

Простите еще раз. 🍪🌚

☕️ Сколько кофеина в кофе ☕️
Не знаю как вы, а я обожаю кофе. Злоупотребляю эспрессо, варю колд-брю, чтобы штырило и прошу бариста намутить мне самую горькую кофеиновую таблетку.
 
Всю свою жизнь я думал, что эспрессо это самый лютый способ заварки, но челики с канала Russian Barista тут сделали фееричный видос, в котором прогнали разные способы заварки через лабораторию и посмотрели что к чему.

🅰️ В общем, я сделал для вас таблицу, чтобы вы не тратили времени на просмотр видоса. На первом месте кофеиновый король – гейзерная кофеварка 👑

1️⃣ Гейзерная кофеварка 15,34 мг кофеина на 100 г кофе (почему-то в этом пункте измерение ведется не так как в остальных, да к тому же в видосе это значение меняется на граммы, короче, намудрил монтажер что-то)

2️⃣ Американо полным проливом 11,07 мг на 1 грамм зерна

3️⃣ Суперавтоматическая кофемашина 10,56 на 1 г зерна (они тестили в какой-то рожковой типа такой)

4️⃣ Лунго примерно как суперавтоматическая кофемашина (авторы не показали результат, видимо его сожрала реклама)

5️⃣ Фильтр-кофе 9,68 мг на 1 г зерна

6️⃣ Аэропресс 9,21 мг на 1 г зерна

7️⃣ Колд-брю 8,31 на 1 г зерна

8️⃣ Френч-пресс 7,48 мг на 1 г зерна

9️⃣ Эспрессо 7,33 мг на 1 г зерна

🔟 Ристретто 6,34 мг на 1 г зерна
 
По факту, эспрессо – это безалкогольное пиво от мира кофе. Значит не такой уж я и кофеман! Офигенно! (ловит паническую атаку от седьмой кружки эспрессо 😵‍💫)

🐑 Читшиты для прометеуса и не только.

Намедни впиливали с Саней Коноваловым метрики для Тралебота в графане и, пока копались, нашли неплохой чит-шит для запросов в Prometheus.

Читшит годный, покрывает много базовых метрик (да что уж там, покрывает больше, чем мне нужно!).

🅰️ Я попользовался, пошел ставить звезду на гитхабе и увидел, что там так-то много еще годных читшитов. Там есть и по докеру и по куберу и по MySQL. Короче, довольно много быстрых и полезных подсказок. Горячо рекомендую.

Кстати, если сравнивать с самыми зазвездившимися репозиториями по топику cheetsheets, то этот мне зашел больше всех прям. Может просто по оформлению лёг как раз на мои потребности.

Абсолютно без стыда и зазрения совести шарахнул репозиторию звезду 🙂(если вам понравится, то тоже не стесняйтесь сыпать звездами), занес в закладочки.
#инструменты

🏆 Achievements Framework

Делаю для тралебота небольшую систему достижений.

Хочу шоб он сыпал звездами, как корейская гриндилка. Потому что могу 🌚.

Пытаюсь найти, какие вообще примеры систем достижений уже существуют.

Иииииии…

😨 Существует научная работа по ачивкам в стиме и не одна. Ну, каково!? Ведь охренительный факинг факт же?

Там есть кусок, от которого я аж привзвизгнул, как адский подсвинок:

The foundation for our data collection was over 1000 hours of participant observations of playing 9 games that have achievements in the Steam platform (www.steamcommunity.com), which facilitates the use of achievements for some 100 games at the time of writing.

То есть звучит так, что чуваки играли исключительно беспрестрасно и в научных целях. Мучались, бедолаги, но продолжали наблюдать, как кто-то получает ачивки. 😊

Итого: Может показаться, что это бесполезная работа. Чисто, чтоб зачёт поставили. Но для меня как минимум было полезно для ознакомления с базовыми понятиями системы достижений: Trigger, Multiplier, Conditions, Rewards и так далее. Какие-то были очевидными, какие-то не очень. Но в любом случае, круто!

На картинке, схема из второй работы, где архитектура ачивок расписана подробнее.
#systemdesign

🙅‍♂️ Чего не может ChatGPT. Часть 1

Это изображение первого сервера, на котором запускался ChatGPT. И я не шучу! На Nokia 3310 был настоящий прародитель сегодняшнего хайпоносца, а именно движок текстовых подсказок Т9.
 
В чём суть T9?

Мы берем три буквы, к примеру "стр"

У нас есть словарь из слов, начинающихся на эти три буквы:
 
Страх
Страница
Страна
Строка
Стритбол

Телефон пытался предложить продолжение слова, которое набирает пользователь и продолжить его автоматически чтобы сократить время ввода.
 
❓Как телефону догадаться, какое слово пользователь хочет ввести? Есть несколько способов.

Прокачанные чуваки скажут – вычислить расстояние Левенштейна для каждого из слов и выбрать то, до которого расстояние ближе. Но это душно, и возможно я чуть позже про это расскажу.

Один из таких – взять языковой корпус и вычислить частоту употребляемости каждого из слов и выбирать самое употребляемое. Я тут сам выставил частоту употребляемости чисто для иллюстрации, но, думаю, суть вы уловили:
 
Страх 60%
Страница 70%
Страна 50%
Строка 55%
Стритбол 10%

Получается, что слово страница самое употребимое, мы его и предлагаем. Но что если пользователь баскетболист? Не всё время же подставлять ему строку, если он постоянно зовёт друзей играть в стритбол? (хотя Т9 этим грешил, чем нагенерил кучу мемов в моей жизни)
 
Мы можем запоминать выбор пользователя и вносить поправки в нашу таблицу. Скажем, накидывать по 20% после каждого введенного стритбола от пользователя. И со временем у стритбол у нас поднимется с колен до вершин списка.
 
Так вот. Что мы тут имеем? Мы имеем небольшую модель, в которой есть 6 слов и 1 нейрон, который мы постепенно тренируем выдавать нам слово Стритбол.

🅰️ Вот эти процентики напротив каждого слова, это по сути коэффициенты. Коэффициенты это и есть то из чего состоит модель в своей сути. То есть, когда мы говорим, что ChatGPT весит 100 Гб и содержит 175 миллиардов записей, это значит, что это текстовый файл в котором записано 175 миллиардов вот таких вот процентиков:
 
Страх 60%
Страница 70%
Страна 50%
Строка 55%
Стритбол 10%
 
Естественно не всё так просто. В следующей части я попытаюсь на пальцах объяснить, как это улучшить так, чтобы можно было генерить целые тексты, пусть и бессвязные, но похожие на правду.
#chatgpt