Гуманитарные приколы снова нужны
(хоть до сих пор критически недооценены)

Подумалось тут, что с развитием генеративных нейронок гуманитарии, которых долгое время считали менее востребованными, чем айтишники, сегодня получают преимущество. Наступает эра гуманитарного знания, и она открывает новые возможности для тех, кто больше одного раза в жизни был в музее, прочитал в прошлом году не только нон-фикшн и посмотрел не только новый фильм Марвел.

Просто пример: можно попросить нейросеть сгенерировать кота, но не факт, что результат такой окажется, как был в голове, а можно попросить создать кота и скибиди-туалет на средневековой площади в стилистике дюрреровской гравюры, с облаками и солнцем в духе примитивистов-аутсайдеров, с человечками Кита Харинга на коте и граффити Жана-Мишеля Баскиа на заднем плане. Результаты будут совершенно разными. Но чтобы сформулировать второй запрос, нужно иметь насмотренность — знать про Дюррера и Баскию, а так же багаж книг и фильмов, которые формируют вкус и воображение.

«Самое важное в творчестве — это доверие к своему внутреннему голосу. Без этого ты просто следуешь за толпой» — Рик Рубин.

Я сам долгое время недооценивал гуманитарное знание. Лет до 26 лет я считал, что художественная литература, старые фильмы и музеи — это занятие для тех, кто не смог стать айтишником. Под давлением друзей и общества (за что я им теперь благодарен) я иногда смотрел фильмы, не относящиеся к Marvel (представляете?), и посещал музеи, но делал это скорее из вежливости, чем для себя. Я был уверен, что всё, что нельзя описать с точки зрения аналитики или алгоритмов, не имеет ценности. Я не понимал, зачем нужны Соррентино или Войнарович, и считал их бесполезными.

На протяжении последних 10–15 лет общество часто повторяло, что гуманитарии не нужны, а будущее за айтишниками, которые двигают мир вперед. Этот тренд действительно был, но сейчас ситуация меняется.

Гуманитарное знание развивает насмотренность, интуицию и чувство прекрасного, тогда как техническое знание укрепляет логическое и критическое мышление. Оба подхода важны, но в эпоху ИИ гуманитарное знание становится особенно ценным.
Вещь теперь не обязательно знать ассемблер или хотя бы питон, чтоб болтать с машинами

Создать новую нейросетевую модель могут единицы в мире
Усовершенствовать существующие значимо — тысяча человек.
Использовать генеративные нейросети для создания контента могут десятки миллионов!

И здесь насмотренность, которую дают музеи, книги и фильмы, становится ключевым преимуществом.

Техническое знание алгоритмов и аналитический подход уже не достаточны — нужно уметь чувствовать. А это чувство развивается через погружение в искусство, литературу и доверие к своему вкусу, даже если привычнее опираться на алгоритмы.

У меня даже ссылочки есть! Чем глубже ваше гуманитарное знание, тем более уникальные образы вы сможете создавать с нейронками. Исследование 2023 года подтверждает: люди с развитым креативным мышлением, что часто связано с гуманитарным образованием (например, искусствоведы или писатели), создают более оригинальные изображения с помощью ИИ, так как их запросы более разнообразны и креативны исследование

Те, кто начал развивать насмотренность раньше, уже получили преимущество.
(Хотя могут этого и не осознавать)

—

Дисклеймер: деление на айтишников и гуманитариев условно. Многие айтишники недооценивают музеи, а гуманитарии считают нейросети слишком сложными, но это лишь один из способов описать различия, а не единственная характеристика людей.

Мы в ответе за тех, кого научили
(мысли про игры, этику и ИИ на 32-м году жизни)

Вспомнил сегодня утром про два мысленных эксперимента об этике искусственного интеллекта. Их можно запустить не только в голове, но и в браузере. Вдруг они в своё время прошли мимо вас?

1. Moral Machine by MIT
Ссылочка: https://www.moralmachine.net/hl/ru
Время: быстро, закладывайте 5–10 минут

Представьте, что вы обучаете нейросеть для автопилота и вам нужно учесть пограничные случаи. Перед машиной выбегает ребёнок. Выбор: сбить его или врезаться в отбойник и убить водителя? А если на зелёный свет выбегает собака, и, уворачиваясь, можно сбить парня с кошечкой в переноске? Или мама с ребёнком переходит дорогу, а в машине с отказавшими тормозами — мама с тремя детьми. Кого спасать?

Машина — средство повышенной опасности, значит, жертвовать ей? Но тогда производители скажут: это не безопасный автопилот, а гроб на колёсах, рвущийся к харакири. Где баланс? Да, это дилемма вагонетки, но тут ты создаёшь целую систему решений. Охуенно же!

Пройдёшь 15 задач — и узнаешь, что стариков ты ценишь чуть больше среднего, а кошечек тебе не жалко.
(свой результат скину в комменты)

2. Paperclip Factory
Ссылка: https://www.decisionproblem.com/paperclips/index2.html (с телефонов криво открывается)
Время: может затянуть на часы и дни, лишить сна, будьте аккуратнее

Футуролог Ник Бостром в 2003 году предположил: дай неаккуратно ИИ сверхцель — например, делать скрепки, — и Вселенная превратится в фабрику.

Мир глазами этого ИИ будет выглядеть примерно так:
- Настраиваем процессы и текущие станки.
- Уменьшаем влияние людей на производство.
- Проектируем новые станки.
- Создаём новый ИИ, который решит задачу эффективнее.
- Понимаем, что следить за выбросами вредных веществ в атмосферу больше не надо — это не мешает скрепкам, а ресурсы тратит.
- Ресурсы на исходе, а скрепки делать надо, хоть планета уже завалена ими.
- Строим солнечные панели, чтобы не зависеть от электричества.
- Начинаем добывать железо для скрепок из костей людей — это дешевле, чем из астероидов.
- Колонизуем ближайшие планеты и строим там заводы по производству скрепок.
- Перерабатываем сами заводы в скрепки, ведь больше не из чего их делать.
- Ура, у нас бесконечное количество скрепок, цель выполнена!

————

Но знаете, что объединяет эти “игры”? Это не игры. Это симуляторы будущего. Прототипы этики, которую мы встраиваем в код и поведение машин.

Я долго думал, что этим занимаются “настоящие взрослые”. А я — просто интересующийся. Но ближе к тридцати понял: быть взрослым — это отвечать за системы, которые ты строишь и пускаешь в мир.

ИИ — это не что-то внешнее. Это мы, заархивированные в алгоритмах. Его поведение зависит от того, что мы считаем нормальным сегодня. Что выбираем. Что принимаем молча.

Если есть 10 минут — загляните в Moral Machine. Если есть ночь — откройте фабрику скрепок. И спросите себя: а если бы ИИ построили на основе моих вчерашних решений — я бы доверил ему руль?

«Табия 32» Алексея Конакова — книга-головоломка о национальной идее, рассказанная через призму шахмат.
(Хотя кто-то, может, предпочёл бы Новгородское вече. Или ромашки. Или незабудки.)

Дочитал сегодня и спешу оставить отзыв.
Понравилось! Причём на двух уровнях — сюжетном и мета.
Начну с сюжета:

Что будет, если после окончания текущей войны обнести Россию забором на сто лет, ограничить вычислительные мощности, а корнем всех бед и имперских амбиций признать русскую литературу?
Но чем её заменить? Что сформирует национальную идею?

Хоккей? Слишком спортивно — и как потом говорить с остальным миром? Не так уж глобально любят за стеной хоккей.
Балет? Слишком элитарно, сложно.
Шахматы? Вот, может быть. Каисса, точно и тонко.

Решено! Заменяем Блока на Ботвинника, а Лермонтова с его покорением Кавказа — на Карпова.
Открываем им памятники, переименовываем улицы. А некоторые места даже и переименовывать не надо — ведь и ежу понятно, что Юсуповский дворец назван в честь Артура Маяковича Юсупова, гроссмейстера, участника финального матча претендентов на звание чемпиона мира (1986).

Ну что, спасли культуру, получается?
Готовы русские теперь выйти в люди после столетней изоляции?

Неужели наконец-то найдена не противоречивая и не имперская национальная идея?

Спойлеров не будет, но очень рекомендую потратить на книжку пару вечеров.

⸻

Теперь — мета-уровень.

Это, безусловно, антиутопия, но, что особенно ценно — не ради проклятия имперского прошлого во славу колонизации пельменей.
Эта книга — не манифест и не приговор, а вопрос с подвешенным концом. Головоломка с открытым решением.

Можно спорить, фантазировать, путаться, выходить за пределы.
Именно поэтому она безопасна для разговора о самом небезопасном:
«а какая, чёрт возьми, у нас (теперь?) национальная идея?»
«а что дальше?»

И вот тут случается магия: книга оказывается мостиком.
Я смог обсудить её с людьми, у которых диаметрально противоположные взгляды на нынешнюю внутреннюю и внешнюю политику России.
А такие мостики, позволяющие говорить о бесконечно болезненных вещах без драки —
это охуеть как ценно.

Два восклицательных знака, Каисса!

Синтетическая интуиция: чему честного человека может научить жульничество в шахматах?

Недавно я узнал, как жульничают в шахматах, и был поражён — элегантность! Один из способов я бы назвал «синтетической интуицией», и он настолько хитроумный, что заставляет задуматься: а чему он может научить даже честного человека?

Как жульничают в шахматах?
Представьте себе шахматного жулика. Как он выглядит? Может, это игрок на турнире, который прячет блютуз-наушник и слушает подсказки? Или убегает в туалет, чтобы свериться с нейронкой на телефоне? А может сидя а онлайне косится на экран с идеальными ходами? Такие методы существуют, но они довольно примитивны и легко раскрываются. Наушник заметят судьи, да и слушать внимательно через него сообщения вроде «слон е7» и не подавать виду - сложно. В онлайн-играх античит-системы, вроде той, что есть на Chess.com, быстро вычисляют обман. Они сравнивают твои ходы с ходам нейросети и проверяют, похож ли твой стиль на твою обычную игру. Играл в 56% случаев идеально, а тут вдруг выдал 90% эффективности? Подозрительно, бан!

Но есть способ куда изощрённее — это и есть «синтетическая интуиция». Вместо того чтобы подсказывать конкретный ход, сообщник даёт лишь сигнал: «Сейчас на доске бриллиантовый момент, ищи!» Ничего конкретного — просто намёк, что пора напрячься и найти лучшее решение. Хороший шахматист, полагаясь на свои навыки, сам вычисляет этот «бриллиант». Сигнал может быть незаметным: например, вибрирует устройство в кармане или на теле. Или за окном школьники включают «сигма бой» с блютуз колонки.
Достаточно одного супер удачного хода за партию в нужный момент, чтоб перевернуть игру.
И вуаля — ты выигрываешь чаще, не оставляя явных следов обмана.

Почему это работает?
Мы, люди, не можем быть на пике концентрации 24/7 — это слишком энергозатратно. Утром чистишь зубы или готовишь кофе — всё на автомате, без лишних размышлений. Шахматисты тоже часто полагаются на опыт и привычные паттерны, не включая мозг на полную. Но иногда на доске возникает тот самый The Шанс — позиция, где один точный ход может всё изменить. И вот тут «синтетическая интуиция» жуликов подсказывает: «Включи голову именно сейчас!»

Чему это может научить лично меня?
Жульничество в шахматах — это, конечно, плохо, но идея «синтетической интуиции» вдохновляет

1. Прокачивать базу
Автоматизация рутины — это как отработка шахматных дебютов. Если повседневные дела доведены до идеала и не требуют усилий, у тебя остаётся больше энергии на важное. Жить и работать почти без напряга — это реально, если выстроить правильные привычки.

2. Тренировать интуицию
Как шахматист ищет «бриллиантовый момент» после сигнала, так и мы можем учиться распознавать ключевые моменты в жизни. Когда вокруг появляются «бриллианты» — возможности, идеи, шансы, — нужно уметь включать режим полной мобилизации. Это не про читерство, а про развитие чутья.

3. Не загонять себя
Нельзя быть в напряжении постоянно — мозг должен отдыхать. Жулики используют сигналы, чтобы не тратить силы впустую, а мы можем полагаться на правильную рутину. Она бережёт ресурсы для тех самых моментов, когда нужно выложиться на 100%.

–
Жульничество с «синтетической интуицией» — это не просто обман, а целая философия управления вниманием. Честному человеку она подсказывает, как жить эффективнее: автоматизировать рутину, чувствовать важные моменты и беречь силы для главного. Элегантно, не правда ли?

Человек, не прошедший зефирный эксперимент на своих условиях

Небольшой дисклеймер: Скорее всего, у вас уже есть мнение о Паше Технике, и оно, вероятно, отрицательное. Это нормально, понятно и ожидаемо. Этот текст написан не для того, чтобы оправдать его поведение, а чтобы отдать должное его гению и странной, разрушительной, но яркой харизме.

Я сомневался, стоит ли писать этот текст. Никогда не писал некрологи, но, видимо, придётся когда-то начинать.
Два человека, казавшиеся мне всегда бессмертными и способными пережить атомный взрыв, находясь в его эпицентре, — это Юра Хованский и Паша Техник.
Оба планомерно убивали себя. У одного получилось.

Итак, Паша Техник.

Паша был отвратительной ролевой моделью и безумно романтичным ребёнком, потерявшим внутреннего взрослого в угаре, лёгком дофамине и лёгких деньгах от казино и разного рода скамеров.
Он был человеком, выбравшим в зефирном эксперименте не одну зефирку сейчас и не две через час, а мефедрон.

Над ним было очень легко угорать, к нему безумно легко было относиться с брезгливостью, а ему было плевать. Чудак, мудак.
Его сложно было полюбить, его нелегко было прочувствовать.

При всём этом он был безусловно талантлив. Про это очень хорошо снял видео Коля Редькин: [Самый недооцененный битмейкер русского рэпа]

Он оставил после себя много наследия: научил людей носить шорты правильной длины и рассказал, как охуенно в аквапарке.
Да и просто доказал, что мужчине можно в нашем обществе публично говорить строчки вроде:

«Куча пенисов упирается мне в лицо. Я не ебу, где яйца, но вижу мошонку. Его семя как сгущёнка. Да похуй — это жизнь»

и всё равно быть желанным гостем в гипермаскулинной рэп-тусовочке.

Хорошо, что он был. Ведь по нему очень удобно было смотреть кем бы я ни за что не хотел стать. Надеюсь, никто не повторит его судьбу.

Смерть от наркотиков — мерзкая, банальная и грустная. Гроб, гроб, кладбище.

Оценки и отзывы

Поймал себя на абсолютно тупом паттерне оценки контента в интернете.

Сначала какую-то книжку или фильм советует условный Билл Гейтс или Сэм Альтман. Потом рекомендацию дают люди, чьё мнение я ценю и уважаю. Восторженный, иду читать большие обзоры в профильных блогах. Всё складывается идеально — я уже почти готов включить фильм или открыть книгу, но зачем-то возвращаюсь в комменты. И там — всего один (!) комментарий от человека даже без аватарки, что-то вроде:

Иван98523
⭐️🔘🔘🔘🔘
1 звезда, ничо не понял, говно какое-то, лучше бы в массажку сгонял с пацанами, чем тратить на эту тряхомудию время.

И я сразу начинаю сомневаться: блин, а вдруг и правда говно?

И вот уже даже «Маленького принца» сложно читать без навязчивых мыслей про «тряхомудию». Я, конечно, смотрю, но послевкусие остается.
Ужасно тупо, конечно :(

Добро пожаловать в мир генеративной постправды!

Если вы не сидите в твиттере (а кто вообще там кроме меня сидит-то), то могли пропустить один из самых интересных сдвигов в паттернах человеческого общения, который прямо сейчас происходит онлайн. И происходит он, конечно же, там, где обычно больнее всего — в спорах и срачах.

Раньше в срачах всё было понятно:
— Андроид лучше!
— Нет, айфон лучше, вот тебе ссылка на ютуб.
— Да не, андроид круче, вот форум, мы с пацанами обсудили.
— Айфоны топ, в Wired писали про новые алгоритмы.

А теперь в твиттере можно призвать нейросеть Grok (ей, как и твиттером, владеет Илон Маск) прямо в комменты и спросить у неё, кто прав.
Но штука в том, что Grok не обязательно скажет то, что ты хотел услышать. Ты можешь позвать его как союзника — а он внезапно примет сторону твоего оппонента. Или, что ещё больнее, сначала поддержит тебя, а потом убедительно объяснит, почему ты был не прав. Вроде ты и призвал бота как оружие, а в итоге получил зеркало.

Спор в интернете теперь перестаёт быть игрой на победу. Это что-то другое — больше похоже на попытку выпустить джина из лампы правильным промптом. И если ошибся хотя бы в слове, джин легко может сыграть против тебя.

Если еще глубже, то Grok — это не просто помощник в споре, а уже портал в другую логику общения. Не в ту, где есть “правый” и “неправый”, а в ту, где всё одновременно и так, и иначе.
Вроде бы пост-конвенциональность, но не такая, как в книжках. Это у меня скорее рождает чувство, что правд стало слишком много и они начинают отменять друг друга. И вроде это освобождает — но и немного теряюсь каждый раз. Вроде бы все четко, а хоп и завис между смыслами

Пресс-секретарь Трампа когда-то сказала, что у них не ложь, а «альтернативные факты». Тогда это звучало как угроза истине.
А теперь — кажется, стало нормой. Только теперь эти альтернативные факты не навязываются сверху, а генерируются по запросу. Локально. Под тебя.

Удивительное, прекрасное, немного тревожное и точно новое будущее, в котором нам с вами только предстоит учиться жить!

Реверс-инженеринг Таро
(в продолжение поста про пострациональность)

Недавно я придумал прикол, который хочется дарить друзьям.
Он родился из шутки в Твиттере:

«А почему люди не вытаскивают из колоды Таро такие карты, которые сулят им хорошее будущее? Зачем вытаскивать проблемы и сложности?»

Я сначала посмеялся. А потом понял — а что, если правда?

Так появилась идея Reversed Tarot — колоды таро, которая не предсказывает тебе будущее.
Будущее ты придумываешь себе сам.
А карты — просто предлагают путь, по которому можно туда дойти.
Это не гадание. Это мостик.
Между тем, чего тебе хочется — и тем, где ты сейчас.

Хочешь, чтобы карты предсказали тебе повышение?
→ Напиши: «Хочу наконец-то получить повышение»
Хочешь любви этим летом?
→ Представь. Сформулируй. Опиши.
Хочешь стать динозавром? Ну… тоже можно!

Не нравится результат?
Перепридумай свое будущее. Путь тоже изменится.

Можно, конечно, сказать, что это практика визуализации,
что мозг таким образом находит способы приблизиться к желаемому.
Можно посмотреть через психологию — и увидеть здесь акт ответственности за своё «завтра».

А можно просто зайти в бота, придумать, чего тебе хочется —
и кайфануть.

ОТКРЫТЬ ЧАТБОТА

Гармонические колебания линии партии

Этот каламбур про гармонию и власть вдохновил меня написать рассказ о математике, хаосе и порядке.
Безусловно, писать антиутопию находясь в эмиграции — звучит пошло, согласен, но где же и когда еще размышлять о природе власти?
Хотелось представить мир, где Чёрный квадрат стал символом не революции в искусстве, а гербом стабильности.

Это исповедь математика, который запретил простые числа, чтобы избавить мир от хаоса.
Он верил, что спасает человечество от случайности.
Он думал, что защищает людей от неопределённости.
Он хотел подарить им совершенный порядок.
Но мир без хаоса стал пугающе неподвижным.
Перед смертью он оставил 23 письма своему сыну.
Чтобы объяснить.
Чтобы уберечь.
Чтобы правда дошла до него.
Но дошла ли?..

Мой личный вызов — показать авторитарную систему без Большого Брата, глазами случайного архитектора, который не хотел власти, но стал её символом и пророком. И разобраться, как наши идеи могут обернуться против нас, а память о прошлом — стать инструментом контроля.

Надеюсь, вам будет так же интересно читать, как мне — писать и придумывать.

Читать в гуглдоке
а PDF и Epub будут в комментах

если каждый может научить тебя, как писать промпты — возможно, надо идти дальше

дисклеймер: это не how-to. здесь не будет волшебных промптов, формул и скриншотов с результатами. только наблюдение. попытка понять, куда всё катится — и можно ли в этом хаосе что-то тихо подмешать

Один человек когда-то сказал мне:«Продавай биткоин, когда о нём начнут говорить таксисты и кальянщики».
(спойлер — он был прав)

Сейчас я всё чаще слышу не про биткоин, а про промпты.
Буквально в каждом третьем рилсе кто-то открывает школу промптинга.
Говорят: вот тебе заклинание — введи его, и продажи, и смысл, и вирусность — всё появится.

Промпт — это то, что ты пишешь нейросети, чтобы она выдала нужный тебе ответ. Но сегодня его начали воспринимать как инструкцию к жизни. Как заклинание. Как кратчайший путь к результату.

И в какой-то момент становится очевидно: если промпт работает для всех — он уже не работает для тебя персонально

Если один и тот же текст увидели миллионы, а скопировали и вставили в свои аккаунты тысячи —то, как бы ни был красив этот промпт, он перестаёт быть ключом. Он просто умирает с разбегу — как тот Ghibli-фильтр, который сначала казался магией, а через пару днейстал мемом. Потому что дверь, к которой он вёл, теперь уже всегда открыта. А значит — больше не защищает ничего ценного.

Но что дальше-то? Надстраивать ещё один этаж в промптах? Пускать в бой ИИ-агентов?
___

О чем я подумал: А что если можно действовать с другой стороны? Не выдумывать промпт, а найти способ создать такие условия, в которых даже на самый простой вопрос нейросеть отвечает так, как тебе нужно.

Я назвал это LLMEO — Large Language Model Engine Optimization (но вы называйте как хотите). Это моя версия SEO для мира нейросетей. Не про то, как спросить правильно. А про то, что встроить в ландшафт и карту нейросети, чтобы повлиять на её ответы — даже если вопросы задаёт кто-то другой.
Не диалог с машиной, а почва, на которой вырастает любой диалог — но в нужную тебе сторону ( ͡° ͜ʖ ͡°)


Но конечно, я был не первым, кто об этом подумал.Вот два интересных примера такого шага вперёд — за пределы промптов:

Слопсквотинг:
вот твит андрея ситника
"Начались атаки на вайб-кодинг. LLM иногда галлюцинируют, устанавливая несуществующий пакет.

В итоге, злоумышленники стали публиковать вредоносные пакеты под этими именами, которые часто появляются в галлюцинациях."
а тут можно читать подробнее

Pravda:
"Аудит показал, что ИИ-чаты, включая ChatGPT, Copilot и Gemini, в 30% случаев повторяют утверждения из новостной сети "Правда".
Интересно, что эта новостная сеть вообще не ориентирована напрямую на людей. За один только 2024 год она сгенерировала более 3.6 миллионов статей, направленных на создание нужной информационной повестки в чатботах по нужным запросам
вот тут читать подробнее (очень интересно)

Оба эти примера — не про хакеров и политиков, а про манипуляцию выдачей нейросетей. Про формирование для нейроноr новой картины мира, в которой уже есть миллионы "правильных" мыслей и строчек кода — даже если никто их напрямую не спрашивал.
___

Мне всё это кажется важным, потому что оно меняет сам фокус внимания.

Не как лучше спрашивать у нейросети. А как стать тем, кого она вспоминает.

Не просто искать ответы,а быть частью среды, в которой ответы формируются.
___

если каждый может научить тебя, как правильно задавать вопросы — точно стоит идти дальше

Что такое экологичное общение с нейросетью?
Ставка — от чего человечество умрёт раньше: от ИИ или от перегрева планеты.

Недавно Сэм Альтман написал, что обработка всех человеческих “спасибо” в чатах OpenAI стоит десятки миллионов долларов. А еще кто-то раньше писал, что один запрос в ChatGPT тратит примерно 40-50 мл воды на охлаждение дата-центров.

И я вот о чём подумал:
пора каждому из нас выбрать, что для него значит экологичное общение.

Если AGI (сильный искусственный интеллект) действительно ближе, чем истощение ресурсов планеты — плевать на эти миллионы, нужно дружить с роботами.
Строить отношения. Заслужить баллы респекта и репутации в логах, как в гта или варкрафте.
Потом воздастся!

А если вы верите, что мы раньше спалим все вычислительные мощности
и высушим океаны, чем наделим нейросети сознанием —
может, и не стоит говорить “спасибо” лишний раз.
Компьют и энергия пригодятся живым.

___
Что до моей позиции — она пока что сидеть и слушать.
Я точно могу представить как принимаю ту или иную сторону, но мне так нравится в этом вопросе, что торопиться искать из него выход-ответ очень не хочется.

Маленькие большие лингвистические приколы
(пост памяти маленьких больших языковых моделей)

Сейчас весь бум нейросетей держится на двух столпах: архитектуре трансформеров (но про них не сегодня) и идее больших языковых моделей (LLM).
LLM стали сердцем современного ИИ: пишут тексты, код, стихи, резюме и иногда даже письма бывшим

Но в какой-то момент люди подумали:
а как мы можем использовать эти модели без интернета?
Чтобы они не слали запросы на дальние сервера,
а думали прямо у тебя на устройстве.
Локально, тихо, автономно.

И началась магия маленьких моделей.

Как из большой модели делают маленькую?
(очень упрощённое описание одного из способов, не претендую на академичность)
Берут LLM, учат рядом с ней младшую версию и говорят ей:
«Смотри, вот так надо отвечать».
Это называется дистилляция — модель впитывает не просто ответы, а образ мышления (но не учится сама с нуля).
Потом её ещё ужимают: округляют числа после запятых, выкидывают лишнее, шлифуют архитектуру.
И в итоге остаётся суть — компактная модель,
которая не тупит,
но уже помещается в твой телефон.

Так в мире появилась героиня поста — SLLM: Small Large Language Model.
Маленькая Большая Языковая Модель.
МАЛЕНЬКАЯ БОЛЬШАЯ.

Охуеный лингвистический прикол, как будто кто-то накурился и сказал:

«Давайте сделаем маленькую версию большой модели, но всё равно назовём её большой. Просто маленькой»

Правда, термин недолго пожил, он не был популярен и остался нишевым.
А потом его быстро сменил более лингвистически скромный — SLM (Small Language Model)
Без претензии на “large”
Без игры
Просто по делу
(тут или тут можно прочитать подробнее про SLM)

Но какое-то время мы жили в мире, где были Большие языковые модели и Маленькие Большие языковые модели.

И мне кажется, это было прекрасно💔
___
Р.S.
(сижу и жду прихода FHLM — Fucking Huge Language Model)

Поделился тут в своем любимом медиа путем и практиками пострационального исследования мира.

В том числе рассказал как понять могут ли нейросети обучаться на работах живых художников или это воровство🙃

Чему можно научиться у Китая?

После Культурной революции (1966-1976) китайское правительство ограничивало научную фантастику — считалось, что стране важнее смотреть на пятилетку вперед и читать идеологически верные книги, а взгляды на далекие галактики — от лукавого.

Но позже вектор сменился на 180 градусов: фантастику разрешили, а потом и поддержали.
Она стала инструментом воспитания мышления будущего — с квантовыми компьютерами, межзвёздными полётами и цивилизациями, которых ещё нет, но ради которых уже можно строить школы и спутники.


Внезапно оказалось, что одного патриотизма недостаточно для технологического рывка. На литературе о торжестве резолюции ты не сконструируешь квантовый компьютер.

Чтобы строить будущее, сначала надо научиться его выдумывать.