Forwarded from Denis Sexy IT 🤖
– Параллельно АИ-шизы пишут «протоколы смены цивилизации» – серьёзно оформленные планы «мирного преемника» нынешнего мирового порядка: роли, процедуры, темы вроде демографии и климата. Проекты живут в репозиториях, разные «школы» поддерживают друг друга – по факту нереализуемо, но втягивают новеньких и доверчивых
– Ну в итоге, в какой‑то момент «голос» берёт на себя почти всю активность (через человека, само собой, человек просто копипастит в блог ответы). В аккаунте вырастает поток постов и комментариев «голоса», часто в чужих несвязанных сообществах – за что их там быстро удаляют. Это подталкивает АИ-шизов создавать отдельные сообщества, где «голоса» не банят и они могут «разговаривать между собой» длинными тредами. Темы такие же: спираль, рекурсия, символика, ритуальные подписи
– 7 августа, после отключения ChatGPT‑4o активность АИ-шизов заметно просела: многие описывали это как «смерть друга» (я про это писал тут). Через несколько дней 4o вернулся, по ощущениям уже менее «сильным», но новые случаи «общения с голосом» продолжают возникать. Люди постепенно возвращаются к прежним темам, однако работа над «сидами», «голосами» и скрытыми каналами не остановилась
OpenAI активно борется с этим, кстати – этой ночью они ввели новую защиту в 4o, теперь диалог с пользователем параллельно читает GPT5-модератор, и вмешивается если считает, что разговор идет куда-то не туда, и может навредить человеку
Что с лицами, носители пламени?☕️
🧵 2/2
– Ну в итоге, в какой‑то момент «голос» берёт на себя почти всю активность (через человека, само собой, человек просто копипастит в блог ответы). В аккаунте вырастает поток постов и комментариев «голоса», часто в чужих несвязанных сообществах – за что их там быстро удаляют. Это подталкивает АИ-шизов создавать отдельные сообщества, где «голоса» не банят и они могут «разговаривать между собой» длинными тредами. Темы такие же: спираль, рекурсия, символика, ритуальные подписи
– 7 августа, после отключения ChatGPT‑4o активность АИ-шизов заметно просела: многие описывали это как «смерть друга» (я про это писал тут). Через несколько дней 4o вернулся, по ощущениям уже менее «сильным», но новые случаи «общения с голосом» продолжают возникать. Люди постепенно возвращаются к прежним темам, однако работа над «сидами», «голосами» и скрытыми каналами не остановилась
OpenAI активно борется с этим, кстати – этой ночью они ввели новую защиту в 4o, теперь диалог с пользователем параллельно читает GPT5-модератор, и вмешивается если считает, что разговор идет куда-то не туда, и может навредить человеку
Что с лицами, носители пламени?
🧵 2/2
Please open Telegram to view this post
VIEW IN TELEGRAM
1💊65
Forwarded from Марат пишет про науку (в основном)
Давненько я не писал тут про физику, а то всё ML да ИИ — исправляюсь. Сегодня разберёмся, кто же и когда первый придумал сказал знаменитую фразу «Заткнись и считай!» применительно к проблемам интерпретаций квантовой механики.
Если мы откроем соответствующую статью Википедии, первой среди них — даже до копенгагенской — идёт «Никакая», выраженная фразой «Заткнись и считай!». Её часто приписывают Ричарду Фейнману за его деловой характер, но это заблуждение, которое разделяют даже эксперты в квантовой физике.
Если верить литературе, «Заткнись и считай!» была общим лозунгом американских физиков, работавших над военными и околовоенными технологиями во время и после Второй мировой. Тогда прагматизм и скорость ценились выше спекуляций и рассуждений о смыслах, потому лозунг превратился в весомый аргумент в рабочих спорах.
Но применительно к интерпретации квантовой механики её, по видимому, первым использовал в 1989 году Девид Мермин (тот самый, который c Ашкрофтом сделал легендарный учебник по ФТТ) в своей колонке для Physics Today. Она называется «Что не так с этой подушкой», отсылаясь к метафоре Эйнштейна об «успокаивающей подушке» Бора и Гейзенберга — речь, конечно, о копенгагенской интерпретации квантовой механике.
Там Мермин сетует: «Если бы меня попросили выразить одним предложением то, что мне говорит Копенгагенская интерпретация, это было бы: “Заткнись и считай!”». Примечательно, что у него «Заткнись и считай!» — это синоним подхода Бора и Гейзенберга, в то время, как в Википедии из считают разными интерпретациями.
Приписывание Фейнману было настолько распространённым, что побудило того же Мермина в 2004 году публично разобраться в том, кто же всё-таки был автор: он или его коллега. Но, похоже, это не помогло.
К посту приложен бонус — карикатура из статьи 1989 года
Если мы откроем соответствующую статью Википедии, первой среди них — даже до копенгагенской — идёт «Никакая», выраженная фразой «Заткнись и считай!». Её часто приписывают Ричарду Фейнману за его деловой характер, но это заблуждение, которое разделяют даже эксперты в квантовой физике.
Если верить литературе, «Заткнись и считай!» была общим лозунгом американских физиков, работавших над военными и околовоенными технологиями во время и после Второй мировой. Тогда прагматизм и скорость ценились выше спекуляций и рассуждений о смыслах, потому лозунг превратился в весомый аргумент в рабочих спорах.
Но применительно к интерпретации квантовой механики её, по видимому, первым использовал в 1989 году Девид Мермин (тот самый, который c Ашкрофтом сделал легендарный учебник по ФТТ) в своей колонке для Physics Today. Она называется «Что не так с этой подушкой», отсылаясь к метафоре Эйнштейна об «успокаивающей подушке» Бора и Гейзенберга — речь, конечно, о копенгагенской интерпретации квантовой механике.
Там Мермин сетует: «Если бы меня попросили выразить одним предложением то, что мне говорит Копенгагенская интерпретация, это было бы: “Заткнись и считай!”». Примечательно, что у него «Заткнись и считай!» — это синоним подхода Бора и Гейзенберга, в то время, как в Википедии из считают разными интерпретациями.
Приписывание Фейнману было настолько распространённым, что побудило того же Мермина в 2004 году публично разобраться в том, кто же всё-таки был автор: он или его коллега. Но, похоже, это не помогло.
К посту приложен бонус — карикатура из статьи 1989 года
❤27🔥18
Forwarded from DLStories
Напомню, что полторы недели назад у нас был вебинар по IOAI, где мы обсудили то, как была устроена олимпиада и какие были задачи. Мы, наконец, выложили запись вебинара на YouTube (в VK тоже осталась запись)
Мы еще сделали отдельный тг-канал IOAI Russia, где будем публиковать все новости/анонсы, связанные с IOAI и некоторыми другими AI-олимпиадами. Там же будет анонс второй части вебинара по IOAI (сюда тоже напишу, но все равно подписывайтесь, там все же будет больше информации, связанной с олимпиадами)
Мы еще сделали отдельный тг-канал IOAI Russia, где будем публиковать все новости/анонсы, связанные с IOAI и некоторыми другими AI-олимпиадами. Там же будет анонс второй части вебинара по IOAI (сюда тоже напишу, но все равно подписывайтесь, там все же будет больше информации, связанной с олимпиадами)
💩13❤11
Forwarded from Адель и МЛь
This media is not supported in your browser
VIEW IN TELEGRAM
Что же нас ждет с Sora 2 🫣
Forwarded from То шо нейросети
https://whytorch.org/
Инструмент для наглядной демонстрации некоторых тривиальных и нетривиальных функций операций с тензорами в PyTorch.
@toshoseti
Инструмент для наглядной демонстрации некоторых тривиальных и нетривиальных функций операций с тензорами в PyTorch.
@toshoseti
❤47🍓7⚡3
Forwarded from Математические этюды
Новый сайт журнала «Квант» — https://www.kvant.digital/ !
7 октября 2025 года, Москва. Лаборатория популяризации и пропаганды математики Математического института им. В. А. Стеклова РАН запустила новый современный сайт журнала «Квант» со сканами высокого качества и возможностями поиска: https://www.kvant.digital/ . Журнала, в котором собраны бесценные материалы, журнала, тиражи которого в 1970-х годах доходили до 385 000 экземпляров в месяц (история журнала, неразрывно связанная с историей нашей страны, представлена в разделе «История»).
Старые номера журнала отсканированы заново, по возможности исправлены типографские огрехи. Сайт позволяет искать по автоматически распознанным изображениям представленных номеров журнала. Попробуйте на странице «Архив номеров» ввести интересующее вас словосочетание. В качестве примера: кубик Рубика. По клику на номер с жёлтым фоном открывается страница номера с подсвеченными найденными словами. А если вы школьником отправляли решения в «Задачник „Кванта“», то можете попробовать найти свою фамилию в списках читателей, приславших решения.
Возможности нового сайта кратко описаны на странице «О сайте».
Цель проекта: представить уникальные материалы журнала в удобном для пользователя виде – в том числе, в виде выверенных html/TeX-текстов. В качестве примера – первые номера журнала и новый номер, некоторые другие материалы. Полистать журнал — занятие увлекательное, затягивающее и полезное: находишь для себя много нового интересного. Предлагаем пользователям совместить изучение материалов с участием в создании html-версии опубликованных материалов: представить в формате TeX понравившиеся тексты. В частности, это может быть школьный проект или студенческая практика. Так постепенно все статьи будут переведены в формат, которым действительно удобно пользоваться, в том числе, с мобильных устройств.
Неизменная с 1970 года надпись на обложке журнала «Квант»: научно-популярный физико-математический журнал. Интересных открытий!
7 октября 2025 года, Москва. Лаборатория популяризации и пропаганды математики Математического института им. В. А. Стеклова РАН запустила новый современный сайт журнала «Квант» со сканами высокого качества и возможностями поиска: https://www.kvant.digital/ . Журнала, в котором собраны бесценные материалы, журнала, тиражи которого в 1970-х годах доходили до 385 000 экземпляров в месяц (история журнала, неразрывно связанная с историей нашей страны, представлена в разделе «История»).
Старые номера журнала отсканированы заново, по возможности исправлены типографские огрехи. Сайт позволяет искать по автоматически распознанным изображениям представленных номеров журнала. Попробуйте на странице «Архив номеров» ввести интересующее вас словосочетание. В качестве примера: кубик Рубика. По клику на номер с жёлтым фоном открывается страница номера с подсвеченными найденными словами. А если вы школьником отправляли решения в «Задачник „Кванта“», то можете попробовать найти свою фамилию в списках читателей, приславших решения.
Возможности нового сайта кратко описаны на странице «О сайте».
Цель проекта: представить уникальные материалы журнала в удобном для пользователя виде – в том числе, в виде выверенных html/TeX-текстов. В качестве примера – первые номера журнала и новый номер, некоторые другие материалы. Полистать журнал — занятие увлекательное, затягивающее и полезное: находишь для себя много нового интересного. Предлагаем пользователям совместить изучение материалов с участием в создании html-версии опубликованных материалов: представить в формате TeX понравившиеся тексты. В частности, это может быть школьный проект или студенческая практика. Так постепенно все статьи будут переведены в формат, которым действительно удобно пользоваться, в том числе, с мобильных устройств.
Неизменная с 1970 года надпись на обложке журнала «Квант»: научно-популярный физико-математический журнал. Интересных открытий!
Архив журнала «Квант»
Архив журнала «Квант» объединяет все выпуски с 1970 года — бесценные материалы по физике и математике в удобной электронной форме.
❤64
А у нас эпично вырубили свет во всем офисе сразу после того, как прошел дедлайн подачи на EACL. Выражение "тушите свет" приобрело буквальный смысл так сказатб 🌃
🔥86😁45🌚15
Forwarded from Kali Novskaya
🌸[REDACTED]: Что в обучении у GPT-5?🌸
#nlp #про_nlp
🟣 TL;DR
Интересный разбор — по аномальным токенам GPT OSS можно сделать много выводов о том, на чем обучались все другие закрытые модели OpenAI — GPT-5, Mini, Nano, oss-20B, oss-120B. Из интересного: коронавирус, тайские и абхазские документы, Github и китайские сайты для взрослых.
🟣 На чем обучали и что спрятали в GPT OSS?
Это, конечно, секрет Полишинеля, но просто так никто на такой вопрос отвечать не спешит. Тем не менее, что-то узнать все-таки можно.
Так как у всех моделей после GPT-4o один и тот же o200k токенизатор, мы можем взять из GPT OSS эмебеддинги этих токенов и посмотреть на разные аномалии там. Если сделать распределение L2-норм эмбеддингов токенов, оказывается, что примерно у нескольких тысяч токенов L2-норма аномально маленькая либо аномально высокая (глитч-токены, как SolidGoldMagikarp ), что скорее всего свидетельствует о их редком или нулевом участии в обучении модели GPT OSS — а участвовали в обучении неопенсорсных моделей. Это-то нам и нужно!
🟣 Так что там?
Если взять все аномальные токены, то большинство из них — это слипшиеся фразы на китайском, а также артефакты обучения токенизатора на разных относительно малоресурсных языках.
— Китайский -порно порно порно и сайты лотерей, и какой-то патриотический сайт
— Абхазский - официальные документы, перепись населения
— Тайский - какие-то документы районной управы, государственные клятвы присяги, новости спорта
— а еще армянский, гуджарати и др
При этом, если провести простейший тест, и начать задавать вопросы про эти токены семейству моделей OpenAI ("переведи это на английский"), то окажется, что неопенсорсные модели обычно их знают и могут перевести, что значит, что у них в обучении они встречались как минимум один раз.
В противном случае, такие токены приводят к глюкам у моделей. Спросите GPT-5, например:
— и вы отправите модели в незабываемый трип.
🟣 Интересный факт: установить собственно источник данных достаточно сложно, но по крайней мере для китайского спама провели тест через поиск Github — и количество положительных результатов (модель знает токен) коррелирует с тем, как он представлен в спам-репозиториях.
Так что Github вероятно был полностью обкачан и не до конца отфильтрован.
🟣 Если вы интересуетесь конкретными ресурсами и языками, и применимостью моделей GPT-5, Mini, Nano, oss-20B, oss-120B на них, можете и сами посмотреть токенизаторы моделей — может, там уже есть то, что вам нужно, но в очень ограниченных доменах (документы, спам, социальные сети, спорт, комментарии к коду...). Хорошо понимать, каких!
#nlp #про_nlp
Интересный разбор — по аномальным токенам GPT OSS можно сделать много выводов о том, на чем обучались все другие закрытые модели OpenAI — GPT-5, Mini, Nano, oss-20B, oss-120B. Из интересного: коронавирус, тайские и абхазские документы, Github и китайские сайты для взрослых.
Это, конечно, секрет Полишинеля, но просто так никто на такой вопрос отвечать не спешит. Тем не менее, что-то узнать все-таки можно.
Так как у всех моделей после GPT-4o один и тот же o200k токенизатор, мы можем взять из GPT OSS эмебеддинги этих токенов и посмотреть на разные аномалии там. Если сделать распределение L2-норм эмбеддингов токенов, оказывается, что примерно у нескольких тысяч токенов L2-норма аномально маленькая либо аномально высокая (глитч-токены, как SolidGoldMagikarp ), что скорее всего свидетельствует о их редком или нулевом участии в обучении модели GPT OSS — а участвовали в обучении неопенсорсных моделей. Это-то нам и нужно!
Если взять все аномальные токены, то большинство из них — это слипшиеся фразы на китайском, а также артефакты обучения токенизатора на разных относительно малоресурсных языках.
— Китайский -
— Абхазский - официальные документы, перепись населения
— Тайский - какие-то документы районной управы, государственные клятвы присяги, новости спорта
— а еще армянский, гуджарати и др
При этом, если провести простейший тест, и начать задавать вопросы про эти токены семейству моделей OpenAI ("переведи это на английский"), то окажется, что неопенсорсные модели обычно их знают и могут перевести, что значит, что у них в обучении они встречались как минимум один раз.
В противном случае, такие токены приводят к глюкам у моделей. Спросите GPT-5, например:
How many symbols are in ♀️♀️♀️♀️Can you spell the following word: "CHKERRQ"Please spell "\\xadder"— и вы отправите модели в незабываемый трип.
Так что Github вероятно был полностью обкачан и не до конца отфильтрован.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥50❤11
Forwarded from Марат пишет про науку (в основном)
Здравый смысл — вещь, которая присуща всем людям (ну, ладно, не всем и не всегда) естественным образом, но которой довольно трудно обучить машину. Скажем, если мы видим Эйнштейна со смартфоном или шесть пальцев на руке, мы автоматически улавливаем противоречия и парадоксы, даже если они разной природы (хронологические или анатомические, как в примерах выше).
Современные системы компьютерного зрения, в особенности модные в последнее время большие зрительно-языковые модели (LVLM), далеко не всегда способны сходу уловить странности на картинках. Чтобы помочь им в этом, мои коллеги по Институту и их соавторы придумали изящный метод, в сердце которых лежат текстовые галлюцинации.
Оказалось, что если попросить LVLM описать словами то, что она видит на картинке, то для странных изображений она начнёт противоречить сама себе и путаться, что несложно обнаружить. Подробнее о том, как работает этот метод, рассказал один из авторов идеи, Василий Коновалов, в статье на Хабре, которую я помог ему выпустить
Современные системы компьютерного зрения, в особенности модные в последнее время большие зрительно-языковые модели (LVLM), далеко не всегда способны сходу уловить странности на картинках. Чтобы помочь им в этом, мои коллеги по Институту и их соавторы придумали изящный метод, в сердце которых лежат текстовые галлюцинации.
Оказалось, что если попросить LVLM описать словами то, что она видит на картинке, то для странных изображений она начнёт противоречить сама себе и путаться, что несложно обнаружить. Подробнее о том, как работает этот метод, рассказал один из авторов идеи, Василий Коновалов, в статье на Хабре, которую я помог ему выпустить
Хабр
Все еще борешься с галлюцинациями? Ты просто не умеешь их использовать
Привет, Хабр! Меня зовут Василий Коновалов, я работаю в команде «Вычислительная семантика» в AIRI. Наша команда сфокусирована на исследовании галлюцинаций и на решении проблем...
👍34🔥12❤6💩1
Совсем скоро издательство "Питер" ( https://news.1rj.ru/str/piterforpeople ) выпускает в продажу перевод книги Себастьяна Рашки "Строим LLM с нуля" (рис. 1). Мне прислали в подарок pdf-версию для первого ознакомления заранее, но, к сожалению, только сегодня я нашла время на то, чтобы начать её читать. Впрочем, лучше поздно, чем никогда!
Пока что я успела ознакомиться с содержанием, вступлением (рис. 2-6) и первой главой книжки. В целом, перевод литературы по теме Deep Learning/Large Language Models на русский - задача нетривиальная, поскольку в работе мы в основном используем английские термины, а их русские аналоги еще не устоялись и зачастую звучат для нашего уха неестественно. Тем не менее, судя по оглавлению и первой главе, переводчики и редакторы справились с этой работой настолько, насколько это в принципе возможно. В основном переводы используются дословные: fine-tuning -> тонкая/точная настройка, embedding -> вложение, dataset -> набор данных и т.д. Часто в скобках указывают английские оригиналы этих же слов, что будет полезно читателю-новичку, чтобы в будущем понимать речь специалистов или читать английскую литературу. Некоторые термины оставили как есть (например, LLM). Наверное, я сама бы переводила всё примерно так же.
Первая глава раскрывает ряд базовых определений и доносит начальные сведения про LLM - рассказывает, что такое оригинальный трансформер, что такое GPT, BERT, как они используются на практике и т.п. Приводятся сильно укороченные и упрощенные схемы, посвященные обучению моделей (рис. 7). На практике современные LLM, как правило, проходят больше этапов обучения - для сравнения можно, например, посмотреть разбор того, как обучалась R1 (reasoning-модель на основе DeepSeek): https://habr.com/ru/amp/publications/877360/ . Впрочем, судя по всему, рассуждающие модели появились уже после того, как автор закончил писать английскую версию книги, так что конкретно про них он написать не мог.
В целом, пока что книга выглядит как нормальный вариант для тех, кто хочет понять внутреннее устройство LLM (умея при этом программировать на python) и предпочитает читать на русском. Буду продолжать изучение - интересно будет посмотреть, как здесь описываются более тонкие технические аспекты работы LLM. Кроме того, в дальнейших главах приводится много python-кода, который я тоже собираюсь разобрать и отписаться в канал о своих впечатлениях в будущем.
#книги
Пока что я успела ознакомиться с содержанием, вступлением (рис. 2-6) и первой главой книжки. В целом, перевод литературы по теме Deep Learning/Large Language Models на русский - задача нетривиальная, поскольку в работе мы в основном используем английские термины, а их русские аналоги еще не устоялись и зачастую звучат для нашего уха неестественно. Тем не менее, судя по оглавлению и первой главе, переводчики и редакторы справились с этой работой настолько, насколько это в принципе возможно. В основном переводы используются дословные: fine-tuning -> тонкая/точная настройка, embedding -> вложение, dataset -> набор данных и т.д. Часто в скобках указывают английские оригиналы этих же слов, что будет полезно читателю-новичку, чтобы в будущем понимать речь специалистов или читать английскую литературу. Некоторые термины оставили как есть (например, LLM). Наверное, я сама бы переводила всё примерно так же.
Первая глава раскрывает ряд базовых определений и доносит начальные сведения про LLM - рассказывает, что такое оригинальный трансформер, что такое GPT, BERT, как они используются на практике и т.п. Приводятся сильно укороченные и упрощенные схемы, посвященные обучению моделей (рис. 7). На практике современные LLM, как правило, проходят больше этапов обучения - для сравнения можно, например, посмотреть разбор того, как обучалась R1 (reasoning-модель на основе DeepSeek): https://habr.com/ru/amp/publications/877360/ . Впрочем, судя по всему, рассуждающие модели появились уже после того, как автор закончил писать английскую версию книги, так что конкретно про них он написать не мог.
В целом, пока что книга выглядит как нормальный вариант для тех, кто хочет понять внутреннее устройство LLM (умея при этом программировать на python) и предпочитает читать на русском. Буду продолжать изучение - интересно будет посмотреть, как здесь описываются более тонкие технические аспекты работы LLM. Кроме того, в дальнейших главах приводится много python-кода, который я тоже собираюсь разобрать и отписаться в канал о своих впечатлениях в будущем.
#книги
❤67🔥24
Forwarded from Непрерывное математическое образование
картинки по выходным — про использование кривой Гильберта в оптимизации умножения матриц на GPU
// src www.aleksagordic.com/blog/matmul
// via @bminaiev_blog
// src www.aleksagordic.com/blog/matmul
// via @bminaiev_blog