Forwarded from AbstractDL
This media is not supported in your browser
VIEW IN TELEGRAM
🔥WebGPT: теперь GPT-3 умеет гуглить лучше тебя
В OpenAI зафайнтюнили GPT-3 отвечать на вопросы, пользуясь поиском Bing, а получившиеся при этом ответы оказались качественнее, чем у людей.
Сначала они разработали простенький текстовый браузер, которым могла бы пользоваться GPT — там есть основные команды типа: кликнуть на ссылку, поскроллить, найти слово на странице, скопировать фрагмент и тд. Далее они при помощи людей собрали датасет из 6000 примеров использования этого браузера и дообучили на нём GPT-3 (language modeling). Затем они нагенерили этой же моделью датасет из 25к вопросов и вручную разметили их качество. На этой разметке они обучили ранжировщик ответов и использовали его для дальнейшей фильтрации.
В итоге, судя по human evaluations на датасете ELI5, людям чаще нравятся ответы нейронки, чем своих собратьев 💁♂️
P.S. На гифке пример того, как гуглит эта модель, отвечая на вопрос «How do neural networks work?»
Статья, блог
В OpenAI зафайнтюнили GPT-3 отвечать на вопросы, пользуясь поиском Bing, а получившиеся при этом ответы оказались качественнее, чем у людей.
Сначала они разработали простенький текстовый браузер, которым могла бы пользоваться GPT — там есть основные команды типа: кликнуть на ссылку, поскроллить, найти слово на странице, скопировать фрагмент и тд. Далее они при помощи людей собрали датасет из 6000 примеров использования этого браузера и дообучили на нём GPT-3 (language modeling). Затем они нагенерили этой же моделью датасет из 25к вопросов и вручную разметили их качество. На этой разметке они обучили ранжировщик ответов и использовали его для дальнейшей фильтрации.
В итоге, судя по human evaluations на датасете ELI5, людям чаще нравятся ответы нейронки, чем своих собратьев 💁♂️
P.S. На гифке пример того, как гуглит эта модель, отвечая на вопрос «How do neural networks work?»
Статья, блог
Forwarded from RUH8
Эксплоиты, программки, которые превращают уязвимости в софте во что-нибудь полезное (для хакера, не для вас) - отдельный вид современного искусства. Не знаю с чем сравнить. Сборка кораблика в бутылке с помощью трехметровой линейки с завязанными глазами? Поездка на машине, от которой вы по ходу дела отломали тормоза, колесо, и пытаетесь ей управлять с помощью лома, резинки от трусов и набора цветных карандашей? Как-то так.
Гугл распотрошил экслоит израильской NSO https://bit.ly/3mabxOl и это замечательная конструкция. Люди посылают друг другу смешные анимированные гифки (хотел бы я рассказать какие гифки есть в нашем секретном партийном чате, но меня тут же забанят). iMessage хочет, чтобы они крутились вечно. Для этого в заголовке GIF нужно поправить флажок, и чтобы не портить файл iMessage делает его копию. Казалось бы, что могло пойти не так?
По ошибке вместо копирования вызывается рендеринг картинок. А он уже на расширения файлов не смотрит. И NSO под видом гифки подсовывает PDF. А внутри PDF-ки картинка JBIG2 - это такой доисторический формат графики для ксероксов. Чтобы файлы получались маленькими, то он режет картинку на кусочки, и если куски, например буква "а" достаточно похожи между собой, то он использует один глиф для всего, как типографскую литеру.
Из-за этого случались многие беды https://bit.ly/3scwDiQ Кодек мог к примеру подумать что цифра 6 достаточно похожа на цифру 8, и заменить ее везде на картинках, чтобы сэконосить место. Потому в формат добавили маски - разницу между "похожим" глифом и тем, что нужно воспроизвести. И эти исправления накладываются на глиф с помощью операций AND, OR, XOR и XNOR. То есть эта штука тьюринг-полная. Любое мыслимое вычисление можно провести с помощью этих операций.
Дальше NSO использовали целочисленное переполнение, чтобы выйти за границы буфера и эта часть напоминает бутылку и кораблик. В результате они получили два основных примитива чтение и запись в произвольные места памяти. Если бы они хотели взломать одну конкретную версию софта, то этого бы хватило, но они захотели все и сразу. Для этого нужно знать, что и куда записывать.
И из доисторического графического формата они собрали полноценный виртуальный микрокомпьютер из 70 000 вентилей (те самые маски).
Нужно еще раз все перечислить, чтобы оценить проделанную NSO работу. Вам приходит гифка, которая на самом деле пдфка, и ее по ошибке, не копируют, а пытаются прочитать, в ней доисторическая картинка в формате ксероксов, которая в результате целочисленного переполнения может писать в память, и внутри этой "картинки" семьдесят тысяч блоков логических операций, которые эмулируют небольшой компьютер, который уже находит то место в памяти, которое нужно пропатчить, чтобы убежать из песочницы.
NSO продавали эту изящную вещицу негодяям и убийцам, но то как она сделана!..
Гугл распотрошил экслоит израильской NSO https://bit.ly/3mabxOl и это замечательная конструкция. Люди посылают друг другу смешные анимированные гифки (хотел бы я рассказать какие гифки есть в нашем секретном партийном чате, но меня тут же забанят). iMessage хочет, чтобы они крутились вечно. Для этого в заголовке GIF нужно поправить флажок, и чтобы не портить файл iMessage делает его копию. Казалось бы, что могло пойти не так?
По ошибке вместо копирования вызывается рендеринг картинок. А он уже на расширения файлов не смотрит. И NSO под видом гифки подсовывает PDF. А внутри PDF-ки картинка JBIG2 - это такой доисторический формат графики для ксероксов. Чтобы файлы получались маленькими, то он режет картинку на кусочки, и если куски, например буква "а" достаточно похожи между собой, то он использует один глиф для всего, как типографскую литеру.
Из-за этого случались многие беды https://bit.ly/3scwDiQ Кодек мог к примеру подумать что цифра 6 достаточно похожа на цифру 8, и заменить ее везде на картинках, чтобы сэконосить место. Потому в формат добавили маски - разницу между "похожим" глифом и тем, что нужно воспроизвести. И эти исправления накладываются на глиф с помощью операций AND, OR, XOR и XNOR. То есть эта штука тьюринг-полная. Любое мыслимое вычисление можно провести с помощью этих операций.
Дальше NSO использовали целочисленное переполнение, чтобы выйти за границы буфера и эта часть напоминает бутылку и кораблик. В результате они получили два основных примитива чтение и запись в произвольные места памяти. Если бы они хотели взломать одну конкретную версию софта, то этого бы хватило, но они захотели все и сразу. Для этого нужно знать, что и куда записывать.
И из доисторического графического формата они собрали полноценный виртуальный микрокомпьютер из 70 000 вентилей (те самые маски).
Нужно еще раз все перечислить, чтобы оценить проделанную NSO работу. Вам приходит гифка, которая на самом деле пдфка, и ее по ошибке, не копируют, а пытаются прочитать, в ней доисторическая картинка в формате ксероксов, которая в результате целочисленного переполнения может писать в память, и внутри этой "картинки" семьдесят тысяч блоков логических операций, которые эмулируют небольшой компьютер, который уже находит то место в памяти, которое нужно пропатчить, чтобы убежать из песочницы.
NSO продавали эту изящную вещицу негодяям и убийцам, но то как она сделана!..
Forwarded from .
Killing Flash severely worsened the centralization of internet content distribution.
Forwarded from iggisv9t channel
Утащил отсюда.
http://www.mi.sanu.ac.rs/vismath/schulze/METAEDER.html
Там если погулять по ссылкам, то найдётся безумное количество интересных картинок из которых складывается будто какой-то культ метаэдра.
http://www.mi.sanu.ac.rs/vismath/schulze/METAEDER.html
Там если погулять по ссылкам, то найдётся безумное количество интересных картинок из которых складывается будто какой-то культ метаэдра.
Forwarded from Smart Babylonia with Olga (@SmartBabyloniaBot)
Раз, два, три... шестьдесят - так считали поросят (III)
В начале 2 тыс. до н.э. появляется позиционная система записи, разработанная вавилонскими учеными. Она была более более компактная и легко масштабируемая, снимала вышеуказанную омографию, хотя и добавляла свою новую. Значение знака зависит теперь от его позиции при записи числительного.
В отличие от нашей позиционной десятичной системы, которая использует девять разных знаков, чтобы отобразить первые девять целых чисел, шестидесятеричная позиционная система вавилонян содержит только два знака – вертикальный клин для единицы и головка клина для десяти. Отображение чисел до 60 происходит по десятичной базе и по старому аддитивному принципу, а для чисел больше 60 используется уже позиционный принцип. Длинное числительное разбивалось на ячейки. Внутрь каждой ячейки можно было вписать число от 1 до 59 по аддитивной системе. При этом значение каждой следующей ячейки умножалось на 60 в возрастающей степени (см. фото). Далее значения ячеек суммировались. Это была крайне сложная система, для исчисления в которой ассириологи в сотрудничестве с математиками разработали несколько он-лайн программ, самая свежая и подробная доступна здесь.
Одна из очевидных проблем: что делать, если в числительном отсутствует одна из ячеек (равна нулю). Для таких случаев самые старательные писцы 2-1 тыс. до н.э. оставляли посередине числительного пробел - иконическое выражение нуля. По сути это первое известное в истории человечества обозначение математического нуля. А позднее, начиная с селевкидской эпохи (IV в. до н.э.), ноль уже обретает более материальное выражение в виде двойного клина.
В начале 2 тыс. до н.э. появляется позиционная система записи, разработанная вавилонскими учеными. Она была более более компактная и легко масштабируемая, снимала вышеуказанную омографию, хотя и добавляла свою новую. Значение знака зависит теперь от его позиции при записи числительного.
В отличие от нашей позиционной десятичной системы, которая использует девять разных знаков, чтобы отобразить первые девять целых чисел, шестидесятеричная позиционная система вавилонян содержит только два знака – вертикальный клин для единицы и головка клина для десяти. Отображение чисел до 60 происходит по десятичной базе и по старому аддитивному принципу, а для чисел больше 60 используется уже позиционный принцип. Длинное числительное разбивалось на ячейки. Внутрь каждой ячейки можно было вписать число от 1 до 59 по аддитивной системе. При этом значение каждой следующей ячейки умножалось на 60 в возрастающей степени (см. фото). Далее значения ячеек суммировались. Это была крайне сложная система, для исчисления в которой ассириологи в сотрудничестве с математиками разработали несколько он-лайн программ, самая свежая и подробная доступна здесь.
Одна из очевидных проблем: что делать, если в числительном отсутствует одна из ячеек (равна нулю). Для таких случаев самые старательные писцы 2-1 тыс. до н.э. оставляли посередине числительного пробел - иконическое выражение нуля. По сути это первое известное в истории человечества обозначение математического нуля. А позднее, начиная с селевкидской эпохи (IV в. до н.э.), ноль уже обретает более материальное выражение в виде двойного клина.
Forwarded from DL in NLP (Vlad Lialin)
Это 🥇. Если бы все видео на онлайн конференциях были такими, я бы даже смотрел их.
youtu.be/4KO2TO_cm2I
youtu.be/4KO2TO_cm2I
YouTube
[Research, NeurIPS 2021] Is Topic Model Evaluation Broken? The Incoherence of Coherence
Topic models help historians, journalists, and analysts make sense of large text collections. But how do you know if you have a good one? The field has settled on using “Automatic Coherence”, but this paper argues that maybe that isn’t the right choice…