Forwarded from Neural Pushkin
Как поступить в европейский вуз? В чем состоит его достоинство и как с ним справиться, если не можешь выучиться на отлично (что довольно часто встречается)? Что делать молодому человеку без высшего образования; какое решение принять для себя самому?» Ответ: учиться по-прежнему у вас будет нечего — но зато потом вам будут позволено заниматься литературой или историей…
Forwarded from Data is data
Москва становится похожа на Париж немножко. Хотя, надо сказать, во Франции агрегаторы под значительным прессингом.
Самая правдивая история
https://youtu.be/13EmRvF7yYU
https://youtu.be/13EmRvF7yYU
YouTube
Space Rex//Спейс Рекс (Lazy Square & Tinkoff Collaboration III)
Третий коллаб с Тинькофф и презентация карты с моим дизайном. Космически выгодная карта с повышенным кэшбэком на все покупки — https://l.tinkoff.ru/spacels
Все персонажи в ролике вымышлены, но и они стремятся к своим целям несмотря ни на что, и у них в конце…
Все персонажи в ролике вымышлены, но и они стремятся к своим целям несмотря ни на что, и у них в конце…
Forwarded from Цифровая иммиграция
🎨 История пикселя
Made in USSR
#субботний_лонгрид
Алви Рэй Смит исследовал историю пикселя. Она начинается с Фурье во времена Французской революции. Известная для математиков фамилия. Но вот ключевой персонаж вас сильно удивит.
Возможно, самым неожиданным человеком в этой истории является Владимир Котельников. Именно он превратил идею Фурье в пиксель. Родившийся в Казани из многовекового рода математиков, Котельников пережил всю советскую эпоху.
Смит пишет, что НКВД дважды пытался закрыть Котельникова, но ему помогла Валерия Голубцова, дружившая с Лениным.
Удивительная история. Читайте на здоровье!
Ссылка: https://aeon.co/essays/a-biography-of-the-pixel-the-elementary-particle-of-pictures
Made in USSR
#субботний_лонгрид
Алви Рэй Смит исследовал историю пикселя. Она начинается с Фурье во времена Французской революции. Известная для математиков фамилия. Но вот ключевой персонаж вас сильно удивит.
Возможно, самым неожиданным человеком в этой истории является Владимир Котельников. Именно он превратил идею Фурье в пиксель. Родившийся в Казани из многовекового рода математиков, Котельников пережил всю советскую эпоху.
Смит пишет, что НКВД дважды пытался закрыть Котельникова, но ему помогла Валерия Голубцова, дружившая с Лениным.
Удивительная история. Читайте на здоровье!
Ссылка: https://aeon.co/essays/a-biography-of-the-pixel-the-elementary-particle-of-pictures
#чтивонаночь
Bart
Крайне любопытная архитектура которой долгое время я уделял преступно мало внимания.
Отличия от Берт:
Во-первых это честная авторегрессионная модель как гпт
Во вторых она умеет в seq2seq, те в целом умеет в генерацию текста пусть и с ограничениями, при определенных странных системах трейна она может использоваться как бредогенерилка.
Это честный трансформер как roberta, а ещё довольно близок по скорам.
Схожести
Она так же как Берт двунаправленная (кэп с вами)
Тык ссылка на пейпер
Тык имплементация
Bart
Крайне любопытная архитектура которой долгое время я уделял преступно мало внимания.
Отличия от Берт:
Во-первых это честная авторегрессионная модель как гпт
Во вторых она умеет в seq2seq, те в целом умеет в генерацию текста пусть и с ограничениями, при определенных странных системах трейна она может использоваться как бредогенерилка.
Это честный трансформер как roberta, а ещё довольно близок по скорам.
Схожести
Она так же как Берт двунаправленная (кэп с вами)
Тык ссылка на пейпер
Тык имплементация
GitHub
fairseq/examples/bart at main · facebookresearch/fairseq
Facebook AI Research Sequence-to-Sequence Toolkit written in Python. - facebookresearch/fairseq
Выпускник MIT пришел работать в Гугл. Долго, хорошо кодил. И была всю жизнь у него одна привычка: каждое утро он начинал работу с того, что открывал текстовый файл, заглядывал в него, а потом закрывал на пароль. Когда он ушёл на пенсию, коллеги бросились к компу и вскрыли этот файл, в котором лежал старый-престарый .txt, а там написано: «USB втыкать белой стороной вниз».
Forwarded from эйай ньюз
Finetuned Language Models Are Zero-Shot Learners (FLAN)
Новая статейка от Google Research о языковой модели на 137-миллиардов параметров, которая превосходит GPT-3 (few-shot) на различных задачах в zero shot сценарии.
🗯Идея. Предлагается новый метод файнтьюнинга, называемый "instruction tuning". Тут авторы используют идею, что NLP задачи могут быть описаны человеческими словами. Например, “Is the sentiment of this movie review positive or negative?” или “Translate ‘how are you’ into Chinese.” Итак, берется предобученный трансформер на 137-миллиардов параметров (состоит только из декодера), и файнтьюнится на пачке задач с текстовыми инструкциями. После этого его тестируют на новых задачах, также описанных текстом.
✔️Результат. FLAN модель (137 миллиардов параметров) после "instruction tuning" уделывает GPT-3 (175 миллиардов параметров) на 19 из 25 новых языковых задачах.
Статья на arxiv. Кода пока нет, но должен появиться тут.
Новая статейка от Google Research о языковой модели на 137-миллиардов параметров, которая превосходит GPT-3 (few-shot) на различных задачах в zero shot сценарии.
🗯Идея. Предлагается новый метод файнтьюнинга, называемый "instruction tuning". Тут авторы используют идею, что NLP задачи могут быть описаны человеческими словами. Например, “Is the sentiment of this movie review positive or negative?” или “Translate ‘how are you’ into Chinese.” Итак, берется предобученный трансформер на 137-миллиардов параметров (состоит только из декодера), и файнтьюнится на пачке задач с текстовыми инструкциями. После этого его тестируют на новых задачах, также описанных текстом.
✔️Результат. FLAN модель (137 миллиардов параметров) после "instruction tuning" уделывает GPT-3 (175 миллиардов параметров) на 19 из 25 новых языковых задачах.
Статья на arxiv. Кода пока нет, но должен появиться тут.