Разбираю сейчас различные статьи с анализом размерности внутренних представлений трансформеров и вижу, что целый ряд работ проводит такой анализ в контексте файнтюнинга, показывая, что для успешного файнтюнинга достаточно вносить изменение лишь в небольшом подпространстве параметров (например, вот одна из наиболее свежих на данную тему, содержащая множество ссылок на другие работы: https://aclanthology.org/2023.acl-long.95/ ).
Посмотрела я на это и подумала: не подобными ли аналитическими статьями вдохновились и создатели крайне популярного сейчас подхода LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS ( https://openreview.net/forum?id=nZeVKeeFYf9 )?
И в самом деле, заглянув в статью про LoRA, я обнаружила, что авторов привело к их замечательному изобретению в том числе чтение статей на данную тему, таких, как: 1) Measuring the Intrinsic Dimension of Objective Landscapes, 2018 ( https://openreview.net/pdf?id=ryup8-WCW ); 2) Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning ( https://aclanthology.org/2021.acl-long.568/ ) - см. Рис. 1 (интересно, что первая статья выглядит процентов на 90 как аналитическая-описательная, да и вторая тоже).
Вот так вот статьи с тщательным анализом внутренних представлений и процесса обучения моделей могут привести к большому прорыву и в чисто практических вещах, после того, как их прочитают и намотают на ус умные люди. ✍
#объяснения_статей
Посмотрела я на это и подумала: не подобными ли аналитическими статьями вдохновились и создатели крайне популярного сейчас подхода LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS ( https://openreview.net/forum?id=nZeVKeeFYf9 )?
И в самом деле, заглянув в статью про LoRA, я обнаружила, что авторов привело к их замечательному изобретению в том числе чтение статей на данную тему, таких, как: 1) Measuring the Intrinsic Dimension of Objective Landscapes, 2018 ( https://openreview.net/pdf?id=ryup8-WCW ); 2) Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning ( https://aclanthology.org/2021.acl-long.568/ ) - см. Рис. 1 (интересно, что первая статья выглядит процентов на 90 как аналитическая-описательная, да и вторая тоже).
Вот так вот статьи с тщательным анализом внутренних представлений и процесса обучения моделей могут привести к большому прорыву и в чисто практических вещах, после того, как их прочитают и намотают на ус умные люди. ✍
#объяснения_статей
🔥24❤6👍6🤮2✍1
Тем временем паблик "КРИНЖ", посвященный мемам и рассказам про сомнительные, либо не относящиеся к науке, либо просто забавные статьи/монографии из РИНЦ, опубликовал мини-расследование с использованием некоторых моих старых постов про генетическую музыку (таких, как https://news.1rj.ru/str/tech_priestess/719 и 4 поста ниже). ⬇️
#научная_поллюция
#научная_поллюция
Telegram
Техножрица 👩💻👩🏫👩🔧
Ох с какими шикарными конференцией и семинаром я познакомилась благодаря вот этому посту в одном из моих любимых пабликов: https://news.1rj.ru/str/rlabrats/3340
В посте рассказывается про конференцию Российской Академии Наук по т.н. "алгебраической биологии" (не путать…
В посте рассказывается про конференцию Российской Академии Наук по т.н. "алгебраической биологии" (не путать…
👏8❤1👎1
Минобрнауки и ИМАШ РАН: 158 миллионов на лженаучное госзадание
Что там было в прошлый раз? Гранты РФФИ на биорезонанс на 14 миллионов рублей? Детский лепет. Пристегните ремни, сегодня будет даже что-то покруче.
Сегодня мы поиграем в генетический бисер и узнаем, как Минобрнауки поддерживает талантливых музыкантов, играющих на спирали ДНК. Талантливые музыканты, кстати, по знакомству публикуют свои опусы в журналах, издаваемых Elsevier и MDPI.
Музыка, похоже, успела стать приоритетным направлением в нашей стране, поэтому на коллективы музыкантов и идеи можно брать особенно большие гранты и госзадания. Берите на заметку, господа научные руководители.
https://telegra.ph/MINOBR-i-IMASH-RAN-158-millionov-na-lzhenauchnye-goszadaniya-07-17
Что там было в прошлый раз? Гранты РФФИ на биорезонанс на 14 миллионов рублей? Детский лепет. Пристегните ремни, сегодня будет даже что-то покруче.
Сегодня мы поиграем в генетический бисер и узнаем, как Минобрнауки поддерживает талантливых музыкантов, играющих на спирали ДНК. Талантливые музыканты, кстати, по знакомству публикуют свои опусы в журналах, издаваемых Elsevier и MDPI.
Музыка, похоже, успела стать приоритетным направлением в нашей стране, поэтому на коллективы музыкантов и идеи можно брать особенно большие гранты и госзадания. Берите на заметку, господа научные руководители.
https://telegra.ph/MINOBR-i-IMASH-RAN-158-millionov-na-lzhenauchnye-goszadaniya-07-17
Telegraph
Минобрнауки и ИМАШ РАН: 158 миллионов на лженаучное госзадание
Telegram: КРИНЖ — Качественный Российский Индекс Научных Журналов.
🤯22🔥7👍3😁1💊1
Что-то день у меня сегодняшний не заладился: всю ночь болел желудок, а когда пошла чистить зубы, так вообще вырвало. Стоит ли говорить, что после этого я весь день чувствовала себя как зомби.
Хорошо, что на глаза попалась реклама очередных нелепых ИИнфобизов (рис. 1), которая сумела взбодрить меня и вернуть к жизни! Сама фраза "аналог ChatGPT на русском" уже сходу удивила своей бесмысленностью: ведь оригинальный ChatGPT и так может генерировать на русском, так что же это за "аналог", который делает точно то же самое?
Перейдя по рекламе на сайт https://turbotext.pro/ai , я начала смотреть, что же из себя представляет данное творение. Бесплатно оказались доступны лишь две попытки генерации, но обойти это ограничение оказалось легко, переключая ip-шники в VPN-приложении (по две генерации можно делать с каждого ip).
Быстро выяснились следующие факты:
а) большая часть знаний модели о событиях ограничена осенью 2021-го;
б) при генерации на английском всплывает фраза "as an AI language model".
в) на прямой вопрос о том, что из себя представляет данная модель, она также подтвердила, что основана на ChatGPT (рис. 2).
Но больше всего меня удивило в данной генерации не это (это как раз было ожидаемо), а то, какой компании было приписано создание ChatGPT 🤔
Начав расспрашивать модель подробнее (рис. 3-6), я проорала в голос. 😂
Между прочим, напомню, что файн-тюнить ChatGPT пользователям OpenAI в данный момент не дает ( https://platform.openai.com/docs/guides/fine-tuning ), а значит фраза "базирована на ChatGPT" на деле означает, что это даже не дообученная версия, а буквально ChatGPT, только с дополнительными промптами и/или постпроцессингом, которые срывают ему кукуху и заставляют верить в то, что его создал TurboText, а не OpenAI. 🤣
Просит же turbotext за использование того же ChatGPT под другим названием 150р в день с ограничением в 200 генераций (рис. 7), что, конечно, во много раз дороже, чем использование ChatGPT через API. 🤡 Ох уж эти ИИнфобизы, каждый раз находят, чем рассмешить.
#ИИнфобизнес
Хорошо, что на глаза попалась реклама очередных нелепых ИИнфобизов (рис. 1), которая сумела взбодрить меня и вернуть к жизни! Сама фраза "аналог ChatGPT на русском" уже сходу удивила своей бесмысленностью: ведь оригинальный ChatGPT и так может генерировать на русском, так что же это за "аналог", который делает точно то же самое?
Перейдя по рекламе на сайт https://turbotext.pro/ai , я начала смотреть, что же из себя представляет данное творение. Бесплатно оказались доступны лишь две попытки генерации, но обойти это ограничение оказалось легко, переключая ip-шники в VPN-приложении (по две генерации можно делать с каждого ip).
Быстро выяснились следующие факты:
а) большая часть знаний модели о событиях ограничена осенью 2021-го;
б) при генерации на английском всплывает фраза "as an AI language model".
в) на прямой вопрос о том, что из себя представляет данная модель, она также подтвердила, что основана на ChatGPT (рис. 2).
Но больше всего меня удивило в данной генерации не это (это как раз было ожидаемо), а то, какой компании было приписано создание ChatGPT 🤔
Начав расспрашивать модель подробнее (рис. 3-6), я проорала в голос. 😂
Между прочим, напомню, что файн-тюнить ChatGPT пользователям OpenAI в данный момент не дает ( https://platform.openai.com/docs/guides/fine-tuning ), а значит фраза "базирована на ChatGPT" на деле означает, что это даже не дообученная версия, а буквально ChatGPT, только с дополнительными промптами и/или постпроцессингом, которые срывают ему кукуху и заставляют верить в то, что его создал TurboText, а не OpenAI. 🤣
Просит же turbotext за использование того же ChatGPT под другим названием 150р в день с ограничением в 200 генераций (рис. 7), что, конечно, во много раз дороже, чем использование ChatGPT через API. 🤡 Ох уж эти ИИнфобизы, каждый раз находят, чем рассмешить.
#ИИнфобизнес
🤡31😁9❤7👍2💩2🙈2👎1🥱1