Agi not killing everyone
Не мой формат, но меня это беспокоит, а ещё это смешной Твиттер аккаунт.
Контекст: я не очень верю в то что всесильный agi сможет убить все работы, с учётом политики OA порно, гэмблинг и все NSFW останется на откуп опенсурса и реддита.
Но я верю в то что средних программистов не очень сложно сложно заменить, как и значительную часть разного рода белых воротничков. До нормальной замены белых воротничков от 1 до 4 порядков масштабирования. Упреться ли это в железки/данные - сложный вопрос.
Предикты DeepMind:
1)Если вы не top tier учёный и делаете что то дефолтное - скорее всего вы в группе риска.
2)Если то что вы делаете +- есть в опенсурсе - вам будет очень больно.
3)Блогеры в этом смысле меньше пострадают, читают обычно мнения человека, новости и прочая муть - вторичный мусор.
4)Скорее всего sextech станет ещё более странным. Ai waifu уже сейчас пытаются слать картинки себя (и это плохо выглядит), но за пару лет и 1000часов индуских ручек это поправиться.
5)Заметная часть Ai inference переедет на девайсы, скорее всего появляться developer safety форматы распространения( по аналогии с текущим bundle форматом)
6) Всякие hardware, engineering jobs вряд ли в зоне риска, современные LLM не скоро выучат физику и сопромат, а с софтом вообще жопа.
7) А и скорее всего вояки прикрутят LLM к дронам, скорее всего в течение пары лет.
8) ИТ пузырь вероятно сдуется ещё сильнее
9) как пользоваться LLM API будут знать все, от мобильщика до QA.
10) в ближайшем поколении агентность будет ебаная
11) честной мультимодалки не будет, будет Function calling на вызов t2i, t2v и прочее.
Если вы считаете что пихать в трансформер картиночные токены - здравая идея в 2023- вперёд, я посмотрю.
12) надеюсь конченные llamaindex рефактанут/сделают что то нормальное, контролируемая генерация и прочее
13) gpt4.5 будет обгонять опенсурс на два-три квартала в момент выхода, текущий опенсурс отстает от турбо на один-два квартала
Очень забавные твиты
Не мой формат, но меня это беспокоит, а ещё это смешной Твиттер аккаунт.
Контекст: я не очень верю в то что всесильный agi сможет убить все работы, с учётом политики OA порно, гэмблинг и все NSFW останется на откуп опенсурса и реддита.
Но я верю в то что средних программистов не очень сложно сложно заменить, как и значительную часть разного рода белых воротничков. До нормальной замены белых воротничков от 1 до 4 порядков масштабирования. Упреться ли это в железки/данные - сложный вопрос.
Предикты DeepMind:
1)Если вы не top tier учёный и делаете что то дефолтное - скорее всего вы в группе риска.
2)Если то что вы делаете +- есть в опенсурсе - вам будет очень больно.
3)Блогеры в этом смысле меньше пострадают, читают обычно мнения человека, новости и прочая муть - вторичный мусор.
4)Скорее всего sextech станет ещё более странным. Ai waifu уже сейчас пытаются слать картинки себя (и это плохо выглядит), но за пару лет и 1000часов индуских ручек это поправиться.
5)Заметная часть Ai inference переедет на девайсы, скорее всего появляться developer safety форматы распространения( по аналогии с текущим bundle форматом)
6) Всякие hardware, engineering jobs вряд ли в зоне риска, современные LLM не скоро выучат физику и сопромат, а с софтом вообще жопа.
7) А и скорее всего вояки прикрутят LLM к дронам, скорее всего в течение пары лет.
8) ИТ пузырь вероятно сдуется ещё сильнее
9) как пользоваться LLM API будут знать все, от мобильщика до QA.
10) в ближайшем поколении агентность будет ебаная
11) честной мультимодалки не будет, будет Function calling на вызов t2i, t2v и прочее.
Если вы считаете что пихать в трансформер картиночные токены - здравая идея в 2023- вперёд, я посмотрю.
12) надеюсь конченные llamaindex рефактанут/сделают что то нормальное, контролируемая генерация и прочее
13) gpt4.5 будет обгонять опенсурс на два-три квартала в момент выхода, текущий опенсурс отстает от турбо на один-два квартала
Очень забавные твиты
🤡57👍25
Pelevin_Zenitnye-kodeksy-Al-Efesbi.MMqacQ.665158.fb2
515.3 KB
Зенитные кодексы Аль-Эфесби
промпты про бабушку не вчера придумали.
> ... внедряют в своих дронах автономный искусственный интеллект. Аппараты самостоятельно принимают решение о нанесении ударов, в результате чего их эффективность многократно возрастает, а количество случайных жертв сокращается. Для того чтобы окончательно успокоить общественность, в нейронную сеть каждого аппарата внедряется вспомогательный модуль, ответственный за PR. Благодаря ему процесс принятия решения о нанесении удара моделируется в формате ток-шоу, для чего используется архив американского телевидения[2].
Затем в Афганистане появляется Савелий Скотенков, получивший там кличку Аль-Эфесби. Он разрабатывает необычайную защиту от дронов: пишет на земле лозунги (так называемые «зенитные кодексы»), способные «вызвать у среднестатистического телезрителя возмущение, отвращение и гневное желание дать достойную отповедь». Когда «зенитные кодексы» попадают в поле зрения дрона, модуль PR начинает поиск подходящих ответов в архиве, а если это не удаётся, поиск повторяется снова с немного другими критериями. Нагрузка на систему серьёзно возрастает, что приводит к потере управления и падению дрона[2].
промпты про бабушку не вчера придумали.
> ... внедряют в своих дронах автономный искусственный интеллект. Аппараты самостоятельно принимают решение о нанесении ударов, в результате чего их эффективность многократно возрастает, а количество случайных жертв сокращается. Для того чтобы окончательно успокоить общественность, в нейронную сеть каждого аппарата внедряется вспомогательный модуль, ответственный за PR. Благодаря ему процесс принятия решения о нанесении удара моделируется в формате ток-шоу, для чего используется архив американского телевидения[2].
Затем в Афганистане появляется Савелий Скотенков, получивший там кличку Аль-Эфесби. Он разрабатывает необычайную защиту от дронов: пишет на земле лозунги (так называемые «зенитные кодексы»), способные «вызвать у среднестатистического телезрителя возмущение, отвращение и гневное желание дать достойную отповедь». Когда «зенитные кодексы» попадают в поле зрения дрона, модуль PR начинает поиск подходящих ответов в архиве, а если это не удаётся, поиск повторяется снова с немного другими критериями. Нагрузка на систему серьёзно возрастает, что приводит к потере управления и падению дрона[2].
👍49😁16❤6
Love. Death. Transformers.
Pelevin_Zenitnye-kodeksy-Al-Efesbi.MMqacQ.665158.fb2
лол, боты отписались
Love. Death. Transformers.
DeepMind codestyle https://github.com/google-deepmind/alphageometry
Is symbolic machines agi?
🔥13
Ща досмотрю интерестелар, выпью эспрессо водку и напишу
Поставил считаться, посмотрим что нарешает из всош
Поставил считаться, посмотрим что нарешает из всош
🔥37
увидел код в репе, показалось что знакомый, пошел искать.
Работал с челом 4 года назад
Работал с челом 4 года назад
👍66
Forwarded from КПД
Marlin
[Статьи нет, обычно наоборот][Код]
Marlin, Mixed Auto-Regressive Linear kernel - новое быстрое ядро FP16xINT4 для инференса LLM с большими батчами.
Как известно, вычисления на современных GPU для современных GPU обычно memory bound, и можно получить заметное ускорение даже с fp умножением за счет одной лишь подгрузки весов в кэши. И идеальное ускорение, которое дает INT4 - 4x. Однако с увеличением размера батча, мы начинаем выходить на compute-bound и выигрыш от имеющихся ядер (не использующих tensor cores) исчезает, то есть они становятся медленее fp16 native матричных операций.
В этом репозитории выложена реализация нового ядра, оптимизирующего работу с кэшами и позволяющего иметь значительное ускорение по сравнению с fp16 даже на больших батчах. Основные фичи следующие:
1️⃣ префетчинг
2️⃣ использование активаций в вычислениях несколько раз до загрузки / сгрузки
3️⃣ асинхронная загрузка весов модели
4️⃣ тонкая настройка порядка операций квантования / деквантования и матричных умножений с tensor cores для максимальной утилизации железа
5️⃣ оптимизация конфигурации варпов (групп потоков на GPU)
В итоге удается достичь почти идеального speedup - 4x по сравнению с fp16 на батчах до 32, и иметь ускорение даже на больших (64-128), в то время как безйлайны из bitsandbytes, exllamav2, AWQ становятся в ~2x медленее fp16 с батчей >=16.
Ускорение имеет место на нескольких GPU поколения Ampere - A10, A6000, RTX 3090 и сохраняется даже на пониженных частотах.
На поколении Hopper пока нет реализации.
[Статьи нет, обычно наоборот][Код]
Marlin, Mixed Auto-Regressive Linear kernel - новое быстрое ядро FP16xINT4 для инференса LLM с большими батчами.
Как известно, вычисления на современных GPU для современных GPU обычно memory bound, и можно получить заметное ускорение даже с fp умножением за счет одной лишь подгрузки весов в кэши. И идеальное ускорение, которое дает INT4 - 4x. Однако с увеличением размера батча, мы начинаем выходить на compute-bound и выигрыш от имеющихся ядер (не использующих tensor cores) исчезает, то есть они становятся медленее fp16 native матричных операций.
В этом репозитории выложена реализация нового ядра, оптимизирующего работу с кэшами и позволяющего иметь значительное ускорение по сравнению с fp16 даже на больших батчах. Основные фичи следующие:
1️⃣ префетчинг
2️⃣ использование активаций в вычислениях несколько раз до загрузки / сгрузки
3️⃣ асинхронная загрузка весов модели
4️⃣ тонкая настройка порядка операций квантования / деквантования и матричных умножений с tensor cores для максимальной утилизации железа
5️⃣ оптимизация конфигурации варпов (групп потоков на GPU)
В итоге удается достичь почти идеального speedup - 4x по сравнению с fp16 на батчах до 32, и иметь ускорение даже на больших (64-128), в то время как безйлайны из bitsandbytes, exllamav2, AWQ становятся в ~2x медленее fp16 с батчей >=16.
Ускорение имеет место на нескольких GPU поколения Ampere - A10, A6000, RTX 3090 и сохраняется даже на пониженных частотах.
На поколении Hopper пока нет реализации.
🔥31❤2👍2
Forwarded from Надеждин@
14 миллионов рублей на 71 000 подписей
Уже стабильно собираем по 7000 подписей в день. На сегодня у нас есть 28 752 подписи из необходимых 100 000.
Радуют и темпы сбора пожертвований. Вы невероятные! Нам осталось собрать всего 13.8 млн рублей.
Чем быстрее мы закроем сбор, тем легче нам будет справляться с наплывом освободивших от работы и учебы людей, которые придут ставить подпись в выходные дни. Обязательно приходите в наши штабы и точки сбора!
Вместе мы справимся со всем!
Отправить пожертвование можно на сайте:
https://nadezhdin2024.ru/#donate
Уже стабильно собираем по 7000 подписей в день. На сегодня у нас есть 28 752 подписи из необходимых 100 000.
Радуют и темпы сбора пожертвований. Вы невероятные! Нам осталось собрать всего 13.8 млн рублей.
Чем быстрее мы закроем сбор, тем легче нам будет справляться с наплывом освободивших от работы и учебы людей, которые придут ставить подпись в выходные дни. Обязательно приходите в наши штабы и точки сбора!
Вместе мы справимся со всем!
Отправить пожертвование можно на сайте:
https://nadezhdin2024.ru/#donate
❤104🤮48🤡29👍24👎16
если можно попытаться что то сделать - я сделаю.
❤125🤡49
Альфа геометри
Как говорил мой препод по олимп-матеше - любите геому, вы можете посчитать ее. Всегда.
https://teletype.in/@alexwortega/RN2O2QtH1nQ
Как говорил мой препод по олимп-матеше - любите геому, вы можете посчитать ее. Всегда.
https://teletype.in/@alexwortega/RN2O2QtH1nQ
❤79
Forwarded from Антон Чехов. Лайфстайл
Я банкрот... Денег, хоть удавите, нет... Просто хоть в альфонсы нанимайся.
1886 год, 19 января
26 лет
1886 год, 19 января
26 лет
🔥46😢15
во всей истории с agi не понятно почему челы из stability не комитяться на AGI от слова совсем
#чтивонаночь
Model soups: averaging weights of multiple fine-tuned models
improves accuracy without increasing inference time
Забавная работа - давайте помержим линейно модели так чтобы они показывали лучший accuracy. иииииии это работает?
ну по крайней мере на несколько процентов улучшает точность.
папир
Model soups: averaging weights of multiple fine-tuned models
improves accuracy without increasing inference time
Забавная работа - давайте помержим линейно модели так чтобы они показывали лучший accuracy. иииииии это работает?
ну по крайней мере на несколько процентов улучшает точность.
папир
Мы релизнули вихрь💨 Нормально.
Проблемы: мы не очень уверены что оно точно аутперформит mistral и saiga mistral. Формально - да, все хорошо.
Цитируя классику
Если вам интересно что мы сделали: хабр
А еще оформили все в красивую HF репу: https://huggingface.co/Vikhrmodels
Проблемы: мы не очень уверены что оно точно аутперформит mistral и saiga mistral. Формально - да, все хорошо.
Цитируя классику
Если вам интересно что мы сделали: хабр
А еще оформили все в красивую HF репу: https://huggingface.co/Vikhrmodels
🔥68🤮5