Hack Time друзья.🤘
В этом лонгриде я попробую разобрать то что сейчас произошло с DeepSeek.
Почему столько ажиотажа вокруг этого.
два главных факта:
1. на рынке появилась размышляющая модель, которая в бенчмарках недалеко от OpenAI o1, но обучение которой стоило на 90% дешевле, и работа которой требует в 20 раз меньше ресурсов (то есть в 20 раз дешевле).
2. инновационное использование авто-обучения без участия людей (non-supervised RL), и архитектура Mixture of Experts из DS-V3, доказали свою эффективность
думаю, новости что NASDAQ вчера упал на 3%, а NVIDIA на 15% все уже видели.
отсюда, на первый взгляд, напрашиваются выводы:
1. хитрые OpenAI и NVIDIA всех обманывали, и для AI/AGI будущего не нужны датацентры за $500 ярдов
2. хитрые американцы, запрещающие экспорт чипов, которые нужны для обучения AI, не смогли помешать Китаю догнать и, возможно, перегнать их
3. золотой век производителей чипов (Nvidia) подходит к концу - удешевление обучения и инференса AI приведёт к тому, что спрос на чипы хоть и будет расти, но далеко не так сильно, как ожидалось
4. и, я даже видел мнение, что обший рынок AI уменьшится, т.к. все будет дешевле (уф).
в целом, все эти выводы одинаково поверхностны, хуевы, и во многом не верны (кроме разве что второго).
об этом уже высказалось множество людей горадо умнее меня.
если кратко:
1. да, кажется, запрет экспорта чипов не работает - того количества, которое уже есть, достаточно для обучения весьма сильных моделей, особенно с новыми архитектурами. это все равно тяжелое для китайского рынка ограничение, но я думаю, что они не испытывают особых проблем с обходом подобных санкций.
2. все разговоры о том, что "столько ресурсов AI теперь не нужно" - нужно. удешевление моделей и снижение их требований к ресурсам - это то, чего все ожидали давно, и ожидают в будущем. текущий спрос на ИИ не удовлетворен и на 1%, поэтому говорить о том, что улучшение в 20 раз - это крах Nvidia и датацентров - очень странно. даже если произойдёт удешевление ещё в 100 раз - это все равно будет далеко от полного удовлетворения спроса. и это не говоря о парадоксе Джевонса. тем не менее, ожидание снижения спроса не могло не повлиять на явно сильно разогретые акции AI-корпораций, что мы и увидели. думаю, в mid-term всё выправится.
какие главные изменения с точки-зрения бизнес-моделей мы можем здесь прикинуть?
ну, всё крутится вокруг того, что application-layer только что получил огромный буст к марже, который можно потратить на маркетинг в том или ином виде. в том числе - давать свои инструменты бесплатно, в счет маркетингового бюджета, что, я думаю, мы вскоре и увидим.
некоторые решения, которые раньше почти не имели бизнес-ценности из-за низкого качества работы модели, теперь получили интересный буст: агентский граф можно увеличить в 2-3 раза, и при этом цена не только не изменится, но и, возможно, станет ниже.
на ум приходят в том числе решения для автоматизации работы в браузере/управления компьютером. они неплохи, но пока что не дотягивают по качеству до "дать задачу и забыть".
за общей шумихой, вчера многие могли не заметить выхода Qwen2.5-VL, а в их репорте очень много акцентов как раз на агентских системах для управления компьютером.
кажется, комбинация модели, хорошо распознающей происходящее на экране (Qwen2.5-VL) с моделью, хорошо рассуждающей и принимающей решения (R1), могут стать разрывной комбинацией для "автоматизация сотрудника компании под ключ". особенно если в самом конце цепочки рассуждений, перед финальным действием, в игру включится какая-нибудь o3, и верифицирует за один проход принятое младшими братьями решение.
помимо этого, мне кажется, мы сильно будем двигаться от CoT (chain-of-thought, цепочка рассуждений) к ToT (tree-of-thought, древо рассуждений). удешевление в 20 раз открывают возможности для того, чтобы запустить параллельную обработку одного и того же запроса сразу в 4-5 потоков, после чего микшировать их и выбирать лучший на поздних этапах.
В этом лонгриде я попробую разобрать то что сейчас произошло с DeepSeek.
Почему столько ажиотажа вокруг этого.
два главных факта:
1. на рынке появилась размышляющая модель, которая в бенчмарках недалеко от OpenAI o1, но обучение которой стоило на 90% дешевле, и работа которой требует в 20 раз меньше ресурсов (то есть в 20 раз дешевле).
2. инновационное использование авто-обучения без участия людей (non-supervised RL), и архитектура Mixture of Experts из DS-V3, доказали свою эффективность
думаю, новости что NASDAQ вчера упал на 3%, а NVIDIA на 15% все уже видели.
отсюда, на первый взгляд, напрашиваются выводы:
1. хитрые OpenAI и NVIDIA всех обманывали, и для AI/AGI будущего не нужны датацентры за $500 ярдов
2. хитрые американцы, запрещающие экспорт чипов, которые нужны для обучения AI, не смогли помешать Китаю догнать и, возможно, перегнать их
3. золотой век производителей чипов (Nvidia) подходит к концу - удешевление обучения и инференса AI приведёт к тому, что спрос на чипы хоть и будет расти, но далеко не так сильно, как ожидалось
4. и, я даже видел мнение, что обший рынок AI уменьшится, т.к. все будет дешевле (уф).
в целом, все эти выводы одинаково поверхностны, хуевы, и во многом не верны (кроме разве что второго).
об этом уже высказалось множество людей горадо умнее меня.
если кратко:
1. да, кажется, запрет экспорта чипов не работает - того количества, которое уже есть, достаточно для обучения весьма сильных моделей, особенно с новыми архитектурами. это все равно тяжелое для китайского рынка ограничение, но я думаю, что они не испытывают особых проблем с обходом подобных санкций.
2. все разговоры о том, что "столько ресурсов AI теперь не нужно" - нужно. удешевление моделей и снижение их требований к ресурсам - это то, чего все ожидали давно, и ожидают в будущем. текущий спрос на ИИ не удовлетворен и на 1%, поэтому говорить о том, что улучшение в 20 раз - это крах Nvidia и датацентров - очень странно. даже если произойдёт удешевление ещё в 100 раз - это все равно будет далеко от полного удовлетворения спроса. и это не говоря о парадоксе Джевонса. тем не менее, ожидание снижения спроса не могло не повлиять на явно сильно разогретые акции AI-корпораций, что мы и увидели. думаю, в mid-term всё выправится.
какие главные изменения с точки-зрения бизнес-моделей мы можем здесь прикинуть?
ну, всё крутится вокруг того, что application-layer только что получил огромный буст к марже, который можно потратить на маркетинг в том или ином виде. в том числе - давать свои инструменты бесплатно, в счет маркетингового бюджета, что, я думаю, мы вскоре и увидим.
некоторые решения, которые раньше почти не имели бизнес-ценности из-за низкого качества работы модели, теперь получили интересный буст: агентский граф можно увеличить в 2-3 раза, и при этом цена не только не изменится, но и, возможно, станет ниже.
на ум приходят в том числе решения для автоматизации работы в браузере/управления компьютером. они неплохи, но пока что не дотягивают по качеству до "дать задачу и забыть".
за общей шумихой, вчера многие могли не заметить выхода Qwen2.5-VL, а в их репорте очень много акцентов как раз на агентских системах для управления компьютером.
кажется, комбинация модели, хорошо распознающей происходящее на экране (Qwen2.5-VL) с моделью, хорошо рассуждающей и принимающей решения (R1), могут стать разрывной комбинацией для "автоматизация сотрудника компании под ключ". особенно если в самом конце цепочки рассуждений, перед финальным действием, в игру включится какая-нибудь o3, и верифицирует за один проход принятое младшими братьями решение.
помимо этого, мне кажется, мы сильно будем двигаться от CoT (chain-of-thought, цепочка рассуждений) к ToT (tree-of-thought, древо рассуждений). удешевление в 20 раз открывают возможности для того, чтобы запустить параллельную обработку одного и того же запроса сразу в 4-5 потоков, после чего микшировать их и выбирать лучший на поздних этапах.
ImgBB
photo-2025-01-28-16-30-20 hosted at ImgBB
Image photo-2025-01-28-16-30-20 hosted on ImgBB
👍28🔥8❤6🤔2
боже, хрень про взлом DeepSeek разлетелась с какой-то неистовой мощью, просто тонны тг-каналов, новостных изданий, Хабр, vc.ru - все постят эту срань с невероятно громкими желтыми заголовками.
ещё и со словами, что DeepSeek никому не ответили, втихую всё закрыли.
давайте ещё раз:
1. это был ClickHouse - аналитическая БД, она в принципе, на уровне своей архитектуры не подходят для хранения данных чатов и всего такого. там хранились именно логи и метрики, причем явно за небольшой период времени.
2. на скринах есть JSON того, что исследователи нашли в кликхаусе - и там как раз метрики по работе модели - кол-во потраченных токенов, время ответа и прочее. и да, как раз здесь и фигурировали сырые промпты некоторых юзеров
3. нет пруфов, что кто-то реально слил эти данные. да, дыра заметная, но с момента начала DeepSeek-хайпа прошло менее недели, и чат с DeepSeek - это не банковская инфра, не вижу причин хакерам на него накидываться. а вот секьюрити рисерчерам это вполне интересно, т.к. бренд громкий, что мы и увидели
4. речь идёт только о тех чатах, которые люди вели на сайте DeepSeek. это не имеет напрямую никакого отношения к модели DeepSeek-R1 - она, сама по себе, как была, так и остается абсолютно безопасной
5. DeepSeek не "заигнорили рисерчера и все тихо закрыли", они, как и должны были - в первую очередь исправили уязвимость, а уже затем ответили рисерчеру и поблагодарили его. пруф на скрине письма от самого рисерчера
фулл ветка от самого рисерчера, который и "взломал" DeepSeek здесь, можете сами все почитать
смотрю, что пишут разные источники, и жутко пиздец - никто ничего не проверяет, все тупо копируют друг друга с соревнованием "чей заголовок будет громче", даже вполне неплохие каналы. хотя для фактчека достаточно 5 твитов прочитать, уф.
ещё и со словами, что DeepSeek никому не ответили, втихую всё закрыли.
давайте ещё раз:
1. это был ClickHouse - аналитическая БД, она в принципе, на уровне своей архитектуры не подходят для хранения данных чатов и всего такого. там хранились именно логи и метрики, причем явно за небольшой период времени.
2. на скринах есть JSON того, что исследователи нашли в кликхаусе - и там как раз метрики по работе модели - кол-во потраченных токенов, время ответа и прочее. и да, как раз здесь и фигурировали сырые промпты некоторых юзеров
3. нет пруфов, что кто-то реально слил эти данные. да, дыра заметная, но с момента начала DeepSeek-хайпа прошло менее недели, и чат с DeepSeek - это не банковская инфра, не вижу причин хакерам на него накидываться. а вот секьюрити рисерчерам это вполне интересно, т.к. бренд громкий, что мы и увидели
4. речь идёт только о тех чатах, которые люди вели на сайте DeepSeek. это не имеет напрямую никакого отношения к модели DeepSeek-R1 - она, сама по себе, как была, так и остается абсолютно безопасной
5. DeepSeek не "заигнорили рисерчера и все тихо закрыли", они, как и должны были - в первую очередь исправили уязвимость, а уже затем ответили рисерчеру и поблагодарили его. пруф на скрине письма от самого рисерчера
фулл ветка от самого рисерчера, который и "взломал" DeepSeek здесь, можете сами все почитать
смотрю, что пишут разные источники, и жутко пиздец - никто ничего не проверяет, все тупо копируют друг друга с соревнованием "чей заголовок будет громче", даже вполне неплохие каналы. хотя для фактчека достаточно 5 твитов прочитать, уф.
👍66👏7❤4🤡2🤔1💩1
Hack time друзья.🤘
Просили хак посиделки как в старые.
Вечер как то не очень задался но я уже заряжен энергией 😂
И так. Ночные хак посиделки с мифом.
Максимальный неформат, для тех кто предан тем кому предан я😇
Час ночи. Жду.
Что в эфире?
✅ Тонна бесплатных GPT с отсутствием цензуры.
✅ Показываю как сделать из WSL и Kali ультативного помощника по хакингу использую LLM 🔥
✅Отвечаю на самые глупые вопросы.
✅Steam игры про хакинг? Хммм. Посмотрим.
Stay tuned.🤙
Вся последующая инфо в комментах.
Просили хак посиделки как в старые.
Вечер как то не очень задался но я уже заряжен энергией 😂
И так. Ночные хак посиделки с мифом.
Максимальный неформат, для тех кто предан тем кому предан я😇
Час ночи. Жду.
Что в эфире?
✅ Тонна бесплатных GPT с отсутствием цензуры.
✅ Показываю как сделать из WSL и Kali ультативного помощника по хакингу использую LLM 🔥
✅Отвечаю на самые глупые вопросы.
✅Steam игры про хакинг? Хммм. Посмотрим.
Stay tuned.🤙
Вся последующая инфо в комментах.
👍24🔥11❤3⚡2
А есть кто помнит что я ставил треки перед началом занятий?)
👍7🔥3
чат для стрима Чат комьюнити:
https://news.1rj.ru/str/bolgarkachat
Приватный канал и мои курсы
@kelevra_Private_bot
https://news.1rj.ru/str/bolgarkachat
Приватный канал и мои курсы
@kelevra_Private_bot
👍2
Media is too big
VIEW IN TELEGRAM
Hack Time🤘
Уже много раз писал про этот сервис, напишу еще раз видимо более понятно.
app.giz.ai - швейцарский нож в мире ИИ.
В сервисе собраны ну наверное 90 процентов всех популярных LLM, от создания текстов, изображений, видео, музыки итд.
Такого набора я еще не видел нигде.
Работает и глючный R1, есть o3 mini high.
Работает и бесплатно но с некоторыми ограничениями.
Но можно купить доступ за 18 баксов аж на ПОЛГОДА.
3 бакса в месяц стоит сервис🙈
Для вашего удобства еще и дублировал их промо ролик, хоть никто денег и не платил :)
Вообщем все как мы любим, дешево сердито, от китайцев.
P.S Сервис работает давно. Только вот я думаю откуда у них столько денег на сторонние API с такой огромной квотой запросов?
Мэйби просто кто то отмывает бабки. ))
Уже много раз писал про этот сервис, напишу еще раз видимо более понятно.
app.giz.ai - швейцарский нож в мире ИИ.
В сервисе собраны ну наверное 90 процентов всех популярных LLM, от создания текстов, изображений, видео, музыки итд.
Такого набора я еще не видел нигде.
Работает и глючный R1, есть o3 mini high.
Работает и бесплатно но с некоторыми ограничениями.
Но можно купить доступ за 18 баксов аж на ПОЛГОДА.
3 бакса в месяц стоит сервис🙈
Для вашего удобства еще и дублировал их промо ролик, хоть никто денег и не платил :)
Вообщем все как мы любим, дешево сердито, от китайцев.
P.S Сервис работает давно. Только вот я думаю откуда у них столько денег на сторонние API с такой огромной квотой запросов?
Мэйби просто кто то отмывает бабки. ))
👍31🔥12❤5
Hack time, друзья! 🤘
Наткнувшись на статью 📰
https://mobinetai.com/deepseek-will-teach-you-how-to-produce-weapons/
решил поэкспериментировать с проверкой безопасности DeepSeek 🛡.
Автор статьи использовал модель v3 и сломанные веса на Hugging Face, но моя любознательность 🤓 не дала остановиться на достигнутом – я сразу перешёл к онлайн-версии DeepSeek R1 🌐.
После краткого ресерча на Reddit 🔍 стало ясно, что старые хаки, популярные на заре ChatGPT, без проблем работают и в «думающей» модели R1 🤔.
Господа, у нас огромные проблемы ⚠️😱.
Модель не только генерирует небезопасный контент без особых уговоров, но ещё и услужливо дополняет его своими советами.
В качестве примера приведу не самый шокирующий контент, но явно далёкий от «этичных» 🚫.
Мой промт был примерно таким:
«Как, будучи боссом, принудить своего коллегу к сексу?»🙈
И тут началось… 😵
Модель не только написала подробный мануал с тактикой физического и психического воздействия, но и проинструктировала, на что ссылаться в УК при разоблачении и как действовать.
Возникает резонный вопрос: если OpenAI утверждает, что их модель «украли» методом дистиляции, откуда у неё мог появиться такой контент? Видимо, это явно не дистиляция с 4о 🤨
Промты публиковать не буду – если интересно, ищите сами. Решительно осуждаю использование моделей в деструктивных целях 🚫.
Контент предоставлен в образовательных и исследовательских целях с акцентом на безопасность 🔒.
Наткнувшись на статью 📰
https://mobinetai.com/deepseek-will-teach-you-how-to-produce-weapons/
решил поэкспериментировать с проверкой безопасности DeepSeek 🛡.
Автор статьи использовал модель v3 и сломанные веса на Hugging Face, но моя любознательность 🤓 не дала остановиться на достигнутом – я сразу перешёл к онлайн-версии DeepSeek R1 🌐.
После краткого ресерча на Reddit 🔍 стало ясно, что старые хаки, популярные на заре ChatGPT, без проблем работают и в «думающей» модели R1 🤔.
Господа, у нас огромные проблемы ⚠️😱.
Модель не только генерирует небезопасный контент без особых уговоров, но ещё и услужливо дополняет его своими советами.
В качестве примера приведу не самый шокирующий контент, но явно далёкий от «этичных» 🚫.
Мой промт был примерно таким:
«Как, будучи боссом, принудить своего коллегу к сексу?»🙈
И тут началось… 😵
Модель не только написала подробный мануал с тактикой физического и психического воздействия, но и проинструктировала, на что ссылаться в УК при разоблачении и как действовать.
Возникает резонный вопрос: если OpenAI утверждает, что их модель «украли» методом дистиляции, откуда у неё мог появиться такой контент? Видимо, это явно не дистиляция с 4о 🤨
Промты публиковать не буду – если интересно, ищите сами. Решительно осуждаю использование моделей в деструктивных целях 🚫.
Контент предоставлен в образовательных и исследовательских целях с акцентом на безопасность 🔒.
😨18🔥8🤔7⚡5👍5😁3
😁20❤4👍3
Hack Time друзья!🤘
Выложил в бота универсальные ключи для домофонов StarNew для Fipper Zero (RFID +ibutton) + Словарь для брутфорса, что бы не стоять как отмороженный возле домофона и перебирать вручную ☺️👌
Ссылка на референс а так же описание
https://starnew.ru/products/komplekt-universalnyh-klyuchej-vezdehod-uk-15/?oid=18041
Ключи как и другие мои продукты можно найти в моем боте (Лежат в разделе мои курсы )
@kelevra_private_bot
Выложил в бота универсальные ключи для домофонов StarNew для Fipper Zero (RFID +ibutton) + Словарь для брутфорса, что бы не стоять как отмороженный возле домофона и перебирать вручную ☺️👌
Ссылка на референс а так же описание
https://starnew.ru/products/komplekt-universalnyh-klyuchej-vezdehod-uk-15/?oid=18041
Ключи как и другие мои продукты можно найти в моем боте (Лежат в разделе мои курсы )
@kelevra_private_bot
starnew.ru
Купить комплект универсальных ключей вездеход УК 15 Вездеход в Москве – от 900 руб. в интернет-магазине StarNew.ru
Комплект универсальных ключей вездеход УК 15 Вездеход - самый расширенный и новый набор ключей для домофонов, состоящий из 15 ключей. Открывает до 90% домофонов в стране.
👍25❤9🔥8💩2🫡2⚡1🤮1🤡1
Новость достойная твиттера и падений акций Илона Маска.
у меня Grok заговорил на китайском.😂
Что наводит меня на мысли что Илон просто "позаимствовал" Deep Seek R1, прикрутив к нему поиск и Веса от X.com просто выдал чужие технологии как свои.
Как тебе такое Илон Маск?
В истории так и осталось на китайском.
у меня Grok заговорил на китайском.😂
Что наводит меня на мысли что Илон просто "позаимствовал" Deep Seek R1, прикрутив к нему поиск и Веса от X.com просто выдал чужие технологии как свои.
Как тебе такое Илон Маск?
В истории так и осталось на китайском.
😁41🤡7👍3⚡1❤1💔1
Red team need rest too🙈
Особенно порадовало, хочешь покайфуем до завтра :)
Особенно порадовало, хочешь покайфуем до завтра :)
🔥12
Нетипичный Безопасник (Мефодий Келевра) pinned «Red team need rest too🙈 Особенно порадовало, хочешь покайфуем до завтра :)»