风向旗参考快讯
研究：ChatGPT 在做什么以及它为什么起作用？ ChatGPT可以自动生成一些表面上看起来像人类书写文本的东西，这是非常了不起的，也是出乎意料的。但是它是怎么做到的呢？为什么它有效？这篇文章的目的是粗略概述 ChatGPT 内部运行逻辑，然后探讨为什么它可以如此出色地生成我们认为有意义的文本。阅读全文 —— 沃尔夫勒姆研究公司
那么……ChatGPT 在做什么，它为什么起作用？
ChatGPT 的基本概念在某种程度上相当简单。从来自网络、书籍等的大量人工文本样本开始。然后训练神经网络生成“像这样”的文本。特别是，让它能够从“提示”开始，然后继续使用“就像它被训练的那样”的文本。
正如我们所见，ChatGPT 中的实际神经网络由非常简单的元素组成——尽管有数十亿个。并且神经网络的基本操作也非常简单，主要包括为每个新单词（或单词的一部分）“一次通过其元素”（没有任何循环等）传递从它生成的文本派生的输入) 它生成的。
但值得注意的是——也是出乎意料的——这个过程可以产生成功地“像”网络上、书籍中等地方的文本。它不仅是连贯的人类语言，而且“说的东西”“遵循”它的提示”利用它“阅读”的内容。它并不总是说“全局有意义”（或对应于正确的计算）——因为（例如，没有访问 Wolfram|Alpha 的“计算能力”）它只是说“听起来正确”的事情基于培训材料中“听起来像”什么东西。
ChatGPT 的特定工程使其非常引人注目。但最终（至少在它可以使用外部工具之前）ChatGPT“只是”从它积累的“传统智慧的统计数据”中提取一些“连贯的文本线索”。但令人惊奇的是，结果如此像人类。正如我所讨论的，这暗示了一些至少在科学上非常重要的东西：人类语言（及其背后的思维模式）在某种程度上比我们想象的更简单，在结构上更“像法律”。ChatGPT 隐含地发现了它。但是我们可以通过语义语法、计算语言等显式地公开它。
ChatGPT 在生成文本方面所做的工作令人印象深刻——结果通常与我们人类产生的结果非常相似。那么这是否意味着 ChatGPT 像大脑一样工作？它的底层人工神经网络结构最终以大脑的理想化为模型。当我们人类生成语言时，似乎很可能发生的事情的许多方面都非常相似。
当谈到训练（又名学习）时，大脑和当前计算机的不同“硬件”（以及可能还有一些未开发的算法思想）迫使 ChatGPT 使用可能相当不同的策略（并且在某些方面更少高效）比大脑。还有其他一些东西：与典型的算法计算不同，ChatGPT 内部没有“循环”或“重新计算数据”。这不可避免地限制了它的计算能力——即使是对当前的计算机而言，但绝对是对大脑而言。
目前尚不清楚如何“解决这个问题”并仍然保持以合理效率训练系统的能力。但这样做可能会让未来的 ChatGPT 做更多“类似大脑的事情”。当然，大脑在很多事情上做得并不好——尤其是涉及到不可简化的计算。对于这些，大脑和 ChatGPT 之类的东西都必须寻求“外部工具”——比如Wolfram 语言。
但就目前而言，看到 ChatGPT 已经能够做到的事情令人兴奋。在某种程度上，这是基本科学事实的一个很好的例子，即大量简单的计算元素可以做出非凡和意想不到的事情。但它也可能为我们提供了 2000 年来最好的动力，让我们更好地理解人类状况的核心特征（即人类语言及其背后的思维过程）的基本特征和原则可能是什么。
谢谢
引用自：https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
ChatGPT 的基本概念在某种程度上相当简单。从来自网络、书籍等的大量人工文本样本开始。然后训练神经网络生成“像这样”的文本。特别是，让它能够从“提示”开始，然后继续使用“就像它被训练的那样”的文本。
正如我们所见，ChatGPT 中的实际神经网络由非常简单的元素组成——尽管有数十亿个。并且神经网络的基本操作也非常简单，主要包括为每个新单词（或单词的一部分）“一次通过其元素”（没有任何循环等）传递从它生成的文本派生的输入) 它生成的。
但值得注意的是——也是出乎意料的——这个过程可以产生成功地“像”网络上、书籍中等地方的文本。它不仅是连贯的人类语言，而且“说的东西”“遵循”它的提示”利用它“阅读”的内容。它并不总是说“全局有意义”（或对应于正确的计算）——因为（例如，没有访问 Wolfram|Alpha 的“计算能力”）它只是说“听起来正确”的事情基于培训材料中“听起来像”什么东西。
ChatGPT 的特定工程使其非常引人注目。但最终（至少在它可以使用外部工具之前）ChatGPT“只是”从它积累的“传统智慧的统计数据”中提取一些“连贯的文本线索”。但令人惊奇的是，结果如此像人类。正如我所讨论的，这暗示了一些至少在科学上非常重要的东西：人类语言（及其背后的思维模式）在某种程度上比我们想象的更简单，在结构上更“像法律”。ChatGPT 隐含地发现了它。但是我们可以通过语义语法、计算语言等显式地公开它。
ChatGPT 在生成文本方面所做的工作令人印象深刻——结果通常与我们人类产生的结果非常相似。那么这是否意味着 ChatGPT 像大脑一样工作？它的底层人工神经网络结构最终以大脑的理想化为模型。当我们人类生成语言时，似乎很可能发生的事情的许多方面都非常相似。
当谈到训练（又名学习）时，大脑和当前计算机的不同“硬件”（以及可能还有一些未开发的算法思想）迫使 ChatGPT 使用可能相当不同的策略（并且在某些方面更少高效）比大脑。还有其他一些东西：与典型的算法计算不同，ChatGPT 内部没有“循环”或“重新计算数据”。这不可避免地限制了它的计算能力——即使是对当前的计算机而言，但绝对是对大脑而言。
目前尚不清楚如何“解决这个问题”并仍然保持以合理效率训练系统的能力。但这样做可能会让未来的 ChatGPT 做更多“类似大脑的事情”。当然，大脑在很多事情上做得并不好——尤其是涉及到不可简化的计算。对于这些，大脑和 ChatGPT 之类的东西都必须寻求“外部工具”——比如Wolfram 语言。
但就目前而言，看到 ChatGPT 已经能够做到的事情令人兴奋。在某种程度上，这是基本科学事实的一个很好的例子，即大量简单的计算元素可以做出非凡和意想不到的事情。但它也可能为我们提供了 2000 年来最好的动力，让我们更好地理解人类状况的核心特征（即人类语言及其背后的思维过程）的基本特征和原则可能是什么。
谢谢
引用自：https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
Stephenwolfram
What Is ChatGPT Doing … and Why Does It Work?
Stephen Wolfram explores the broader picture of what's going on inside ChatGPT and why it produces meaningful text. Discusses models, training neural nets, embeddings, tokens, transformers, language syntax.
ATRI ~ My Dear Moments - WeclontXD pinned «那么……ChatGPT 在做什么，它为什么起作用？ ChatGPT 的基本概念在某种程度上相当简单。从来自网络、书籍等的大量人工文本样本开始。然后训练神经网络生成“像这样”的文本。特别是，让它能够从“提示”开始，然后继续使用“就像它被训练的那样”的文本。 正如我们所见，ChatGPT 中的实际神经网络由非常简单的元素组成——尽管有数十亿个。并且神经网络的基本操作也非常简单，主要包括为每个新单词（或单词的一部分）“一次通过其元素”（没有任何循环等）传递从它生成的文本派生的输入) 它生成的。 但值得注意…»
Forwarded from 风向旗参考快讯
阿里云等中国国内云服务运营商正在检测并清理ChatGPT有关的站点。自建会收到服务商邮件警告，24小时未删除会停服。咨询客服得到答复为服务器上运行了“ChatGPT违规不合法的内容”。即便是运行在境外区域中的服务器也会被要求下线服务。
Forwarded from 风向旗参考快讯
Cloudflare 表示，它在上周末缓解了数十次针对客户的超容量 DDoS 攻击，其中一次打破了历史记录
上周末，Cloudflare 阻止了一起分布式拒绝服务 (DDoS) 攻击，其声称是迄今为止最大的一次超容量攻击。
该公司表示，它不仅在周末检测到并缓解了针对其客户的数十次超容量 DDoS 攻击，而且还缓解了这一波攻击。
Cloudflare 的 Omer Yoachimik、Julien Desgats 和 Alex Forster表示：“大多数攻击的峰值在每秒 5千万至7千万个请求 (rps) 左右，最大的超过 7100 万个 rps。 ”
“这是有记录以来报告的最大 HTTP DDoS 攻击，比 2022 年 6 月报告的 46M rps 记录高出 35% 以上。”
这些攻击是使用来自多个云提供商的 30,000 多个 IP 地址发起的，针对各种目标，包括游戏提供商、云计算平台、加密货币公司和托管提供商。
—— Business Insider
上周末，Cloudflare 阻止了一起分布式拒绝服务 (DDoS) 攻击，其声称是迄今为止最大的一次超容量攻击。
该公司表示，它不仅在周末检测到并缓解了针对其客户的数十次超容量 DDoS 攻击，而且还缓解了这一波攻击。
Cloudflare 的 Omer Yoachimik、Julien Desgats 和 Alex Forster表示：“大多数攻击的峰值在每秒 5千万至7千万个请求 (rps) 左右，最大的超过 7100 万个 rps。 ”
“这是有记录以来报告的最大 HTTP DDoS 攻击，比 2022 年 6 月报告的 46M rps 记录高出 35% 以上。”
这些攻击是使用来自多个云提供商的 30,000 多个 IP 地址发起的，针对各种目标，包括游戏提供商、云计算平台、加密货币公司和托管提供商。
—— Business Insider
Forwarded from 风向旗参考快讯
你需要知道的近年来重要的数据泄露事件，为什么有人能够通过外网社交平台也能够定位某些人
我们处于一个数据的时代，历年来泄露的数据为黑客和其它组织提供了一个强大的工具，而你需要了解这些信息的来源。
2018年QQ用户数据泄露事件暴露了8亿条QQ用户信息，主要涉及QQ用户的手机绑定信息。
2019年11月起，某学生对淘宝实施了长达八个月的数据爬取并盗走大量用户数据。在阿里巴巴注意到这一问题前，已经有超过11亿8千多万条用户信息泄露。
2020年3月4日，5.38亿条微博用户信息泄露，其中1.72 亿有账号基本信息，含绑定手机号数据。
2020年11月23日，有用户在黑客论坛放出了一个44.65GB社工库信息包，该库就包含了此前所泄露的大约5.38亿微博用户数据、8亿条QQ用户数据、75万条车主信息、某保险公司10万条数据、70万条企业数据、部分快递信息和某贷视频照片。该数据包传播甚广，拥有这些数据的人非常多。
2021年12月，中国初创公司Socialarks（笨鸟社交）泄露了400GB数据，由于ElasticSearch数据库设置错误，泄露了超过3.18亿条用户记录，涉及到Instagram、领英、Facebook等多个社交平台的用户信息。
2022年3月，超过2亿条国内个人信息在国外暗网论坛兜售，可能来自微博、QQ等多个社交媒体，包括姓名、手机号、邮箱、密码等信息。
2022年9月，某地方公安局的一个数据库暴露于公网且未设置密码从而被黑客入侵，这批泄露自公安局的数据由总计逾23TB的多个部分构成，涉及逾十亿中国大陆居民，包含姓名、地址、出生地、身份证号码、照片、手机号码和刑事案件资讯。在外媒大量报道后的一段时间后该数据库才下线。此次泄露被认为是有史以来最大的中国公民信息泄密事件。
2023年2月，约45亿条中国快递地址信息被泄露，包括姓名、地址、手机号等信息。该事件是近年来最危险的泄密事件。
如下是部分外网社交媒体重要的泄露事件，显然也会被利用来关联中国用户的信息。
2019年12月，一个黑客组织获取了超过3亿个Facebook账号的数据，包括姓名、电话号码、Facebook ID等信息，这些数据被发现在一个未加密的数据库中。
2021年4月，Facebook的一项数据泄露事件影响了超过5.3亿用户，包括姓名、电话号码、生日、电子邮件地址等信息，这些数据被发现在暗网论坛上免费提供。
2020年5月，Telegram的一个数据库被发现在暗网论坛上出售，包含了约7000万个用户的电话号码和Telegram唯一用户ID，这些数据可能来自于2019年的一次数据泄露事件，当时黑客利用了Telegram的联系人导入功能，获取了用户的信息。
2020年6月，Telegram遭到又一次数据泄露事件，未知的黑客在暗网论坛上公开了其用户的个人信息，包括电话号码、Telegram唯一用户ID和其他敏感信息，据称影响了约4000万用户。
2022年7月，Twitter确认了一次数据泄露事件，是由一个已经修复的零日漏洞导致的，该漏洞允许黑客将电子邮件地址和电话号码与用户账号关联，从而编制了一个包含540万个用户账号信息的列表。
2023年1月，一个自称StayMad的黑客声称泄露了超过2亿推特个用户的个人数据，包括一些高调的账号，如谷歌CEO Sundar Pichai, Donald Trump Jr., SpaceX, CBS Media, NBA, WHO等，这些数据包括姓名、电话号码、电子邮件地址、密码等信息。
显然我们正处于一个数据“大繁荣”的时代，泄密事件从来没有停止过。这也告诉我们在互联网上没有谁可以保证信息是安全的。
我们处于一个数据的时代，历年来泄露的数据为黑客和其它组织提供了一个强大的工具，而你需要了解这些信息的来源。
2018年QQ用户数据泄露事件暴露了8亿条QQ用户信息，主要涉及QQ用户的手机绑定信息。
2019年11月起，某学生对淘宝实施了长达八个月的数据爬取并盗走大量用户数据。在阿里巴巴注意到这一问题前，已经有超过11亿8千多万条用户信息泄露。
2020年3月4日，5.38亿条微博用户信息泄露，其中1.72 亿有账号基本信息，含绑定手机号数据。
2020年11月23日，有用户在黑客论坛放出了一个44.65GB社工库信息包，该库就包含了此前所泄露的大约5.38亿微博用户数据、8亿条QQ用户数据、75万条车主信息、某保险公司10万条数据、70万条企业数据、部分快递信息和某贷视频照片。该数据包传播甚广，拥有这些数据的人非常多。
2021年12月，中国初创公司Socialarks（笨鸟社交）泄露了400GB数据，由于ElasticSearch数据库设置错误，泄露了超过3.18亿条用户记录，涉及到Instagram、领英、Facebook等多个社交平台的用户信息。
2022年3月，超过2亿条国内个人信息在国外暗网论坛兜售，可能来自微博、QQ等多个社交媒体，包括姓名、手机号、邮箱、密码等信息。
2022年9月，某地方公安局的一个数据库暴露于公网且未设置密码从而被黑客入侵，这批泄露自公安局的数据由总计逾23TB的多个部分构成，涉及逾十亿中国大陆居民，包含姓名、地址、出生地、身份证号码、照片、手机号码和刑事案件资讯。在外媒大量报道后的一段时间后该数据库才下线。此次泄露被认为是有史以来最大的中国公民信息泄密事件。
2023年2月，约45亿条中国快递地址信息被泄露，包括姓名、地址、手机号等信息。该事件是近年来最危险的泄密事件。
如下是部分外网社交媒体重要的泄露事件，显然也会被利用来关联中国用户的信息。
2019年12月，一个黑客组织获取了超过3亿个Facebook账号的数据，包括姓名、电话号码、Facebook ID等信息，这些数据被发现在一个未加密的数据库中。
2021年4月，Facebook的一项数据泄露事件影响了超过5.3亿用户，包括姓名、电话号码、生日、电子邮件地址等信息，这些数据被发现在暗网论坛上免费提供。
2020年5月，Telegram的一个数据库被发现在暗网论坛上出售，包含了约7000万个用户的电话号码和Telegram唯一用户ID，这些数据可能来自于2019年的一次数据泄露事件，当时黑客利用了Telegram的联系人导入功能，获取了用户的信息。
2020年6月，Telegram遭到又一次数据泄露事件，未知的黑客在暗网论坛上公开了其用户的个人信息，包括电话号码、Telegram唯一用户ID和其他敏感信息，据称影响了约4000万用户。
2022年7月，Twitter确认了一次数据泄露事件，是由一个已经修复的零日漏洞导致的，该漏洞允许黑客将电子邮件地址和电话号码与用户账号关联，从而编制了一个包含540万个用户账号信息的列表。
2023年1月，一个自称StayMad的黑客声称泄露了超过2亿推特个用户的个人数据，包括一些高调的账号，如谷歌CEO Sundar Pichai, Donald Trump Jr., SpaceX, CBS Media, NBA, WHO等，这些数据包括姓名、电话号码、电子邮件地址、密码等信息。
显然我们正处于一个数据“大繁荣”的时代，泄密事件从来没有停止过。这也告诉我们在互联网上没有谁可以保证信息是安全的。
Forwarded from 风向旗参考快讯
复旦团队发布国内首个类 ChatGPT 模型 MOSS，邀公众参与内测
昨日，记者从复旦大学自然语言处理实验室获悉，国内第一个对话式大型语言模型「MOSS」已由邱锡鹏教授团队发布至公开平台，邀公众参与内测。
MOSS 可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通，为国内学术界和产业界提供了重要经验，将助力大语言模型的进一步探索和应用。
邱锡鹏表示：「尽管 MOSS 还有很大改善空间，但它的问世证明了在开发类 ChatGPT 产品的路上，国内科研团队有能力克服技术上的重要挑战。」MOSS 研发项目得到了上海人工智能实验室的有力支持。后期，这项工作将通过开源方式和业界社区分享。
—— 上观新闻
昨日，记者从复旦大学自然语言处理实验室获悉，国内第一个对话式大型语言模型「MOSS」已由邱锡鹏教授团队发布至公开平台，邀公众参与内测。
MOSS 可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通，为国内学术界和产业界提供了重要经验，将助力大语言模型的进一步探索和应用。
邱锡鹏表示：「尽管 MOSS 还有很大改善空间，但它的问世证明了在开发类 ChatGPT 产品的路上，国内科研团队有能力克服技术上的重要挑战。」MOSS 研发项目得到了上海人工智能实验室的有力支持。后期，这项工作将通过开源方式和业界社区分享。
—— 上观新闻
Forwarded from 风向旗参考快讯
马斯克：推特将对算法开源，但先做好失望的准备
北京时间 2 月 22 日消息，推特老板埃隆・马斯克 (Elon Musk) 周二宣布，推特的算法将于下周开源。“开源”意味着任何人都可以公开访问、查看、修改和重新分发推特源代码。
一位推特用户在与马斯克互动时表示，把推特开源吧，如果能够做到这一点，他们“真的会印象深刻”。马斯克随后回复称：“我们的算法会在下周开源，首先要做好失望的准备，但它会迅速改进的！”
马斯克自称是“言论自由的绝对主义者”，并在推特上对用户进行民意调查，让他们做出重大决定。他过去曾多次表示，他支持将该平台算法开源的想法。从表面上，此举将有利于提高推特的平台透明度。
—— IThome
北京时间 2 月 22 日消息，推特老板埃隆・马斯克 (Elon Musk) 周二宣布，推特的算法将于下周开源。“开源”意味着任何人都可以公开访问、查看、修改和重新分发推特源代码。
一位推特用户在与马斯克互动时表示，把推特开源吧，如果能够做到这一点，他们“真的会印象深刻”。马斯克随后回复称：“我们的算法会在下周开源，首先要做好失望的准备，但它会迅速改进的！”
马斯克自称是“言论自由的绝对主义者”，并在推特上对用户进行民意调查，让他们做出重大决定。他过去曾多次表示，他支持将该平台算法开源的想法。从表面上，此举将有利于提高推特的平台透明度。
—— IThome
Forwarded from 科技圈🎗在花频道📮 (在花⭐️投稿📮Bot)
马斯克：下周开源推特算法
Twitter CEO埃隆·马斯克表示，该公司将于下周对Twitter算法进行开源。有用户说，如果Twitter能够开源算法，他们将会“真心折服”。于是，马斯克回应道：“当我们下周开源算法时，一开始请做好失望的准备，但之后将会快速改善。”马斯克曾经自称是“言论自由的绝对主义者”，并且曾经通过对用户进行调查来制定Twitter的重大决策。他之前曾反复表示，他支持对Twitter的平台算法进行开源。从表面看来，这将帮助该平台提高透明度。（福布斯中文网）
🤖 投稿：@ZaiHuabot
📣 频道：@TestFlightCN
Twitter CEO埃隆·马斯克表示，该公司将于下周对Twitter算法进行开源。有用户说，如果Twitter能够开源算法，他们将会“真心折服”。于是，马斯克回应道：“当我们下周开源算法时，一开始请做好失望的准备，但之后将会快速改善。”马斯克曾经自称是“言论自由的绝对主义者”，并且曾经通过对用户进行调查来制定Twitter的重大决策。他之前曾反复表示，他支持对Twitter的平台算法进行开源。从表面看来，这将帮助该平台提高透明度。（福布斯中文网）
🤖 投稿：@ZaiHuabot
📣 频道：@TestFlightCN
Forwarded from 科技圈🎗在花频道📮 (在花⭐️投稿📮Bot)
谷歌向所有用户推出 Chrome 的内存保护和节能模式
默认情况下启用内存保护和节能模式可以将 Chrome 的内存使用率降低 30%，并减少笔记本电脑的电池消耗。
当您更新 Chrome 时，节能模式和内存保护模式均默认开启。如若未发现 效果 按钮🔘 请在浏览器输入如下任意一条，选择Enabled，并重启浏览器即可在设置看到。
🤖 投稿：@ZaiHuabot
📣 频道：@TestFlightCN
默认情况下启用内存保护和节能模式可以将 Chrome 的内存使用率降低 30%，并减少笔记本电脑的电池消耗。
当您更新 Chrome 时，节能模式和内存保护模式均默认开启。如若未发现 效果 按钮🔘 请在浏览器输入如下任意一条，选择Enabled，并重启浏览器即可在设置看到。
chrome://flags/#battery-saver-mode-availablechrome://flags/#high-efficiency-mode-available🤖 投稿：@ZaiHuabot
📣 频道：@TestFlightCN
Forwarded from 科技圈🎗在花频道📮 (ㅤ)
不到 15 秒，高通演示首次在安卓机型上使用 Stable Diffusion 生成 AI 图像
高通在其官方 YouTube 频道发布了一段视频，首次成功在安卓手机上使用 Stable Diffusion 来生成 AI 图像，整个生成时间不超过 15 秒。高通表示这是全球首次在安卓设备上进行演示。
Stable Diffusion 是一种非常流行的基础模型，它是一种文本到图像的生成 AI 模型，能够在几十秒内根据任何文本输入创建逼真的图像。
Stable Diffusion 的参数超过 10 亿个，目前主要依靠云端运行。高通的本次演示主要利用了安卓设备上的 Qualcomm AI Stack，可以在安卓设备上运行 Stable Diffusion。
高通在演示视频中，从 Hugging Face 的 FP32 版本 1-5 开源模型开始，通过量化、编译和硬件加速等优化流程，使其能够在搭载骁龙 8 Gen 2 移动平台的手机上运行。(IT之家)(YouTube)
🤖 投稿：@ZaiHuabot
📣 频道：@TestFlightCN
高通在其官方 YouTube 频道发布了一段视频，首次成功在安卓手机上使用 Stable Diffusion 来生成 AI 图像，整个生成时间不超过 15 秒。高通表示这是全球首次在安卓设备上进行演示。
Stable Diffusion 是一种非常流行的基础模型，它是一种文本到图像的生成 AI 模型，能够在几十秒内根据任何文本输入创建逼真的图像。
Stable Diffusion 的参数超过 10 亿个，目前主要依靠云端运行。高通的本次演示主要利用了安卓设备上的 Qualcomm AI Stack，可以在安卓设备上运行 Stable Diffusion。
高通在演示视频中，从 Hugging Face 的 FP32 版本 1-5 开源模型开始，通过量化、编译和硬件加速等优化流程，使其能够在搭载骁龙 8 Gen 2 移动平台的手机上运行。(IT之家)(YouTube)
🤖 投稿：@ZaiHuabot
📣 频道：@TestFlightCN