This media is not supported in your browser
VIEW IN TELEGRAM
Forwarded from Solidot
Meta 开发能自我修正的 AI 语言模型
2023-02-16 20:15:00 by 挽救计划
OpenAI 的 ChatGPT 让无数人惊叹，然而它在简单任务如算术和事实核查上仍然存在明显缺陷。Meta 的研究人员最近透露了一种新的语言模型 Toolformer，能在不牺牲核心语言建模能力的情况下利用外部工具如搜索引擎、计算器和日历来自我修正。Toolformer 的关键在于它能以无缝和自动化的方式使用 API。在训练中，研究人员给了一组人类编写的示例演示 API 如何使用，然后让它使用 API 调用给一个大语言建模数据集做注解。Toolformer 以自我监督的方式完成了任务，意味着它可以在不需要明确的人类指导下学习。模型学会了预测每个基于文本的 API 调用，可以在需要时插入调用，它还能基于上下文自行决定使用哪个工具，以及如何使用。如 Toolformer 能使用计算器来解决大语言模型（LLM）在算术上的局限性。Toolformer 基于预训练的 GPT-J 模型，该模型有 67 亿个参数。测试显示它的表现优于有 1750 亿个参数的 GPT-3 模型。
https://arxiv.org/abs/2302.04761
https://arstechnica.com/?p=1918021
#人工智能
2023-02-16 20:15:00 by 挽救计划
OpenAI 的 ChatGPT 让无数人惊叹，然而它在简单任务如算术和事实核查上仍然存在明显缺陷。Meta 的研究人员最近透露了一种新的语言模型 Toolformer，能在不牺牲核心语言建模能力的情况下利用外部工具如搜索引擎、计算器和日历来自我修正。Toolformer 的关键在于它能以无缝和自动化的方式使用 API。在训练中，研究人员给了一组人类编写的示例演示 API 如何使用，然后让它使用 API 调用给一个大语言建模数据集做注解。Toolformer 以自我监督的方式完成了任务，意味着它可以在不需要明确的人类指导下学习。模型学会了预测每个基于文本的 API 调用，可以在需要时插入调用，它还能基于上下文自行决定使用哪个工具，以及如何使用。如 Toolformer 能使用计算器来解决大语言模型（LLM）在算术上的局限性。Toolformer 基于预训练的 GPT-J 模型，该模型有 67 亿个参数。测试显示它的表现优于有 1750 亿个参数的 GPT-3 模型。
https://arxiv.org/abs/2302.04761
https://arstechnica.com/?p=1918021
#人工智能
风向旗参考快讯
研究：ChatGPT 在做什么以及它为什么起作用？ ChatGPT可以自动生成一些表面上看起来像人类书写文本的东西，这是非常了不起的，也是出乎意料的。但是它是怎么做到的呢？为什么它有效？这篇文章的目的是粗略概述 ChatGPT 内部运行逻辑，然后探讨为什么它可以如此出色地生成我们认为有意义的文本。阅读全文 —— 沃尔夫勒姆研究公司
那么……ChatGPT 在做什么，它为什么起作用？
ChatGPT 的基本概念在某种程度上相当简单。从来自网络、书籍等的大量人工文本样本开始。然后训练神经网络生成“像这样”的文本。特别是，让它能够从“提示”开始，然后继续使用“就像它被训练的那样”的文本。
正如我们所见，ChatGPT 中的实际神经网络由非常简单的元素组成——尽管有数十亿个。并且神经网络的基本操作也非常简单，主要包括为每个新单词（或单词的一部分）“一次通过其元素”（没有任何循环等）传递从它生成的文本派生的输入) 它生成的。
但值得注意的是——也是出乎意料的——这个过程可以产生成功地“像”网络上、书籍中等地方的文本。它不仅是连贯的人类语言，而且“说的东西”“遵循”它的提示”利用它“阅读”的内容。它并不总是说“全局有意义”（或对应于正确的计算）——因为（例如，没有访问 Wolfram|Alpha 的“计算能力”）它只是说“听起来正确”的事情基于培训材料中“听起来像”什么东西。
ChatGPT 的特定工程使其非常引人注目。但最终（至少在它可以使用外部工具之前）ChatGPT“只是”从它积累的“传统智慧的统计数据”中提取一些“连贯的文本线索”。但令人惊奇的是，结果如此像人类。正如我所讨论的，这暗示了一些至少在科学上非常重要的东西：人类语言（及其背后的思维模式）在某种程度上比我们想象的更简单，在结构上更“像法律”。ChatGPT 隐含地发现了它。但是我们可以通过语义语法、计算语言等显式地公开它。
ChatGPT 在生成文本方面所做的工作令人印象深刻——结果通常与我们人类产生的结果非常相似。那么这是否意味着 ChatGPT 像大脑一样工作？它的底层人工神经网络结构最终以大脑的理想化为模型。当我们人类生成语言时，似乎很可能发生的事情的许多方面都非常相似。
当谈到训练（又名学习）时，大脑和当前计算机的不同“硬件”（以及可能还有一些未开发的算法思想）迫使 ChatGPT 使用可能相当不同的策略（并且在某些方面更少高效）比大脑。还有其他一些东西：与典型的算法计算不同，ChatGPT 内部没有“循环”或“重新计算数据”。这不可避免地限制了它的计算能力——即使是对当前的计算机而言，但绝对是对大脑而言。
目前尚不清楚如何“解决这个问题”并仍然保持以合理效率训练系统的能力。但这样做可能会让未来的 ChatGPT 做更多“类似大脑的事情”。当然，大脑在很多事情上做得并不好——尤其是涉及到不可简化的计算。对于这些，大脑和 ChatGPT 之类的东西都必须寻求“外部工具”——比如Wolfram 语言。
但就目前而言，看到 ChatGPT 已经能够做到的事情令人兴奋。在某种程度上，这是基本科学事实的一个很好的例子，即大量简单的计算元素可以做出非凡和意想不到的事情。但它也可能为我们提供了 2000 年来最好的动力，让我们更好地理解人类状况的核心特征（即人类语言及其背后的思维过程）的基本特征和原则可能是什么。
谢谢
引用自：https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
ChatGPT 的基本概念在某种程度上相当简单。从来自网络、书籍等的大量人工文本样本开始。然后训练神经网络生成“像这样”的文本。特别是，让它能够从“提示”开始，然后继续使用“就像它被训练的那样”的文本。
正如我们所见，ChatGPT 中的实际神经网络由非常简单的元素组成——尽管有数十亿个。并且神经网络的基本操作也非常简单，主要包括为每个新单词（或单词的一部分）“一次通过其元素”（没有任何循环等）传递从它生成的文本派生的输入) 它生成的。
但值得注意的是——也是出乎意料的——这个过程可以产生成功地“像”网络上、书籍中等地方的文本。它不仅是连贯的人类语言，而且“说的东西”“遵循”它的提示”利用它“阅读”的内容。它并不总是说“全局有意义”（或对应于正确的计算）——因为（例如，没有访问 Wolfram|Alpha 的“计算能力”）它只是说“听起来正确”的事情基于培训材料中“听起来像”什么东西。
ChatGPT 的特定工程使其非常引人注目。但最终（至少在它可以使用外部工具之前）ChatGPT“只是”从它积累的“传统智慧的统计数据”中提取一些“连贯的文本线索”。但令人惊奇的是，结果如此像人类。正如我所讨论的，这暗示了一些至少在科学上非常重要的东西：人类语言（及其背后的思维模式）在某种程度上比我们想象的更简单，在结构上更“像法律”。ChatGPT 隐含地发现了它。但是我们可以通过语义语法、计算语言等显式地公开它。
ChatGPT 在生成文本方面所做的工作令人印象深刻——结果通常与我们人类产生的结果非常相似。那么这是否意味着 ChatGPT 像大脑一样工作？它的底层人工神经网络结构最终以大脑的理想化为模型。当我们人类生成语言时，似乎很可能发生的事情的许多方面都非常相似。
当谈到训练（又名学习）时，大脑和当前计算机的不同“硬件”（以及可能还有一些未开发的算法思想）迫使 ChatGPT 使用可能相当不同的策略（并且在某些方面更少高效）比大脑。还有其他一些东西：与典型的算法计算不同，ChatGPT 内部没有“循环”或“重新计算数据”。这不可避免地限制了它的计算能力——即使是对当前的计算机而言，但绝对是对大脑而言。
目前尚不清楚如何“解决这个问题”并仍然保持以合理效率训练系统的能力。但这样做可能会让未来的 ChatGPT 做更多“类似大脑的事情”。当然，大脑在很多事情上做得并不好——尤其是涉及到不可简化的计算。对于这些，大脑和 ChatGPT 之类的东西都必须寻求“外部工具”——比如Wolfram 语言。
但就目前而言，看到 ChatGPT 已经能够做到的事情令人兴奋。在某种程度上，这是基本科学事实的一个很好的例子，即大量简单的计算元素可以做出非凡和意想不到的事情。但它也可能为我们提供了 2000 年来最好的动力，让我们更好地理解人类状况的核心特征（即人类语言及其背后的思维过程）的基本特征和原则可能是什么。
谢谢
引用自：https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
Stephenwolfram
What Is ChatGPT Doing … and Why Does It Work?
Stephen Wolfram explores the broader picture of what's going on inside ChatGPT and why it produces meaningful text. Discusses models, training neural nets, embeddings, tokens, transformers, language syntax.
ATRI ~ My Dear Moments - WeclontXD pinned «那么……ChatGPT 在做什么，它为什么起作用？ ChatGPT 的基本概念在某种程度上相当简单。从来自网络、书籍等的大量人工文本样本开始。然后训练神经网络生成“像这样”的文本。特别是，让它能够从“提示”开始，然后继续使用“就像它被训练的那样”的文本。 正如我们所见，ChatGPT 中的实际神经网络由非常简单的元素组成——尽管有数十亿个。并且神经网络的基本操作也非常简单，主要包括为每个新单词（或单词的一部分）“一次通过其元素”（没有任何循环等）传递从它生成的文本派生的输入) 它生成的。 但值得注意…»
Forwarded from 风向旗参考快讯
阿里云等中国国内云服务运营商正在检测并清理ChatGPT有关的站点。自建会收到服务商邮件警告，24小时未删除会停服。咨询客服得到答复为服务器上运行了“ChatGPT违规不合法的内容”。即便是运行在境外区域中的服务器也会被要求下线服务。
Forwarded from 风向旗参考快讯
Cloudflare 表示，它在上周末缓解了数十次针对客户的超容量 DDoS 攻击，其中一次打破了历史记录
上周末，Cloudflare 阻止了一起分布式拒绝服务 (DDoS) 攻击，其声称是迄今为止最大的一次超容量攻击。
该公司表示，它不仅在周末检测到并缓解了针对其客户的数十次超容量 DDoS 攻击，而且还缓解了这一波攻击。
Cloudflare 的 Omer Yoachimik、Julien Desgats 和 Alex Forster表示：“大多数攻击的峰值在每秒 5千万至7千万个请求 (rps) 左右，最大的超过 7100 万个 rps。 ”
“这是有记录以来报告的最大 HTTP DDoS 攻击，比 2022 年 6 月报告的 46M rps 记录高出 35% 以上。”
这些攻击是使用来自多个云提供商的 30,000 多个 IP 地址发起的，针对各种目标，包括游戏提供商、云计算平台、加密货币公司和托管提供商。
—— Business Insider
上周末，Cloudflare 阻止了一起分布式拒绝服务 (DDoS) 攻击，其声称是迄今为止最大的一次超容量攻击。
该公司表示，它不仅在周末检测到并缓解了针对其客户的数十次超容量 DDoS 攻击，而且还缓解了这一波攻击。
Cloudflare 的 Omer Yoachimik、Julien Desgats 和 Alex Forster表示：“大多数攻击的峰值在每秒 5千万至7千万个请求 (rps) 左右，最大的超过 7100 万个 rps。 ”
“这是有记录以来报告的最大 HTTP DDoS 攻击，比 2022 年 6 月报告的 46M rps 记录高出 35% 以上。”
这些攻击是使用来自多个云提供商的 30,000 多个 IP 地址发起的，针对各种目标，包括游戏提供商、云计算平台、加密货币公司和托管提供商。
—— Business Insider