OpenAI 最新官方发布应对AI 安全的策略
(中文翻译见评论区)

OpenAI主要探讨了安全地构建、部署和使用人工智能系统的方法。

⭐️ 强大的人工智能系统应该接受严格的安全评估。GPT-4在发布之前，内部员工耗时6个月确保模型更加安全和一致。
⭐️ 并且，还让外部专家参与反馈，利用人类反馈强化学习（RLHF）等技术改善模型的行为。
⭐️另外，文中还列出了其他确保AI安全的方法：- 从真实世界的使用中学习，以改进保障措施- 保护儿童- 尊重隐私- 提高事实的准确性

⚜️ https://openai.com/blog/our-approach-to-ai-safety

最近一批YC创业项目超40%与AI/ML相关

YC每年“孵化”数百家公司，分夏季和冬季批次。在 2023 年冬季 (W23) 批次的 266 家公司中，超过 40% 与人工智能或机器学习 (ML) 有关。

⭐️其中很多是开发者工具，改进软件开发工作流程。

⭐️竞争激烈。有许多公司看起来非常相似。

⭐️公司很新。有相当数量的公司在上个月才上线。有些公司似乎是 ChatGPT/GPT-4 的简单包装。

⭐️大型企业、医疗保健和政府不会向 OpenAI 发送敏感数据。这为初创公司在为这些垂直行业构建内部部署的、合规的 GPT 留下了机会。

⭐️一些最有趣的公司正将 AI 引入专业领域。 AI 用于对冲基金、建筑项目、药物发现等等。

⚜️ 来源 (含有112项目列表介绍)

一位YouTuber在2012年上传了这段视频，这是他在2004年写的博客里对人工智能的设想:

"展示未来的 Google 如何使用人工智能直接与用户对话并回答问题"

当时许多人看到的时候觉得这不可能。于是时间来到 了2023 年...

🔝 https://youtu.be/RupYlWs4EiM

Anthropic计划未来4年筹集50亿美元挑战OpenAI

⭐️ Anthropic 计划未来18个月投入十亿美元训练比当今最强AI 强 10 倍的新模型“Claude-Next”。Anthropic称新模型是“自我学习的下一代AI算法”，开发了一种称为“constitutional AI”的训练技术。在较高层次上使 AI 与人类意图保持一致，比chatGPT更安全可控。

⭐️ 3 月初，Anthropic 正寻求以 41 亿美元的估值筹集 3 亿美元，使其筹资总额达到 13 亿美元。倒闭的FTX 的姊妹公司 Alameda牵头 5.8 亿美元 B 轮融资。谷歌承诺向 Anthropic 投资 3 亿美元获得 10% 的股份。Anthropic将谷歌云作为其“首选云提供商”。

⭐️ OpenAI 前研究副总裁Dario Amodei于 2021 年创立了 Anthropic 作为一家公益公司，并带走了一些 OpenAI 员工，其中包括 OpenAI 的前政策负责人Jack Clark。 Amodei 在对公司发展方向（即这家初创公司日益关注的商业重点）存在分歧后从 OpenAI 中分离出来。 OpenAI Mafia

-- 来源

《Sparks of Artificial General Intelligence: Early experiments with GPT-4》作者Sebanstien Bibeck的分享

🔝 https://youtu.be/qbIk7-JPB2c

⭐️ 原论文地址:
https://arxiv.org/pdf/2303.12712v1.pdf
⭐️ 论文中文翻译版:
https://news.1rj.ru/str/LptTech/580
⭐️ Orangeai 对论文的解读:
https://news.1rj.ru/str/LptTech/555

Truepic 和Revel.ai联手制作了一个逼真的视频，用以告诉人们，现在任何视频都有可能是假的，并po出了他们的制作过程。

⚜️ truepic.com/revel/

一个把 Midjourney 提示词可视化并提供编辑功能的工具

• 显示英文提示词的中文翻译
• 翻译输入的中文提示词到英文
• 为提示词进行分类
• 轻松的排序、隐藏提示词
• 把提示词可视化结果导出为图片
• 常用提示词词典
• 通过 Notion 管理提示词词典

🖥 github.com/Moonvy/OpenPromptStudio

LeCun 与吴恩达聊"为什么反对暂停AI"

近期呼吁暂停比GPT-4更强AI训练的激辩愈发激烈。而公开信的签名人数，也从最初的1000出头，猛增到了近1.6万。

⭐️ 面对接踵而至的指责和质疑， OpenAI匆忙在凌晨 发文 回应：我们会坚决保障AI安全，绝不“偷工减料”！

⭐️ 图灵三巨头之一的Bengio，昨天专门在自己的博客上写了一篇长文，解释自己为什么签名赞成暂停超强AI研发。

⭐️ 而另一巨头LeCun表示，今天关于AI安全的讨论，跟1890年关于客机安全的讨论一样，全是推测性的。与极端AI末日论者辩论AI伦理和安全，就像与神创论者辩论进化论一样，毫无意义。“由于担心动荡，奥斯曼帝国限制了印刷书籍的传播。因此错过启蒙运动，失去了在科学技术上的主导地位，并最终失去了经济和军事上的影响力。”

⭐️马斯克：这是电车难题另一面，你们这些反对暂停的人就属于下面这种人：“另一条路太绕，会减慢AI的发展，不如还是直接碾过去吧。”而有网友指出“如果你没有将强大的AI装到特斯拉中，我会更相信你的担忧。”

⭐️ 根据一项调查，69%的美国成年人支持暂停开发六个月，这与 本频道的调查 相差较大

🔝 www.youtube.com/live/BY9KV8uCtj4

#AI资料分享
Claude 团队的这篇 RLHF 的论文，非常有趣，而且在 ChatGPT 发布之前几个月就发了，这俩公司的思路出奇的一致，不知道是不是也互通了信息。

📺 推荐观看李沐的讲解版本:
www.bilibili.com/video/BV1XY411B7nM
☄️ 论文:
arxiv.org/pdf/2204.05862.pdf
⚜️ 来源

#AI工程
用自然语言来使用shell

🖥 https://github.com/emcf/engshell

engshell 是一个由 LLM 提供支持的应用程序，它允许您使用自然语言与 shell 进行交互。

支持录屏、压缩文件、查看天气、获取推荐、生成图片、阅读新闻、做数学、管理文件等任务。

#AI工程
Claude API 版本的bob-plugin-translator

🖥 https://github.com/jtsang4/bob-plugin-claude-translator

基于 Anthropic Complete API 实现的 Bob 插件。拥有翻译、润色的功能。Claude API 申请通过的朋友可以试试，也可在 anthropic.com/product 免费申请。

#AI应用
NASA 发布DAGGER AI 模型

⭐️ 该模型使用 AI 分析太阳风测量数据，快速准确预测世界各地的地磁扰动，并提前30分钟发出警告。这可以提供足够时间为风暴做准备，防止对电网和电力等关键基础设施的严重影响。该模型可以在一秒钟内产生预测结果，每分钟更新一次。

⭐️ 太阳风暴可能会对人员和经济造成破坏性影响。预测很有必要
• 1859 年 — 卡灵顿事件
• 1989 年 — 魁北克停电

— 来源

如果有一天，不仅仅是用微信聊天记录，而是能够用"我"的行为动作表情数据，语言发声和交谈内容数据，日常行为习惯数据，心情变化联动数据等，实时采样数据训练成模型，并有技术成熟机器人可作为模型的躯壳。我就可以克隆硅基版本的"我"了。

于是，我有了分身术。请以此为开篇，写一篇小说，要有爱情故事，情节悬疑引人入胜。

⚜️ 来源

为什么AI经常画错手

强烈推荐 Vox 的这段制作精良的视频：
🔝 https://youtu.be/24yjRbBah3w

🔠 数据大小。在图片中，手往往占据更小的像素空间，比如面部照片就比手部照片更常见。

🔠 缺乏具体化的理解。AI不能在物理世界中使用手，它们必须通过表面模式匹配来推断手在各种姿势下的样子。手指经常被遮挡且姿态万千，这就是为什么 AI 甚至无法准确计算出手指的数量，从技术上讲，diffusion不能很好的工作。

🔠 容忍度低。有些物体纹理错乱不会注意到。但失手很容易引发恐怖谷反应。

LeCun 的相关论文:
⚜️ https://openreview.net/pdf?id=BZ5a1r-kVsf