#LLM #chatGPT #AGI
这篇文章作者对 ChatGPT 的路线梳理和技术理解都远远超过了各种博主up主，推荐给大家，一起进步。
通向AGI之路：大型语言模型（LLM）技术精要 https://zhuanlan.zhihu.com/p/597586623
这篇文章作者对 ChatGPT 的路线梳理和技术理解都远远超过了各种博主up主，推荐给大家，一起进步。
通向AGI之路：大型语言模型（LLM）技术精要 https://zhuanlan.zhihu.com/p/597586623
知乎专栏
通向AGI之路：大型语言模型（LLM）技术精要
ChatGPT出现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型（LLM,Large Language Model）效果能好成这样；惊醒是顿悟到我们对LLM的认知及发展理念，距离世界最先进的想法，差得有点远。我属于既惊喜又惊醒的…
👍2
用来训练数据模型的稀缺资源——英伟达A100芯片，“全部调用给文心大模型，其他组都借不到”。
西二旗的科技园里，百度算法工程师们迎来一个个不眠夜。由百度CTO王海峰担任总指挥，协调两大事业群、百度核心AI人才组队攻坚——用一种最高级别的战备姿态来迎接这场“搜索代际变革”。
t.cn/A6CLHPWb
西二旗的科技园里，百度算法工程师们迎来一个个不眠夜。由百度CTO王海峰担任总指挥，协调两大事业群、百度核心AI人才组队攻坚——用一种最高级别的战备姿态来迎接这场“搜索代际变革”。
t.cn/A6CLHPWb
💩3👍2🤬1
Forwarded from 互联网从业者充电站
【复旦MOSS团队回应内测：还非常不成熟，没想到引起这么大的关注】
2月20日，复旦团队发布国内首个类ChatGPT模型MOSS。当晚不少网友发现，MOSS显示服务器流量过载。2月21日，MOSS官网发布公告称，MOSS还是一个非常不成熟的模型，距离ChatGPT还有很长的路需要走。团队初的想法只是想将MOSS进行内测，没有想到会引起这么大的关注。
复旦MOSS团队表示，由于计算资源不足，也没有相关的工程经验，造成了非常不好的体验和第一印象，向大家致歉。在完成初步的验证之后，MOSS会将的经验、代码、模型参数开源出来供大家参考。
#MOSS因中文广告太多致水平不够高# 目前，MOSS的最大短板是中文水平不够高，主要原因是互联网上中文网页干扰信息如广告很多，清洗难度很大。为此，复旦大学自然语言处理实验室正在加紧推进中文语料的清洗工作，并将清洗后的高质量中文语料用于下一阶段模型训练。
2月20日，复旦团队发布国内首个类ChatGPT模型MOSS。当晚不少网友发现，MOSS显示服务器流量过载。2月21日，MOSS官网发布公告称，MOSS还是一个非常不成熟的模型，距离ChatGPT还有很长的路需要走。团队初的想法只是想将MOSS进行内测，没有想到会引起这么大的关注。
复旦MOSS团队表示，由于计算资源不足，也没有相关的工程经验，造成了非常不好的体验和第一印象，向大家致歉。在完成初步的验证之后，MOSS会将的经验、代码、模型参数开源出来供大家参考。
#MOSS因中文广告太多致水平不够高# 目前，MOSS的最大短板是中文水平不够高，主要原因是互联网上中文网页干扰信息如广告很多，清洗难度很大。为此，复旦大学自然语言处理实验室正在加紧推进中文语料的清洗工作，并将清洗后的高质量中文语料用于下一阶段模型训练。
👏5🤡3
新闻机构批评 OpenAI 使用其文章训练 ChatGPT
OpenAI 从互联网上搜集了海量内容训练它的 AI 聊天机器人 ChatGPT，而随着 ChatGPT 日益受欢迎，新闻机构开始构批评 OpenAI 没有付费就使用其发表的文章。新闻集团道琼斯的总法律顾问 Jason Conti 在一份声明中表示，任何想要使用《华尔街日报》记者的作品去训练 AI 的人都需要从道琼斯获得合适的授权，而道琼斯未与 OpenAI 达成任何授权交易，该机构正在调查这一情况。OpenAI 使用公开内容训练 AI 应该与当年 Google 扫描图书的做法类似，ChatGPT 并没有侵权，其行为属于合理使用（fair use）。
https://slashdot.org/story/23/02/20/1341241/openai-is-faulted-by-media-for-using-articles-to-train-chatgpt
OpenAI 从互联网上搜集了海量内容训练它的 AI 聊天机器人 ChatGPT，而随着 ChatGPT 日益受欢迎，新闻机构开始构批评 OpenAI 没有付费就使用其发表的文章。新闻集团道琼斯的总法律顾问 Jason Conti 在一份声明中表示，任何想要使用《华尔街日报》记者的作品去训练 AI 的人都需要从道琼斯获得合适的授权，而道琼斯未与 OpenAI 达成任何授权交易，该机构正在调查这一情况。OpenAI 使用公开内容训练 AI 应该与当年 Google 扫描图书的做法类似，ChatGPT 并没有侵权，其行为属于合理使用（fair use）。
https://slashdot.org/story/23/02/20/1341241/openai-is-faulted-by-media-for-using-articles-to-train-chatgpt
www.solidot.org
奇客Solidot | 新闻机构批评 OpenAI 使用其文章训练 ChatGPT
Solidot是至顶网的科技资讯网站，主要面对开源自由软件和关心科技资讯读者群，包括众多中国开源软件的开发者，爱好者和布道者。口号是“奇客的知识，重要的东西”。
👏1
#AIGC
AIGC 艺术家样式库 lib.KALOS.art 刚正式上线啦。一个4人小团队前后忙了4周。
- 目前全球规模最大，1300+艺术家共3万余张 4v1 样式图片，
- 覆盖三个主流图像生成模型
- 为每个艺术家都生成了8~11种常见主题，如 人像、风景、科幻、街景、动物、花卉等主题
每个艺术家在不同模型里都拥有一个独立的gallery页面，用导航里的下拉菜单可轻松在模型间切换。
Bruno Munari in MJ v4
lib.kalos.art/artist/18484bb…
in SD2.1 lib.kalos.art/artist/18484bb…
但由于同一艺术家在不同模型里的识别度和生成质量有所不同。每个模型里包含哪些艺术家 经过了谨慎而费时的人工筛选。
AIGC 艺术家样式库 lib.KALOS.art 刚正式上线啦。一个4人小团队前后忙了4周。
- 目前全球规模最大，1300+艺术家共3万余张 4v1 样式图片，
- 覆盖三个主流图像生成模型
- 为每个艺术家都生成了8~11种常见主题，如 人像、风景、科幻、街景、动物、花卉等主题
每个艺术家在不同模型里都拥有一个独立的gallery页面，用导航里的下拉菜单可轻松在模型间切换。
Bruno Munari in MJ v4
lib.kalos.art/artist/18484bb…
in SD2.1 lib.kalos.art/artist/18484bb…
但由于同一艺术家在不同模型里的识别度和生成质量有所不同。每个模型里包含哪些艺术家 经过了谨慎而费时的人工筛选。
👏1
Amazon 宣布他们的模型效果超过 GPT3.5，但参数只有10亿。主要依靠 CoT Prompts。
新的Amazon 1B模型表现超越了GPT 3.5，即使是2.3亿参数也超过了人类表现。不久以后，你将能够在移动设备上运行这些模型。
参考论文: https://arxiv.org/abs/2302.00923
新的Amazon 1B模型表现超越了GPT 3.5，即使是2.3亿参数也超过了人类表现。不久以后，你将能够在移动设备上运行这些模型。
参考论文: https://arxiv.org/abs/2302.00923
🤔1🤩1