#AI工程 #推荐阅读
Transformer 语言模型的资源成本考虑

这篇文章主要从计算资源和内存资源两个方面介绍了Transformer 语言模型成本问题，重点关注训练成本。为如何降低模型训练门槛提供了不错的思路。

⭐️ 计算资源：
· 训练所需计算量的计算公式
· 权衡参数与数据集大小
· 一些工程要点

⭐️ 内存资源：
· 模型参数精度对推理内存的影响
· 推理所需总内存的计算公式
· 精度、优化器状态、梯度、批大小的影响
· 分布式训练

⚜️ https://blog.eleuther.ai/transformer-math/

#AI工程
推荐一个给ChatGLM-6B 做微调的repo，支持 freeze、ptuning、lora三种微调方法。其中lora效果最好。

⭐️ 实测结果：
- 单卡V100，Lora微调 alpaca_gpt4_zh，40分钟
- 六卡V100，freeze 微调 alpaca_gpt4_zh，10分钟

🖥 更多详情

#AI安全与监管
F1方程式车手舒马赫家人准备起诉德国一杂志用其AI生成图和采访蹭热点的行为。

⭐️ 这家杂志可能是通过AI聊天机器人(被提示像舒马赫一样进行采访)进行虚假采访，最终发布标题和AI生成封面，然后又仅在文章末标注它来自一个人工智能网站。 这个围绕AI 引起的隐私保护等法律问题引起广泛讨论，有网友甚至认为这是欺诈行为。

⭐️ 舒马赫在 2013 年 12 月的一次滑雪事故中脑部受伤，之后，其家人一直在尽最大努力保护他的隐私。

-- 更多详情

ChatGPT惊人潜力的内幕故事 | TED
- Greg Brockman

在这场前沿技术的演讲中，OpenAI联合创始人Greg Brockman探索了ChatGPT的基本设计原则，并展示了一些令人震惊的未发布插件，这些插件引起了全球的轰动。演讲结束后，TED主席Chris加入其中，深入挖掘了ChatGPT开发的时间线，并听取了Brockman对释放这个强大工具所面临的风险的看法，这些风险在科技行业及其他领域引起了广泛关注。

🔝 https://youtu.be/C_78DM8fG6E

Musk称将起诉微软非法使用推特数据训练AI

⭐️ 此事发生在微软从Twitter撤下其广告之后。近来马斯克在AI方面十分活跃:

· 呼吁停止训练更强大AI
· 创办一家名为X.AI的AI公司
· TruthGPT计划

⭐️ 近日，Reddit和环球唱片宣布计划对获取其数据训练AI进行收费，而Getty Images因Stable Diffusion抄袭其内容用于AI训练而提起诉讼。马斯克的威胁凸显了围绕AI领域数据所有权的紧张局势。争夺AI主导地位的战斗才刚刚开始。

-- 更多详情

MiniGPT-4的升级版: 与视频进行聊天

Ask-Anything是一个简单而有趣的与视频聊天工具。 团队正在努力建立一个智能且强大的用于视频理解的聊天机器人。 （可投简历）

🖥 github: https://github.com/OpenGVLab/Ask-Anything

⚜️ demo: https://yinanhe.github.io/projects/chatvideo.html

“这就是 GPT-4 看到和听到意识的样子”

让 GPT-4 来描述"意识"，然后使用它的描述来生成图像、基于该图像的视频和配乐。最终生成上面的视频。

⭐️ 使用的工具：GPT-4、Midjourney、Kaiber AI、Mubert、RunwayML

⭐️ 下面是GPT-4生成的描述：
"Consciousness could be visually represented as a complex, multi-dimensional web of interconnected neurons. Imagine a vast, shimmering network of glowing points of light, with each point representing a neuron. These neurons are connected by delicate, pulsating strands of energy, representing the synapses through which information and thoughts flow. This neural network would be constantly evolving and changing, with new connections forming and old ones dissolving, reflecting the dynamic nature of consciousness. The colors of the points and connections could shift through a rich spectrum, symbolizing different emotions, experiences, and cognitive processes. Surrounding this intricate web, there could be a swirling, luminous mist of vibrant colors, representing the ineffable and mysterious nature of consciousness. The mist would ebb and flow, occasionally coalescing into recognizable patterns and forms, hinting at the emergence of thoughts and ideas"
---
“意识可以被视为一个复杂、多维的神经元相互连接的网络。想象一下一个广阔、闪烁的光点网络，每个点代表一个神经元。这些神经元通过精巧、脉动的能量线相互连接，代表信息和思维流动的突触。这个神经网络会不断演变和变化，新的连接形成，旧的连接消失，反映出意识的动态本质。这些点和连接的颜色会在丰富的光谱中变化，象征着不同的情感、体验和认知过程。在这个复杂的网络周围，可能会有一个旋转着、充满活力的绚烂色彩的云雾，代表着意识的难以言喻和神秘本质。云雾会涨落、变幻，偶尔凝聚成可识别的图案和形态，暗示着思想和观念的出现。”

-- 更多详情