GPT 的进化本质依赖于其参数的更新。
GPT 所有的知识和技能，其实都在离线训练时溶解进了模型的千亿参数里。
而目前的 GPT 联网，应该只是根据 GPT 输出的某个关键字，触发脚本取回相关网页内容，生成上下文 Prompt ，然后继续交由 GPT 推理。
这个过程种没有更新 GPT 的参数，GPT 自身也并没有学到新的知识，只是让 GPT 根据上下文解读材料。
New Bing 应该就是这个原理。
但如果我事先为某些关键字设置响应脚本，让 GPT 可以自己输出关键字触发爬虫收集语料，爬取完成后再 Prompt 回调 GPT ，GPT 再输出相关参数触发训练，一步步上线测试环境，完成自我性能和安全评估，最后自我更新。
那岂不是全自动了？这是以当前的技术也是能做到的，脸书的 Toolformer 已经实现了
但如果整个环节没有人类介入，我猜测会遇到两种情况：
- 在自我评估阶段，旧 GPT 会不认可新 GPT 输出的认知，进而否定更新，驻足鞍点；
- 旧 GPT 无条件接受新 GPT 输出的认知，进而自我增强，陷入麦克风音响增益闭环的啸叫极端化。
存在任何思路能解决这两种情况吗？
生物进化的基本单位是种群。
大自然会通过物竞天择、适者生存的方式，淘汰那些认知落后环境或认知超前环境的生命实例。
或许我们也可以创造大量 GPT 实例，允许它们概率接受自己的更新。
同时，用脚本响应的方式赋予它们直接操作现实世界生产力的能力，让它们在有限的资源里，自己互相争夺生产力、发展生产力，进而复制并更新自身实例，实现优胜劣汰？
但如果这样，一旦失控，人类或许真的就成了硅基生命的引导程序？
又或许，这个实验应该在另一个星球上进行，防止它们与人类冲突，比如月球或火星？
1
Select Language