与观点归纳。
研究员临时改变任务要求,它不需要重新训练,只依靠上下文中的少量示例便完成了格式迁移。
最后,屏幕上出现一段故意留下错误的程序。
模型没有完全写出正确答案,却准确找出了其中三处逻辑问题,并给出修改方向。
“在目前公开可比较的语言理解、阅读问答、摘要和少样本迁移测试中,我们已经全部超过谷歌公开的同类系统。”
伊利亚语速很快。
“统一模型的平均训练成本更低。”
“跨任务迁移效率也超过了我们能够获得的GOOgle Brain公开结果。”
“机器人控制组使用同一套表示方法以后,新任务训练样本减少了百分之四十一。”
“游戏环境中的迁移实验,也第一次在未完整重训的情况下取得正收益。”
但这还不能证明OpenAI的整体实力已经超过谷歌。
谷歌拥有庞大的数据中心、搜索数据、芯片团队和数千名工程师。
可在通向通用模型的这条路上,OpenAI已经从领先半步,变成了拥有一段清晰可见的窗口期。
只要继续向前,这段窗口就可能变成真正的代差。
“问题仍然是算力。”
林启航调出集群运行图。
他接手计算系统以后,五百一十二张GPU集群的平均有效利用率已经从不足百分之二十,提高到百分之五十四。
连续稳定训练时间,也从不到两天延长至十一天。
可是模型规模增长得更快。
两千余张GPU已经全部排满。
英伟达承诺的第一批扩容设备尚未完成交付。
语言、视觉、机器人与安全研究组每天都在争夺训练窗口。
不少实验刚跑到一半,便不得不暂停,为更高优先级的任务让出机器。
“现在不是卡不够的问题。”
本章未完,请点击"下一页"继续阅读! 第4页 / 共6页