2024年7月25日,星期四,晚上八点。
深圳,默石资本,技术部。
暑假已经过半,技术部的灯比平时亮得更晚。陆方坐在工位上,面前是三块屏幕,每块都显示着密密麻麻的代码和模型输出。他正在测试星海大模型模块的准确率——89%,比上个月提高了1个百分点,但离90%的目标还有差距。他有些沮丧。不是因为他不够努力,是因为他觉得自己可能走错了方向。大模型的发展太快了,每个月都有新论文,每个月都有新模型。他追不上。
手机震动了。是陈曦发来的消息:“陆方叔叔,我这边是早上。你那边应该是晚上吧?吃饭了吗?”
陆方回复:“还没。在调模型。”
陈曦:“什么模型?”
陆方:“星海的大模型模块。准确率卡在89%,上不去了。”
陈曦:“你有没有试过开源模型?比如LLaMA、Falcon、Bloom?我用它们在伯克利的服务器上做过测试,准确率能到92%。”
陆方愣了一下。他当然知道这些开源模型,但他没有试过。因为他的思维还停留在“自己训练模型”的阶段,没有想过用现成的开源模型做微调。这就是代际差异——他这一代人,习惯从零开始造轮子;她那一代人,习惯站在巨人的肩膀上。
陆方:“我没试过。你能帮我跑个测试吗?”
陈曦:“可以。你发我一份测试数据集。”
陆方从星海平台导出100份招股书摘要和对应的分析报告,打包发给陈曦。数据集不大,几百兆。
陈曦:“收到了。我明天给你结果。”
陆方:“好。谢谢。”
陈曦:“不客气。”
2024年7月26日,星期五,上午十点。陆方收到了陈曦的测试结果。她用了三个开源模型——LLaMA-7B、Falcon-7B、Bloom-7B——在伯克利的服务器上做了微调。结果让
本章未完,请点击"下一页"继续阅读! 第1页 / 共8页