他加重了语气:
“任何策略,在训练集上表现再好,也必须通过样本外测试,才能考虑实盘。”
小林举手:
“周老师,那如果样本外测试没过呢?”
周寻看着他:
“那就说明,这个策略在训练集上的表现,可能是运气,可能是过拟合。回去重新开发,重新优化。然后用新的训练集再跑,跑完再测样本外。”
他顿了顿:
“一遍没过,就两遍。两遍没过,就三遍。直到样本外也能跑出稳定的结果,才能考虑实盘。”
小林在本子上飞快地记着。
陆方忽然开口:
“周老师,那我们现在手里的数据,只到2010年7月。样本外只有一年半,够吗?”
周寻想了想:
“不够理想。但够了。”
他走到白板前,又画了一条时间轴:
```
训练集 验证集 测试集
| | |
2005-2007 2008 2009-2010
```
“标准的学术做法,是分成三份:训练集、验证集、测试集。验证集用来在开发过程中做初步验证,防止过度依赖训练集。测试集只在最后用一次。”
他看着陆方:
“我们数据不够,做不到三份。但至少,必须保证有一份完全没碰过的数据,做最终检验。”
陆方点头。
陈默站在旁边,一直没说话。
等周寻讲完,他才开口:
“第二条呢?”
周寻走到白板前,写下:
铁律二:奥卡姆剃刀——如无必要,勿增实体
他转过身:
“什么意思?在效果相近的情况下,永远选择更简单的模型。”
他指着陆方上周那条“完美曲线”:
“陆方那
本章未完,请点击"下一页"继续阅读! 第2页 / 共7页