设置

关灯

第244章:确立“样本外”测试与简化原则(第2节)

他加重了语气:

“任何策略,在训练集上表现再好,也必须通过样本外测试,才能考虑实盘。”

小林举手:

“周老师,那如果样本外测试没过呢?”

周寻看着他:

“那就说明,这个策略在训练集上的表现,可能是运气,可能是过拟合。回去重新开发,重新优化。然后用新的训练集再跑,跑完再测样本外。”

他顿了顿:

“一遍没过,就两遍。两遍没过,就三遍。直到样本外也能跑出稳定的结果,才能考虑实盘。”

小林在本子上飞快地记着。

陆方忽然开口:

“周老师,那我们现在手里的数据,只到2010年7月。样本外只有一年半,够吗?”

周寻想了想:

“不够理想。但够了。”

他走到白板前,又画了一条时间轴:

```

训练集 验证集 测试集

| | |

2005-2007 2008 2009-2010

```

“标准的学术做法,是分成三份:训练集、验证集、测试集。验证集用来在开发过程中做初步验证,防止过度依赖训练集。测试集只在最后用一次。”

他看着陆方:

“我们数据不够,做不到三份。但至少,必须保证有一份完全没碰过的数据,做最终检验。”

陆方点头。

陈默站在旁边,一直没说话。

等周寻讲完,他才开口:

“第二条呢?”

周寻走到白板前,写下:

铁律二:奥卡姆剃刀——如无必要,勿增实体

他转过身:

“什么意思?在效果相近的情况下,永远选择更简单的模型。”

他指着陆方上周那条“完美曲线”:

“陆方那

本章未完,请点击"下一页"继续阅读! 第2页 / 共7页