请问ic/test很快收敛并且波动是正常的吗

[Guocode]

您好，感谢您优秀的工作，在我自己使用的过程中有些问题想请教您。 我是用自己选出来的100只股票池，2020-2024年作为训练集，2025作为验证集和测试集，配置是pool_10_QCM_1.0。

Q1、train的ic不断上升，test的ic在7k step就比较高，40k达到最高，后面似乎就过拟合了，这是正常的吗，有方法避免过拟合吗？

Q2、我的IC似乎比其他同学都高很多，是正常的吗？

Q3、实际使用的时候应该用测试集最高IC的那个ckpt吗？

[ZhuZhouFan]

抱歉回复迟了。

对于Q1：是的，在Alpha Discovery这个问题中很难彻底规避过拟合现象，因为股票市场的动态特性。我们只能尽可能缓解这个现象，这也是为什么我们需要有一个验证集的原因。我猜滚动起来训练能够更好地缓解过拟。举例来说，针对测试集中每个月，都用截止到最新的数据进行因子挖掘以及线性模型的拟合。

对于Q2：我感觉是验证集与测试集的时间跨度太短了，两者之和才一年。这使得样本外的测试并不是很可靠。此外，股票的个数也比较少，可能你在选择股票时就具有一定的先验知识。这使得挖掘出的因子只对满足这些先验知识的股票特别有效。这很难说是好是坏，看你的应用场景了。

对于Q3：请使用valid_best_table.csv中的结果，否则会有数据泄露的问题。