模型优化的问题

[1397981186]

你好，我是一个初学者。我看到你的模型后接了rcnnatt，我考虑接其他网络去尝试一下（gru，capsule net之类）。我看了你的rcnn代码部分，感觉十分简练。我在网上找了很多都没有找到这样的其他网络的tf实现，请问你还有其他网络的加入方法吗或者说获取方式？
谢谢

[HuiResearch]

你好，我是一个初学者。我看到你的模型后接了rcnnatt，我考虑接其他网络去尝试一下（gru，capsule net之类）。我看了你的rcnn代码部分，感觉十分简练。我在网上找了很多都没有找到这样的其他网络的tf实现，请问你还有其他网络的加入方法吗或者说获取方式？
谢谢

你好，gru的话你可以把我原代码的LSTM cell 换成GRU ccell就行了，capsule net的话我没有相关的实现，你可以去github搜一下capsule net，然后把embedding部分替换成bert的输出就行了

[1397981186]

你好，我是一个初学者。我看到你的模型后接了rcnnatt，我考虑接其他网络去尝试一下（gru，capsule net之类）。我看了你的rcnn代码部分，感觉十分简练。我在网上找了很多都没有找到这样的其他网络的tf实现，请问你还有其他网络的加入方法吗或者说获取方式？
谢谢

你好，gru的话你可以把我原代码的LSTM cell 换成GRU ccell就行了，capsule net的话我没有相关的实现，你可以去github搜一下capsule net，然后把embedding部分替换成bert的输出就行了

okok，谢啦，我去试一下。
还有一个问题，数据集如果很好的话，在bert后接模型反而没有直接finetune效果好，这是为什么呢

[1397981186]

数据集如果很好的话，在bert后接模型反而没有直接finetune效果好，这是为什么呢

[HuiResearch]

我个人认为，bert拟合能力已经很强了，接层的话很大可能会破坏bert已预训练好的分布，直接使用dense就行了，而对于不太好的数据，拟合能力不足，添加层可能会效果好点，但大多数情况，bert在很多数据集上添加层都会下降，我也只是在这个比赛有提升