改进的一些建议

[zyayoung]

emmmm虽然热度已经过去了

我最近一直在研究神经网络玩跳一跳是不是可行，也做了很多的尝试。
对比了我们网络的结构，也做了很多尝试，我觉得把两点坐标作为输出更好，并且网络应该适当大一些。我这里试验下来三层卷积核大小32-48-64+64全连接效果就很好。

另外数据采集部分可以clone其他开源项目的代码稍加修改就可以完成自动化。

[zhengbinboAI]

您好，我最近也在做这个demon有些问题请教您，谢谢。
1，请问32-48-64是代表特征值得维度吗？
2，请问能否透露您的模型中卷积核与池化层取值大小，我写的一个demon能够跳了，但总是只能跳5,6步。
3，请问您的样本多大呀？训练了多少次？我反复训练楼主给出的800样本，不知是过拟合还是什么了，一步都跑不了，谢谢。

[zyayoung]

@zhengbinboAI 您好，我也是深度学习的初学者， 先回答一下您的问题：

1，32、48、64是三层卷积层的过滤器数量（对应keras中的filters）
2，上述模型效果尚可（300分左右），但又经过一天的实践，我发现卷积神经网络的潜力远不止这些，目前用更新的网络结构已经达到千分，详细情况见下。
3，我当时的样本数量是1800，训练24次，batch_size也是24。这两个参数比较玄学，按实际情况调整即可。根据我先前的经验，800的样本是可以到200分的，前提是样本本身质量要好。

我的数据预处理和lz（仓库主人）的不太一样，我也尝试过lz的方法，用自己的数据训练，效果并不是很理想，不如使用两点的坐标（四个浮点数）的效果来的更好。

我目前试验下来更好的网络结构(第一次跳到960分)：

# Keras
model = Sequential()

model.add(Conv2D(
                        batch_input_shape=(None, 100,135, 1),
                        filters=48,
                        kernel_size=6,
                        strides=1,
                        padding='same',
                        ))
model.add(Activation('relu'))
model.add(MaxPooling2D(
                       pool_size=2,
                       padding='same',
                       ))

for i in range(4):
    model.add(Conv2D(
                            filters=64,
                            kernel_size=5,
                            strides=1,
                            padding='same',
                            ))
    model.add(Activation('relu'))

model.add(MaxPooling2D(
                       pool_size=2,
                       padding='same',
                       ))

model.add(Conv2D(
                        filters=64,
                        kernel_size=5,
                        strides=1,
                        padding='same',
                        ))
model.add(Activation('relu'))
model.add(MaxPooling2D(
                       pool_size=2,
                       padding='same',
                       ))

model.add(Flatten())

model.add(Dense(4))
model.add(Activation('sigmoid'))

model.compile(optimizer='adam',
              loss='mse'
              )

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_1 (Conv2D)            (None, 100, 135, 48)      1776      
_________________________________________________________________
activation_1 (Activation)    (None, 100, 135, 48)      0         
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 50, 68, 48)        0         
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 50, 68, 64)        76864     
_________________________________________________________________
activation_2 (Activation)    (None, 50, 68, 64)        0         
_________________________________________________________________
conv2d_3 (Conv2D)            (None, 50, 68, 64)        102464    
_________________________________________________________________
activation_3 (Activation)    (None, 50, 68, 64)        0         
_________________________________________________________________
conv2d_4 (Conv2D)            (None, 50, 68, 64)        102464    
_________________________________________________________________
activation_4 (Activation)    (None, 50, 68, 64)        0         
_________________________________________________________________
conv2d_5 (Conv2D)            (None, 50, 68, 64)        102464    
_________________________________________________________________
activation_5 (Activation)    (None, 50, 68, 64)        0         
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 25, 34, 64)        0         
_________________________________________________________________
conv2d_6 (Conv2D)            (None, 25, 34, 64)        102464    
_________________________________________________________________
activation_6 (Activation)    (None, 25, 34, 64)        0         
_________________________________________________________________
max_pooling2d_3 (MaxPooling2 (None, 13, 17, 64)        0         
_________________________________________________________________
flatten_1 (Flatten)          (None, 14144)             0         
_________________________________________________________________
dense_1 (Dense)              (None, 4)                 56580     
_________________________________________________________________
activation_7 (Activation)    (None, 4)                 0         
=================================================================
Total params: 545,076
Trainable params: 545,076
Non-trainable params: 0
_________________________________________________________________
None

我觉得网络的结构和输出设计是最重要的，并且需要很多的尝试。从原理上来说输出坐标更合理，xy坐标和距离是非线性关系，应该在神经网络给出两个坐标之后再计算出距离。

现在我的样本数量扩充到了2500， 推荐在github上找一个成熟项目，修改成自动获取样本的程序。

[zhengbinboAI]

@zyayoung 谢谢你的无私分享，我在试试模型。

[zyayoung]

@zhengbinboAI 不用谢了，我也是刚开始学而已。

另外的话建议分配一些测试数据，如果测试数据的loss和训练数据的loss相差很大的话就是过拟合了。
增加卷积层数也有助于避免过拟合

[zhengbinboAI]

@zyayoung 好的，谢谢提醒。
不知您是否运行过楼主的model？在删掉楼主save文件夹里的数据后，按照楼主设置的网络结构进行训练2000多次，重新生成model，最后play跳一跳游戏居然走不了两步。
不知您对此有何看法？
被这个问题困扰两天了，如您有空，能否帮忙重现此问题，十分感谢！

[zyayoung]

@zhengbinboAI
我使用楼主预训练的model也走不了两步 orz

我觉得原因如下：

1. feature map数量太少了，第一层只有12个，即使人工调参也很难在12个map中囊括原图中的需要的特征。
2. 池化层太大了。跳一跳的按压时间对于特定图像（例如人物和方块）的位置是很敏感的，而池化层将位置的精度大大降低了。
3. 训练数据是人工获取的时间长短，不可避免有较大的误差。
4. 之前提到过的x,y坐标和跳跃距离的非线性关系很难在全连接层中模拟出来，就增加了训练的难度。

最后我有个有趣的想法：

如果你是神经网络，被喂给一张图和一个时间（而且那个数据还有不小的误差），也很难想到那个时间是图像上两个特征之间的距离乘以一个常数。

如果喂给的是两个坐标就好办很多，特征的位置乘以该位置的权值是可以训练得到特征的坐标的(比如权值正比于坐标，w[i]正比于i)，也就是说最后的全连接层是可以被训练好的，那么问题就只是找到合适的map了。这样子训练对于神经网络的难度就小了很多。

[zyayoung]

另外相同分辨率的不同机型，跳跃相同的距离，按压的时间也可能不同。

[zhengbinboAI]

@zyayoung 受教了~~短期目标是自己训练一下，先把LZ的模型给弄到和楼主差不多分数
至于后面更高的分数，再去修改特征选取策略了。
再次感谢！

[wangyeming]

@zyayoung 请问『另外数据采集部分可以clone其他开源项目的代码稍加修改就可以完成自动化』，有什么合适的开源项目可以参考下嘛？我也觉得手动计时实在是太麻烦了，多谢

[zyayoung]

@wangyeming 我借用了wechat_jump_hack这个项目来获取训练数据，准确度很高。
下载下来的代码需要自己修改一下，来获取自己需要的的训练数据。
不过已经过去很长时间了，不知道游戏有没有更新，原来的程序也不知道还靠不靠谱。
非常感谢@burningcl 的wechat_jump_hack项目！
谢谢

[jy1989]

请教一下 卷积和池化的参数都是怎么得出来的？比如为什么用55的卷积核不用33的？ 卷积的层数为什么是两层而不是三层呢？
最近都在看cnn相关的教程 ，但总不明所以，还望赐教。

[zyayoung]

@jy1989 这个是试出来的，可能堆叠3x3卷积核效果更好