five_direct_l2.log

iteration:
    0
    0   790   bit_w:-1  loss: 2.23052
    1   801   bit_w:-1  loss: 2.23057
    2   947   bit_w: 1  loss: 2.22227
    3   795   bit_w:-1  loss: 2.22538
    4  1133   bit_w: 1  loss: 2.21886
   5753    856   5332   5074    690   4289   5302    343   4599    770
      1     -1      1      1     -1      1      1     -1      1     -1
Train accuarcate: 18.17%
tensor([[1., 2., 1., 1., 2., 1., 1., 2., 1., 2.],
        [2., 1., 2., 2., 1., 2., 2., 1., 2., 1.],
        [1., 2., 1., 1., 2., 1., 1., 2., 1., 2.],
        [2., 1., 2., 2., 1., 2., 2., 1., 2., 1.],
        [1., 2., 1., 1., 2., 1., 1., 2., 1., 2.],
        [1., 2., 1., 1., 2., 1., 1., 2., 1., 2.],
        [1., 2., 1., 1., 2., 1., 1., 2., 1., 2.],
        [1., 2., 1., 1., 2., 1., 1., 2., 1., 2.],
        [1., 2., 1., 1., 2., 1., 1., 2., 1., 2.],
        [1., 2., 1., 1., 2., 1., 1., 2., 1., 2.],
        [2., 1., 2., 2., 1., 2., 2., 1., 2., 1.],
        [1., 2., 1., 1., 2., 1., 1., 2., 1., 2.],
        [1., 2., 1., 1., 2., 1., 1., 2., 1., 2.],
        [2., 1., 2., 2., 1., 2., 2., 1., 2., 1.],
        [1., 2., 1., 1., 2., 1., 1., 2., 1., 2.],
        [2., 1., 2., 2., 1., 2., 2., 1., 2., 1.],
        [1., 2., 1., 1., 2., 1., 1., 2., 1., 2.],
        [1., 2., 1., 1., 2., 1., 1., 2., 1., 2.],
        [1., 2., 1., 1., 2., 1., 1., 2., 1., 2.],
        [1., 2., 1., 1., 2., 1., 1., 2., 1., 2.]], device='cuda:0')
Train accuarcate: 18.20%



iteration:
    1
    0   784   bit_w:-1  loss: 2.14857
    1   794   bit_w: 1  loss: 2.14928
    2   819   bit_w:-1  loss: 2.14332
    3   788   bit_w: 1  loss: 2.14389
    4   939   bit_w: 1  loss: 2.13989
   4969   6496   1812   5287    224   4396    825    458   4066    673
      1      1     -1      1     -1      1     -1     -1      1     -1
Train accuarcate: 32.09%
tensor([[1., 2., 2., 1., 3., 1., 2., 3., 1., 3.],
        [3., 2., 2., 3., 1., 3., 2., 1., 3., 1.],
        [2., 3., 1., 2., 2., 2., 1., 2., 2., 2.],
        [3., 2., 2., 3., 1., 3., 2., 1., 3., 1.],
        [1., 2., 2., 1., 3., 1., 2., 3., 1., 3.],
        [2., 3., 1., 2., 2., 2., 1., 2., 2., 2.],
        [1., 2., 2., 1., 3., 1., 2., 3., 1., 3.],
        [1., 2., 2., 1., 3., 1., 2., 3., 1., 3.],
        [1., 2., 2., 1., 3., 1., 2., 3., 1., 3.],
        [1., 2., 2., 1., 3., 1., 2., 3., 1., 3.],
        [3., 2., 2., 3., 1., 3., 2., 1., 3., 1.],
        [2., 3., 1., 2., 2., 2., 1., 2., 2., 2.],
        [1., 2., 2., 1., 3., 1., 2., 3., 1., 3.],
        [3., 2., 2., 3., 1., 3., 2., 1., 3., 1.],
        [2., 3., 1., 2., 2., 2., 1., 2., 2., 2.],
        [3., 2., 2., 3., 1., 3., 2., 1., 3., 1.],
        [1., 2., 2., 1., 3., 1., 2., 3., 1., 3.],
        [1., 2., 2., 1., 3., 1., 2., 3., 1., 3.],
        [2., 3., 1., 2., 2., 2., 1., 2., 2., 2.],
        [1., 2., 2., 1., 3., 1., 2., 3., 1., 3.]], device='cuda:0')
Train accuarcate: 31.95%



iteration:
    2
    0   830   bit_w:-1  loss: 2.07085
    1   865   bit_w:-1  loss: 2.07135
    2   841   bit_w:-1  loss: 2.05916
    3   895   bit_w:-1  loss: 2.06188
    4   817   bit_w: 1  loss: 2.05707
   5460    148    479   1195   5581   4829   5596   1203   3797   5109
      1     -1     -1     -1      1      1      1     -1      1      1
Train accuarcate: 51.58%
tensor([[1., 3., 3., 2., 3., 1., 2., 4., 1., 3.],
        [3., 3., 3., 4., 1., 3., 2., 2., 3., 1.],
        [2., 4., 2., 3., 2., 2., 1., 3., 2., 2.],
        [4., 2., 2., 3., 2., 4., 3., 1., 4., 2.],
        [2., 2., 2., 1., 4., 2., 3., 3., 2., 4.],
        [2., 4., 2., 3., 2., 2., 1., 3., 2., 2.],
        [2., 2., 2., 1., 4., 2., 3., 3., 2., 4.],
        [2., 2., 2., 1., 4., 2., 3., 3., 2., 4.],
        [2., 2., 2., 1., 4., 2., 3., 3., 2., 4.],
        [2., 2., 2., 1., 4., 2., 3., 3., 2., 4.],
        [4., 2., 2., 3., 2., 4., 3., 1., 4., 2.],
        [2., 4., 2., 3., 2., 2., 1., 3., 2., 2.],
        [2., 2., 2., 1., 4., 2., 3., 3., 2., 4.],
        [4., 2., 2., 3., 2., 4., 3., 1., 4., 2.],
        [2., 4., 2., 3., 2., 2., 1., 3., 2., 2.],
        [4., 2., 2., 3., 2., 4., 3., 1., 4., 2.],
        [2., 2., 2., 1., 4., 2., 3., 3., 2., 4.],
        [1., 3., 3., 2., 3., 1., 2., 4., 1., 3.],
        [2., 4., 2., 3., 2., 2., 1., 3., 2., 2.],
        [2., 2., 2., 1., 4., 2., 3., 3., 2., 4.]], device='cuda:0')
Train accuarcate: 51.22%



iteration:
    3
    0   791   bit_w:-1  loss: 1.99002
    1   785   bit_w:-1  loss: 1.98882
    2   864   bit_w:-1  loss: 1.98263
    3   813   bit_w:-1  loss: 1.98069
    4   849   bit_w:-1  loss: 1.97508
    117   6310   4877    653   4569    873   4914    699   4749   1056
     -1      1      1     -1      1     -1      1     -1      1     -1
Train accuarcate: 59.77%
tensor([[2., 3., 3., 3., 3., 2., 2., 5., 1., 4.],
        [4., 3., 3., 5., 1., 4., 2., 3., 3., 2.],
        [2., 5., 3., 3., 3., 2., 2., 3., 3., 2.],
        [5., 2., 2., 4., 2., 5., 3., 2., 4., 3.],
        [2., 3., 3., 1., 5., 2., 4., 3., 3., 4.],
        [2., 5., 3., 3., 3., 2., 2., 3., 3., 2.],
        [3., 2., 2., 2., 4., 3., 3., 4., 2., 5.],
        [2., 3., 3., 1., 5., 2., 4., 3., 3., 4.],
        [2., 3., 3., 1., 5., 2., 4., 3., 3., 4.],
        [3., 2., 2., 2., 4., 3., 3., 4., 2., 5.],
        [5., 2., 2., 4., 2., 5., 3., 2., 4., 3.],
        [2., 5., 3., 3., 3., 2., 2., 3., 3., 2.],
        [3., 2., 2., 2., 4., 3., 3., 4., 2., 5.],
        [5., 2., 2., 4., 2., 5., 3., 2., 4., 3.],
        [2., 5., 3., 3., 3., 2., 2., 3., 3., 2.],
        [5., 2., 2., 4., 2., 5., 3., 2., 4., 3.],
        [3., 2., 2., 2., 4., 3., 3., 4., 2., 5.],
        [2., 3., 3., 3., 3., 2., 2., 5., 1., 4.],
        [3., 4., 2., 4., 2., 3., 1., 4., 2., 3.],
        [2., 3., 3., 1., 5., 2., 4., 3., 3., 4.]], device='cuda:0')
Train accuarcate: 60.16%



iteration:
    4
    0   812   bit_w:-1  loss: 1.91039
    1   794   bit_w: 1  loss: 1.91162
    2   808   bit_w:-1  loss: 1.90235
    3   831   bit_w:-1  loss: 1.90434
    4  1068   bit_w:-1  loss: 1.89919
    187   6504   1180   5723   1786   4419    682    738   5231   3918
     -1      1     -1      1     -1      1     -1     -1      1      1
Train accuarcate: 66.61%
tensor([[3., 3., 4., 3., 4., 2., 3., 6., 1., 4.],
        [5., 3., 4., 5., 2., 4., 3., 4., 3., 2.],
        [2., 6., 3., 4., 3., 3., 2., 3., 4., 3.],
        [6., 2., 3., 4., 3., 5., 4., 3., 4., 3.],
        [3., 3., 4., 1., 6., 2., 5., 4., 3., 4.],
        [2., 6., 3., 4., 3., 3., 2., 3., 4., 3.],
        [3., 3., 2., 3., 4., 4., 3., 4., 3., 6.],
        [2., 4., 3., 2., 5., 3., 4., 3., 4., 5.],
        [3., 3., 4., 1., 6., 2., 5., 4., 3., 4.],
        [3., 3., 2., 3., 4., 4., 3., 4., 3., 6.],
        [6., 2., 3., 4., 3., 5., 4., 3., 4., 3.],
        [3., 5., 4., 3., 4., 2., 3., 4., 3., 2.],
        [4., 2., 3., 2., 5., 3., 4., 5., 2., 5.],
        [6., 2., 3., 4., 3., 5., 4., 3., 4., 3.],
        [2., 6., 3., 4., 3., 3., 2., 3., 4., 3.],
        [5., 3., 2., 5., 2., 6., 3., 2., 5., 4.],
        [4., 2., 3., 2., 5., 3., 4., 5., 2., 5.],
        [3., 3., 4., 3., 4., 2., 3., 6., 1., 4.],
        [3., 5., 2., 5., 2., 4., 1., 4., 3., 4.],
        [3., 3., 4., 1., 6., 2., 5., 4., 3., 4.]], device='cuda:0')
Train accuarcate: 67.39%



iteration:
    5
    0   864   bit_w:-1  loss: 1.83972
    1   821   bit_w:-1  loss: 1.83904
    2  1103   bit_w: 1  loss: 1.82615
    3   809   bit_w:-1  loss: 1.83106
    4   985   bit_w: 1  loss: 1.82289
   5344   5669   5605    909   1314   1329   5649    663   4973    460
      1      1      1     -1     -1     -1      1     -1      1     -1
Train accuarcate: 67.49%
tensor([[3., 3., 4., 4., 5., 3., 3., 7., 1., 5.],
        [6., 4., 5., 5., 2., 4., 4., 4., 4., 2.],
        [3., 7., 4., 4., 3., 3., 3., 3., 5., 3.],
        [7., 3., 4., 4., 3., 5., 5., 3., 5., 3.],
        [3., 3., 4., 2., 7., 3., 5., 5., 3., 5.],
        [3., 7., 4., 4., 3., 3., 3., 3., 5., 3.],
        [3., 3., 2., 4., 5., 5., 3., 5., 3., 7.],
        [2., 4., 3., 3., 6., 4., 4., 4., 4., 6.],
        [4., 4., 5., 1., 6., 2., 6., 4., 4., 4.],
        [3., 3., 2., 4., 5., 5., 3., 5., 3., 7.],
        [7., 3., 4., 4., 3., 5., 5., 3., 5., 3.],
        [4., 6., 5., 3., 4., 2., 4., 4., 4., 2.],
        [4., 2., 3., 3., 6., 4., 4., 6., 2., 6.],
        [7., 3., 4., 4., 3., 5., 5., 3., 5., 3.],
        [3., 7., 4., 4., 3., 3., 3., 3., 5., 3.],
        [5., 3., 2., 6., 3., 7., 3., 3., 5., 5.],
        [4., 2., 3., 3., 6., 4., 4., 6., 2., 6.],
        [3., 3., 4., 4., 5., 3., 3., 7., 1., 5.],
        [4., 6., 3., 5., 2., 4., 2., 4., 4., 4.],
        [3., 3., 4., 2., 7., 3., 5., 5., 3., 5.]], device='cuda:0')
Train accuarcate: 68.18%



iteration:
    6
    0   792   bit_w:-1  loss: 1.76629
    1   798   bit_w:-1  loss: 1.76520
    2   817   bit_w:-1  loss: 1.75568
    3   810   bit_w:-1  loss: 1.75761
    4   995   bit_w: 1  loss: 1.75448
    548    831   4258   5092   4928    779    721   5473   4062   5353
     -1     -1      1      1      1     -1     -1      1      1      1
Train accuarcate: 68.10%
tensor([[3., 3., 5., 5., 6., 3., 3., 8., 2., 6.],
        [7., 5., 5., 5., 2., 5., 5., 4., 4., 2.],
        [4., 8., 4., 4., 3., 4., 4., 3., 5., 3.],
        [8., 4., 4., 4., 3., 6., 6., 3., 5., 3.],
        [3., 3., 5., 3., 8., 3., 5., 6., 4., 6.],
        [4., 8., 4., 4., 3., 4., 4., 3., 5., 3.],
        [3., 3., 3., 5., 6., 5., 3., 6., 4., 8.],
        [2., 4., 4., 4., 7., 4., 4., 5., 5., 7.],
        [5., 5., 5., 1., 6., 3., 7., 4., 4., 4.],
        [3., 3., 3., 5., 6., 5., 3., 6., 4., 8.],
        [8., 4., 4., 4., 3., 6., 6., 3., 5., 3.],
        [4., 6., 6., 4., 5., 2., 4., 5., 5., 3.],
        [4., 2., 4., 4., 7., 4., 4., 7., 3., 7.],
        [8., 4., 4., 4., 3., 6., 6., 3., 5., 3.],
        [4., 8., 4., 4., 3., 4., 4., 3., 5., 3.],
        [5., 3., 3., 7., 4., 7., 3., 4., 6., 6.],
        [4., 2., 4., 4., 7., 4., 4., 7., 3., 7.],
        [3., 3., 5., 5., 6., 3., 3., 8., 2., 6.],
        [5., 7., 3., 5., 2., 5., 3., 4., 4., 4.],
        [3., 3., 5., 3., 8., 3., 5., 6., 4., 6.]], device='cuda:0')
Train accuarcate: 68.37%



iteration:
    7
    0   786   bit_w:-1  loss: 1.69964
    1   799   bit_w:-1  loss: 1.69871
    2   842   bit_w:-1  loss: 1.69475
    3   865   bit_w:-1  loss: 1.69285
    4   839   bit_w: 1  loss: 1.69052
   5446     32    572    821   5349   3305   4548    943   1297   4315
      1     -1     -1     -1      1      1      1     -1     -1      1
Train accuarcate: 70.16%
tensor([[3., 4., 6., 6., 6., 3., 3., 9., 3., 6.],
        [7., 6., 6., 6., 2., 5., 5., 5., 5., 2.],
        [4., 9., 5., 5., 3., 4., 4., 4., 6., 3.],
        [9., 4., 4., 4., 4., 7., 7., 3., 5., 4.],
        [4., 3., 5., 3., 9., 4., 6., 6., 4., 7.],
        [4., 9., 5., 5., 3., 4., 4., 4., 6., 3.],
        [4., 3., 3., 5., 7., 6., 4., 6., 4., 9.],
        [3., 4., 4., 4., 8., 5., 5., 5., 5., 8.],
        [6., 5., 5., 1., 7., 4., 8., 4., 4., 5.],
        [4., 3., 3., 5., 7., 6., 4., 6., 4., 9.],
        [9., 4., 4., 4., 4., 7., 7., 3., 5., 4.],
        [5., 6., 6., 4., 6., 3., 5., 5., 5., 4.],
        [5., 2., 4., 4., 8., 5., 5., 7., 3., 8.],
        [9., 4., 4., 4., 4., 7., 7., 3., 5., 4.],
        [4., 9., 5., 5., 3., 4., 4., 4., 6., 3.],
        [5., 4., 4., 8., 4., 7., 3., 5., 7., 6.],
        [5., 2., 4., 4., 8., 5., 5., 7., 3., 8.],
        [3., 4., 6., 6., 6., 3., 3., 9., 3., 6.],
        [5., 8., 4., 6., 2., 5., 3., 5., 5., 4.],
        [4., 3., 5., 3., 9., 4., 6., 6., 4., 7.]], device='cuda:0')
Train accuarcate: 70.92%



iteration:
    8
    0   812   bit_w:-1  loss: 1.63769
    1   784   bit_w:-1  loss: 1.64017
    2   830   bit_w:-1  loss: 1.63377
    3   873   bit_w: 1  loss: 1.63484
    4   905   bit_w:-1  loss: 1.62804
    425   6506   1670   5269   4831   4332   1340    680   5250   5130
     -1      1     -1      1      1      1     -1     -1      1      1
Train accuarcate: 71.27%
tensor([[ 4.,  4.,  7.,  6.,  6.,  3.,  4., 10.,  3.,  6.],
        [ 8.,  6.,  7.,  6.,  2.,  5.,  6.,  6.,  5.,  2.],
        [ 4., 10.,  5.,  6.,  4.,  5.,  4.,  4.,  7.,  4.],
        [10.,  4.,  5.,  4.,  4.,  7.,  8.,  4.,  5.,  4.],
        [ 5.,  3.,  6.,  3.,  9.,  4.,  7.,  7.,  4.,  7.],
        [ 4., 10.,  5.,  6.,  4.,  5.,  4.,  4.,  7.,  4.],
        [ 4.,  4.,  3.,  6.,  8.,  7.,  4.,  6.,  5., 10.],
        [ 3.,  5.,  4.,  5.,  9.,  6.,  5.,  5.,  6.,  9.],
        [ 7.,  5.,  6.,  1.,  7.,  4.,  9.,  5.,  4.,  5.],
        [ 4.,  4.,  3.,  6.,  8.,  7.,  4.,  6.,  5., 10.],
        [10.,  4.,  5.,  4.,  4.,  7.,  8.,  4.,  5.,  4.],
        [ 6.,  6.,  7.,  4.,  6.,  3.,  6.,  6.,  5.,  4.],
        [ 5.,  3.,  4.,  5.,  9.,  6.,  5.,  7.,  4.,  9.],
        [10.,  4.,  5.,  4.,  4.,  7.,  8.,  4.,  5.,  4.],
        [ 4., 10.,  5.,  6.,  4.,  5.,  4.,  4.,  7.,  4.],
        [ 5.,  5.,  4.,  9.,  5.,  8.,  3.,  5.,  8.,  7.],
        [ 5.,  3.,  4.,  5.,  9.,  6.,  5.,  7.,  4.,  9.],
        [ 4.,  4.,  7.,  6.,  6.,  3.,  4., 10.,  3.,  6.],
        [ 5.,  9.,  4.,  7.,  3.,  6.,  3.,  5.,  6.,  5.],
        [ 4.,  4.,  5.,  4., 10.,  5.,  6.,  6.,  5.,  8.]], device='cuda:0')
Train accuarcate: 71.86%



iteration:
    9
    0   795   bit_w:-1  loss: 1.57562
    1   824   bit_w:-1  loss: 1.57519
    2  1042   bit_w: 1  loss: 1.56517
    3   858   bit_w: 1  loss: 1.56825
    4   834   bit_w: 1  loss: 1.55977
   5411    366   4377   5539    240   4154    805    407   3876    456
      1     -1      1      1     -1      1     -1     -1      1     -1
Train accuarcate: 72.81%
tensor([[ 4.,  5.,  7.,  6.,  7.,  3.,  5., 11.,  3.,  7.],
        [ 9.,  6.,  8.,  7.,  2.,  6.,  6.,  6.,  6.,  2.],
        [ 4., 11.,  5.,  6.,  5.,  5.,  5.,  5.,  7.,  5.],
        [11.,  4.,  6.,  5.,  4.,  8.,  8.,  4.,  6.,  4.],
        [ 5.,  4.,  6.,  3., 10.,  4.,  8.,  8.,  4.,  8.],
        [ 4., 11.,  5.,  6.,  5.,  5.,  5.,  5.,  7.,  5.],
        [ 4.,  5.,  3.,  6.,  9.,  7.,  5.,  7.,  5., 11.],
        [ 3.,  6.,  4.,  5., 10.,  6.,  6.,  6.,  6., 10.],
        [ 7.,  6.,  6.,  1.,  8.,  4., 10.,  6.,  4.,  6.],
        [ 4.,  5.,  3.,  6.,  9.,  7.,  5.,  7.,  5., 11.],
        [11.,  4.,  6.,  5.,  4.,  8.,  8.,  4.,  6.,  4.],
        [ 6.,  7.,  7.,  4.,  7.,  3.,  7.,  7.,  5.,  5.],
        [ 5.,  4.,  4.,  5., 10.,  6.,  6.,  8.,  4., 10.],
        [11.,  4.,  6.,  5.,  4.,  8.,  8.,  4.,  6.,  4.],
        [ 4., 11.,  5.,  6.,  5.,  5.,  5.,  5.,  7.,  5.],
        [ 6.,  5.,  5., 10.,  5.,  9.,  3.,  5.,  9.,  7.],
        [ 5.,  4.,  4.,  5., 10.,  6.,  6.,  8.,  4., 10.],
        [ 4.,  5.,  7.,  6.,  7.,  3.,  5., 11.,  3.,  7.],
        [ 5., 10.,  4.,  7.,  4.,  6.,  4.,  6.,  6.,  6.],
        [ 4.,  5.,  5.,  4., 11.,  5.,  7.,  7.,  5.,  9.]], device='cuda:0')
Train accuarcate: 72.77%



iteration:
   10
    0   797   bit_w:-1  loss: 1.51029
    1   791   bit_w:-1  loss: 1.51168
    2   922   bit_w:-1  loss: 1.50197
    3   813   bit_w:-1  loss: 1.50236
    4   800   bit_w: 1  loss: 1.49795
    679   6280   5295    819   5044   1354   5487    719   4600   1302
     -1      1      1     -1      1     -1      1     -1      1     -1
Train accuarcate: 73.61%
tensor([[ 5.,  5.,  7.,  7.,  7.,  4.,  5., 12.,  3.,  8.],
        [10.,  6.,  8.,  8.,  2.,  7.,  6.,  7.,  6.,  3.],
        [ 4., 12.,  6.,  6.,  6.,  5.,  6.,  5.,  8.,  5.],
        [12.,  4.,  6.,  6.,  4.,  9.,  8.,  5.,  6.,  5.],
        [ 5.,  5.,  7.,  3., 11.,  4.,  9.,  8.,  5.,  8.],
        [ 4., 12.,  6.,  6.,  6.,  5.,  6.,  5.,  8.,  5.],
        [ 4.,  6.,  4.,  6., 10.,  7.,  6.,  7.,  6., 11.],
        [ 3.,  7.,  5.,  5., 11.,  6.,  7.,  6.,  7., 10.],
        [ 7.,  7.,  7.,  1.,  9.,  4., 11.,  6.,  5.,  6.],
        [ 5.,  5.,  3.,  7.,  9.,  8.,  5.,  8.,  5., 12.],
        [12.,  4.,  6.,  6.,  4.,  9.,  8.,  5.,  6.,  5.],
        [ 6.,  8.,  8.,  4.,  8.,  3.,  8.,  7.,  6.,  5.],
        [ 6.,  4.,  4.,  6., 10.,  7.,  6.,  9.,  4., 11.],
        [12.,  4.,  6.,  6.,  4.,  9.,  8.,  5.,  6.,  5.],
        [ 4., 12.,  6.,  6.,  6.,  5.,  6.,  5.,  8.,  5.],
        [ 7.,  5.,  5., 11.,  5., 10.,  3.,  6.,  9.,  8.],
        [ 6.,  4.,  4.,  6., 10.,  7.,  6.,  9.,  4., 11.],
        [ 5.,  5.,  7.,  7.,  7.,  4.,  5., 12.,  3.,  8.],
        [ 6., 10.,  4.,  8.,  4.,  7.,  4.,  7.,  6.,  7.],
        [ 4.,  6.,  6.,  4., 12.,  5.,  8.,  7.,  6.,  9.]], device='cuda:0')
Train accuarcate: 74.11%



iteration:
   11
    0   793   bit_w:-1  loss: 1.45020
    1   802   bit_w:-1  loss: 1.44973
    2   830   bit_w:-1  loss: 1.43986
    3  1173   bit_w:-1  loss: 1.44107
    4   953   bit_w:-1  loss: 1.43536
    497    505    945   4155   5554   4352   5023    819   4842   5299
     -1     -1     -1      1      1      1      1     -1      1      1
Train accuarcate: 75.10%
tensor([[ 6.,  6.,  8.,  7.,  7.,  4.,  5., 13.,  3.,  8.],
        [11.,  7.,  9.,  8.,  2.,  7.,  6.,  8.,  6.,  3.],
        [ 5., 13.,  7.,  6.,  6.,  5.,  6.,  6.,  8.,  5.],
        [13.,  5.,  7.,  6.,  4.,  9.,  8.,  6.,  6.,  5.],
        [ 5.,  5.,  7.,  4., 12.,  5., 10.,  8.,  6.,  9.],
        [ 5., 13.,  7.,  6.,  6.,  5.,  6.,  6.,  8.,  5.],
        [ 4.,  6.,  4.,  7., 11.,  8.,  7.,  7.,  7., 12.],
        [ 3.,  7.,  5.,  6., 12.,  7.,  8.,  6.,  8., 11.],
        [ 8.,  8.,  8.,  1.,  9.,  4., 11.,  7.,  5.,  6.],
        [ 5.,  5.,  3.,  8., 10.,  9.,  6.,  8.,  6., 13.],
        [13.,  5.,  7.,  6.,  4.,  9.,  8.,  6.,  6.,  5.],
        [ 6.,  8.,  8.,  5.,  9.,  4.,  9.,  7.,  7.,  6.],
        [ 6.,  4.,  4.,  7., 11.,  8.,  7.,  9.,  5., 12.],
        [13.,  5.,  7.,  6.,  4.,  9.,  8.,  6.,  6.,  5.],
        [ 5., 13.,  7.,  6.,  6.,  5.,  6.,  6.,  8.,  5.],
        [ 8.,  6.,  6., 11.,  5., 10.,  3.,  7.,  9.,  8.],
        [ 6.,  4.,  4.,  7., 11.,  8.,  7.,  9.,  5., 12.],
        [ 6.,  6.,  8.,  7.,  7.,  4.,  5., 13.,  3.,  8.],
        [ 6., 10.,  4.,  9.,  5.,  8.,  5.,  7.,  7.,  8.],
        [ 4.,  6.,  6.,  5., 13.,  6.,  9.,  7.,  7., 10.]], device='cuda:0')
Train accuarcate: 75.79%



iteration:
   12
    0   796   bit_w:-1  loss: 1.38963
    1   830   bit_w:-1  loss: 1.39095
    2   855   bit_w:-1  loss: 1.38200
    3  1096   bit_w:-1  loss: 1.38250
    4   790   bit_w: 1  loss: 1.37673
   5097    289    665   1155   5574   2963    943   5362   4093   5770
      1     -1     -1     -1      1      0     -1      1      1      1
Train accuarcate: 76.23%
tensor([[ 6.,  7.,  9.,  8.,  7.,  4.,  6., 13.,  3.,  8.],
        [11.,  8., 10.,  9.,  2.,  7.,  7.,  8.,  6.,  3.],
        [ 5., 14.,  8.,  7.,  6.,  5.,  7.,  6.,  8.,  5.],
        [14.,  5.,  7.,  6.,  5.,  9.,  8.,  7.,  7.,  6.],
        [ 6.,  5.,  7.,  4., 13.,  5., 10.,  9.,  7., 10.],
        [ 5., 14.,  8.,  7.,  6.,  5.,  7.,  6.,  8.,  5.],
        [ 5.,  6.,  4.,  7., 12.,  8.,  7.,  8.,  8., 13.],
        [ 4.,  7.,  5.,  6., 13.,  7.,  8.,  7.,  9., 12.],
        [ 9.,  8.,  8.,  1., 10.,  4., 11.,  8.,  6.,  7.],
        [ 6.,  5.,  3.,  8., 11.,  9.,  6.,  9.,  7., 14.],
        [14.,  5.,  7.,  6.,  5.,  9.,  8.,  7.,  7.,  6.],
        [ 7.,  8.,  8.,  5., 10.,  4.,  9.,  8.,  8.,  7.],
        [ 7.,  4.,  4.,  7., 12.,  8.,  7., 10.,  6., 13.],
        [14.,  5.,  7.,  6.,  5.,  9.,  8.,  7.,  7.,  6.],
        [ 5., 14.,  8.,  7.,  6.,  5.,  7.,  6.,  8.,  5.],
        [ 9.,  6.,  6., 11.,  6., 10.,  3.,  8., 10.,  9.],
        [ 7.,  4.,  4.,  7., 12.,  8.,  7., 10.,  6., 13.],
        [ 6.,  7.,  9.,  8.,  7.,  4.,  6., 13.,  3.,  8.],
        [ 6., 11.,  5., 10.,  5.,  8.,  6.,  7.,  7.,  8.],
        [ 5.,  6.,  6.,  5., 14.,  6.,  9.,  8.,  8., 11.]], device='cuda:0')
Train accuarcate: 77.02%



iteration:
   13
    0   801   bit_w:-1  loss: 1.33375
    1   790   bit_w:-1  loss: 1.33283
    2   853   bit_w:-1  loss: 1.32612
    3   843   bit_w: 1  loss: 1.32711
    4  1071   bit_w: 1  loss: 1.32005
   5669    420   4985   5344    564   4147   5507    483   4794    699
      1     -1      1      1     -1      1      1     -1      1     -1
Train accuarcate: 76.36%
tensor([[ 6.,  8.,  9.,  8.,  8.,  4.,  6., 14.,  3.,  9.],
        [11.,  9., 10.,  9.,  3.,  7.,  7.,  9.,  6.,  4.],
        [ 5., 15.,  8.,  7.,  7.,  5.,  7.,  7.,  8.,  6.],
        [15.,  5.,  8.,  7.,  5., 10.,  9.,  7.,  8.,  6.],
        [ 6.,  6.,  7.,  4., 14.,  5., 10., 10.,  7., 11.],
        [ 5., 15.,  8.,  7.,  7.,  5.,  7.,  7.,  8.,  6.],
        [ 5.,  7.,  4.,  7., 13.,  8.,  7.,  9.,  8., 14.],
        [ 4.,  8.,  5.,  6., 14.,  7.,  8.,  8.,  9., 13.],
        [ 9.,  9.,  8.,  1., 11.,  4., 11.,  9.,  6.,  8.],
        [ 6.,  6.,  3.,  8., 12.,  9.,  6., 10.,  7., 15.],
        [15.,  5.,  8.,  7.,  5., 10.,  9.,  7.,  8.,  6.],
        [ 8.,  8.,  9.,  6., 10.,  5., 10.,  8.,  9.,  7.],
        [ 7.,  5.,  4.,  7., 13.,  8.,  7., 11.,  6., 14.],
        [15.,  5.,  8.,  7.,  5., 10.,  9.,  7.,  8.,  6.],
        [ 5., 15.,  8.,  7.,  7.,  5.,  7.,  7.,  8.,  6.],
        [10.,  6.,  7., 12.,  6., 11.,  4.,  8., 11.,  9.],
        [ 7.,  5.,  4.,  7., 13.,  8.,  7., 11.,  6., 14.],
        [ 6.,  8.,  9.,  8.,  8.,  4.,  6., 14.,  3.,  9.],
        [ 6., 12.,  5., 10.,  6.,  8.,  6.,  8.,  7.,  9.],
        [ 5.,  7.,  6.,  5., 15.,  6.,  9.,  9.,  8., 12.]], device='cuda:0')
Train accuarcate: 77.30%



iteration:
   14
    0   805   bit_w:-1  loss: 1.27999
    1   799   bit_w:-1  loss: 1.28002
    2   657   bit_w:-1  loss: 1.27324
    3   835   bit_w: 1  loss: 1.27496
    4   914   bit_w: 1  loss: 1.27036
   4957    164   4324    630   5386   1539   5007   1083    993   4668
      1     -1      1     -1      1     -1      1     -1     -1      1
Train accuarcate: 76.68%
tensor([[ 6.,  9.,  9.,  9.,  8.,  5.,  6., 15.,  4.,  9.],
        [11., 10., 10., 10.,  3.,  8.,  7., 10.,  7.,  4.],
        [ 5., 16.,  8.,  8.,  7.,  6.,  7.,  8.,  9.,  6.],
        [16.,  5.,  9.,  7.,  6., 10., 10.,  7.,  8.,  7.],
        [ 7.,  6.,  8.,  4., 15.,  5., 11., 10.,  7., 12.],
        [ 5., 16.,  8.,  8.,  7.,  6.,  7.,  8.,  9.,  6.],
        [ 6.,  7.,  5.,  7., 14.,  8.,  8.,  9.,  8., 15.],
        [ 5.,  8.,  6.,  6., 15.,  7.,  9.,  8.,  9., 14.],
        [10.,  9.,  9.,  1., 12.,  4., 12.,  9.,  6.,  9.],
        [ 7.,  6.,  4.,  8., 13.,  9.,  7., 10.,  7., 16.],
        [16.,  5.,  9.,  7.,  6., 10., 10.,  7.,  8.,  7.],
        [ 9.,  8., 10.,  6., 11.,  5., 11.,  8.,  9.,  8.],
        [ 8.,  5.,  5.,  7., 14.,  8.,  8., 11.,  6., 15.],
        [16.,  5.,  9.,  7.,  6., 10., 10.,  7.,  8.,  7.],
        [ 5., 16.,  8.,  8.,  7.,  6.,  7.,  8.,  9.,  6.],
        [10.,  7.,  7., 13.,  6., 12.,  4.,  9., 12.,  9.],
        [ 8.,  5.,  5.,  7., 14.,  8.,  8., 11.,  6., 15.],
        [ 6.,  9.,  9.,  9.,  8.,  5.,  6., 15.,  4.,  9.],
        [ 7., 12.,  6., 10.,  7.,  8.,  7.,  8.,  7., 10.],
        [ 6.,  7.,  7.,  5., 16.,  6., 10.,  9.,  8., 13.]], device='cuda:0')
Train accuarcate: 77.74%



iteration:
   15
    0   811   bit_w:-1  loss: 1.23207
    1   817   bit_w:-1  loss: 1.23082
    2   995   bit_w: 1  loss: 1.22156
    3   832   bit_w:-1  loss: 1.22460
    4  1096   bit_w:-1  loss: 1.22086
   4795    357   4346   4616    523    691    131   1907   4287   3174
      1     -1      1      1     -1     -1     -1     -1      1      1
Train accuarcate: 78.30%
tensor([[ 6., 10.,  9.,  9.,  9.,  6.,  7., 16.,  4.,  9.],
        [11., 11., 10., 10.,  4.,  9.,  8., 11.,  7.,  4.],
        [ 5., 17.,  8.,  8.,  8.,  7.,  8.,  9.,  9.,  6.],
        [17.,  5., 10.,  8.,  6., 10., 10.,  7.,  9.,  8.],
        [ 7.,  7.,  8.,  4., 16.,  6., 12., 11.,  7., 12.],
        [ 5., 17.,  8.,  8.,  8.,  7.,  8.,  9.,  9.,  6.],
        [ 6.,  8.,  5.,  7., 15.,  9.,  9., 10.,  8., 15.],
        [ 5.,  9.,  6.,  6., 16.,  8., 10.,  9.,  9., 14.],
        [10., 10.,  9.,  1., 13.,  5., 13., 10.,  6.,  9.],
        [ 7.,  7.,  4.,  8., 14., 10.,  8., 11.,  7., 16.],
        [17.,  5., 10.,  8.,  6., 10., 10.,  7.,  9.,  8.],
        [ 9.,  9., 10.,  6., 12.,  6., 12.,  9.,  9.,  8.],
        [ 8.,  6.,  5.,  7., 15.,  9.,  9., 12.,  6., 15.],
        [17.,  5., 10.,  8.,  6., 10., 10.,  7.,  9.,  8.],
        [ 5., 17.,  8.,  8.,  8.,  7.,  8.,  9.,  9.,  6.],
        [10.,  8.,  7., 13.,  7., 13.,  5., 10., 12.,  9.],
        [ 9.,  5.,  6.,  8., 14.,  8.,  8., 11.,  7., 16.],
        [ 6., 10.,  9.,  9.,  9.,  6.,  7., 16.,  4.,  9.],
        [ 7., 13.,  6., 10.,  8.,  9.,  8.,  9.,  7., 10.],
        [ 6.,  8.,  7.,  5., 17.,  7., 11., 10.,  8., 13.]], device='cuda:0')
Train accuarcate: 78.57%



iteration:
   16
    0   788   bit_w:-1  loss: 1.18417
    1   806   bit_w:-1  loss: 1.18436
    2   792   bit_w:-1  loss: 1.17726
    3   829   bit_w:-1  loss: 1.17845
    4   927   bit_w: 1  loss: 1.17631
    722   1568   4118   1757   5513    456   1151   5684   4496   5477
     -1     -1      1     -1      1     -1     -1      1      1      1
Train accuarcate: 78.61%
tensor([[ 6., 10., 10.,  9., 10.,  6.,  7., 17.,  5., 10.],
        [12., 12., 10., 11.,  4., 10.,  9., 11.,  7.,  4.],
        [ 6., 18.,  8.,  9.,  8.,  8.,  9.,  9.,  9.,  6.],
        [18.,  6., 10.,  9.,  6., 11., 11.,  7.,  9.,  8.],
        [ 7.,  7.,  9.,  4., 17.,  6., 12., 12.,  8., 13.],
        [ 6., 18.,  8.,  9.,  8.,  8.,  9.,  9.,  9.,  6.],
        [ 6.,  8.,  6.,  7., 16.,  9.,  9., 11.,  9., 16.],
        [ 5.,  9.,  7.,  6., 17.,  8., 10., 10., 10., 15.],
        [11., 11.,  9.,  2., 13.,  6., 14., 10.,  6.,  9.],
        [ 7.,  7.,  5.,  8., 15., 10.,  8., 12.,  8., 17.],
        [18.,  6., 10.,  9.,  6., 11., 11.,  7.,  9.,  8.],
        [ 9.,  9., 11.,  6., 13.,  6., 12., 10., 10.,  9.],
        [ 8.,  6.,  6.,  7., 16.,  9.,  9., 13.,  7., 16.],
        [18.,  6., 10.,  9.,  6., 11., 11.,  7.,  9.,  8.],
        [ 6., 18.,  8.,  9.,  8.,  8.,  9.,  9.,  9.,  6.],
        [11.,  9.,  7., 14.,  7., 14.,  6., 10., 12.,  9.],
        [ 9.,  5.,  7.,  8., 15.,  8.,  8., 12.,  8., 17.],
        [ 6., 10., 10.,  9., 10.,  6.,  7., 17.,  5., 10.],
        [ 8., 14.,  6., 11.,  8., 10.,  9.,  9.,  7., 10.],
        [ 6.,  8.,  8.,  5., 18.,  7., 11., 11.,  9., 14.]], device='cuda:0')
Train accuarcate: 79.13%



iteration:
   17
    0   864   bit_w:-1  loss: 1.14159
    1   809   bit_w:-1  loss: 1.14080
    2   907   bit_w:-1  loss: 1.13601
    3   813   bit_w:-1  loss: 1.13546
    4   870   bit_w: 1  loss: 1.13396
    221   5930   4850    844   3645   1377   5495    659   4854    769
     -1      1      1     -1      1     -1      1     -1      1     -1
Train accuarcate: 79.18%
tensor([[ 7., 10., 10., 10., 10.,  7.,  7., 18.,  5., 11.],
        [12., 13., 11., 11.,  5., 10., 10., 11.,  8.,  4.],
        [ 6., 19.,  9.,  9.,  9.,  8., 10.,  9., 10.,  6.],
        [19.,  6., 10., 10.,  6., 12., 11.,  8.,  9.,  9.],
        [ 7.,  8., 10.,  4., 18.,  6., 13., 12.,  9., 13.],
        [ 6., 19.,  9.,  9.,  9.,  8., 10.,  9., 10.,  6.],
        [ 7.,  8.,  6.,  8., 16., 10.,  9., 12.,  9., 17.],
        [ 5., 10.,  8.,  6., 18.,  8., 11., 10., 11., 15.],
        [12., 11.,  9.,  3., 13.,  7., 14., 11.,  6., 10.],
        [ 8.,  7.,  5.,  9., 15., 11.,  8., 13.,  8., 18.],
        [19.,  6., 10., 10.,  6., 12., 11.,  8.,  9.,  9.],
        [ 9., 10., 12.,  6., 14.,  6., 13., 10., 11.,  9.],
        [ 9.,  6.,  6.,  8., 16., 10.,  9., 14.,  7., 17.],
        [19.,  6., 10., 10.,  6., 12., 11.,  8.,  9.,  9.],
        [ 6., 19.,  9.,  9.,  9.,  8., 10.,  9., 10.,  6.],
        [12.,  9.,  7., 15.,  7., 15.,  6., 11., 12., 10.],
        [10.,  5.,  7.,  9., 15.,  9.,  8., 13.,  8., 18.],
        [ 7., 10., 10., 10., 10.,  7.,  7., 18.,  5., 11.],
        [ 8., 15.,  7., 11.,  9., 10., 10.,  9.,  8., 10.],
        [ 6.,  9.,  9.,  5., 19.,  7., 12., 11., 10., 14.]], device='cuda:0')
Train accuarcate: 79.73%



iteration:
   18
    0   865   bit_w:-1  loss: 1.10098
    1   830   bit_w:-1  loss: 1.09891
    2   841   bit_w:-1  loss: 1.09136
    3   815   bit_w:-1  loss: 1.09256
    4   872   bit_w:-1  loss: 1.08824
   5451    370    493   1071   5469   4714   5218   1999   4834   5456
      1     -1     -1     -1      1      1      1     -1      1      1
Train accuarcate: 79.38%
tensor([[ 7., 11., 11., 11., 10.,  7.,  7., 19.,  5., 11.],
        [12., 14., 12., 12.,  5., 10., 10., 12.,  8.,  4.],
        [ 6., 20., 10., 10.,  9.,  8., 10., 10., 10.,  6.],
        [20.,  6., 10., 10.,  7., 13., 12.,  8., 10., 10.],
        [ 8.,  8., 10.,  4., 19.,  7., 14., 12., 10., 14.],
        [ 6., 20., 10., 10.,  9.,  8., 10., 10., 10.,  6.],
        [ 8.,  8.,  6.,  8., 17., 11., 10., 12., 10., 18.],
        [ 6., 10.,  8.,  6., 19.,  9., 12., 10., 12., 16.],
        [13., 11.,  9.,  3., 14.,  8., 15., 11.,  7., 11.],
        [ 9.,  7.,  5.,  9., 16., 12.,  9., 13.,  9., 19.],
        [19.,  7., 11., 11.,  6., 12., 11.,  9.,  9.,  9.],
        [ 9., 11., 13.,  7., 14.,  6., 13., 11., 11.,  9.],
        [10.,  6.,  6.,  8., 17., 11., 10., 14.,  8., 18.],
        [20.,  6., 10., 10.,  7., 13., 12.,  8., 10., 10.],
        [ 6., 20., 10., 10.,  9.,  8., 10., 10., 10.,  6.],
        [13.,  9.,  7., 15.,  8., 16.,  7., 11., 13., 11.],
        [11.,  5.,  7.,  9., 16., 10.,  9., 13.,  9., 19.],
        [ 7., 11., 11., 11., 10.,  7.,  7., 19.,  5., 11.],
        [ 8., 16.,  8., 12.,  9., 10., 10., 10.,  8., 10.],
        [ 7.,  9.,  9.,  5., 20.,  8., 13., 11., 11., 15.]], device='cuda:0')
Train accuarcate: 79.82%



iteration:
   19
    0   812   bit_w:-1  loss: 1.05820
    1   794   bit_w: 1  loss: 1.05699
    2   800   bit_w:-1  loss: 1.05338
    3   820   bit_w:-1  loss: 1.05424
    4   849   bit_w: 1  loss: 1.05123
    332   6553   1575   5479   1468   4325    742   1958   5126   4538
     -1      1     -1      1     -1      1     -1     -1      1      1
Train accuarcate: 79.57%
tensor([[ 7., 12., 11., 12., 10.,  8.,  7., 19.,  6., 12.],
        [13., 14., 13., 12.,  6., 10., 11., 13.,  8.,  4.],
        [ 6., 21., 10., 11.,  9.,  9., 10., 10., 11.,  7.],
        [21.,  6., 11., 10.,  8., 13., 13.,  9., 10., 10.],
        [ 9.,  8., 11.,  4., 20.,  7., 15., 13., 10., 14.],
        [ 6., 21., 10., 11.,  9.,  9., 10., 10., 11.,  7.],
        [ 8.,  9.,  6.,  9., 17., 12., 10., 12., 11., 19.],
        [ 6., 11.,  8.,  7., 19., 10., 12., 10., 13., 17.],
        [14., 11., 10.,  3., 15.,  8., 16., 12.,  7., 11.],
        [ 9.,  8.,  5., 10., 16., 13.,  9., 13., 10., 20.],
        [20.,  7., 12., 11.,  7., 12., 12., 10.,  9.,  9.],
        [10., 11., 14.,  7., 15.,  6., 14., 12., 11.,  9.],
        [10.,  7.,  6.,  9., 17., 12., 10., 14.,  9., 19.],
        [21.,  6., 11., 10.,  8., 13., 13.,  9., 10., 10.],
        [ 6., 21., 10., 11.,  9.,  9., 10., 10., 11.,  7.],
        [13., 10.,  7., 16.,  8., 17.,  7., 11., 14., 12.],
        [12.,  5.,  8.,  9., 17., 10., 10., 14.,  9., 19.],
        [ 8., 11., 12., 11., 11.,  7.,  8., 20.,  5., 11.],
        [ 8., 17.,  8., 13.,  9., 11., 10., 10.,  9., 11.],
        [ 8.,  9., 10.,  5., 21.,  8., 14., 12., 11., 15.]], device='cuda:0')
Train accuarcate: 79.94%



iteration:
   20
    0   814   bit_w:-1  loss: 1.02253
    1   793   bit_w:-1  loss: 1.02303
    2   870   bit_w: 1  loss: 1.01947
    3  1103   bit_w:-1  loss: 1.01786
    4   849   bit_w:-1  loss: 1.01429
   1695    829   2391   5011   5334   4472   5598    765   4672   2485
     -1     -1     -1      1      1      1      1     -1      1     -1
Train accuarcate: 80.19%
tensor([[ 8., 13., 12., 12., 10.,  8.,  7., 20.,  6., 13.],
        [13., 14., 13., 13.,  7., 11., 12., 13.,  9.,  4.],
        [ 7., 22., 11., 11.,  9.,  9., 10., 11., 11.,  8.],
        [22.,  7., 12., 10.,  8., 13., 13., 10., 10., 11.],
        [ 9.,  8., 11.,  5., 21.,  8., 16., 13., 11., 14.],
        [ 7., 22., 11., 11.,  9.,  9., 10., 11., 11.,  8.],
        [ 8.,  9.,  6., 10., 18., 13., 11., 12., 12., 19.],
        [ 6., 11.,  8.,  8., 20., 11., 13., 10., 14., 17.],
        [15., 12., 11.,  3., 15.,  8., 16., 13.,  7., 12.],
        [10.,  9.,  6., 10., 16., 13.,  9., 14., 10., 21.],
        [21.,  8., 13., 11.,  7., 12., 12., 11.,  9., 10.],
        [10., 11., 14.,  8., 16.,  7., 15., 12., 12.,  9.],
        [10.,  7.,  6., 10., 18., 13., 11., 14., 10., 19.],
        [22.,  7., 12., 10.,  8., 13., 13., 10., 10., 11.],
        [ 7., 22., 11., 11.,  9.,  9., 10., 11., 11.,  8.],
        [14., 11.,  8., 16.,  8., 17.,  7., 12., 14., 13.],
        [13.,  6.,  9.,  9., 17., 10., 10., 15.,  9., 20.],
        [ 9., 12., 13., 11., 11.,  7.,  8., 21.,  5., 12.],
        [ 8., 17.,  8., 14., 10., 12., 11., 10., 10., 11.],
        [ 8.,  9., 10.,  6., 22.,  9., 15., 12., 12., 15.]], device='cuda:0')
Train accuarcate: 80.51%



iteration:
   21
    0   864   bit_w:-1  loss: 0.98534
    1   821   bit_w:-1  loss: 0.98551
    2   940   bit_w: 1  loss: 0.97775
    3   801   bit_w:-1  loss: 0.97915
    4   815   bit_w:-1  loss: 0.97501
   4828    577   4992    685    689    790   5416    170   4747    384
      1     -1      1     -1     -1     -1      1     -1      1     -1
Train accuarcate: 80.89%
tensor([[ 8., 14., 12., 13., 11.,  9.,  7., 21.,  6., 14.],
        [14., 14., 14., 13.,  7., 11., 13., 13., 10.,  4.],
        [ 7., 23., 11., 12., 10., 10., 10., 12., 11.,  9.],
        [23.,  7., 13., 10.,  8., 13., 14., 10., 11., 11.],
        [ 9.,  9., 11.,  6., 22.,  9., 16., 14., 11., 15.],
        [ 7., 23., 11., 12., 10., 10., 10., 12., 11.,  9.],
        [ 8., 10.,  6., 11., 19., 14., 11., 13., 12., 20.],
        [ 6., 12.,  8.,  9., 21., 12., 13., 11., 14., 18.],
        [16., 12., 12.,  3., 15.,  8., 17., 13.,  8., 12.],
        [10., 10.,  6., 11., 17., 14.,  9., 15., 10., 22.],
        [22.,  8., 14., 11.,  7., 12., 13., 11., 10., 10.],
        [10., 12., 14.,  9., 17.,  8., 15., 13., 12., 10.],
        [10.,  8.,  6., 11., 19., 14., 11., 15., 10., 20.],
        [23.,  7., 13., 10.,  8., 13., 14., 10., 11., 11.],
        [ 7., 23., 11., 12., 10., 10., 10., 12., 11.,  9.],
        [14., 12.,  8., 17.,  9., 18.,  7., 13., 14., 14.],
        [13.,  7.,  9., 10., 18., 11., 10., 16.,  9., 21.],
        [ 9., 13., 13., 12., 12.,  8.,  8., 22.,  5., 13.],
        [ 9., 17.,  9., 14., 10., 12., 12., 10., 11., 11.],
        [ 8., 10., 10.,  7., 23., 10., 15., 13., 12., 16.]], device='cuda:0')
Train accuarcate: 81.01%



iteration:
   22
    0   803   bit_w:-1  loss: 0.94849
    1   827   bit_w:-1  loss: 0.94745
    2   815   bit_w:-1  loss: 0.94363
    3   826   bit_w:-1  loss: 0.94417
    4   786   bit_w: 1  loss: 0.94184
    390   6540   4923   1425   2164   1114   4306    676   4895   3732
     -1      1      1     -1     -1     -1      1     -1      1      1
Train accuarcate: 80.95%
tensor([[ 9., 14., 12., 14., 12., 10.,  7., 22.,  6., 14.],
        [14., 15., 15., 13.,  7., 11., 14., 13., 11.,  5.],
        [ 7., 24., 12., 12., 10., 10., 11., 12., 12., 10.],
        [24.,  7., 13., 11.,  9., 14., 14., 11., 11., 11.],
        [ 9., 10., 12.,  6., 22.,  9., 17., 14., 12., 16.],
        [ 7., 24., 12., 12., 10., 10., 11., 12., 12., 10.],
        [ 9., 10.,  6., 12., 20., 15., 11., 14., 12., 20.],
        [ 6., 13.,  9.,  9., 21., 12., 14., 11., 15., 19.],
        [16., 13., 13.,  3., 15.,  8., 18., 13.,  9., 13.],
        [11., 10.,  6., 12., 18., 15.,  9., 16., 10., 22.],
        [23.,  8., 14., 12.,  8., 13., 13., 12., 10., 10.],
        [10., 13., 15.,  9., 17.,  8., 16., 13., 13., 11.],
        [10.,  9.,  7., 11., 19., 14., 12., 15., 11., 21.],
        [24.,  7., 13., 11.,  9., 14., 14., 11., 11., 11.],
        [ 7., 24., 12., 12., 10., 10., 11., 12., 12., 10.],
        [15., 12.,  8., 18., 10., 19.,  7., 14., 14., 14.],
        [13.,  8., 10., 10., 18., 11., 11., 16., 10., 22.],
        [10., 13., 13., 13., 13.,  9.,  8., 23.,  5., 13.],
        [10., 17.,  9., 15., 11., 13., 12., 11., 11., 11.],
        [ 9., 10., 10.,  8., 24., 11., 15., 14., 12., 16.]], device='cuda:0')
Train accuarcate: 81.02%



iteration:
   23
    0   818   bit_w:-1  loss: 0.91669
    1   796   bit_w: 1  loss: 0.91522
    2   837   bit_w:-1  loss: 0.91195
    3   911   bit_w:-1  loss: 0.91246
    4   924   bit_w: 1  loss: 0.90754
   4420   5733   5451   5197    698   1538   5150    887   2008    283
      1      1      1      1     -1     -1      1     -1     -1     -1
Train accuarcate: 81.72%
tensor([[ 9., 14., 12., 14., 13., 11.,  7., 23.,  7., 15.],
        [15., 16., 16., 14.,  7., 11., 15., 13., 11.,  5.],
        [ 7., 24., 12., 12., 11., 11., 11., 13., 13., 11.],
        [25.,  8., 14., 12.,  9., 14., 15., 11., 11., 11.],
        [ 9., 10., 12.,  6., 23., 10., 17., 15., 13., 17.],
        [ 8., 25., 13., 13., 10., 10., 12., 12., 12., 10.],
        [ 9., 10.,  6., 12., 21., 16., 11., 15., 13., 21.],
        [ 6., 13.,  9.,  9., 22., 13., 14., 12., 16., 20.],
        [16., 13., 13.,  3., 16.,  9., 18., 14., 10., 14.],
        [11., 10.,  6., 12., 19., 16.,  9., 17., 11., 23.],
        [24.,  9., 15., 13.,  8., 13., 14., 12., 10., 10.],
        [11., 14., 16., 10., 17.,  8., 17., 13., 13., 11.],
        [10.,  9.,  7., 11., 20., 15., 12., 16., 12., 22.],
        [24.,  7., 13., 11., 10., 15., 14., 12., 12., 12.],
        [ 8., 25., 13., 13., 10., 10., 12., 12., 12., 10.],
        [16., 13.,  9., 19., 10., 19.,  8., 14., 14., 14.],
        [13.,  8., 10., 10., 19., 12., 11., 17., 11., 23.],
        [11., 14., 14., 14., 13.,  9.,  9., 23.,  5., 13.],
        [11., 18., 10., 16., 11., 13., 13., 11., 11., 11.],
        [ 9., 10., 10.,  8., 25., 12., 15., 15., 13., 17.]], device='cuda:0')
Train accuarcate: 82.26%



iteration:
   24
    0   817   bit_w:-1  loss: 0.88426
    1   870   bit_w:-1  loss: 0.88170
    2   808   bit_w:-1  loss: 0.87701
    3   881   bit_w: 1  loss: 0.87767
    4   978   bit_w: 1  loss: 0.87297
   5191    419   1555   4402    957   1574    382   5275   4411   4782
      1     -1     -1      1     -1     -1     -1      1      1      1
Train accuarcate: 82.52%
tensor([[10., 14., 12., 15., 13., 11.,  7., 24.,  8., 16.],
        [15., 17., 17., 14.,  8., 12., 16., 13., 11.,  5.],
        [ 7., 25., 13., 12., 12., 12., 12., 13., 13., 11.],
        [26.,  8., 14., 13.,  9., 14., 15., 12., 12., 12.],
        [ 9., 11., 13.,  6., 24., 11., 18., 15., 13., 17.],
        [ 8., 26., 14., 13., 11., 11., 13., 12., 12., 10.],
        [ 9., 11.,  7., 12., 22., 17., 12., 15., 13., 21.],
        [ 6., 14., 10.,  9., 23., 14., 15., 12., 16., 20.],
        [16., 14., 14.,  3., 17., 10., 19., 14., 10., 14.],
        [12., 10.,  6., 13., 19., 16.,  9., 18., 12., 24.],
        [25.,  9., 15., 14.,  8., 13., 14., 13., 11., 11.],
        [11., 15., 17., 10., 18.,  9., 18., 13., 13., 11.],
        [11.,  9.,  7., 12., 20., 15., 12., 17., 13., 23.],
        [25.,  7., 13., 12., 10., 15., 14., 13., 13., 13.],
        [ 8., 26., 14., 13., 11., 11., 13., 12., 12., 10.],
        [16., 14., 10., 19., 11., 20.,  9., 14., 14., 14.],
        [14.,  8., 10., 11., 19., 12., 11., 18., 12., 24.],
        [12., 14., 14., 15., 13.,  9.,  9., 24.,  6., 14.],
        [11., 19., 11., 16., 12., 14., 14., 11., 11., 11.],
        [ 9., 11., 11.,  8., 26., 13., 16., 15., 13., 17.]], device='cuda:0')
Train accuarcate: 83.10%



iteration:
   25
    0   816   bit_w:-1  loss: 0.85179
    1   846   bit_w: 1  loss: 0.85073
    2   979   bit_w: 1  loss: 0.84784
    3   866   bit_w: 1  loss: 0.84747
    4  1173   bit_w:-1  loss: 0.84526
    878   5024   4599   4544   1862   1850   5393   1859   1822   4574
     -1      0      1      1     -1     -1      1     -1     -1      1
Train accuarcate: 83.19%
tensor([[11., 14., 12., 15., 14., 12.,  7., 25.,  9., 16.],
        [15., 17., 18., 15.,  8., 12., 17., 13., 11.,  6.],
        [ 7., 25., 14., 13., 12., 12., 13., 13., 13., 12.],
        [26.,  8., 15., 14.,  9., 14., 16., 12., 12., 13.],
        [10., 11., 13.,  6., 25., 12., 18., 16., 14., 17.],
        [ 8., 26., 15., 14., 11., 11., 14., 12., 12., 11.],
        [ 9., 11.,  8., 13., 22., 17., 13., 15., 13., 22.],
        [ 6., 14., 11., 10., 23., 14., 16., 12., 16., 21.],
        [17., 14., 14.,  3., 18., 11., 19., 15., 11., 14.],
        [13., 10.,  6., 13., 20., 17.,  9., 19., 13., 24.],
        [26.,  9., 15., 14.,  9., 14., 14., 14., 12., 11.],
        [11., 15., 18., 11., 18.,  9., 19., 13., 13., 12.],
        [11.,  9.,  8., 13., 20., 15., 13., 17., 13., 24.],
        [26.,  7., 13., 12., 11., 16., 14., 14., 14., 13.],
        [ 8., 26., 15., 14., 11., 11., 14., 12., 12., 11.],
        [16., 14., 11., 20., 11., 20., 10., 14., 14., 15.],
        [14.,  8., 11., 12., 19., 12., 12., 18., 12., 25.],
        [13., 14., 14., 15., 14., 10.,  9., 25.,  7., 14.],
        [11., 19., 12., 17., 12., 14., 15., 11., 11., 12.],
        [10., 11., 11.,  8., 27., 14., 16., 16., 14., 17.]], device='cuda:0')
Train accuarcate: 83.54%



iteration:
   26
    0   798   bit_w:-1  loss: 0.82424
    1   839   bit_w:-1  loss: 0.82367
    2   841   bit_w: 1  loss: 0.81905
    3   940   bit_w:-1  loss: 0.81905
    4   847   bit_w: 1  loss: 0.81579
    443    589   4525   5203   4652   1162   1036   5183   1686   4915
     -1     -1      1      1      1     -1     -1      1     -1      1
Train accuarcate: 83.45%
tensor([[11., 14., 13., 16., 15., 12.,  7., 26.,  9., 17.],
        [16., 18., 18., 15.,  8., 13., 18., 13., 12.,  6.],
        [ 8., 26., 14., 13., 12., 13., 14., 13., 14., 12.],
        [27.,  9., 15., 14.,  9., 15., 17., 12., 13., 13.],
        [10., 11., 14.,  7., 26., 12., 18., 17., 14., 18.],
        [ 8., 26., 16., 15., 12., 11., 14., 13., 12., 12.],
        [ 9., 11.,  9., 14., 23., 17., 13., 16., 13., 23.],
        [ 6., 14., 12., 11., 24., 14., 16., 13., 16., 22.],
        [18., 15., 14.,  3., 18., 12., 20., 15., 12., 14.],
        [13., 10.,  7., 14., 21., 17.,  9., 20., 13., 25.],
        [27., 10., 15., 14.,  9., 15., 15., 14., 13., 11.],
        [11., 15., 19., 12., 19.,  9., 19., 14., 13., 13.],
        [11.,  9.,  9., 14., 21., 15., 13., 18., 13., 25.],
        [27.,  8., 13., 12., 11., 17., 15., 14., 15., 13.],
        [ 9., 27., 15., 14., 11., 12., 15., 12., 13., 11.],
        [16., 14., 12., 21., 12., 20., 10., 15., 14., 16.],
        [14.,  8., 12., 13., 20., 12., 12., 19., 12., 26.],
        [13., 14., 15., 16., 15., 10.,  9., 26.,  7., 15.],
        [11., 19., 13., 18., 13., 14., 15., 12., 11., 13.],
        [11., 12., 11.,  8., 27., 15., 17., 16., 15., 17.]], device='cuda:0')
Train accuarcate: 83.79%



iteration:
   27
    0   807   bit_w:-1  loss: 0.79618
    1   823   bit_w:-1  loss: 0.79546
    2   868   bit_w:-1  loss: 0.79343
    3   838   bit_w: 1  loss: 0.79189
    4   806   bit_w: 1  loss: 0.79001
   5164    765   1154   1417   1197   4237   4658   4878   3802   4487
      1     -1     -1     -1     -1      1      1      1      1      1
Train accuarcate: 83.71%
tensor([[12., 14., 13., 16., 15., 13.,  8., 27., 10., 18.],
        [16., 19., 19., 16.,  9., 13., 18., 13., 12.,  6.],
        [ 8., 27., 15., 14., 13., 13., 14., 13., 14., 12.],
        [28.,  9., 15., 14.,  9., 16., 18., 13., 14., 14.],
        [10., 12., 15.,  8., 27., 12., 18., 17., 14., 18.],
        [ 8., 27., 17., 16., 13., 11., 14., 13., 12., 12.],
        [ 9., 12., 10., 15., 24., 17., 13., 16., 13., 23.],
        [ 7., 14., 12., 11., 24., 15., 17., 14., 17., 23.],
        [19., 15., 14.,  3., 18., 13., 21., 16., 13., 15.],
        [14., 10.,  7., 14., 21., 18., 10., 21., 14., 26.],
        [27., 11., 16., 15., 10., 15., 15., 14., 13., 11.],
        [11., 16., 20., 13., 20.,  9., 19., 14., 13., 13.],
        [12.,  9.,  9., 14., 21., 16., 14., 19., 14., 26.],
        [28.,  8., 13., 12., 11., 18., 16., 15., 16., 14.],
        [ 9., 28., 16., 15., 12., 12., 15., 12., 13., 11.],
        [16., 15., 13., 22., 13., 20., 10., 15., 14., 16.],
        [14.,  9., 13., 14., 21., 12., 12., 19., 12., 26.],
        [14., 14., 15., 16., 15., 11., 10., 27.,  8., 16.],
        [11., 20., 14., 19., 14., 14., 15., 12., 11., 13.],
        [11., 13., 12.,  9., 28., 15., 17., 16., 15., 17.]], device='cuda:0')
Train accuarcate: 84.13%



iteration:
   28
    0   803   bit_w:-1  loss: 0.77258
    1   827   bit_w:-1  loss: 0.77169
    2   927   bit_w: 1  loss: 0.76985
    3   785   bit_w:-1  loss: 0.76960
    4   796   bit_w:-1  loss: 0.76686
    171   6483   4706   1241   4974    856   3331   1187   5054   4798
     -1      1      1     -1      1     -1      0     -1      1      1
Train accuarcate: 83.78%
tensor([[13., 14., 13., 17., 15., 14.,  8., 28., 10., 18.],
        [17., 19., 19., 17.,  9., 14., 18., 14., 12.,  6.],
        [ 8., 28., 16., 14., 14., 13., 14., 13., 15., 13.],
        [29.,  9., 15., 15.,  9., 17., 18., 14., 14., 14.],
        [10., 13., 16.,  8., 28., 12., 18., 17., 15., 19.],
        [ 8., 28., 18., 16., 14., 11., 14., 13., 13., 13.],
        [ 9., 13., 11., 15., 25., 17., 13., 16., 14., 24.],
        [ 7., 15., 13., 11., 25., 15., 17., 14., 18., 24.],
        [19., 16., 15.,  3., 19., 13., 21., 16., 14., 16.],
        [14., 11.,  8., 14., 22., 18., 10., 21., 15., 27.],
        [28., 11., 16., 16., 10., 16., 15., 15., 13., 11.],
        [11., 17., 21., 13., 21.,  9., 19., 14., 14., 14.],
        [12., 10., 10., 14., 22., 16., 14., 19., 15., 27.],
        [29.,  8., 13., 13., 11., 19., 16., 16., 16., 14.],
        [ 9., 29., 17., 15., 13., 12., 15., 12., 14., 12.],
        [17., 15., 13., 23., 13., 21., 10., 16., 14., 16.],
        [14., 10., 14., 14., 22., 12., 12., 19., 13., 27.],
        [15., 14., 15., 17., 15., 12., 10., 28.,  8., 16.],
        [12., 20., 14., 20., 14., 15., 15., 13., 11., 13.],
        [11., 14., 13.,  9., 29., 15., 17., 16., 16., 18.]], device='cuda:0')
Train accuarcate: 84.50%



iteration:
   29
    0   817   bit_w:-1  loss: 0.74947
    1   870   bit_w:-1  loss: 0.74818
    2  1003   bit_w:-1  loss: 0.74595
    3   927   bit_w: 1  loss: 0.74349
    4   995   bit_w: 1  loss: 0.74258
   4671   1171   4803   4587    690    247    229   4081   4259   3711
      1      0      1      1     -1     -1     -1      1      1      1
Train accuarcate: 84.00%
tensor([[14., 14., 14., 18., 15., 14.,  8., 29., 11., 19.],
        [17., 19., 19., 17., 10., 15., 19., 14., 12.,  6.],
        [ 8., 28., 16., 14., 15., 14., 15., 13., 15., 13.],
        [30.,  9., 16., 16.,  9., 17., 18., 15., 15., 15.],
        [10., 13., 16.,  8., 29., 13., 19., 17., 15., 19.],
        [ 8., 28., 18., 16., 15., 12., 15., 13., 13., 13.],
        [ 9., 13., 11., 15., 26., 18., 14., 16., 14., 24.],
        [ 7., 15., 13., 11., 26., 16., 18., 14., 18., 24.],
        [19., 16., 15.,  3., 20., 14., 22., 16., 14., 16.],
        [15., 11.,  9., 15., 22., 18., 10., 22., 16., 28.],
        [29., 11., 17., 17., 10., 16., 15., 16., 14., 12.],
        [11., 17., 21., 13., 22., 10., 20., 14., 14., 14.],
        [12., 10., 10., 14., 23., 17., 15., 19., 15., 27.],
        [30.,  8., 14., 14., 11., 19., 16., 17., 17., 15.],
        [ 9., 29., 17., 15., 14., 13., 16., 12., 14., 12.],
        [17., 15., 13., 23., 14., 22., 11., 16., 14., 16.],
        [15., 10., 15., 15., 22., 12., 12., 20., 14., 28.],
        [16., 14., 16., 18., 15., 12., 10., 29.,  9., 17.],
        [12., 20., 14., 20., 15., 16., 16., 13., 11., 13.],
        [11., 14., 13.,  9., 30., 16., 18., 16., 16., 18.]], device='cuda:0')
Train accuarcate: 84.51%



iteration:
   30
    0   810   bit_w:-1  loss: 0.72588
    1   819   bit_w: 1  loss: 0.72607
    2   853   bit_w:-1  loss: 0.72334
    3   955   bit_w:-1  loss: 0.72367
    4   930   bit_w: 1  loss: 0.72179
    815   1048   2108   5096   4744   2171   4701   5821   4471   5543
     -1     -1     -1      1      0     -1      1      1      1      1
Train accuarcate: 84.48%
tensor([[14., 14., 14., 19., 15., 14.,  9., 30., 12., 20.],
        [18., 20., 20., 17., 10., 16., 19., 14., 12.,  6.],
        [ 9., 29., 17., 14., 15., 15., 15., 13., 15., 13.],
        [31., 10., 17., 16.,  9., 18., 18., 15., 15., 15.],
        [10., 13., 16.,  9., 29., 13., 20., 18., 16., 20.],
        [ 9., 29., 19., 16., 15., 13., 15., 13., 13., 13.],
        [ 9., 13., 11., 16., 26., 18., 15., 17., 15., 25.],
        [ 8., 16., 14., 11., 26., 17., 18., 14., 18., 24.],
        [20., 17., 16.,  3., 20., 15., 22., 16., 14., 16.],
        [15., 11.,  9., 16., 22., 18., 11., 23., 17., 29.],
        [30., 12., 18., 17., 10., 17., 15., 16., 14., 12.],
        [11., 17., 21., 14., 22., 10., 21., 15., 15., 15.],
        [12., 10., 10., 15., 23., 17., 16., 20., 16., 28.],
        [31.,  9., 15., 14., 11., 20., 16., 17., 17., 15.],
        [10., 30., 18., 15., 14., 14., 16., 12., 14., 12.],
        [17., 15., 13., 24., 14., 22., 12., 17., 15., 17.],
        [15., 10., 15., 16., 22., 12., 13., 21., 15., 29.],
        [16., 14., 16., 19., 15., 12., 11., 30., 10., 18.],
        [12., 20., 14., 21., 15., 16., 17., 14., 12., 14.],
        [12., 15., 14.,  9., 30., 17., 18., 16., 16., 18.]], device='cuda:0')
Train accuarcate: 84.84%



iteration:
   31
    0   805   bit_w:-1  loss: 0.70678
    1   835   bit_w: 1  loss: 0.70572
    2  1021   bit_w: 1  loss: 0.70281
    3  1066   bit_w:-1  loss: 0.70151
    4   932   bit_w:-1  loss: 0.69918
   5581    725   4849   1231   5260   1441   5512   1275   1466   4603
      1     -1      1     -1      1     -1      1     -1     -1      1
Train accuarcate: 84.48%
tensor([[14., 15., 14., 20., 15., 15.,  9., 31., 13., 20.],
        [19., 20., 21., 17., 11., 16., 20., 14., 12.,  7.],
        [ 9., 30., 17., 15., 15., 16., 15., 14., 16., 13.],
        [32., 10., 18., 16., 10., 18., 19., 15., 15., 16.],
        [11., 13., 17.,  9., 30., 13., 21., 18., 16., 21.],
        [ 9., 30., 19., 17., 15., 14., 15., 14., 14., 13.],
        [10., 13., 12., 16., 27., 18., 16., 17., 15., 26.],
        [ 9., 16., 15., 11., 27., 17., 19., 14., 18., 25.],
        [21., 17., 17.,  3., 21., 15., 23., 16., 14., 17.],
        [16., 11., 10., 16., 23., 18., 12., 23., 17., 30.],
        [31., 12., 19., 17., 11., 17., 16., 16., 14., 13.],
        [12., 17., 22., 14., 23., 10., 22., 15., 15., 16.],
        [13., 10., 11., 15., 24., 17., 17., 20., 16., 29.],
        [32.,  9., 16., 14., 12., 20., 17., 17., 17., 16.],
        [10., 31., 18., 16., 14., 15., 16., 13., 15., 12.],
        [17., 16., 13., 25., 14., 23., 12., 18., 16., 17.],
        [16., 10., 16., 16., 23., 12., 14., 21., 15., 30.],
        [16., 15., 16., 20., 15., 13., 11., 31., 11., 18.],
        [13., 20., 15., 21., 16., 16., 18., 14., 12., 15.],
        [13., 15., 15.,  9., 31., 17., 19., 16., 16., 19.]], device='cuda:0')
Train accuarcate: 85.02%



iteration:
   32
    0   822   bit_w:-1  loss: 0.68607
    1   793   bit_w:-1  loss: 0.68500
    2   865   bit_w:-1  loss: 0.68139
    3   923   bit_w:-1  loss: 0.68113
    4   966   bit_w:-1  loss: 0.67879
   2935    577    405   1107   5307   4141   5220   1414   4654   5301
      0     -1     -1     -1      1      1      1     -1      1      1
Train accuarcate: 84.75%
tensor([[14., 16., 15., 21., 15., 15.,  9., 32., 13., 20.],
        [19., 21., 22., 18., 11., 16., 20., 15., 12.,  7.],
        [ 9., 31., 18., 16., 15., 16., 15., 15., 16., 13.],
        [32., 11., 19., 17., 10., 18., 19., 16., 15., 16.],
        [11., 13., 17.,  9., 31., 14., 22., 18., 17., 22.],
        [ 9., 31., 20., 18., 15., 14., 15., 15., 14., 13.],
        [10., 13., 12., 16., 28., 19., 17., 17., 16., 27.],
        [ 9., 16., 15., 11., 28., 18., 20., 14., 19., 26.],
        [21., 17., 17.,  3., 22., 16., 24., 16., 15., 18.],
        [16., 11., 10., 16., 24., 19., 13., 23., 18., 31.],
        [31., 12., 19., 17., 12., 18., 17., 16., 15., 14.],
        [12., 17., 22., 14., 24., 11., 23., 15., 16., 17.],
        [13., 10., 11., 15., 25., 18., 18., 20., 17., 30.],
        [32.,  9., 16., 14., 13., 21., 18., 17., 18., 17.],
        [10., 32., 19., 17., 14., 15., 16., 14., 15., 12.],
        [17., 16., 13., 25., 15., 24., 13., 18., 17., 18.],
        [16., 10., 16., 16., 24., 13., 15., 21., 16., 31.],
        [16., 16., 17., 21., 15., 13., 11., 32., 11., 18.],
        [13., 21., 16., 22., 16., 16., 18., 15., 12., 15.],
        [13., 15., 15.,  9., 32., 18., 20., 16., 17., 20.]], device='cuda:0')
Train accuarcate: 85.27%



iteration:
   33
    0   818   bit_w:-1  loss: 0.66606
    1   807   bit_w: 1  loss: 0.66527
    2   805   bit_w:-1  loss: 0.66334
    3   932   bit_w:-1  loss: 0.66306
    4  1013   bit_w:-1  loss: 0.66011
   4783    618   5028   4596   2305    938   4928    508    849   1088
      1     -1      1      1      0     -1      1     -1     -1      0
Train accuarcate: 85.15%
tensor([[14., 17., 15., 21., 15., 16.,  9., 33., 14., 20.],
        [20., 21., 23., 19., 11., 16., 21., 15., 12.,  7.],
        [ 9., 32., 18., 16., 15., 17., 15., 16., 17., 13.],
        [33., 11., 20., 18., 10., 18., 20., 16., 15., 16.],
        [11., 14., 17.,  9., 31., 15., 22., 19., 18., 22.],
        [ 9., 32., 20., 18., 15., 15., 15., 16., 15., 13.],
        [10., 14., 12., 16., 28., 20., 17., 18., 17., 27.],
        [ 9., 17., 15., 11., 28., 19., 20., 15., 20., 26.],
        [21., 18., 17.,  3., 22., 17., 24., 17., 16., 18.],
        [16., 12., 10., 16., 24., 20., 13., 24., 19., 31.],
        [32., 12., 20., 18., 12., 18., 18., 16., 15., 14.],
        [12., 18., 22., 14., 24., 12., 23., 16., 17., 17.],
        [13., 11., 11., 15., 25., 19., 18., 21., 18., 30.],
        [32., 10., 16., 14., 13., 22., 18., 18., 19., 17.],
        [10., 33., 19., 17., 14., 16., 16., 15., 16., 12.],
        [17., 17., 13., 25., 15., 25., 13., 19., 18., 18.],
        [16., 11., 16., 16., 24., 14., 15., 22., 17., 31.],
        [16., 17., 17., 21., 15., 14., 11., 33., 12., 18.],
        [13., 22., 16., 22., 16., 17., 18., 16., 13., 15.],
        [14., 15., 16., 10., 32., 18., 21., 16., 17., 20.]], device='cuda:0')
Train accuarcate: 85.88%



iteration:
   34
    0   879   bit_w:-1  loss: 0.64718
    1   854   bit_w: 1  loss: 0.64489
    2   852   bit_w: 1  loss: 0.64334
    3   817   bit_w:-1  loss: 0.64290
    4   787   bit_w: 1  loss: 0.64194
    877   4845   1004   4418   5476   1783    858   6181   1908   5747
     -1      0     -1      1      1     -1     -1      1     -1      1
Train accuarcate: 85.48%
tensor([[14., 17., 15., 22., 16., 16.,  9., 34., 14., 21.],
        [21., 21., 24., 19., 11., 17., 22., 15., 13.,  7.],
        [10., 32., 19., 16., 15., 18., 16., 16., 18., 13.],
        [34., 11., 21., 18., 10., 19., 21., 16., 16., 16.],
        [11., 14., 17., 10., 32., 15., 22., 20., 18., 23.],
        [ 9., 32., 20., 19., 16., 15., 15., 17., 15., 14.],
        [10., 14., 12., 17., 29., 20., 17., 19., 17., 28.],
        [ 9., 17., 15., 12., 29., 19., 20., 16., 20., 27.],
        [22., 18., 18.,  3., 22., 18., 25., 17., 17., 18.],
        [16., 12., 10., 17., 25., 20., 13., 25., 19., 32.],
        [33., 12., 21., 18., 12., 19., 19., 16., 16., 14.],
        [13., 18., 23., 14., 24., 13., 24., 16., 18., 17.],
        [13., 11., 11., 16., 26., 19., 18., 22., 18., 31.],
        [33., 10., 17., 14., 13., 23., 19., 18., 20., 17.],
        [10., 33., 19., 18., 15., 16., 16., 16., 16., 13.],
        [17., 17., 13., 26., 16., 25., 13., 20., 18., 19.],
        [16., 11., 16., 17., 25., 14., 15., 23., 17., 32.],
        [16., 17., 17., 22., 16., 14., 11., 34., 12., 19.],
        [13., 22., 16., 23., 17., 17., 18., 17., 13., 16.],
        [14., 15., 16., 11., 33., 18., 21., 17., 17., 21.]], device='cuda:0')
Train accuarcate: 86.22%



iteration:
   35
    0   808   bit_w:-1  loss: 0.63027
    1   800   bit_w:-1  loss: 0.62950
    2   793   bit_w:-1  loss: 0.62900
    3   811   bit_w:-1  loss: 0.62734
    4   518   bit_w:-1  loss: 0.62609
   4402    279    932   5385    734   3793    567   1404   4765   4313
      1     -1     -1      1     -1      1      0     -1      1      1
Train accuarcate: 85.54%
tensor([[15., 17., 15., 23., 16., 17.,  9., 34., 15., 22.],
        [21., 22., 25., 19., 12., 17., 22., 16., 13.,  7.],
        [10., 33., 20., 16., 16., 18., 16., 17., 18., 13.],
        [35., 11., 21., 19., 10., 20., 21., 16., 17., 17.],
        [11., 15., 18., 10., 33., 15., 22., 21., 18., 23.],
        [ 9., 33., 21., 19., 17., 15., 15., 18., 15., 14.],
        [10., 15., 13., 17., 30., 20., 17., 20., 17., 28.],
        [10., 17., 15., 13., 29., 20., 20., 16., 21., 28.],
        [22., 19., 19.,  3., 23., 18., 25., 18., 17., 18.],
        [16., 13., 11., 17., 26., 20., 13., 26., 19., 32.],
        [34., 12., 21., 19., 12., 20., 19., 16., 17., 15.],
        [13., 19., 24., 14., 25., 13., 24., 17., 18., 17.],
        [14., 11., 11., 17., 26., 20., 18., 22., 19., 32.],
        [34., 10., 17., 15., 13., 24., 19., 18., 21., 18.],
        [10., 34., 20., 18., 16., 16., 16., 17., 16., 13.],
        [18., 17., 13., 27., 16., 26., 13., 20., 19., 20.],
        [17., 11., 16., 18., 25., 15., 15., 23., 18., 33.],
        [16., 18., 18., 22., 17., 14., 11., 35., 12., 19.],
        [13., 23., 17., 23., 18., 17., 18., 18., 13., 16.],
        [14., 16., 17., 11., 34., 18., 21., 18., 17., 21.]], device='cuda:0')
Train accuarcate: 86.22%



iteration:
   36
    0   824   bit_w:-1  loss: 0.61578
    1   879   bit_w: 1  loss: 0.61333
    2   832   bit_w:-1  loss: 0.61219
    3   926   bit_w:-1  loss: 0.61064
    4   790   bit_w:-1  loss: 0.60868
   5574   2040   5234   4791    361   4088   1291    465   4799    593
      1     -1      1      1     -1      1     -1     -1      1     -1
Train accuarcate: 85.73%
tensor([[15., 18., 15., 23., 17., 17., 10., 35., 15., 23.],
        [22., 22., 26., 20., 12., 18., 22., 16., 14.,  7.],
        [10., 34., 20., 16., 17., 18., 17., 18., 18., 14.],
        [35., 12., 21., 19., 11., 20., 22., 17., 17., 18.],
        [11., 16., 18., 10., 34., 15., 23., 22., 18., 24.],
        [ 9., 34., 21., 19., 18., 15., 16., 19., 15., 15.],
        [10., 16., 13., 17., 31., 20., 18., 21., 17., 29.],
        [10., 18., 15., 13., 30., 20., 21., 17., 21., 29.],
        [23., 19., 20.,  4., 23., 19., 25., 18., 18., 18.],
        [16., 14., 11., 17., 27., 20., 14., 27., 19., 33.],
        [35., 12., 22., 20., 12., 21., 19., 16., 18., 15.],
        [13., 20., 24., 14., 26., 13., 25., 18., 18., 18.],
        [14., 12., 11., 17., 27., 20., 19., 23., 19., 33.],
        [35., 10., 18., 16., 13., 25., 19., 18., 22., 18.],
        [10., 35., 20., 18., 17., 16., 17., 18., 16., 14.],
        [18., 18., 13., 27., 17., 26., 14., 21., 19., 21.],
        [17., 12., 16., 18., 26., 15., 16., 24., 18., 34.],
        [16., 19., 18., 22., 18., 14., 12., 36., 12., 20.],
        [13., 24., 17., 23., 19., 17., 19., 19., 13., 17.],
        [14., 17., 17., 11., 35., 18., 22., 19., 17., 22.]], device='cuda:0')
Train accuarcate: 86.41%



iteration:
   37
    0   895   bit_w:-1  loss: 0.59909
    1   860   bit_w:-1  loss: 0.59751
    2   789   bit_w:-1  loss: 0.59528
    3   931   bit_w: 1  loss: 0.59523
    4  1066   bit_w:-1  loss: 0.59298
   5511    192   1124   1238   5540   3444   5521   1259   2369   5343
      1     -1     -1     -1      1      1      1     -1     -1      1
Train accuarcate: 85.96%
tensor([[15., 19., 16., 24., 17., 17., 10., 36., 16., 23.],
        [22., 23., 27., 21., 12., 18., 22., 17., 15.,  7.],
        [10., 35., 21., 17., 17., 18., 17., 19., 19., 14.],
        [36., 12., 21., 19., 12., 21., 23., 17., 17., 19.],
        [12., 16., 18., 10., 35., 16., 24., 22., 18., 25.],
        [ 9., 35., 22., 20., 18., 15., 16., 20., 16., 15.],
        [11., 16., 13., 17., 32., 21., 19., 21., 17., 30.],
        [11., 18., 15., 13., 31., 21., 22., 17., 21., 30.],
        [24., 19., 20.,  4., 24., 20., 26., 18., 18., 19.],
        [17., 14., 11., 17., 28., 21., 15., 27., 19., 34.],
        [36., 12., 22., 20., 13., 22., 20., 16., 18., 16.],
        [14., 20., 24., 14., 27., 14., 26., 18., 18., 19.],
        [15., 12., 11., 17., 28., 21., 20., 23., 19., 34.],
        [36., 10., 18., 16., 14., 26., 20., 18., 22., 19.],
        [10., 36., 21., 19., 17., 16., 17., 19., 17., 14.],
        [18., 19., 14., 28., 17., 26., 14., 22., 20., 21.],
        [18., 12., 16., 18., 27., 16., 17., 24., 18., 35.],
        [16., 20., 19., 23., 18., 14., 12., 37., 13., 20.],
        [13., 25., 18., 24., 19., 17., 19., 20., 14., 17.],
        [15., 17., 17., 11., 36., 19., 23., 19., 17., 23.]], device='cuda:0')
Train accuarcate: 86.39%



iteration:
   38
    0   864   bit_w:-1  loss: 0.58362
    1   812   bit_w: 1  loss: 0.58246
    2   853   bit_w:-1  loss: 0.58030
    3   836   bit_w:-1  loss: 0.57968
    4   981   bit_w: 1  loss: 0.57854
   5753   1412   4418   1416   1592   1662   5435   3703   5080   1294
      1     -1      1     -1     -1     -1      1      0      1     -1
Train accuarcate: 86.06%
tensor([[16., 19., 17., 24., 17., 17., 11., 36., 17., 23.],
        [23., 23., 28., 21., 12., 18., 23., 17., 16.,  7.],
        [10., 36., 21., 18., 18., 19., 17., 19., 19., 15.],
        [37., 12., 22., 19., 12., 21., 24., 17., 18., 19.],
        [12., 17., 18., 11., 36., 17., 24., 22., 18., 26.],
        [ 9., 36., 22., 21., 19., 16., 16., 20., 16., 16.],
        [11., 17., 13., 18., 33., 22., 19., 21., 17., 31.],
        [11., 19., 15., 14., 32., 22., 22., 17., 21., 31.],
        [24., 20., 20.,  5., 25., 21., 26., 18., 18., 20.],
        [18., 14., 12., 17., 28., 21., 16., 27., 20., 34.],
        [37., 12., 23., 20., 13., 22., 21., 16., 19., 16.],
        [15., 20., 25., 14., 27., 14., 27., 18., 19., 19.],
        [15., 13., 11., 18., 29., 22., 20., 23., 19., 35.],
        [37., 10., 19., 16., 14., 26., 21., 18., 23., 19.],
        [10., 37., 21., 20., 18., 17., 17., 19., 17., 15.],
        [19., 19., 15., 28., 17., 26., 15., 22., 21., 21.],
        [18., 13., 16., 19., 28., 17., 17., 24., 18., 36.],
        [17., 20., 20., 23., 18., 14., 13., 37., 14., 20.],
        [14., 25., 19., 24., 19., 17., 20., 20., 15., 17.],
        [15., 18., 17., 12., 37., 20., 23., 19., 17., 24.]], device='cuda:0')
Train accuarcate: 86.57%



iteration:
   39
    0   897   bit_w:-1  loss: 0.56935
    1   836   bit_w:-1  loss: 0.56900
    2   841   bit_w:-1  loss: 0.56609
    3   834   bit_w:-1  loss: 0.56568
    4   886   bit_w:-1  loss: 0.56283
   4312   6336   1334    479   2746    493   4208    776   3830   3142
      1      1     -1     -1      0     -1      1     -1      1      1
Train accuarcate: 86.50%
tensor([[16., 19., 18., 25., 17., 18., 11., 37., 17., 23.],
        [23., 23., 29., 22., 12., 19., 23., 18., 16.,  7.],
        [11., 37., 21., 18., 18., 19., 18., 19., 20., 16.],
        [38., 13., 22., 19., 12., 21., 25., 17., 19., 20.],
        [13., 18., 18., 11., 36., 17., 25., 22., 19., 27.],
        [10., 37., 22., 21., 19., 16., 17., 20., 17., 17.],
        [11., 17., 14., 19., 33., 23., 19., 22., 17., 31.],
        [11., 19., 16., 15., 32., 23., 22., 18., 21., 31.],
        [24., 20., 21.,  6., 25., 22., 26., 19., 18., 20.],
        [19., 15., 12., 17., 28., 21., 17., 27., 21., 35.],
        [37., 12., 24., 21., 13., 23., 21., 17., 19., 16.],
        [16., 21., 25., 14., 27., 14., 28., 18., 20., 20.],
        [15., 13., 12., 19., 29., 23., 20., 24., 19., 35.],
        [38., 11., 19., 16., 14., 26., 22., 18., 24., 20.],
        [11., 38., 21., 20., 18., 17., 18., 19., 18., 16.],
        [19., 19., 16., 29., 17., 27., 15., 23., 21., 21.],
        [19., 14., 16., 19., 28., 17., 18., 24., 19., 37.],
        [17., 20., 21., 24., 18., 15., 13., 38., 14., 20.],
        [14., 25., 20., 25., 19., 18., 20., 21., 15., 17.],
        [15., 18., 18., 13., 37., 21., 23., 20., 17., 24.]], device='cuda:0')
Train accuarcate: 86.89%



iteration:
   40
    0  1096   bit_w:-1  loss: 0.55432
    1   817   bit_w:-1  loss: 0.55371
    2   294   bit_w:-1  loss: 0.55109
    3   993   bit_w:-1  loss: 0.55136
    4  1172   bit_w: 1  loss: 0.54900
   5331   3180   5262   4737   5327    809    769   3741   5088   4876
      1      0      1      0      1     -1     -1     -1      1      0
Train accuarcate: 86.71%
tensor([[17., 19., 19., 25., 18., 18., 11., 37., 18., 23.],
        [23., 23., 29., 22., 12., 20., 24., 19., 16.,  7.],
        [12., 37., 22., 18., 19., 19., 18., 19., 21., 16.],
        [39., 13., 23., 19., 13., 21., 25., 17., 20., 20.],
        [14., 18., 19., 11., 37., 17., 25., 22., 20., 27.],
        [11., 37., 23., 21., 20., 16., 17., 20., 18., 17.],
        [12., 17., 15., 19., 34., 23., 19., 22., 18., 31.],
        [11., 19., 16., 15., 32., 24., 23., 19., 21., 31.],
        [24., 20., 21.,  6., 25., 23., 27., 20., 18., 20.],
        [20., 15., 13., 17., 29., 21., 17., 27., 22., 35.],
        [38., 12., 25., 21., 14., 23., 21., 17., 20., 16.],
        [17., 21., 26., 14., 28., 14., 28., 18., 21., 20.],
        [16., 13., 13., 19., 30., 23., 20., 24., 20., 35.],
        [39., 11., 20., 16., 15., 26., 22., 18., 25., 20.],
        [11., 38., 21., 20., 18., 18., 19., 20., 18., 16.],
        [19., 19., 16., 29., 17., 28., 16., 24., 21., 21.],
        [20., 14., 17., 19., 29., 17., 18., 24., 20., 37.],
        [18., 20., 22., 24., 19., 15., 13., 38., 15., 20.],
        [14., 25., 20., 25., 19., 19., 21., 22., 15., 17.],
        [16., 18., 19., 13., 38., 21., 23., 20., 18., 24.]], device='cuda:0')
Train accuarcate: 87.30%



iteration:
   41
    0   850   bit_w:-1  loss: 0.54001
    1   833   bit_w: 1  loss: 0.53938
    2  1133   bit_w: 1  loss: 0.53697
    3   969   bit_w:-1  loss: 0.53603
    4   858   bit_w: 1  loss: 0.53472
   3898    813   1697   4716   3331   4442    765    315   4756    968
      0     -1      0      1      1      1     -1     -1      1     -1
Train accuarcate: 87.05%
tensor([[17., 20., 19., 25., 18., 18., 12., 38., 18., 24.],
        [23., 24., 29., 22., 12., 20., 25., 20., 16.,  8.],
        [12., 38., 22., 18., 19., 19., 19., 20., 21., 17.],
        [39., 14., 23., 19., 13., 21., 26., 18., 20., 21.],
        [14., 19., 19., 11., 37., 17., 26., 23., 20., 28.],
        [11., 38., 23., 21., 20., 16., 18., 21., 18., 18.],
        [12., 17., 15., 20., 35., 24., 19., 22., 19., 31.],
        [11., 19., 16., 16., 33., 25., 23., 19., 22., 31.],
        [24., 21., 21.,  6., 25., 23., 28., 21., 18., 21.],
        [20., 16., 13., 17., 29., 21., 18., 28., 22., 36.],
        [38., 13., 25., 21., 14., 23., 22., 18., 20., 17.],
        [17., 22., 26., 14., 28., 14., 29., 19., 21., 21.],
        [16., 14., 13., 19., 30., 23., 21., 25., 20., 36.],
        [39., 11., 20., 17., 16., 27., 22., 18., 26., 20.],
        [11., 39., 21., 20., 18., 18., 20., 21., 18., 17.],
        [19., 19., 16., 30., 18., 29., 16., 24., 22., 21.],
        [20., 15., 17., 19., 29., 17., 19., 25., 20., 38.],
        [18., 21., 22., 24., 19., 15., 14., 39., 15., 21.],
        [14., 26., 20., 25., 19., 19., 22., 23., 15., 18.],
        [16., 18., 19., 14., 39., 22., 23., 20., 19., 24.]], device='cuda:0')
Train accuarcate: 87.55%



iteration:
   42
    0   856   bit_w:-1  loss: 0.52737
    1   862   bit_w:-1  loss: 0.52618
    2   880   bit_w:-1  loss: 0.52501
    3   828   bit_w:-1  loss: 0.52422
    4  1097   bit_w:-1  loss: 0.52353
    201   4633   1902   4689   4744   1531   2693   3371   4183   5208
     -1      1     -1      1      1     -1      0      0      1      1
Train accuarcate: 87.24%
tensor([[18., 20., 20., 25., 18., 19., 12., 38., 18., 24.],
        [24., 24., 30., 22., 12., 21., 25., 20., 16.,  8.],
        [13., 38., 23., 18., 19., 20., 19., 20., 21., 17.],
        [40., 14., 24., 19., 13., 22., 26., 18., 20., 21.],
        [14., 20., 19., 12., 38., 17., 26., 23., 21., 29.],
        [11., 39., 23., 22., 21., 16., 18., 21., 19., 19.],
        [12., 18., 15., 21., 36., 24., 19., 22., 20., 32.],
        [11., 20., 16., 17., 34., 25., 23., 19., 23., 32.],
        [25., 21., 22.,  6., 25., 24., 28., 21., 18., 21.],
        [20., 17., 13., 18., 30., 21., 18., 28., 23., 37.],
        [39., 13., 26., 21., 14., 24., 22., 18., 20., 17.],
        [18., 22., 27., 14., 28., 15., 29., 19., 21., 21.],
        [16., 15., 13., 20., 31., 23., 21., 25., 21., 37.],
        [40., 11., 21., 17., 16., 28., 22., 18., 26., 20.],
        [11., 40., 21., 21., 19., 18., 20., 21., 19., 18.],
        [19., 20., 16., 31., 19., 29., 16., 24., 23., 22.],
        [20., 16., 17., 20., 30., 17., 19., 25., 21., 39.],
        [19., 21., 23., 24., 19., 16., 14., 39., 15., 21.],
        [14., 27., 20., 26., 20., 19., 22., 23., 16., 19.],
        [16., 19., 19., 15., 40., 22., 23., 20., 20., 25.]], device='cuda:0')
Train accuarcate: 87.59%



iteration:
   43
    0   825   bit_w:-1  loss: 0.51692
    1   921   bit_w: 1  loss: 0.51539
    2   880   bit_w: 1  loss: 0.51383
    3  1173   bit_w:-1  loss: 0.51299
    4   849   bit_w:-1  loss: 0.51137
    782   3739   4467   4096   5072   3327   5359    293   4531    967
     -1      0      1      1      1      1      1     -1      1     -1
Train accuarcate: 87.46%
tensor([[19., 20., 20., 25., 18., 19., 12., 39., 18., 25.],
        [24., 24., 31., 23., 13., 22., 26., 20., 17.,  8.],
        [13., 38., 24., 19., 20., 21., 20., 20., 22., 17.],
        [41., 14., 24., 19., 13., 22., 26., 19., 20., 22.],
        [15., 20., 19., 12., 38., 17., 26., 24., 21., 30.],
        [12., 39., 23., 22., 21., 16., 18., 22., 19., 20.],
        [12., 18., 16., 22., 37., 25., 20., 22., 21., 32.],
        [11., 20., 17., 18., 35., 26., 24., 19., 24., 32.],
        [26., 21., 22.,  6., 25., 24., 28., 22., 18., 22.],
        [21., 17., 13., 18., 30., 21., 18., 29., 23., 38.],
        [40., 13., 26., 21., 14., 24., 22., 19., 20., 18.],
        [18., 22., 28., 15., 29., 16., 30., 19., 22., 21.],
        [17., 15., 13., 20., 31., 23., 21., 26., 21., 38.],
        [41., 11., 21., 17., 16., 28., 22., 19., 26., 21.],
        [11., 40., 22., 22., 20., 19., 21., 21., 20., 18.],
        [19., 20., 17., 32., 20., 30., 17., 24., 24., 22.],
        [21., 16., 17., 20., 30., 17., 19., 26., 21., 40.],
        [20., 21., 23., 24., 19., 16., 14., 40., 15., 22.],
        [14., 27., 21., 27., 21., 20., 23., 23., 17., 19.],
        [16., 19., 20., 16., 41., 23., 24., 20., 21., 25.]], device='cuda:0')
Train accuarcate: 87.74%



iteration:
   44
    0   871   bit_w:-1  loss: 0.50482
    1   847   bit_w: 1  loss: 0.50330
    2   969   bit_w: 1  loss: 0.50154
    3   849   bit_w:-1  loss: 0.50120
    4   869   bit_w:-1  loss: 0.49933
   2747    391   4456   3825   3254   1541   4704    506   1390    547
      0     -1      1      1      1     -1      1     -1     -1     -1
Train accuarcate: 87.64%
tensor([[19., 21., 20., 25., 18., 20., 12., 40., 19., 26.],
        [24., 24., 32., 24., 14., 22., 27., 20., 17.,  8.],
        [13., 39., 24., 19., 20., 22., 20., 21., 23., 18.],
        [41., 15., 24., 19., 13., 23., 26., 20., 21., 23.],
        [15., 20., 20., 13., 39., 17., 27., 24., 21., 30.],
        [12., 40., 23., 22., 21., 17., 18., 23., 20., 21.],
        [12., 19., 16., 22., 37., 26., 20., 23., 22., 33.],
        [11., 21., 17., 18., 35., 27., 24., 20., 25., 33.],
        [26., 21., 23.,  7., 26., 24., 29., 22., 18., 22.],
        [21., 18., 13., 18., 30., 22., 18., 30., 24., 39.],
        [40., 13., 27., 22., 15., 24., 23., 19., 20., 18.],
        [18., 22., 29., 16., 30., 16., 31., 19., 22., 21.],
        [17., 16., 13., 20., 31., 24., 21., 27., 22., 39.],
        [41., 12., 21., 17., 16., 29., 22., 20., 27., 22.],
        [11., 41., 22., 22., 20., 20., 21., 22., 21., 19.],
        [19., 20., 18., 33., 21., 30., 18., 24., 24., 22.],
        [21., 17., 17., 20., 30., 18., 19., 27., 22., 41.],
        [20., 21., 24., 25., 20., 16., 15., 40., 15., 22.],
        [14., 28., 21., 27., 21., 21., 23., 24., 18., 20.],
        [16., 20., 20., 16., 41., 24., 24., 21., 22., 26.]], device='cuda:0')
Train accuarcate: 87.98%



iteration:
   45
    0   831   bit_w:-1  loss: 0.49319
    1   817   bit_w: 1  loss: 0.49298
    2   426   bit_w:-1  loss: 0.48956
    3   377   bit_w: 1  loss: 0.49043
    4   993   bit_w: 1  loss: 0.48905
    393   5578   1715   5394   1633   4857   4993    648   4994   2950
     -1      1     -1      1     -1      1      1     -1      1      0
Train accuarcate: 87.82%
tensor([[20., 21., 21., 25., 19., 20., 12., 41., 19., 26.],
        [24., 25., 32., 25., 14., 23., 28., 20., 18.,  8.],
        [14., 39., 25., 19., 21., 22., 20., 22., 23., 18.],
        [42., 15., 25., 19., 14., 23., 26., 21., 21., 23.],
        [16., 20., 21., 13., 40., 17., 27., 25., 21., 30.],
        [13., 40., 24., 22., 22., 17., 18., 24., 20., 21.],
        [12., 20., 16., 23., 37., 27., 21., 23., 23., 33.],
        [11., 22., 17., 19., 35., 28., 25., 20., 26., 33.],
        [27., 21., 24.,  7., 27., 24., 29., 23., 18., 22.],
        [21., 19., 13., 19., 30., 23., 19., 30., 25., 39.],
        [41., 13., 28., 22., 16., 24., 23., 20., 20., 18.],
        [18., 23., 29., 17., 30., 17., 32., 19., 23., 21.],
        [18., 16., 14., 20., 32., 24., 21., 28., 22., 39.],
        [42., 12., 22., 17., 17., 29., 22., 21., 27., 22.],
        [11., 42., 22., 23., 20., 21., 22., 22., 22., 19.],
        [19., 21., 18., 34., 21., 31., 19., 24., 25., 22.],
        [22., 17., 18., 20., 31., 18., 19., 28., 22., 41.],
        [21., 21., 25., 25., 21., 16., 15., 41., 15., 22.],
        [14., 29., 21., 28., 21., 22., 24., 24., 19., 20.],
        [16., 21., 20., 17., 41., 25., 25., 21., 23., 26.]], device='cuda:0')
Train accuarcate: 88.05%



iteration:
   46
    0   860   bit_w:-1  loss: 0.48276
    1  1066   bit_w:-1  loss: 0.48220
    2   888   bit_w:-1  loss: 0.48063
    3   842   bit_w:-1  loss: 0.47974
    4   840   bit_w:-1  loss: 0.47892
   4295   5283   2189   1614   5371   2563   5728   1046   2010   4913
      0      1     -1     -1      1     -1      1     -1     -1      1
Train accuarcate: 88.02%
tensor([[20., 21., 22., 26., 19., 21., 12., 42., 20., 26.],
        [24., 25., 33., 26., 14., 24., 28., 21., 19.,  8.],
        [14., 39., 26., 20., 21., 23., 20., 23., 24., 18.],
        [42., 16., 25., 19., 15., 23., 27., 21., 21., 24.],
        [16., 21., 21., 13., 41., 17., 28., 25., 21., 31.],
        [13., 41., 24., 22., 23., 17., 19., 24., 20., 22.],
        [12., 21., 16., 23., 38., 27., 22., 23., 23., 34.],
        [11., 23., 17., 19., 36., 28., 26., 20., 26., 34.],
        [27., 22., 24.,  7., 28., 24., 30., 23., 18., 23.],
        [21., 20., 13., 19., 31., 23., 20., 30., 25., 40.],
        [41., 13., 29., 23., 16., 25., 23., 21., 21., 18.],
        [18., 24., 29., 17., 31., 17., 33., 19., 23., 22.],
        [18., 17., 14., 20., 33., 24., 22., 28., 22., 40.],
        [42., 12., 23., 18., 17., 30., 22., 22., 28., 22.],
        [11., 43., 22., 23., 21., 21., 23., 22., 22., 20.],
        [19., 21., 19., 35., 21., 32., 19., 25., 26., 22.],
        [22., 18., 18., 20., 32., 18., 20., 28., 22., 42.],
        [21., 21., 26., 26., 21., 17., 15., 42., 16., 22.],
        [14., 29., 22., 29., 21., 23., 24., 25., 20., 20.],
        [16., 22., 20., 17., 42., 25., 26., 21., 23., 27.]], device='cuda:0')
Train accuarcate: 88.34%



iteration:
   47
    0   846   bit_w:-1  loss: 0.47365
    1   872   bit_w:-1  loss: 0.47244
    2   914   bit_w: 1  loss: 0.47080
    3   830   bit_w:-1  loss: 0.47033
    4   861   bit_w:-1  loss: 0.46870
   5146    107    323    619   4947   3992   2094   2125   4063   4710
      1     -1     -1     -1      1      1      0      0      1      1
Train accuarcate: 88.09%
tensor([[20., 22., 23., 27., 19., 21., 12., 42., 20., 26.],
        [24., 26., 34., 27., 14., 24., 28., 21., 19.,  8.],
        [14., 40., 27., 21., 21., 23., 20., 23., 24., 18.],
        [43., 16., 25., 19., 16., 24., 27., 21., 22., 25.],
        [17., 21., 21., 13., 42., 18., 28., 25., 22., 32.],
        [13., 42., 25., 23., 23., 17., 19., 24., 20., 22.],
        [13., 21., 16., 23., 39., 28., 22., 23., 24., 35.],
        [12., 23., 17., 19., 37., 29., 26., 20., 27., 35.],
        [28., 22., 24.,  7., 29., 25., 30., 23., 19., 24.],
        [22., 20., 13., 19., 32., 24., 20., 30., 26., 41.],
        [42., 13., 29., 23., 17., 26., 23., 21., 22., 19.],
        [18., 25., 30., 18., 31., 17., 33., 19., 23., 22.],
        [19., 17., 14., 20., 34., 25., 22., 28., 23., 41.],
        [43., 12., 23., 18., 18., 31., 22., 22., 29., 23.],
        [11., 44., 23., 24., 21., 21., 23., 22., 22., 20.],
        [19., 22., 20., 36., 21., 32., 19., 25., 26., 22.],
        [23., 18., 18., 20., 33., 19., 20., 28., 23., 43.],
        [21., 22., 27., 27., 21., 17., 15., 42., 16., 22.],
        [14., 30., 23., 30., 21., 23., 24., 25., 20., 20.],
        [17., 22., 20., 17., 43., 26., 26., 21., 24., 28.]], device='cuda:0')
Train accuarcate: 88.54%



iteration:
   48
    0   844   bit_w:-1  loss: 0.46353
    1   905   bit_w: 1  loss: 0.46240
    2   937   bit_w: 1  loss: 0.46045
    3   441   bit_w: 1  loss: 0.45986
    4  1172   bit_w: 1  loss: 0.45858
   5356   4080   2010   3676   4666   2080   4716   4879    996   1615
      1      0     -1      0      1     -1      1      1     -1     -1
Train accuarcate: 88.28%
tensor([[21., 22., 23., 27., 20., 21., 13., 43., 20., 26.],
        [24., 26., 35., 27., 14., 25., 28., 21., 20.,  9.],
        [15., 40., 27., 21., 22., 23., 21., 24., 24., 18.],
        [44., 16., 25., 19., 17., 24., 28., 22., 22., 25.],
        [18., 21., 21., 13., 43., 18., 29., 26., 22., 32.],
        [14., 42., 25., 23., 24., 17., 20., 25., 20., 22.],
        [14., 21., 16., 23., 40., 28., 23., 24., 24., 35.],
        [12., 23., 18., 19., 37., 30., 26., 20., 28., 36.],
        [28., 22., 25.,  7., 29., 26., 30., 23., 20., 25.],
        [23., 20., 13., 19., 33., 24., 21., 31., 26., 41.],
        [43., 13., 29., 23., 18., 26., 24., 22., 22., 19.],
        [19., 25., 30., 18., 32., 17., 34., 20., 23., 22.],
        [19., 17., 15., 20., 34., 26., 22., 28., 24., 42.],
        [44., 12., 23., 18., 19., 31., 23., 23., 29., 23.],
        [11., 44., 24., 24., 21., 22., 23., 22., 23., 21.],
        [20., 22., 20., 36., 22., 32., 20., 26., 26., 22.],
        [23., 18., 19., 20., 33., 20., 20., 28., 24., 44.],
        [22., 22., 27., 27., 22., 17., 16., 43., 16., 22.],
        [15., 30., 23., 30., 22., 23., 25., 26., 20., 20.],
        [18., 22., 20., 17., 44., 26., 27., 22., 24., 28.]], device='cuda:0')
Train accuarcate: 88.75%



iteration:
   49
    0   845   bit_w:-1  loss: 0.45378
    1   976   bit_w: 1  loss: 0.45254
    2   875   bit_w: 1  loss: 0.45070
    3   791   bit_w:-1  loss: 0.45037
    4   978   bit_w:-1  loss: 0.45021
    346   6498   4549   1628   2534    850   4943    325   4243    623
     -1      1      1     -1      0     -1      1     -1      1     -1
Train accuarcate: 88.38%
tensor([[22., 22., 23., 28., 20., 22., 13., 44., 20., 27.],
        [24., 27., 36., 27., 14., 25., 29., 21., 21.,  9.],
        [15., 41., 28., 21., 22., 23., 22., 24., 25., 18.],
        [45., 16., 25., 20., 17., 25., 28., 23., 22., 26.],
        [18., 22., 22., 13., 43., 18., 30., 26., 23., 32.],
        [14., 43., 26., 23., 24., 17., 21., 25., 21., 22.],
        [15., 21., 16., 24., 40., 29., 23., 25., 24., 36.],
        [12., 24., 19., 19., 37., 30., 27., 20., 29., 36.],
        [28., 23., 26.,  7., 29., 26., 31., 23., 21., 25.],
        [24., 20., 13., 20., 33., 25., 21., 32., 26., 42.],
        [44., 13., 29., 24., 18., 27., 24., 23., 22., 20.],
        [19., 26., 31., 18., 32., 17., 35., 20., 24., 22.],
        [20., 17., 15., 21., 34., 27., 22., 29., 24., 43.],
        [45., 12., 23., 19., 19., 32., 23., 24., 29., 24.],
        [11., 45., 25., 24., 21., 22., 24., 22., 24., 21.],
        [21., 22., 20., 37., 22., 33., 20., 27., 26., 23.],
        [24., 18., 19., 21., 33., 21., 20., 29., 24., 45.],
        [23., 22., 27., 28., 22., 18., 16., 44., 16., 23.],
        [15., 31., 24., 30., 22., 23., 26., 26., 21., 20.],
        [19., 22., 20., 18., 44., 27., 27., 23., 24., 29.]], device='cuda:0')
Train accuarcate: 89.01%



iteration:
   50
    0   853   bit_w:-1  loss: 0.44492
    1   836   bit_w:-1  loss: 0.44468
    2   997   bit_w:-1  loss: 0.44377
    3  1170   bit_w: 1  loss: 0.44283
    4  1011   bit_w:-1  loss: 0.44236
   4586   1408   1170    585   1063    766   3668   2688   3561   1793
      1      0     -1     -1     -1     -1      1      1      1      0
Train accuarcate: 88.53%
tensor([[23., 22., 23., 28., 20., 22., 14., 45., 21., 27.],
        [24., 27., 37., 28., 15., 26., 29., 21., 21.,  9.],
        [15., 41., 29., 22., 23., 24., 22., 24., 25., 18.],
        [46., 16., 25., 20., 17., 25., 29., 24., 23., 26.],
        [18., 22., 23., 14., 44., 19., 30., 26., 23., 32.],
        [14., 43., 27., 24., 25., 18., 21., 25., 21., 22.],
        [15., 21., 17., 25., 41., 30., 23., 25., 24., 36.],
        [12., 24., 20., 20., 38., 31., 27., 20., 29., 36.],
        [29., 23., 26.,  7., 29., 26., 32., 24., 22., 25.],
        [25., 20., 13., 20., 33., 25., 22., 33., 27., 42.],
        [45., 13., 29., 24., 18., 27., 25., 24., 23., 20.],
        [20., 26., 31., 18., 32., 17., 36., 21., 25., 22.],
        [20., 17., 16., 22., 35., 28., 22., 29., 24., 43.],
        [45., 12., 24., 20., 20., 33., 23., 24., 29., 24.],
        [11., 45., 26., 25., 22., 23., 24., 22., 24., 21.],
        [21., 22., 21., 38., 23., 34., 20., 27., 26., 23.],
        [24., 18., 20., 22., 34., 22., 20., 29., 24., 45.],
        [24., 22., 27., 28., 22., 18., 17., 45., 17., 23.],
        [15., 31., 25., 31., 23., 24., 26., 26., 21., 20.],
        [19., 22., 21., 19., 45., 28., 27., 23., 24., 29.]], device='cuda:0')
Train accuarcate: 88.93%



iteration:
   51
    0   855   bit_w:-1  loss: 0.43776
    1   876   bit_w: 1  loss: 0.43658
    2  1122   bit_w:-1  loss: 0.43578
    3  1031   bit_w:-1  loss: 0.43502
    4   920   bit_w:-1  loss: 0.43465
   4288   3989   2170   1316   4876   2377   1066   5957   2783   4954
      1      1     -1     -1      1      0     -1      1     -1      1
Train accuarcate: 88.63%
tensor([[24., 23., 23., 28., 21., 22., 14., 46., 21., 28.],
        [24., 27., 38., 29., 15., 26., 30., 21., 22.,  9.],
        [15., 41., 30., 23., 23., 24., 23., 24., 26., 18.],
        [47., 17., 25., 20., 18., 25., 29., 25., 23., 27.],
        [18., 22., 24., 15., 44., 19., 31., 26., 24., 32.],
        [15., 44., 27., 24., 26., 18., 21., 26., 21., 23.],
        [16., 22., 17., 25., 42., 30., 23., 26., 24., 37.],
        [12., 24., 21., 21., 38., 31., 28., 20., 30., 36.],
        [29., 23., 27.,  8., 29., 26., 33., 24., 23., 25.],
        [26., 21., 13., 20., 34., 25., 22., 34., 27., 43.],
        [46., 14., 29., 24., 19., 27., 25., 25., 23., 21.],
        [20., 26., 32., 19., 32., 17., 37., 21., 26., 22.],
        [21., 18., 16., 22., 36., 28., 22., 30., 24., 44.],
        [45., 12., 25., 21., 20., 33., 24., 24., 30., 24.],
        [11., 45., 27., 26., 22., 23., 25., 22., 25., 21.],
        [21., 22., 22., 39., 23., 34., 21., 27., 27., 23.],
        [25., 19., 20., 22., 35., 22., 20., 30., 24., 46.],
        [25., 23., 27., 28., 23., 18., 17., 46., 17., 24.],
        [15., 31., 26., 32., 23., 24., 27., 26., 22., 20.],
        [19., 22., 22., 20., 45., 28., 28., 23., 25., 29.]], device='cuda:0')
Train accuarcate: 89.07%



iteration:
   52
    0   834   bit_w:-1  loss: 0.42999
    1   960   bit_w: 1  loss: 0.42983
    2   830   bit_w:-1  loss: 0.42834
    3   877   bit_w: 1  loss: 0.42791
    4   861   bit_w:-1  loss: 0.42687
   1039   5784   1004    542   4264   1243   2144   4268   3976   4883
     -1      1     -1     -1      0     -1      0      1      1      1
Train accuarcate: 88.87%
tensor([[25., 23., 24., 29., 21., 23., 14., 46., 21., 28.],
        [25., 27., 39., 30., 15., 27., 30., 21., 22.,  9.],
        [15., 42., 30., 23., 23., 24., 23., 25., 27., 19.],
        [47., 18., 25., 20., 18., 25., 29., 26., 24., 28.],
        [18., 23., 24., 15., 44., 19., 31., 27., 25., 33.],
        [15., 45., 27., 24., 26., 18., 21., 27., 22., 24.],
        [16., 23., 17., 25., 42., 30., 23., 27., 25., 38.],
        [12., 25., 21., 21., 38., 31., 28., 21., 31., 37.],
        [29., 24., 27.,  8., 29., 26., 33., 25., 24., 26.],
        [26., 22., 13., 20., 34., 25., 22., 35., 28., 44.],
        [47., 14., 30., 25., 19., 28., 25., 25., 23., 21.],
        [21., 26., 33., 20., 32., 18., 37., 21., 26., 22.],
        [21., 19., 16., 22., 36., 28., 22., 31., 25., 45.],
        [46., 12., 26., 22., 20., 34., 24., 24., 30., 24.],
        [11., 46., 27., 26., 22., 23., 25., 23., 26., 22.],
        [22., 22., 23., 40., 23., 35., 21., 27., 27., 23.],
        [25., 20., 20., 22., 35., 22., 20., 31., 25., 47.],
        [26., 23., 28., 29., 23., 19., 17., 46., 17., 24.],
        [16., 31., 27., 33., 23., 25., 27., 26., 22., 20.],
        [19., 23., 22., 20., 45., 28., 28., 24., 26., 30.]], device='cuda:0')
Train accuarcate: 89.40%



iteration:
   53
    0   906   bit_w:-1  loss: 0.42206
    1  1094   bit_w:-1  loss: 0.42117
    2   953   bit_w:-1  loss: 0.41994
    3   913   bit_w: 1  loss: 0.41934
    4  1113   bit_w:-1  loss: 0.41770
   1738   6371   2847   3481   5257   4330   5470   1765   2112   2205
     -1      1     -1     -1      1      1      1     -1     -1     -1
Train accuarcate: 89.05%
tensor([[26., 23., 25., 30., 21., 23., 14., 47., 22., 29.],
        [25., 28., 39., 30., 16., 28., 31., 21., 22.,  9.],
        [15., 43., 30., 23., 24., 25., 24., 25., 27., 19.],
        [48., 18., 26., 21., 18., 25., 29., 27., 25., 29.],
        [18., 24., 24., 15., 45., 20., 32., 27., 25., 33.],
        [15., 46., 27., 24., 27., 19., 22., 27., 22., 24.],
        [16., 24., 17., 25., 43., 31., 24., 27., 25., 38.],
        [13., 25., 22., 22., 38., 31., 28., 22., 32., 38.],
        [29., 25., 27.,  8., 30., 27., 34., 25., 24., 26.],
        [27., 22., 14., 21., 34., 25., 22., 36., 29., 45.],
        [47., 15., 30., 25., 20., 29., 26., 25., 23., 21.],
        [21., 27., 33., 20., 33., 19., 38., 21., 26., 22.],
        [21., 20., 16., 22., 37., 29., 23., 31., 25., 45.],
        [47., 12., 27., 23., 20., 34., 24., 25., 31., 25.],
        [11., 47., 27., 26., 23., 24., 26., 23., 26., 22.],
        [22., 23., 23., 40., 24., 36., 22., 27., 27., 23.],
        [25., 21., 20., 22., 36., 23., 21., 31., 25., 47.],
        [27., 23., 29., 30., 23., 19., 17., 47., 18., 25.],
        [17., 31., 28., 34., 23., 25., 27., 27., 23., 21.],
        [19., 24., 22., 20., 46., 29., 29., 24., 26., 30.]], device='cuda:0')
Train accuarcate: 89.48%



iteration:
   54
    0   854   bit_w:-1  loss: 0.41429
    1   819   bit_w:-1  loss: 0.41262
    2   323   bit_w:-1  loss: 0.41224
    3  1004   bit_w: 1  loss: 0.41113
    4  1015   bit_w: 1  loss: 0.41037
   5496   2682   4850   2451   1128   4592   5036    714   4387   1102
      0     -1      1     -1     -1      1      1     -1      1     -1
Train accuarcate: 89.26%
tensor([[26., 24., 25., 31., 22., 23., 14., 48., 22., 30.],
        [25., 28., 40., 30., 16., 29., 32., 21., 23.,  9.],
        [15., 43., 31., 23., 24., 26., 25., 25., 28., 19.],
        [48., 18., 27., 21., 18., 26., 30., 27., 26., 29.],
        [18., 25., 24., 16., 46., 20., 32., 28., 25., 34.],
        [15., 46., 28., 24., 27., 20., 23., 27., 23., 24.],
        [16., 25., 17., 26., 44., 31., 24., 28., 25., 39.],
        [13., 26., 22., 23., 39., 31., 28., 23., 32., 39.],
        [29., 25., 28.,  8., 30., 28., 35., 25., 25., 26.],
        [27., 23., 14., 22., 35., 25., 22., 37., 29., 46.],
        [47., 15., 31., 25., 20., 30., 27., 25., 24., 21.],
        [21., 27., 34., 20., 33., 20., 39., 21., 27., 22.],
        [21., 21., 16., 23., 38., 29., 23., 32., 25., 46.],
        [47., 12., 28., 23., 20., 35., 25., 25., 32., 25.],
        [11., 48., 27., 27., 24., 24., 26., 24., 26., 23.],
        [22., 24., 23., 41., 25., 36., 22., 28., 27., 24.],
        [25., 22., 20., 23., 37., 23., 21., 32., 25., 48.],
        [27., 24., 29., 31., 24., 19., 17., 48., 18., 26.],
        [17., 32., 28., 35., 24., 25., 27., 28., 23., 22.],
        [19., 25., 22., 21., 47., 29., 29., 25., 26., 31.]], device='cuda:0')
Train accuarcate: 89.56%



iteration:
   55
    0   837   bit_w:-1  loss: 0.40697
    1   996   bit_w: 1  loss: 0.40580
    2   993   bit_w: 1  loss: 0.40520
    3  1144   bit_w:-1  loss: 0.40459
    4   964   bit_w:-1  loss: 0.40345
   5484   5003   2600   1995   1128   4052   4629   3324   2494   1020
      1      1     -1     -1     -1      1      1      1     -1     -1
Train accuarcate: 89.34%
tensor([[27., 25., 25., 31., 22., 24., 15., 49., 22., 30.],
        [25., 28., 41., 31., 17., 29., 32., 21., 24., 10.],
        [15., 43., 32., 24., 25., 26., 25., 25., 29., 20.],
        [49., 19., 27., 21., 18., 27., 31., 28., 26., 29.],
        [18., 25., 25., 17., 47., 20., 32., 28., 26., 35.],
        [15., 46., 29., 25., 28., 20., 23., 27., 24., 25.],
        [16., 25., 18., 27., 45., 31., 24., 28., 26., 40.],
        [14., 27., 22., 23., 39., 32., 29., 24., 32., 39.],
        [30., 26., 28.,  8., 30., 29., 36., 26., 25., 26.],
        [27., 23., 15., 23., 36., 25., 22., 37., 30., 47.],
        [48., 16., 31., 25., 20., 31., 28., 26., 24., 21.],
        [22., 28., 34., 20., 33., 21., 40., 22., 27., 22.],
        [21., 21., 17., 24., 39., 29., 23., 32., 26., 47.],
        [48., 13., 28., 23., 20., 36., 26., 26., 32., 25.],
        [12., 49., 27., 27., 24., 25., 27., 25., 26., 23.],
        [23., 25., 23., 41., 25., 37., 23., 29., 27., 24.],
        [25., 22., 21., 24., 38., 23., 21., 32., 26., 49.],
        [28., 25., 29., 31., 24., 20., 18., 49., 18., 26.],
        [17., 32., 29., 36., 25., 25., 27., 28., 24., 23.],
        [19., 25., 23., 22., 48., 29., 29., 25., 27., 32.]], device='cuda:0')
Train accuarcate: 89.79%



iteration:
   56
    0   853   bit_w:-1  loss: 0.40025
    1   879   bit_w: 1  loss: 0.39907
    2   492   bit_w:-1  loss: 0.39759
    3  1004   bit_w: 1  loss: 0.39778
    4   874   bit_w:-1  loss: 0.39709
   4942   6005   2870   4744    585   3816   3569    591   5110    642
      1      1     -1      1     -1      0      0     -1      1     -1
Train accuarcate: 89.39%
tensor([[27., 25., 26., 31., 23., 24., 15., 50., 22., 31.],
        [26., 29., 41., 32., 17., 29., 32., 21., 25., 10.],
        [15., 43., 33., 24., 26., 26., 25., 26., 29., 21.],
        [49., 19., 28., 21., 19., 27., 31., 29., 26., 30.],
        [18., 25., 26., 17., 48., 20., 32., 29., 26., 36.],
        [16., 47., 29., 26., 28., 20., 23., 27., 25., 25.],
        [16., 25., 19., 27., 46., 31., 24., 29., 26., 41.],
        [14., 27., 23., 23., 40., 32., 29., 25., 32., 40.],
        [30., 26., 29.,  8., 31., 29., 36., 27., 25., 27.],
        [27., 23., 16., 23., 37., 25., 22., 38., 30., 48.],
        [49., 17., 31., 26., 20., 31., 28., 26., 25., 21.],
        [23., 29., 34., 21., 33., 21., 40., 22., 28., 22.],
        [21., 21., 18., 24., 40., 29., 23., 33., 26., 48.],
        [49., 14., 28., 24., 20., 36., 26., 26., 33., 25.],
        [13., 50., 27., 28., 24., 25., 27., 25., 27., 23.],
        [24., 26., 23., 42., 25., 37., 23., 29., 28., 24.],
        [25., 22., 22., 24., 39., 23., 21., 33., 26., 50.],
        [28., 25., 30., 31., 25., 20., 18., 50., 18., 27.],
        [17., 32., 30., 36., 26., 25., 27., 29., 24., 24.],
        [19., 25., 24., 22., 49., 29., 29., 26., 27., 33.]], device='cuda:0')
Train accuarcate: 89.78%



iteration:
   57
    0   969   bit_w:-1  loss: 0.39411
    1   917   bit_w:-1  loss: 0.39272
    2   994   bit_w: 1  loss: 0.39168
    3   816   bit_w: 1  loss: 0.39139
    4   548   bit_w:-1  loss: 0.39102
   3732   5233   1074   3745   4504   4499    805   4446   4903   2404
      1      0     -1     -1      1      1     -1      1      1     -1
Train accuarcate: 89.49%
tensor([[27., 25., 27., 32., 23., 24., 16., 50., 22., 32.],
        [26., 29., 42., 33., 17., 29., 33., 21., 25., 11.],
        [16., 43., 33., 24., 27., 27., 25., 27., 30., 21.],
        [49., 19., 29., 22., 19., 27., 32., 29., 26., 31.],
        [19., 25., 26., 17., 49., 21., 32., 30., 27., 36.],
        [17., 47., 29., 26., 29., 21., 23., 28., 26., 25.],
        [17., 25., 19., 27., 47., 32., 24., 30., 27., 41.],
        [14., 27., 24., 24., 40., 32., 30., 25., 32., 41.],
        [30., 26., 30.,  9., 31., 29., 37., 27., 25., 28.],
        [28., 23., 16., 23., 38., 26., 22., 39., 31., 48.],
        [50., 17., 31., 26., 21., 32., 28., 27., 26., 21.],
        [24., 29., 34., 21., 34., 22., 40., 23., 29., 22.],
        [21., 21., 19., 25., 40., 29., 24., 33., 26., 49.],
        [50., 14., 28., 24., 21., 37., 26., 27., 34., 25.],
        [13., 50., 28., 29., 24., 25., 28., 25., 27., 24.],
        [25., 26., 23., 42., 26., 38., 23., 30., 29., 24.],
        [25., 22., 23., 25., 39., 23., 22., 33., 26., 51.],
        [29., 25., 30., 31., 26., 21., 18., 51., 19., 27.],
        [17., 32., 31., 37., 26., 25., 28., 29., 24., 25.],
        [20., 25., 24., 22., 50., 30., 29., 27., 28., 33.]], device='cuda:0')
Train accuarcate: 89.86%



iteration:
   58
    0   904   bit_w:-1  loss: 0.38822
    1   897   bit_w: 1  loss: 0.38727
    2  1173   bit_w:-1  loss: 0.38606
    3  1010   bit_w:-1  loss: 0.38585
    4  1175   bit_w: 1  loss: 0.38494
   1226    250   4641   1416   4397   3832   3073   3868   3972   4224
     -1     -1      1     -1      0      1     -1      0      1      0
Train accuarcate: 89.60%
tensor([[28., 26., 27., 33., 23., 24., 17., 50., 22., 32.],
        [27., 30., 42., 34., 17., 29., 34., 21., 25., 11.],
        [17., 44., 33., 25., 27., 27., 26., 27., 30., 21.],
        [50., 20., 29., 23., 19., 27., 33., 29., 26., 31.],
        [20., 26., 26., 18., 49., 21., 33., 30., 27., 36.],
        [18., 48., 29., 27., 29., 21., 24., 28., 26., 25.],
        [17., 25., 20., 27., 47., 33., 24., 30., 28., 41.],
        [14., 27., 25., 24., 40., 33., 30., 25., 33., 41.],
        [30., 26., 31.,  9., 31., 30., 37., 27., 26., 28.],
        [29., 24., 16., 24., 38., 26., 23., 39., 31., 48.],
        [51., 18., 31., 27., 21., 32., 29., 27., 26., 21.],
        [25., 30., 34., 22., 34., 22., 41., 23., 29., 22.],
        [21., 21., 20., 25., 40., 30., 24., 33., 27., 49.],
        [51., 15., 28., 25., 21., 37., 27., 27., 34., 25.],
        [14., 51., 28., 30., 24., 25., 29., 25., 27., 24.],
        [25., 26., 24., 42., 26., 39., 23., 30., 30., 24.],
        [25., 22., 24., 25., 39., 24., 22., 33., 27., 51.],
        [30., 26., 30., 32., 26., 21., 19., 51., 19., 27.],
        [17., 32., 32., 37., 26., 26., 28., 29., 25., 25.],
        [21., 26., 24., 23., 50., 30., 30., 27., 28., 33.]], device='cuda:0')
Train accuarcate: 90.03%



iteration:
   59
    0   890   bit_w:-1  loss: 0.38199
    1   859   bit_w: 1  loss: 0.38111
    2   912   bit_w: 1  loss: 0.38006
    3   804   bit_w: 1  loss: 0.37958
    4   903   bit_w: 1  loss: 0.37858
   2092   1907   1365   1035   4524   4189   4715    305   1194    976
      0      0      0     -1      1      1      1     -1      0     -1
Train accuarcate: 89.85%
tensor([[28., 26., 27., 34., 23., 24., 17., 51., 22., 33.],
        [27., 30., 42., 35., 17., 29., 34., 22., 25., 12.],
        [17., 44., 33., 25., 28., 28., 27., 27., 30., 21.],
        [50., 20., 29., 24., 19., 27., 33., 30., 26., 32.],
        [20., 26., 26., 18., 50., 22., 34., 30., 27., 36.],
        [18., 48., 29., 27., 30., 22., 25., 28., 26., 25.],
        [17., 25., 20., 27., 48., 34., 25., 30., 28., 41.],
        [14., 27., 25., 25., 40., 33., 30., 26., 33., 42.],
        [30., 26., 31.,  9., 32., 31., 38., 27., 26., 28.],
        [29., 24., 16., 25., 38., 26., 23., 40., 31., 49.],
        [51., 18., 31., 27., 22., 33., 30., 27., 26., 21.],
        [25., 30., 34., 23., 34., 22., 41., 24., 29., 23.],
        [21., 21., 20., 26., 40., 30., 24., 34., 27., 50.],
        [51., 15., 28., 26., 21., 37., 27., 28., 34., 26.],
        [14., 51., 28., 31., 24., 25., 29., 26., 27., 25.],
        [25., 26., 24., 42., 27., 40., 24., 30., 30., 24.],
        [25., 22., 24., 26., 39., 24., 22., 34., 27., 52.],
        [30., 26., 30., 33., 26., 21., 19., 52., 19., 28.],
        [17., 32., 32., 38., 26., 26., 28., 30., 25., 26.],
        [21., 26., 24., 23., 51., 31., 31., 27., 28., 33.]], device='cuda:0')
Train accuarcate: 90.19%



iteration:
   60
    0   883   bit_w:-1  loss: 0.37526
    1   894   bit_w: 1  loss: 0.37469
    2   943   bit_w: 1  loss: 0.37409
    3  1019   bit_w: 1  loss: 0.37367
    4  1007   bit_w: 1  loss: 0.37316
   1508   6702   4621   3664   3276   2922   2853   2043   4921   4853
     -1      1      1     -1      0     -1      0     -1      1      1
Train accuarcate: 89.93%
tensor([[29., 26., 27., 35., 23., 25., 17., 52., 22., 33.],
        [27., 31., 43., 35., 17., 29., 34., 22., 26., 13.],
        [17., 45., 34., 25., 28., 28., 27., 27., 31., 22.],
        [50., 21., 30., 24., 19., 27., 33., 30., 27., 33.],
        [20., 27., 27., 18., 50., 22., 34., 30., 28., 37.],
        [18., 49., 30., 27., 30., 22., 25., 28., 27., 26.],
        [17., 26., 21., 27., 48., 34., 25., 30., 29., 42.],
        [14., 28., 26., 25., 40., 33., 30., 26., 34., 43.],
        [30., 27., 32.,  9., 32., 31., 38., 27., 27., 29.],
        [30., 24., 16., 26., 38., 27., 23., 41., 31., 49.],
        [51., 19., 32., 27., 22., 33., 30., 27., 27., 22.],
        [26., 30., 34., 24., 34., 23., 41., 25., 29., 23.],
        [21., 22., 21., 26., 40., 30., 24., 34., 28., 51.],
        [51., 16., 29., 26., 21., 37., 27., 28., 35., 27.],
        [14., 52., 29., 31., 24., 25., 29., 26., 28., 26.],
        [25., 27., 25., 42., 27., 40., 24., 30., 31., 25.],
        [25., 23., 25., 26., 39., 24., 22., 34., 28., 53.],
        [31., 26., 30., 34., 26., 22., 19., 53., 19., 28.],
        [18., 32., 32., 39., 26., 27., 28., 31., 25., 26.],
        [21., 27., 25., 23., 51., 31., 31., 27., 29., 34.]], device='cuda:0')
Train accuarcate: 90.28%



iteration:
   61
    0   895   bit_w:-1  loss: 0.37030
    1  1041   bit_w: 1  loss: 0.36920
    2   966   bit_w:-1  loss: 0.36915
    3   295   bit_w:-1  loss: 0.36788
    4   851   bit_w:-1  loss: 0.36775
   5421    282    961    533   4159   2200   4648    816   3249   3409
      1      0     -1     -1      1     -1      1     -1      1      1
Train accuarcate: 90.03%
tensor([[29., 26., 28., 36., 23., 26., 17., 53., 22., 33.],
        [27., 31., 44., 36., 17., 30., 34., 23., 26., 13.],
        [17., 45., 35., 26., 28., 29., 27., 28., 31., 22.],
        [51., 21., 30., 24., 20., 27., 34., 30., 28., 34.],
        [21., 27., 27., 18., 51., 22., 35., 30., 29., 38.],
        [18., 49., 31., 28., 30., 23., 25., 29., 27., 26.],
        [17., 26., 22., 28., 48., 35., 25., 31., 29., 42.],
        [14., 28., 27., 26., 40., 34., 30., 27., 34., 43.],
        [31., 27., 32.,  9., 33., 31., 39., 27., 28., 30.],
        [31., 24., 16., 26., 39., 27., 24., 41., 32., 50.],
        [52., 19., 32., 27., 23., 33., 31., 27., 28., 23.],
        [27., 30., 34., 24., 35., 23., 42., 25., 30., 24.],
        [22., 22., 21., 26., 41., 30., 25., 34., 29., 52.],
        [52., 16., 29., 26., 22., 37., 28., 28., 36., 28.],
        [14., 52., 30., 32., 24., 26., 29., 27., 28., 26.],
        [25., 27., 26., 43., 27., 41., 24., 31., 31., 25.],
        [26., 23., 25., 26., 40., 24., 23., 34., 29., 54.],
        [31., 26., 31., 35., 26., 23., 19., 54., 19., 28.],
        [18., 32., 33., 40., 26., 28., 28., 32., 25., 26.],
        [22., 27., 25., 23., 52., 31., 32., 27., 30., 35.]], device='cuda:0')
Train accuarcate: 90.40%



iteration:
   62
    0   937   bit_w:-1  loss: 0.36465
    1  1005   bit_w: 1  loss: 0.36383
    2  1013   bit_w: 1  loss: 0.36263
    3   868   bit_w:-1  loss: 0.36265
    4   791   bit_w: 1  loss: 0.36213
   5062    413   3597   4055    329   3987   1260   1498   4068   3563
      1     -1      0      0     -1      1     -1     -1      1      1
Train accuarcate: 90.19%
tensor([[29., 27., 28., 36., 24., 26., 18., 54., 22., 33.],
        [28., 31., 44., 36., 17., 31., 34., 23., 27., 14.],
        [17., 46., 35., 26., 29., 29., 28., 29., 31., 22.],
        [52., 21., 30., 24., 20., 28., 34., 30., 29., 35.],
        [21., 28., 27., 18., 52., 22., 36., 31., 29., 38.],
        [18., 50., 31., 28., 31., 23., 26., 30., 27., 26.],
        [17., 27., 22., 28., 49., 35., 26., 32., 29., 42.],
        [14., 29., 27., 26., 41., 34., 31., 28., 34., 43.],
        [32., 27., 32.,  9., 33., 32., 39., 27., 29., 31.],
        [32., 24., 16., 26., 39., 28., 24., 41., 33., 51.],
        [53., 19., 32., 27., 23., 34., 31., 27., 29., 24.],
        [27., 31., 34., 24., 36., 23., 43., 26., 30., 24.],
        [23., 22., 21., 26., 41., 31., 25., 34., 30., 53.],
        [53., 16., 29., 26., 22., 38., 28., 28., 37., 29.],
        [14., 53., 30., 32., 25., 26., 30., 28., 28., 26.],
        [25., 28., 26., 43., 28., 41., 25., 32., 31., 25.],
        [27., 23., 25., 26., 40., 25., 23., 34., 30., 55.],
        [31., 27., 31., 35., 27., 23., 20., 55., 19., 28.],
        [18., 33., 33., 40., 27., 28., 29., 33., 25., 26.],
        [22., 28., 25., 23., 53., 31., 33., 28., 30., 35.]], device='cuda:0')
Train accuarcate: 90.50%



iteration:
   63
    0   861   bit_w:-1  loss: 0.35974
    1  1012   bit_w:-1  loss: 0.35850
    2  1038   bit_w: 1  loss: 0.35763
    3  1074   bit_w:-1  loss: 0.35677
    4   820   bit_w:-1  loss: 0.35624
   1888   5759   1774   2883   1732   4411   4974   4155   3639   3923
     -1      0     -1     -1     -1      1      1      0      1      1
Train accuarcate: 90.32%
tensor([[29., 27., 28., 36., 24., 27., 19., 54., 23., 34.],
        [28., 31., 44., 36., 17., 32., 35., 23., 28., 15.],
        [17., 46., 35., 26., 29., 30., 29., 29., 32., 23.],
        [52., 21., 30., 24., 20., 29., 35., 30., 30., 36.],
        [21., 28., 27., 18., 52., 23., 37., 31., 30., 39.],
        [18., 50., 31., 28., 31., 24., 27., 30., 28., 27.],
        [17., 27., 22., 28., 49., 36., 27., 32., 30., 43.],
        [15., 29., 28., 27., 42., 34., 31., 28., 34., 43.],
        [32., 27., 32.,  9., 33., 33., 40., 27., 30., 32.],
        [32., 24., 16., 26., 39., 29., 25., 41., 34., 52.],
        [54., 19., 33., 28., 24., 34., 31., 27., 29., 24.],
        [28., 31., 35., 25., 37., 23., 43., 26., 30., 24.],
        [24., 22., 22., 27., 42., 31., 25., 34., 30., 53.],
        [54., 16., 30., 27., 23., 38., 28., 28., 37., 29.],
        [14., 53., 30., 32., 25., 27., 31., 28., 29., 27.],
        [25., 28., 26., 43., 28., 42., 26., 32., 32., 26.],
        [27., 23., 25., 26., 40., 26., 24., 34., 31., 56.],
        [31., 27., 31., 35., 27., 24., 21., 55., 20., 29.],
        [19., 33., 34., 41., 28., 28., 29., 33., 25., 26.],
        [23., 28., 26., 24., 54., 31., 33., 28., 30., 35.]], device='cuda:0')
Train accuarcate: 90.53%



iteration:
   64
    0  1005   bit_w:-1  loss: 0.35359
    1  1113   bit_w:-1  loss: 0.35284
    2   888   bit_w:-1  loss: 0.35219
    3   947   bit_w:-1  loss: 0.35189
    4   942   bit_w: 1  loss: 0.35164
    657   5613   1649   1003   4887   1492   1634   3901   1718   2051
      0      1     -1     -1      1      0      0      1      0     -1
Train accuarcate: 90.48%
tensor([[29., 28., 28., 36., 25., 27., 19., 55., 23., 34.],
        [28., 31., 45., 37., 17., 32., 35., 23., 28., 16.],
        [17., 47., 35., 26., 30., 30., 29., 30., 32., 23.],
        [52., 21., 31., 25., 20., 29., 35., 30., 30., 37.],
        [21., 29., 27., 18., 53., 23., 37., 32., 30., 39.],
        [18., 51., 31., 28., 32., 24., 27., 31., 28., 27.],
        [17., 28., 22., 28., 50., 36., 27., 33., 30., 43.],
        [15., 29., 29., 28., 42., 34., 31., 28., 34., 44.],
        [32., 27., 33., 10., 33., 33., 40., 27., 30., 33.],
        [32., 25., 16., 26., 40., 29., 25., 42., 34., 52.],
        [54., 19., 34., 29., 24., 34., 31., 27., 29., 25.],
        [28., 32., 35., 25., 38., 23., 43., 27., 30., 24.],
        [24., 23., 22., 27., 43., 31., 25., 35., 30., 53.],
        [54., 16., 31., 28., 23., 38., 28., 28., 37., 30.],
        [14., 54., 30., 32., 26., 27., 31., 29., 29., 27.],
        [25., 28., 27., 44., 28., 42., 26., 32., 32., 27.],
        [27., 23., 26., 27., 40., 26., 24., 34., 31., 57.],
        [31., 27., 32., 36., 27., 24., 21., 55., 20., 30.],
        [19., 33., 35., 42., 28., 28., 29., 33., 25., 27.],
        [23., 28., 27., 25., 54., 31., 33., 28., 30., 36.]], device='cuda:0')
Train accuarcate: 90.64%



iteration:
   65
    0  1103   bit_w:-1  loss: 0.34943
    1   916   bit_w:-1  loss: 0.34843
    2   270   bit_w:-1  loss: 0.34815
    3  1075   bit_w:-1  loss: 0.34809
    4  1012   bit_w: 1  loss: 0.34789
    642    759   2493   4313   4734   2524   4403   1129   4664   4216
     -1     -1     -1      1      1      0      1     -1      1      0
Train accuarcate: 90.51%
tensor([[30., 29., 29., 36., 25., 27., 19., 56., 23., 34.],
        [29., 32., 46., 37., 17., 32., 35., 24., 28., 16.],
        [18., 48., 36., 26., 30., 30., 29., 31., 32., 23.],
        [53., 22., 32., 25., 20., 29., 35., 31., 30., 37.],
        [21., 29., 27., 19., 54., 23., 38., 32., 31., 39.],
        [19., 52., 32., 28., 32., 24., 27., 32., 28., 27.],
        [17., 28., 22., 29., 51., 36., 28., 33., 31., 43.],
        [15., 29., 29., 29., 43., 34., 32., 28., 35., 44.],
        [33., 28., 34., 10., 33., 33., 40., 28., 30., 33.],
        [33., 26., 17., 26., 40., 29., 25., 43., 34., 52.],
        [55., 20., 35., 29., 24., 34., 31., 28., 29., 25.],
        [29., 33., 36., 25., 38., 23., 43., 28., 30., 24.],
        [24., 23., 22., 28., 44., 31., 26., 35., 31., 53.],
        [54., 16., 31., 29., 24., 38., 29., 28., 38., 30.],
        [15., 55., 31., 32., 26., 27., 31., 30., 29., 27.],
        [26., 29., 28., 44., 28., 42., 26., 33., 32., 27.],
        [27., 23., 26., 28., 41., 26., 25., 34., 32., 57.],
        [32., 28., 33., 36., 27., 24., 21., 56., 20., 30.],
        [20., 34., 36., 42., 28., 28., 29., 34., 25., 27.],
        [23., 28., 27., 26., 55., 31., 34., 28., 31., 36.]], device='cuda:0')
Train accuarcate: 90.70%



iteration:
   66
    0   864   bit_w:-1  loss: 0.34528
    1   836   bit_w:-1  loss: 0.34451
    2  1143   bit_w: 1  loss: 0.34355
    3  1082   bit_w:-1  loss: 0.34293
    4   821   bit_w:-1  loss: 0.34218
   5406   3974   4532    545   1372    649   4894    441   4808    555
      1      0      1     -1      0     -1      1      0      1     -1
Train accuarcate: 90.58%
tensor([[30., 29., 29., 37., 25., 28., 19., 56., 23., 35.],
        [30., 32., 47., 37., 17., 32., 36., 24., 29., 16.],
        [19., 48., 37., 26., 30., 30., 30., 31., 33., 23.],
        [54., 22., 33., 25., 20., 29., 36., 31., 31., 37.],
        [21., 29., 27., 20., 54., 24., 38., 32., 31., 40.],
        [20., 52., 33., 28., 32., 24., 28., 32., 29., 27.],
        [17., 28., 22., 30., 51., 37., 28., 33., 31., 44.],
        [15., 29., 29., 30., 43., 35., 32., 28., 35., 45.],
        [34., 28., 35., 10., 33., 33., 41., 28., 31., 33.],
        [33., 26., 17., 27., 40., 30., 25., 43., 34., 53.],
        [56., 20., 36., 29., 24., 34., 32., 28., 30., 25.],
        [30., 33., 37., 25., 38., 23., 44., 28., 31., 24.],
        [24., 23., 22., 29., 44., 32., 26., 35., 31., 54.],
        [55., 16., 32., 29., 24., 38., 30., 28., 39., 30.],
        [15., 55., 31., 33., 26., 28., 31., 30., 29., 28.],
        [26., 29., 28., 45., 28., 43., 26., 33., 32., 28.],
        [27., 23., 26., 29., 41., 27., 25., 34., 32., 58.],
        [32., 28., 33., 37., 27., 25., 21., 56., 20., 31.],
        [21., 34., 37., 42., 28., 28., 30., 34., 26., 27.],
        [23., 28., 27., 27., 55., 32., 34., 28., 31., 37.]], device='cuda:0')
Train accuarcate: 90.80%



iteration:
   67
    0  1087   bit_w:-1  loss: 0.33990
    1   896   bit_w: 1  loss: 0.33930
    2   985   bit_w:-1  loss: 0.33897
    3   906   bit_w:-1  loss: 0.33830
    4  1113   bit_w:-1  loss: 0.33771
   2007   5773   1942   2474   3728   4049   2779   2130   2266   2500
     -1      1     -1      0      1      1      0     -1     -1     -1
Train accuarcate: 90.60%
tensor([[31., 29., 30., 37., 25., 28., 19., 57., 24., 36.],
        [31., 32., 48., 37., 17., 32., 36., 25., 30., 17.],
        [19., 49., 37., 26., 31., 31., 30., 31., 33., 23.],
        [55., 22., 34., 25., 20., 29., 36., 32., 32., 38.],
        [22., 29., 28., 20., 54., 24., 38., 33., 32., 41.],
        [20., 53., 33., 28., 33., 25., 28., 32., 29., 27.],
        [17., 29., 22., 30., 52., 38., 28., 33., 31., 44.],
        [16., 29., 30., 30., 43., 35., 32., 29., 36., 46.],
        [34., 29., 35., 10., 34., 34., 41., 28., 31., 33.],
        [34., 26., 18., 27., 40., 30., 25., 44., 35., 54.],
        [56., 21., 36., 29., 25., 35., 32., 28., 30., 25.],
        [30., 34., 37., 25., 39., 24., 44., 28., 31., 24.],
        [25., 23., 23., 29., 44., 32., 26., 36., 32., 55.],
        [56., 16., 33., 29., 24., 38., 30., 29., 40., 31.],
        [15., 56., 31., 33., 27., 29., 31., 30., 29., 28.],
        [27., 29., 29., 45., 28., 43., 26., 34., 33., 29.],
        [28., 23., 27., 29., 41., 27., 25., 35., 33., 59.],
        [33., 28., 34., 37., 27., 25., 21., 57., 21., 32.],
        [22., 34., 38., 42., 28., 28., 30., 35., 27., 28.],
        [23., 29., 27., 27., 56., 33., 34., 28., 31., 37.]], device='cuda:0')
Train accuarcate: 90.76%



iteration:
   68
    0   843   bit_w:-1  loss: 0.33578
    1  1008   bit_w:-1  loss: 0.33525
    2  1125   bit_w: 1  loss: 0.33455
    3   955   bit_w:-1  loss: 0.33423
    4   978   bit_w: 1  loss: 0.33376
   3375    745   1162    651   3198    747   1224   5597   2917   4869
      0     -1      0     -1      0     -1     -1      1      0      1
Train accuarcate: 90.67%
tensor([[31., 29., 30., 37., 25., 28., 19., 58., 24., 37.],
        [31., 33., 48., 38., 17., 33., 37., 25., 30., 17.],
        [19., 50., 37., 27., 31., 32., 31., 31., 33., 23.],
        [55., 23., 34., 26., 20., 30., 37., 32., 32., 38.],
        [22., 30., 28., 21., 54., 25., 39., 33., 32., 41.],
        [20., 54., 33., 29., 33., 26., 29., 32., 29., 27.],
        [17., 30., 22., 31., 52., 39., 29., 33., 31., 44.],
        [16., 30., 30., 31., 43., 36., 33., 29., 36., 46.],
        [34., 30., 35., 11., 34., 35., 42., 28., 31., 33.],
        [34., 26., 18., 27., 40., 30., 25., 45., 35., 55.],
        [56., 22., 36., 30., 25., 36., 33., 28., 30., 25.],
        [30., 35., 37., 26., 39., 25., 45., 28., 31., 24.],
        [25., 23., 23., 29., 44., 32., 26., 37., 32., 56.],
        [56., 16., 33., 29., 24., 38., 30., 30., 40., 32.],
        [15., 57., 31., 34., 27., 30., 32., 30., 29., 28.],
        [27., 30., 29., 46., 28., 44., 27., 34., 33., 29.],
        [28., 23., 27., 29., 41., 27., 25., 36., 33., 60.],
        [33., 28., 34., 37., 27., 25., 21., 58., 21., 33.],
        [22., 35., 38., 43., 28., 29., 31., 35., 27., 28.],
        [23., 30., 27., 28., 56., 34., 35., 28., 31., 37.]], device='cuda:0')
Train accuarcate: 91.02%



iteration:
   69
    0   950   bit_w:-1  loss: 0.33124
    1   905   bit_w: 1  loss: 0.33084
    2   931   bit_w: 1  loss: 0.33065
    3   942   bit_w:-1  loss: 0.33009
    4  1068   bit_w: 1  loss: 0.32950
   5170    983   1417   1364   1169   2068   4515   4411   1267   1945
      1      0     -1      0     -1      0      1      1     -1      0
Train accuarcate: 90.79%
tensor([[32., 29., 30., 37., 25., 28., 20., 59., 24., 37.],
        [31., 33., 49., 38., 18., 33., 37., 25., 31., 17.],
        [19., 50., 38., 27., 32., 32., 31., 31., 34., 23.],
        [56., 23., 34., 26., 20., 30., 38., 33., 32., 38.],
        [22., 30., 29., 21., 55., 25., 39., 33., 33., 41.],
        [20., 54., 34., 29., 34., 26., 29., 32., 30., 27.],
        [17., 30., 23., 31., 53., 39., 29., 33., 32., 44.],
        [16., 30., 31., 31., 44., 36., 33., 29., 37., 46.],
        [35., 30., 35., 11., 34., 35., 43., 29., 31., 33.],
        [34., 26., 19., 27., 41., 30., 25., 45., 36., 55.],
        [57., 22., 36., 30., 25., 36., 34., 29., 30., 25.],
        [30., 35., 38., 26., 40., 25., 45., 28., 32., 24.],
        [25., 23., 24., 29., 45., 32., 26., 37., 33., 56.],
        [57., 16., 33., 29., 24., 38., 31., 31., 40., 32.],
        [15., 57., 32., 34., 28., 30., 32., 30., 30., 28.],
        [28., 30., 29., 46., 28., 44., 28., 35., 33., 29.],
        [28., 23., 28., 29., 42., 27., 25., 36., 34., 60.],
        [34., 28., 34., 37., 27., 25., 22., 59., 21., 33.],
        [23., 35., 38., 43., 28., 29., 32., 36., 27., 28.],
        [23., 30., 28., 28., 57., 34., 35., 28., 32., 37.]], device='cuda:0')
Train accuarcate: 91.05%



iteration:
   70
    0  1015   bit_w:-1  loss: 0.32777
    1   918   bit_w: 1  loss: 0.32686
    2  1017   bit_w:-1  loss: 0.32605
    3   888   bit_w:-1  loss: 0.32569
    4   993   bit_w:-1  loss: 0.32509
   2813   6225   2683   3548   4549   1269   2712   4630   2383   3731
      0      1     -1      1      1     -1      0      1     -1     -1
Train accuarcate: 90.93%
tensor([[32., 30., 30., 38., 26., 28., 20., 60., 24., 37.],
        [31., 34., 49., 39., 19., 33., 37., 26., 31., 17.],
        [19., 51., 38., 28., 33., 32., 31., 32., 34., 23.],
        [56., 23., 35., 26., 20., 31., 38., 33., 33., 39.],
        [22., 31., 29., 22., 56., 25., 39., 34., 33., 41.],
        [20., 55., 34., 30., 35., 26., 29., 33., 30., 27.],
        [17., 31., 23., 32., 54., 39., 29., 34., 32., 44.],
        [16., 31., 31., 32., 45., 36., 33., 30., 37., 46.],
        [35., 30., 36., 11., 34., 36., 43., 29., 32., 34.],
        [34., 27., 19., 28., 42., 30., 25., 46., 36., 55.],
        [57., 22., 37., 30., 25., 37., 34., 29., 31., 26.],
        [30., 36., 38., 27., 41., 25., 45., 29., 32., 24.],
        [25., 24., 24., 30., 46., 32., 26., 38., 33., 56.],
        [57., 16., 34., 29., 24., 39., 31., 31., 41., 33.],
        [15., 58., 32., 35., 29., 30., 32., 31., 30., 28.],
        [28., 30., 30., 46., 28., 45., 28., 35., 34., 30.],
        [28., 24., 28., 30., 43., 27., 25., 37., 34., 60.],
        [34., 29., 34., 38., 28., 25., 22., 60., 21., 33.],
        [23., 35., 39., 43., 28., 30., 32., 36., 28., 29.],
        [23., 30., 29., 28., 57., 35., 35., 28., 33., 38.]], device='cuda:0')
Train accuarcate: 91.08%



iteration:
   71
    0   969   bit_w:-1  loss: 0.32323
    1   846   bit_w:-1  loss: 0.32264
    2   105   bit_w:-1  loss: 0.32246
    3   628   bit_w: 1  loss: 0.32192
    4   880   bit_w: 1  loss: 0.32199
   4357    352   2270   3815   2176   4218    294   2177   4172   1107
      1     -1      0      1      0      1     -1      0      1     -1
Train accuarcate: 90.92%
tensor([[33., 30., 30., 39., 26., 29., 20., 60., 25., 37.],
        [31., 35., 49., 39., 19., 33., 38., 26., 31., 18.],
        [19., 52., 38., 28., 33., 32., 32., 32., 34., 24.],
        [56., 24., 35., 26., 20., 31., 39., 33., 33., 40.],
        [23., 31., 29., 23., 56., 26., 39., 34., 34., 41.],
        [20., 56., 34., 30., 35., 26., 30., 33., 30., 28.],
        [18., 31., 23., 33., 54., 40., 29., 34., 33., 44.],
        [16., 32., 31., 32., 45., 36., 34., 30., 37., 47.],
        [36., 30., 36., 12., 34., 37., 43., 29., 33., 34.],
        [35., 27., 19., 29., 42., 31., 25., 46., 37., 55.],
        [58., 22., 37., 31., 25., 38., 34., 29., 32., 26.],
        [30., 37., 38., 27., 41., 25., 46., 29., 32., 25.],
        [25., 25., 24., 30., 46., 32., 27., 38., 33., 57.],
        [58., 16., 34., 30., 24., 40., 31., 31., 42., 33.],
        [15., 59., 32., 35., 29., 30., 33., 31., 30., 29.],
        [29., 30., 30., 47., 28., 46., 28., 35., 35., 30.],
        [28., 25., 28., 30., 43., 27., 26., 37., 34., 61.],
        [34., 30., 34., 38., 28., 25., 23., 60., 21., 34.],
        [24., 35., 39., 44., 28., 31., 32., 36., 29., 29.],
        [23., 31., 29., 28., 57., 35., 36., 28., 33., 39.]], device='cuda:0')
Train accuarcate: 91.12%



iteration:
   72
    0   872   bit_w:-1  loss: 0.32007
    1   882   bit_w:-1  loss: 0.31887
    2  1071   bit_w: 1  loss: 0.31796
    3   932   bit_w: 1  loss: 0.31813
    4   922   bit_w:-1  loss: 0.31697
   4824   1462    579   1276   4969   4589   4264   1943   4488   3592
      1      0     -1     -1      1      1      1     -1      1      0
Train accuarcate: 91.11%
tensor([[33., 30., 31., 40., 26., 29., 20., 61., 25., 37.],
        [31., 35., 50., 40., 19., 33., 38., 27., 31., 18.],
        [19., 52., 39., 29., 33., 32., 32., 33., 34., 24.],
        [56., 24., 36., 27., 20., 31., 39., 34., 33., 40.],
        [24., 31., 29., 23., 57., 27., 40., 34., 35., 41.],
        [20., 56., 35., 31., 35., 26., 30., 34., 30., 28.],
        [19., 31., 23., 33., 55., 41., 30., 34., 34., 44.],
        [17., 32., 31., 32., 46., 37., 35., 30., 38., 47.],
        [37., 30., 36., 12., 35., 38., 44., 29., 34., 34.],
        [35., 27., 20., 30., 42., 31., 25., 47., 37., 55.],
        [59., 22., 37., 31., 26., 39., 35., 29., 33., 26.],
        [31., 37., 38., 27., 42., 26., 47., 29., 33., 25.],
        [25., 25., 25., 31., 46., 32., 27., 39., 33., 57.],
        [59., 16., 34., 30., 25., 41., 32., 31., 43., 33.],
        [15., 59., 33., 36., 29., 30., 33., 32., 30., 29.],
        [30., 30., 30., 47., 29., 47., 29., 35., 36., 30.],
        [29., 25., 28., 30., 44., 28., 27., 37., 35., 61.],
        [34., 30., 35., 39., 28., 25., 23., 61., 21., 34.],
        [24., 35., 40., 45., 28., 31., 32., 37., 29., 29.],
        [24., 31., 29., 28., 58., 36., 37., 28., 34., 39.]], device='cuda:0')
Train accuarcate: 91.26%



iteration:
   73
    0   923   bit_w:-1  loss: 0.31550
    1   861   bit_w:-1  loss: 0.31468
    2   841   bit_w:-1  loss: 0.31410
    3   882   bit_w:-1  loss: 0.31371
    4   972   bit_w: 1  loss: 0.31319
   4852   6588   1359   1593   5511   4564   5518   3040   5147   5875
      0      1     -1     -1      0      0      0     -1      0      1
Train accuarcate: 91.12%
tensor([[33., 30., 32., 41., 26., 29., 20., 62., 25., 37.],
        [31., 35., 51., 41., 19., 33., 38., 28., 31., 18.],
        [19., 53., 39., 29., 33., 32., 32., 33., 34., 25.],
        [56., 25., 36., 27., 20., 31., 39., 34., 33., 41.],
        [24., 32., 29., 23., 57., 27., 40., 34., 35., 42.],
        [20., 57., 35., 31., 35., 26., 30., 34., 30., 29.],
        [19., 31., 24., 34., 55., 41., 30., 35., 34., 44.],
        [17., 33., 31., 32., 46., 37., 35., 30., 38., 48.],
        [37., 31., 36., 12., 35., 38., 44., 29., 34., 35.],
        [35., 28., 20., 30., 42., 31., 25., 47., 37., 56.],
        [59., 23., 37., 31., 26., 39., 35., 29., 33., 27.],
        [31., 38., 38., 27., 42., 26., 47., 29., 33., 26.],
        [25., 26., 25., 31., 46., 32., 27., 39., 33., 58.],
        [59., 17., 34., 30., 25., 41., 32., 31., 43., 34.],
        [15., 60., 33., 36., 29., 30., 33., 32., 30., 30.],
        [30., 31., 30., 47., 29., 47., 29., 35., 36., 31.],
        [29., 26., 28., 30., 44., 28., 27., 37., 35., 62.],
        [34., 30., 36., 40., 28., 25., 23., 62., 21., 34.],
        [24., 35., 41., 46., 28., 31., 32., 38., 29., 29.],
        [24., 32., 29., 28., 58., 36., 37., 28., 34., 40.]], device='cuda:0')
Train accuarcate: 91.33%



iteration:
   74
    0   967   bit_w:-1  loss: 0.31146
    1  1043   bit_w:-1  loss: 0.31099
    2  1093   bit_w:-1  loss: 0.31077
    3  1101   bit_w: 1  loss: 0.31016
    4  1012   bit_w: 1  loss: 0.30973
    848   5016   4968   2766   4496   1695   4855   2493   3857   3472
     -1      0      1      0      1     -1      1      0      1     -1
Train accuarcate: 91.25%
tensor([[34., 30., 32., 41., 26., 30., 20., 62., 25., 38.],
        [32., 35., 51., 41., 19., 34., 38., 28., 31., 19.],
        [19., 53., 40., 29., 34., 32., 33., 33., 35., 25.],
        [57., 25., 36., 27., 20., 32., 39., 34., 33., 42.],
        [25., 32., 29., 23., 57., 28., 40., 34., 35., 43.],
        [20., 57., 36., 31., 36., 26., 31., 34., 31., 29.],
        [20., 31., 24., 34., 55., 42., 30., 35., 34., 45.],
        [18., 33., 31., 32., 46., 38., 35., 30., 38., 49.],
        [37., 31., 37., 12., 36., 38., 45., 29., 35., 35.],
        [36., 28., 20., 30., 42., 32., 25., 47., 37., 57.],
        [60., 23., 37., 31., 26., 40., 35., 29., 33., 28.],
        [32., 38., 38., 27., 42., 27., 47., 29., 33., 27.],
        [26., 26., 25., 31., 46., 33., 27., 39., 33., 59.],
        [60., 17., 34., 30., 25., 42., 32., 31., 43., 35.],
        [15., 60., 34., 36., 30., 30., 34., 32., 31., 30.],
        [31., 31., 30., 47., 29., 48., 29., 35., 36., 32.],
        [29., 26., 29., 30., 45., 28., 28., 37., 36., 62.],
        [35., 30., 36., 40., 28., 26., 23., 62., 21., 35.],
        [24., 35., 42., 46., 29., 31., 33., 38., 30., 29.],
        [24., 32., 30., 28., 59., 36., 38., 28., 35., 40.]], device='cuda:0')
Train accuarcate: 91.37%



iteration:
   75
    0   915   bit_w:-1  loss: 0.30781
    1  1094   bit_w: 1  loss: 0.30734
    2  1144   bit_w: 1  loss: 0.30715
    3   807   bit_w: 1  loss: 0.30649
    4   948   bit_w: 1  loss: 0.30662
   2633   6588   4241   5218   1930   2086    898   5967   3424   3558
     -1      0      0      1     -1     -1     -1      1      0      0
Train accuarcate: 91.33%
tensor([[34., 30., 32., 42., 26., 30., 20., 63., 25., 38.],
        [32., 35., 51., 42., 19., 34., 38., 29., 31., 19.],
        [19., 53., 40., 30., 34., 32., 33., 34., 35., 25.],
        [58., 25., 36., 27., 21., 33., 40., 34., 33., 42.],
        [26., 32., 29., 23., 58., 29., 41., 34., 35., 43.],
        [20., 57., 36., 32., 36., 26., 31., 35., 31., 29.],
        [20., 31., 24., 35., 55., 42., 30., 36., 34., 45.],
        [18., 33., 31., 33., 46., 38., 35., 31., 38., 49.],
        [38., 31., 37., 12., 37., 39., 46., 29., 35., 35.],
        [36., 28., 20., 31., 42., 32., 25., 48., 37., 57.],
        [61., 23., 37., 31., 27., 41., 36., 29., 33., 28.],
        [33., 38., 38., 27., 43., 28., 48., 29., 33., 27.],
        [26., 26., 25., 32., 46., 33., 27., 40., 33., 59.],
        [60., 17., 34., 31., 25., 42., 32., 32., 43., 35.],
        [15., 60., 34., 37., 30., 30., 34., 33., 31., 30.],
        [31., 31., 30., 48., 29., 48., 29., 36., 36., 32.],
        [29., 26., 29., 31., 45., 28., 28., 38., 36., 62.],
        [35., 30., 36., 41., 28., 26., 23., 63., 21., 35.],
        [24., 35., 42., 47., 29., 31., 33., 39., 30., 29.],
        [24., 32., 30., 29., 59., 36., 38., 29., 35., 40.]], device='cuda:0')
Train accuarcate: 91.46%



iteration:
   76
    0   869   bit_w:-1  loss: 0.30479
    1   943   bit_w:-1  loss: 0.30434
    2   984   bit_w: 1  loss: 0.30331
    3  1012   bit_w: 1  loss: 0.30320
    4  1141   bit_w: 1  loss: 0.30251
   3993   1004   3879   4009   4763   2218   3608   3897   2621   3341
      0     -1      1      1      1     -1      0      1     -1     -1
Train accuarcate: 91.47%
tensor([[34., 30., 33., 43., 27., 30., 20., 64., 25., 38.],
        [32., 36., 51., 42., 19., 35., 38., 29., 32., 20.],
        [19., 54., 40., 30., 34., 33., 33., 34., 36., 26.],
        [58., 25., 37., 28., 22., 33., 40., 35., 33., 42.],
        [26., 32., 30., 24., 59., 29., 41., 35., 35., 43.],
        [20., 58., 36., 32., 36., 27., 31., 35., 32., 30.],
        [20., 32., 24., 35., 55., 43., 30., 36., 35., 46.],
        [18., 34., 31., 33., 46., 39., 35., 31., 39., 50.],
        [38., 32., 37., 12., 37., 40., 46., 29., 36., 36.],
        [36., 28., 21., 32., 43., 32., 25., 49., 37., 57.],
        [61., 24., 37., 31., 27., 42., 36., 29., 34., 29.],
        [33., 38., 39., 28., 44., 28., 48., 30., 33., 27.],
        [26., 26., 26., 33., 47., 33., 27., 41., 33., 59.],
        [60., 17., 35., 32., 26., 42., 32., 33., 43., 35.],
        [15., 61., 34., 37., 30., 31., 34., 33., 32., 31.],
        [31., 32., 30., 48., 29., 49., 29., 36., 37., 33.],
        [29., 27., 29., 31., 45., 29., 28., 38., 37., 63.],
        [35., 30., 37., 42., 29., 26., 23., 64., 21., 35.],
        [24., 36., 42., 47., 29., 32., 33., 39., 31., 30.],
        [24., 32., 31., 30., 60., 36., 38., 30., 35., 40.]], device='cuda:0')
Train accuarcate: 91.56%



iteration:
   77
    0  1006   bit_w:-1  loss: 0.30086
    1  1173   bit_w:-1  loss: 0.30018
    2   947   bit_w: 1  loss: 0.29941
    3  1063   bit_w: 1  loss: 0.29935
    4  1138   bit_w: 1  loss: 0.29866
   1879   1575   3145   4039   4393   4209   4912   2260   4418   4763
     -1     -1     -1      0      0      1      1     -1      1      1
Train accuarcate: 91.55%
tensor([[35., 31., 34., 43., 27., 30., 20., 65., 25., 38.],
        [33., 37., 52., 42., 19., 35., 38., 30., 32., 20.],
        [20., 55., 41., 30., 34., 33., 33., 35., 36., 26.],
        [58., 25., 37., 28., 22., 34., 41., 35., 34., 43.],
        [27., 33., 31., 24., 59., 29., 41., 36., 35., 43.],
        [21., 59., 37., 32., 36., 27., 31., 36., 32., 30.],
        [20., 32., 24., 35., 55., 44., 31., 36., 36., 47.],
        [18., 34., 31., 33., 46., 40., 36., 31., 40., 51.],
        [38., 32., 37., 12., 37., 41., 47., 29., 37., 37.],
        [36., 28., 21., 32., 43., 33., 26., 49., 38., 58.],
        [62., 25., 38., 31., 27., 42., 36., 30., 34., 29.],
        [34., 39., 40., 28., 44., 28., 48., 31., 33., 27.],
        [26., 26., 26., 33., 47., 34., 28., 41., 34., 60.],
        [61., 18., 36., 32., 26., 42., 32., 34., 43., 35.],
        [16., 62., 35., 37., 30., 31., 34., 34., 32., 31.],
        [32., 33., 31., 48., 29., 49., 29., 37., 37., 33.],
        [29., 27., 29., 31., 45., 30., 29., 38., 38., 64.],
        [36., 31., 38., 42., 29., 26., 23., 65., 21., 35.],
        [24., 36., 42., 47., 29., 33., 34., 39., 32., 31.],
        [24., 32., 31., 30., 60., 37., 39., 30., 36., 41.]], device='cuda:0')
Train accuarcate: 91.59%



iteration:
   78
    0   874   bit_w:-1  loss: 0.29725
    1   980   bit_w: 1  loss: 0.29665
    2   819   bit_w:-1  loss: 0.29664
    3   928   bit_w:-1  loss: 0.29627
    4   981   bit_w: 1  loss: 0.29627
   1852   6582   4514   5413   1522   4578   3778    508   5313   1128
     -1      0      1      1     -1      0      0     -1      1     -1
Train accuarcate: 91.56%
tensor([[36., 31., 34., 43., 28., 30., 20., 66., 25., 39.],
        [33., 37., 53., 43., 19., 35., 38., 30., 33., 20.],
        [20., 55., 42., 31., 34., 33., 33., 35., 37., 26.],
        [59., 25., 37., 28., 23., 34., 41., 36., 34., 44.],
        [28., 33., 31., 24., 60., 29., 41., 37., 35., 44.],
        [21., 59., 38., 33., 36., 27., 31., 36., 33., 30.],
        [21., 32., 24., 35., 56., 44., 31., 37., 36., 48.],
        [18., 34., 32., 34., 46., 40., 36., 31., 41., 51.],
        [39., 32., 37., 12., 38., 41., 47., 30., 37., 38.],
        [37., 28., 21., 32., 44., 33., 26., 50., 38., 59.],
        [62., 25., 39., 32., 27., 42., 36., 30., 35., 29.],
        [34., 39., 41., 29., 44., 28., 48., 31., 34., 27.],
        [27., 26., 26., 33., 48., 34., 28., 42., 34., 61.],
        [62., 18., 36., 32., 27., 42., 32., 35., 43., 36.],
        [16., 62., 36., 38., 30., 31., 34., 34., 33., 31.],
        [32., 33., 32., 49., 29., 49., 29., 37., 38., 33.],
        [30., 27., 29., 31., 46., 30., 29., 39., 38., 65.],
        [37., 31., 38., 42., 30., 26., 23., 66., 21., 36.],
        [24., 36., 43., 48., 29., 33., 34., 39., 33., 31.],
        [24., 32., 32., 31., 60., 37., 39., 30., 37., 41.]], device='cuda:0')
Train accuarcate: 91.57%



iteration:
   79
    0  1003   bit_w:-1  loss: 0.29489
    1   927   bit_w: 1  loss: 0.29405
    2   849   bit_w: 1  loss: 0.29366
    3   995   bit_w: 1  loss: 0.29319
    4   352   bit_w:-1  loss: 0.29280
   3844   1275   3880   3313    482    503    316   3474   2595   2728
      1     -1      1      1     -1     -1     -1      0      1      1
Train accuarcate: 91.63%
tensor([[37., 31., 35., 44., 28., 30., 20., 66., 26., 40.],
        [34., 37., 54., 44., 19., 35., 38., 30., 34., 21.],
        [21., 55., 43., 32., 34., 33., 33., 35., 38., 27.],
        [60., 25., 38., 29., 23., 34., 41., 36., 35., 45.],
        [28., 34., 31., 24., 61., 30., 42., 37., 35., 44.],
        [21., 60., 38., 33., 37., 28., 32., 36., 33., 30.],
        [21., 33., 24., 35., 57., 45., 32., 37., 36., 48.],
        [18., 35., 32., 34., 47., 41., 37., 31., 41., 51.],
        [39., 33., 37., 12., 39., 42., 48., 30., 37., 38.],
        [38., 28., 22., 33., 44., 33., 26., 50., 39., 60.],
        [63., 25., 40., 33., 27., 42., 36., 30., 36., 30.],
        [34., 40., 41., 29., 45., 29., 49., 31., 34., 27.],
        [28., 26., 27., 34., 48., 34., 28., 42., 35., 62.],
        [63., 18., 37., 33., 27., 42., 32., 35., 44., 37.],
        [16., 63., 36., 38., 31., 32., 35., 34., 33., 31.],
        [32., 34., 32., 49., 30., 50., 30., 37., 38., 33.],
        [31., 27., 30., 32., 46., 30., 29., 39., 39., 66.],
        [38., 31., 39., 43., 30., 26., 23., 66., 22., 37.],
        [24., 37., 43., 48., 30., 34., 35., 39., 33., 31.],
        [24., 33., 32., 31., 61., 38., 40., 30., 37., 41.]], device='cuda:0')
Train accuarcate: 91.58%



iteration:
   80
    0   853   bit_w:-1  loss: 0.29156
    1   952   bit_w: 1  loss: 0.29082
    2  1065   bit_w:-1  loss: 0.29041
    3   922   bit_w:-1  loss: 0.29008
    4  1070   bit_w:-1  loss: 0.29019
   5005   4007   1845   3263   1436   2761   3612    332   3071    399
      1      1     -1      1      0      0      1     -1      1      0
Train accuarcate: 91.72%
tensor([[37., 31., 36., 44., 28., 30., 20., 67., 26., 40.],
        [34., 37., 55., 44., 19., 35., 38., 31., 34., 21.],
        [21., 55., 44., 32., 34., 33., 33., 36., 38., 27.],
        [60., 25., 39., 29., 23., 34., 41., 37., 35., 45.],
        [28., 34., 32., 24., 61., 30., 42., 38., 35., 44.],
        [21., 60., 39., 33., 37., 28., 32., 37., 33., 30.],
        [22., 34., 24., 36., 57., 45., 33., 37., 37., 48.],
        [18., 35., 33., 34., 47., 41., 37., 32., 41., 51.],
        [39., 33., 38., 12., 39., 42., 48., 31., 37., 38.],
        [38., 28., 23., 33., 44., 33., 26., 51., 39., 60.],
        [64., 26., 40., 34., 27., 42., 37., 30., 37., 30.],
        [35., 41., 41., 30., 45., 29., 50., 31., 35., 27.],
        [28., 26., 28., 34., 48., 34., 28., 43., 35., 62.],
        [63., 18., 38., 33., 27., 42., 32., 36., 44., 37.],
        [17., 64., 36., 39., 31., 32., 36., 34., 34., 31.],
        [33., 35., 32., 50., 30., 50., 31., 37., 39., 33.],
        [31., 27., 31., 32., 46., 30., 29., 40., 39., 66.],
        [38., 31., 40., 43., 30., 26., 23., 67., 22., 37.],
        [24., 37., 44., 48., 30., 34., 35., 40., 33., 31.],
        [24., 33., 33., 31., 61., 38., 40., 31., 37., 41.]], device='cuda:0')
Train accuarcate: 91.70%



iteration:
   81
    0   961   bit_w:-1  loss: 0.28903
    1  1046   bit_w: 1  loss: 0.28816
    2   903   bit_w: 1  loss: 0.28810
    3   940   bit_w:-1  loss: 0.28727
    4   944   bit_w:-1  loss: 0.28703
   1694   2513   2978   5158   3634   4354   2991   2816   2303   1960
     -1      1      0      1      1      1      0      0     -1     -1
Train accuarcate: 91.75%
tensor([[37., 32., 36., 45., 29., 31., 20., 67., 26., 40.],
        [35., 37., 55., 44., 19., 35., 38., 31., 35., 22.],
        [22., 55., 44., 32., 34., 33., 33., 36., 39., 28.],
        [60., 26., 39., 30., 24., 35., 41., 37., 35., 45.],
        [28., 35., 32., 25., 62., 31., 42., 38., 35., 44.],
        [22., 60., 39., 33., 37., 28., 32., 37., 34., 31.],
        [22., 35., 24., 37., 58., 46., 33., 37., 37., 48.],
        [19., 35., 33., 34., 47., 41., 37., 32., 42., 52.],
        [39., 34., 38., 13., 40., 43., 48., 31., 37., 38.],
        [39., 28., 23., 33., 44., 33., 26., 51., 40., 61.],
        [64., 27., 40., 35., 28., 43., 37., 30., 37., 30.],
        [36., 41., 41., 30., 45., 29., 50., 31., 36., 28.],
        [29., 26., 28., 34., 48., 34., 28., 43., 36., 63.],
        [64., 18., 38., 33., 27., 42., 32., 36., 45., 38.],
        [17., 65., 36., 40., 32., 33., 36., 34., 34., 31.],
        [33., 36., 32., 51., 31., 51., 31., 37., 39., 33.],
        [31., 28., 31., 33., 47., 31., 29., 40., 39., 66.],
        [38., 32., 40., 44., 31., 27., 23., 67., 22., 37.],
        [25., 37., 44., 48., 30., 34., 35., 40., 34., 32.],
        [25., 33., 33., 31., 61., 38., 40., 31., 38., 42.]], device='cuda:0')
Train accuarcate: 91.64%



iteration:
   82
    0   884   bit_w:-1  loss: 0.28569
    1   856   bit_w: 1  loss: 0.28474
    2  1131   bit_w: 1  loss: 0.28469
    3   888   bit_w: 1  loss: 0.28411
    4  1071   bit_w: 1  loss: 0.28386
   5698   2601   4361   3620   1485   4783   5442   3241   3747   1944
      0     -1      1      0     -1      1      1     -1      0     -1
Train accuarcate: 91.85%
tensor([[37., 32., 37., 45., 29., 32., 21., 67., 26., 40.],
        [35., 37., 56., 44., 19., 36., 39., 31., 35., 22.],
        [22., 55., 45., 32., 34., 34., 34., 36., 39., 28.],
        [60., 26., 40., 30., 24., 36., 42., 37., 35., 45.],
        [28., 36., 32., 25., 63., 31., 42., 39., 35., 45.],
        [22., 61., 39., 33., 38., 28., 32., 38., 34., 32.],
        [22., 36., 24., 37., 59., 46., 33., 38., 37., 49.],
        [19., 36., 33., 34., 48., 41., 37., 33., 42., 53.],
        [39., 34., 39., 13., 40., 44., 49., 31., 37., 38.],
        [39., 29., 23., 33., 45., 33., 26., 52., 40., 62.],
        [64., 27., 41., 35., 28., 44., 38., 30., 37., 30.],
        [36., 41., 42., 30., 45., 30., 51., 31., 36., 28.],
        [29., 26., 29., 34., 48., 35., 29., 43., 36., 63.],
        [64., 18., 39., 33., 27., 43., 33., 36., 45., 38.],
        [17., 66., 36., 40., 33., 33., 36., 35., 34., 32.],
        [33., 36., 33., 51., 31., 52., 32., 37., 39., 33.],
        [31., 28., 32., 33., 47., 32., 30., 40., 39., 66.],
        [38., 32., 41., 44., 31., 28., 24., 67., 22., 37.],
        [25., 37., 45., 48., 30., 35., 36., 40., 34., 32.],
        [25., 33., 34., 31., 61., 39., 41., 31., 38., 42.]], device='cuda:0')
Train accuarcate: 91.66%



iteration:
   83
    0   936   bit_w:-1  loss: 0.28271
    1   834   bit_w:-1  loss: 0.28198
    2  1084   bit_w:-1  loss: 0.28178
    3   907   bit_w:-1  loss: 0.28170
    4   831   bit_w: 1  loss: 0.28146
    194   3630   4017    511   4112   1213   3434   4068   2659   2826
     -1     -1      1     -1      0      0      0      1      1     -1
Train accuarcate: 91.90%
tensor([[38., 33., 37., 46., 29., 32., 21., 67., 26., 41.],
        [36., 38., 56., 45., 19., 36., 39., 31., 35., 23.],
        [22., 55., 46., 32., 34., 34., 34., 37., 40., 28.],
        [61., 27., 40., 31., 24., 36., 42., 37., 35., 46.],
        [28., 36., 33., 25., 63., 31., 42., 40., 36., 45.],
        [22., 61., 40., 33., 38., 28., 32., 39., 35., 32.],
        [23., 37., 24., 38., 59., 46., 33., 38., 37., 50.],
        [20., 37., 33., 35., 48., 41., 37., 33., 42., 54.],
        [39., 34., 40., 13., 40., 44., 49., 32., 38., 38.],
        [40., 30., 23., 34., 45., 33., 26., 52., 40., 63.],
        [65., 28., 41., 36., 28., 44., 38., 30., 37., 31.],
        [36., 41., 43., 30., 45., 30., 51., 32., 37., 28.],
        [30., 27., 29., 35., 48., 35., 29., 43., 36., 64.],
        [65., 19., 39., 34., 27., 43., 33., 36., 45., 39.],
        [17., 66., 37., 40., 33., 33., 36., 36., 35., 32.],
        [33., 36., 34., 51., 31., 52., 32., 38., 40., 33.],
        [31., 28., 33., 33., 47., 32., 30., 41., 40., 66.],
        [39., 33., 41., 45., 31., 28., 24., 67., 22., 38.],
        [26., 38., 45., 49., 30., 35., 36., 40., 34., 33.],
        [25., 33., 35., 31., 61., 39., 41., 32., 39., 42.]], device='cuda:0')
Train accuarcate: 91.78%



iteration:
   84
    0   908   bit_w:-1  loss: 0.27993
    1   921   bit_w:-1  loss: 0.27939
    2   154   bit_w:-1  loss: 0.27930
    3  1104   bit_w:-1  loss: 0.27894
    4  1140   bit_w:-1  loss: 0.27857
   2645   5357   1487   2085   1227   2686    651   5793   2703   4975
      0      0      0      0     -1      1     -1      1      1      1
Train accuarcate: 92.03%
tensor([[38., 33., 37., 46., 29., 33., 21., 68., 27., 42.],
        [36., 38., 56., 45., 20., 36., 40., 31., 35., 23.],
        [22., 55., 46., 32., 35., 34., 35., 37., 40., 28.],
        [61., 27., 40., 31., 25., 36., 43., 37., 35., 46.],
        [28., 36., 33., 25., 64., 31., 43., 40., 36., 45.],
        [22., 61., 40., 33., 38., 29., 32., 40., 36., 33.],
        [23., 37., 24., 38., 60., 46., 34., 38., 37., 50.],
        [20., 37., 33., 35., 48., 42., 37., 34., 43., 55.],
        [39., 34., 40., 13., 40., 45., 49., 33., 39., 39.],
        [40., 30., 23., 34., 45., 34., 26., 53., 41., 64.],
        [65., 28., 41., 36., 29., 44., 39., 30., 37., 31.],
        [36., 41., 43., 30., 46., 30., 52., 32., 37., 28.],
        [30., 27., 29., 35., 48., 36., 29., 44., 37., 65.],
        [65., 19., 39., 34., 28., 43., 34., 36., 45., 39.],
        [17., 66., 37., 40., 33., 34., 36., 37., 36., 33.],
        [33., 36., 34., 51., 32., 52., 33., 38., 40., 33.],
        [31., 28., 33., 33., 47., 33., 30., 42., 41., 67.],
        [39., 33., 41., 45., 31., 29., 24., 68., 23., 39.],
        [26., 38., 45., 49., 31., 35., 37., 40., 34., 33.],
        [25., 33., 35., 31., 62., 39., 42., 32., 39., 42.]], device='cuda:0')
Train accuarcate: 91.96%



iteration:
   85
    0   865   bit_w:-1  loss: 0.27729
    1   842   bit_w:-1  loss: 0.27659
    2  1094   bit_w:-1  loss: 0.27680
    3  1007   bit_w:-1  loss: 0.27615
    4  1083   bit_w:-1  loss: 0.27647
   4627     51    558   1590   5144   3922   4920    525   3158   2687
      1     -1     -1     -1      1      0      0      0      0      0
Train accuarcate: 92.01%
tensor([[38., 34., 38., 47., 29., 33., 21., 68., 27., 42.],
        [36., 39., 57., 46., 20., 36., 40., 31., 35., 23.],
        [22., 56., 47., 33., 35., 34., 35., 37., 40., 28.],
        [61., 28., 41., 32., 25., 36., 43., 37., 35., 46.],
        [29., 36., 33., 25., 65., 31., 43., 40., 36., 45.],
        [22., 62., 41., 34., 38., 29., 32., 40., 36., 33.],
        [24., 37., 24., 38., 61., 46., 34., 38., 37., 50.],
        [20., 38., 34., 36., 48., 42., 37., 34., 43., 55.],
        [40., 34., 40., 13., 41., 45., 49., 33., 39., 39.],
        [40., 31., 24., 35., 45., 34., 26., 53., 41., 64.],
        [66., 28., 41., 36., 30., 44., 39., 30., 37., 31.],
        [37., 41., 43., 30., 47., 30., 52., 32., 37., 28.],
        [30., 28., 30., 36., 48., 36., 29., 44., 37., 65.],
        [65., 20., 40., 35., 28., 43., 34., 36., 45., 39.],
        [17., 67., 38., 41., 33., 34., 36., 37., 36., 33.],
        [34., 36., 34., 51., 33., 52., 33., 38., 40., 33.],
        [32., 28., 33., 33., 48., 33., 30., 42., 41., 67.],
        [39., 34., 42., 46., 31., 29., 24., 68., 23., 39.],
        [27., 38., 45., 49., 32., 35., 37., 40., 34., 33.],
        [26., 33., 35., 31., 63., 39., 42., 32., 39., 42.]], device='cuda:0')
Train accuarcate: 91.97%



iteration:
   86
    0  1058   bit_w:-1  loss: 0.27524
    1   790   bit_w: 1  loss: 0.27455
    2  1119   bit_w: 1  loss: 0.27422
    3  1164   bit_w:-1  loss: 0.27368
    4   966   bit_w: 1  loss: 0.27351
   1389   4287   3086   3650   4688   1641    589   5440   1777   4230
     -1      0      0      1      0     -1     -1      1     -1     -1
Train accuarcate: 92.13%
tensor([[38., 34., 38., 48., 29., 33., 21., 69., 27., 42.],
        [36., 39., 57., 47., 20., 36., 40., 32., 35., 23.],
        [22., 56., 47., 34., 35., 34., 35., 38., 40., 28.],
        [62., 28., 41., 32., 25., 37., 44., 37., 36., 47.],
        [29., 36., 33., 26., 65., 31., 43., 41., 36., 45.],
        [22., 62., 41., 35., 38., 29., 32., 41., 36., 33.],
        [24., 37., 24., 39., 61., 46., 34., 39., 37., 50.],
        [21., 38., 34., 36., 48., 43., 38., 34., 44., 56.],
        [41., 34., 40., 13., 41., 46., 50., 33., 40., 40.],
        [41., 31., 24., 35., 45., 35., 27., 53., 42., 65.],
        [67., 28., 41., 36., 30., 45., 40., 30., 38., 32.],
        [38., 41., 43., 30., 47., 31., 53., 32., 38., 29.],
        [30., 28., 30., 37., 48., 36., 29., 45., 37., 65.],
        [65., 20., 40., 36., 28., 43., 34., 37., 45., 39.],
        [17., 67., 38., 42., 33., 34., 36., 38., 36., 33.],
        [34., 36., 34., 52., 33., 52., 33., 39., 40., 33.],
        [32., 28., 33., 34., 48., 33., 30., 43., 41., 67.],
        [39., 34., 42., 47., 31., 29., 24., 69., 23., 39.],
        [28., 38., 45., 49., 32., 36., 38., 40., 35., 34.],
        [26., 33., 35., 32., 63., 39., 42., 33., 39., 42.]], device='cuda:0')
Train accuarcate: 92.00%



iteration:
   87
    0   979   bit_w:-1  loss: 0.27234
    1  1018   bit_w: 1  loss: 0.27172
    2   849   bit_w:-1  loss: 0.27123
    3   920   bit_w:-1  loss: 0.27095
    4  1175   bit_w:-1  loss: 0.27088
   3291    720   2812    815   3461    849   3551    501    538    392
      0      1      1      0      1     -1      1      0     -1     -1
Train accuarcate: 92.18%
tensor([[38., 34., 38., 48., 29., 34., 21., 69., 28., 43.],
        [36., 39., 57., 47., 20., 37., 40., 32., 36., 24.],
        [22., 56., 47., 34., 35., 35., 35., 38., 41., 29.],
        [62., 28., 41., 32., 25., 38., 44., 37., 37., 48.],
        [29., 36., 33., 26., 65., 32., 43., 41., 37., 46.],
        [22., 62., 41., 35., 38., 30., 32., 41., 37., 34.],
        [24., 37., 24., 39., 61., 47., 34., 39., 38., 51.],
        [21., 38., 34., 36., 48., 44., 38., 34., 45., 57.],
        [41., 35., 41., 13., 42., 46., 51., 33., 40., 40.],
        [41., 31., 24., 35., 45., 36., 27., 53., 43., 66.],
        [67., 28., 41., 36., 30., 46., 40., 30., 39., 33.],
        [38., 42., 44., 30., 48., 31., 54., 32., 38., 29.],
        [30., 28., 30., 37., 48., 37., 29., 45., 38., 66.],
        [65., 20., 40., 36., 28., 44., 34., 37., 46., 40.],
        [17., 67., 38., 42., 33., 35., 36., 38., 37., 34.],
        [34., 36., 34., 52., 33., 53., 33., 39., 41., 34.],
        [32., 28., 33., 34., 48., 34., 30., 43., 42., 68.],
        [39., 34., 42., 47., 31., 30., 24., 69., 24., 40.],
        [28., 38., 45., 49., 32., 37., 38., 40., 36., 35.],
        [26., 33., 35., 32., 63., 40., 42., 33., 40., 43.]], device='cuda:0')
Train accuarcate: 92.07%



iteration:
   88
    0   934   bit_w:-1  loss: 0.26962
    1   892   bit_w: 1  loss: 0.26908
    2   965   bit_w: 1  loss: 0.26896
    3  1030   bit_w: 1  loss: 0.26860
    4  1039   bit_w: 1  loss: 0.26836
   2266   1768   2165   4324   3494   3371    798   5620   3868   4681
      0     -1     -1      1     -1      0     -1      1      0      0
Train accuarcate: 92.28%
tensor([[38., 34., 38., 49., 29., 34., 21., 70., 28., 43.],
        [36., 40., 58., 47., 21., 37., 41., 32., 36., 24.],
        [22., 57., 48., 34., 36., 35., 36., 38., 41., 29.],
        [62., 29., 42., 32., 26., 38., 45., 37., 37., 48.],
        [29., 37., 34., 26., 66., 32., 44., 41., 37., 46.],
        [22., 63., 42., 35., 39., 30., 33., 41., 37., 34.],
        [24., 38., 25., 39., 62., 47., 35., 39., 38., 51.],
        [21., 38., 34., 37., 48., 44., 38., 35., 45., 57.],
        [41., 36., 42., 13., 43., 46., 52., 33., 40., 40.],
        [41., 31., 24., 36., 45., 36., 27., 54., 43., 66.],
        [67., 29., 42., 36., 31., 46., 41., 30., 39., 33.],
        [38., 42., 44., 31., 48., 31., 54., 33., 38., 29.],
        [30., 28., 30., 38., 48., 37., 29., 46., 38., 66.],
        [65., 20., 40., 37., 28., 44., 34., 38., 46., 40.],
        [17., 68., 39., 42., 34., 35., 37., 38., 37., 34.],
        [34., 37., 35., 52., 34., 53., 34., 39., 41., 34.],
        [32., 28., 33., 35., 48., 34., 30., 44., 42., 68.],
        [39., 34., 42., 48., 31., 30., 24., 70., 24., 40.],
        [28., 39., 46., 49., 33., 37., 39., 40., 36., 35.],
        [26., 33., 35., 33., 63., 40., 42., 34., 40., 43.]], device='cuda:0')
Train accuarcate: 92.14%



iteration:
   89
    0  1010   bit_w:-1  loss: 0.26737
    1  1071   bit_w: 1  loss: 0.26670
    2   995   bit_w: 1  loss: 0.26673
    3  1058   bit_w: 1  loss: 0.26621
    4   244   bit_w: 1  loss: 0.26599
   3461    531   4071   3516    746   3274    977   1082   3227   1240
      1     -1      1      0     -1      1      0      0      1      1
Train accuarcate: 92.32%
tensor([[38., 35., 38., 49., 30., 34., 21., 70., 28., 43.],
        [37., 40., 59., 47., 21., 38., 41., 32., 37., 25.],
        [22., 58., 48., 34., 37., 35., 36., 38., 41., 29.],
        [62., 30., 42., 32., 27., 38., 45., 37., 37., 48.],
        [29., 38., 34., 26., 67., 32., 44., 41., 37., 46.],
        [22., 64., 42., 35., 40., 30., 33., 41., 37., 34.],
        [24., 39., 25., 39., 63., 47., 35., 39., 38., 51.],
        [22., 38., 35., 37., 48., 45., 38., 35., 46., 58.],
        [41., 37., 42., 13., 44., 46., 52., 33., 40., 40.],
        [42., 31., 25., 36., 45., 37., 27., 54., 44., 67.],
        [68., 29., 43., 36., 31., 47., 41., 30., 40., 34.],
        [38., 43., 44., 31., 49., 31., 54., 33., 38., 29.],
        [30., 29., 30., 38., 49., 37., 29., 46., 38., 66.],
        [65., 21., 40., 37., 29., 44., 34., 38., 46., 40.],
        [17., 69., 39., 42., 35., 35., 37., 38., 37., 34.],
        [35., 37., 36., 52., 34., 54., 34., 39., 42., 35.],
        [32., 29., 33., 35., 49., 34., 30., 44., 42., 68.],
        [39., 35., 42., 48., 32., 30., 24., 70., 24., 40.],
        [29., 39., 47., 49., 33., 38., 39., 40., 37., 36.],
        [26., 34., 35., 33., 64., 40., 42., 34., 40., 43.]], device='cuda:0')
Train accuarcate: 92.11%



iteration:
   90
    0   828   bit_w:-1  loss: 0.26479
    1   821   bit_w: 1  loss: 0.26402
    2   862   bit_w:-1  loss: 0.26409
    3   794   bit_w: 1  loss: 0.26350
    4   894   bit_w: 1  loss: 0.26354
    147   5317   1944   5187   4465   2630   1206   2239   4926   5423
     -1      0     -1      1      0     -1     -1     -1      1      1
Train accuarcate: 92.38%
tensor([[39., 35., 39., 49., 30., 35., 22., 71., 28., 43.],
        [38., 40., 60., 47., 21., 39., 42., 33., 37., 25.],
        [23., 58., 49., 34., 37., 36., 37., 39., 41., 29.],
        [63., 30., 43., 32., 27., 39., 46., 38., 37., 48.],
        [29., 38., 34., 27., 67., 32., 44., 41., 38., 47.],
        [22., 64., 42., 36., 40., 30., 33., 41., 38., 35.],
        [24., 39., 25., 40., 63., 47., 35., 39., 39., 52.],
        [22., 38., 35., 38., 48., 45., 38., 35., 47., 59.],
        [42., 37., 43., 13., 44., 47., 53., 34., 40., 40.],
        [42., 31., 25., 37., 45., 37., 27., 54., 45., 68.],
        [69., 29., 44., 36., 31., 48., 42., 31., 40., 34.],
        [38., 43., 44., 32., 49., 31., 54., 33., 39., 30.],
        [30., 29., 30., 39., 49., 37., 29., 46., 39., 67.],
        [66., 21., 41., 37., 29., 45., 35., 39., 46., 40.],
        [17., 69., 39., 43., 35., 35., 37., 38., 38., 35.],
        [35., 37., 36., 53., 34., 54., 34., 39., 43., 36.],
        [32., 29., 33., 36., 49., 34., 30., 44., 43., 69.],
        [40., 35., 43., 48., 32., 31., 25., 71., 24., 40.],
        [29., 39., 47., 50., 33., 38., 39., 40., 38., 37.],
        [27., 34., 36., 33., 64., 41., 43., 35., 40., 43.]], device='cuda:0')
Train accuarcate: 92.17%



iteration:
   91
    0   911   bit_w:-1  loss: 0.26253
    1  1046   bit_w: 1  loss: 0.26195
    2  1094   bit_w: 1  loss: 0.26185
    3   973   bit_w:-1  loss: 0.26123
    4   924   bit_w:-1  loss: 0.26134
   2564   1266   4191   3190    561   1774   1824   4413   1998   2091
     -1     -1      1      1     -1      1     -1      1      0      0
Train accuarcate: 92.45%
tensor([[39., 35., 40., 50., 30., 36., 22., 72., 28., 43.],
        [39., 41., 60., 47., 22., 39., 43., 33., 37., 25.],
        [24., 59., 49., 34., 38., 36., 38., 39., 41., 29.],
        [63., 30., 44., 33., 27., 40., 46., 39., 37., 48.],
        [30., 39., 34., 27., 68., 32., 45., 41., 38., 47.],
        [23., 65., 42., 36., 41., 30., 34., 41., 38., 35.],
        [25., 40., 25., 40., 64., 47., 36., 39., 39., 52.],
        [22., 38., 36., 39., 48., 46., 38., 36., 47., 59.],
        [43., 38., 43., 13., 45., 47., 54., 34., 40., 40.],
        [42., 31., 26., 38., 45., 38., 27., 55., 45., 68.],
        [70., 30., 44., 36., 32., 48., 43., 31., 40., 34.],
        [38., 43., 45., 33., 49., 32., 54., 34., 39., 30.],
        [31., 30., 30., 39., 50., 37., 30., 46., 39., 67.],
        [67., 22., 41., 37., 30., 45., 36., 39., 46., 40.],
        [17., 69., 40., 44., 35., 36., 37., 39., 38., 35.],
        [35., 37., 37., 54., 34., 55., 34., 40., 43., 36.],
        [32., 29., 34., 37., 49., 35., 30., 45., 43., 69.],
        [40., 35., 44., 49., 32., 32., 25., 72., 24., 40.],
        [30., 40., 47., 50., 34., 38., 40., 40., 38., 37.],
        [28., 35., 36., 33., 65., 41., 44., 35., 40., 43.]], device='cuda:0')
Train accuarcate: 92.28%



iteration:
   92
    0   965   bit_w:-1  loss: 0.26049
    1   982   bit_w: 1  loss: 0.25978
    2   900   bit_w:-1  loss: 0.25876
    3   989   bit_w:-1  loss: 0.25878
    4   567   bit_w:-1  loss: 0.25829
   2114   3201   3167   1454   2239   1439   1176   2419   3166   1963
      1      0      1     -1      0     -1      0     -1      1     -1
Train accuarcate: 92.54%
tensor([[39., 35., 40., 51., 30., 37., 22., 73., 28., 44.],
        [40., 41., 61., 47., 22., 39., 43., 33., 38., 25.],
        [25., 59., 50., 34., 38., 36., 38., 39., 42., 29.],
        [64., 30., 45., 33., 27., 40., 46., 39., 38., 48.],
        [30., 39., 34., 28., 68., 33., 45., 42., 38., 48.],
        [24., 65., 43., 36., 41., 30., 34., 41., 39., 35.],
        [25., 40., 25., 41., 64., 48., 36., 40., 39., 53.],
        [22., 38., 36., 40., 48., 47., 38., 37., 47., 60.],
        [44., 38., 44., 13., 45., 47., 54., 34., 41., 40.],
        [42., 31., 26., 39., 45., 39., 27., 56., 45., 69.],
        [70., 30., 44., 37., 32., 49., 43., 32., 40., 35.],
        [39., 43., 46., 33., 49., 32., 54., 34., 40., 30.],
        [32., 30., 31., 39., 50., 37., 30., 46., 40., 67.],
        [67., 22., 41., 38., 30., 46., 36., 40., 46., 41.],
        [18., 69., 41., 44., 35., 36., 37., 39., 39., 35.],
        [36., 37., 38., 54., 34., 55., 34., 40., 44., 36.],
        [32., 29., 34., 38., 49., 36., 30., 46., 43., 70.],
        [41., 35., 45., 49., 32., 32., 25., 72., 25., 40.],
        [31., 40., 48., 50., 34., 38., 40., 40., 39., 37.],
        [28., 35., 36., 34., 65., 42., 44., 36., 40., 44.]], device='cuda:0')
Train accuarcate: 92.40%



iteration:
   93
    0   902   bit_w:-1  loss: 0.25747
    1   932   bit_w:-1  loss: 0.25685
    2   910   bit_w: 1  loss: 0.25706
    3   838   bit_w: 1  loss: 0.25627
    4  1051   bit_w: 1  loss: 0.25649
   3074   2948   4355   3501   2110   2336   4895   3338   3623   4813
      0     -1      0      0     -1     -1      1      0     -1      1
Train accuarcate: 92.56%
tensor([[39., 36., 40., 51., 31., 38., 22., 73., 29., 44.],
        [40., 41., 61., 47., 22., 39., 44., 33., 38., 26.],
        [25., 60., 50., 34., 39., 37., 38., 39., 43., 29.],
        [64., 31., 45., 33., 28., 41., 46., 39., 39., 48.],
        [30., 40., 34., 28., 69., 34., 45., 42., 39., 48.],
        [24., 66., 43., 36., 42., 31., 34., 41., 40., 35.],
        [25., 41., 25., 41., 65., 49., 36., 40., 40., 53.],
        [22., 38., 36., 40., 48., 47., 39., 37., 47., 61.],
        [44., 39., 44., 13., 46., 48., 54., 34., 42., 40.],
        [42., 31., 26., 39., 45., 39., 28., 56., 45., 70.],
        [70., 30., 44., 37., 32., 49., 44., 32., 40., 36.],
        [39., 43., 46., 33., 49., 32., 55., 34., 40., 31.],
        [32., 30., 31., 39., 50., 37., 31., 46., 40., 68.],
        [67., 23., 41., 38., 31., 47., 36., 40., 47., 41.],
        [18., 70., 41., 44., 36., 37., 37., 39., 40., 35.],
        [36., 37., 38., 54., 34., 55., 35., 40., 44., 37.],
        [32., 29., 34., 38., 49., 36., 31., 46., 43., 71.],
        [41., 36., 45., 49., 33., 33., 25., 72., 26., 40.],
        [31., 40., 48., 50., 34., 38., 41., 40., 39., 38.],
        [28., 36., 36., 34., 66., 43., 44., 36., 41., 44.]], device='cuda:0')
Train accuarcate: 92.45%



iteration:
   94
    0  1087   bit_w:-1  loss: 0.25546
    1  1143   bit_w:-1  loss: 0.25477
    2   864   bit_w: 1  loss: 0.25452
    3  1001   bit_w: 1  loss: 0.25441
    4   903   bit_w: 1  loss: 0.25408
   1925   3119   1116   5259   2568   4701   1836   2421    705   3150
     -1      1     -1      1      0      1      0     -1     -1      0
Train accuarcate: 92.59%
tensor([[40., 36., 41., 51., 31., 38., 22., 74., 30., 44.],
        [41., 41., 62., 47., 22., 39., 44., 34., 39., 26.],
        [26., 60., 51., 34., 39., 37., 38., 40., 44., 29.],
        [65., 31., 46., 33., 28., 41., 46., 40., 40., 48.],
        [31., 40., 35., 28., 69., 34., 45., 43., 40., 48.],
        [25., 66., 44., 36., 42., 31., 34., 42., 41., 35.],
        [25., 42., 25., 42., 65., 50., 36., 40., 40., 53.],
        [22., 39., 36., 41., 48., 48., 39., 37., 47., 61.],
        [44., 40., 44., 14., 46., 49., 54., 34., 42., 40.],
        [43., 31., 27., 39., 45., 39., 28., 57., 46., 70.],
        [71., 30., 45., 37., 32., 49., 44., 33., 41., 36.],
        [40., 43., 47., 33., 49., 32., 55., 35., 41., 31.],
        [33., 30., 32., 39., 50., 37., 31., 47., 41., 68.],
        [68., 23., 42., 38., 31., 47., 36., 41., 48., 41.],
        [18., 71., 41., 45., 36., 38., 37., 39., 40., 35.],
        [36., 38., 38., 55., 34., 56., 35., 40., 44., 37.],
        [33., 29., 35., 38., 49., 36., 31., 47., 44., 71.],
        [42., 36., 46., 49., 33., 33., 25., 73., 27., 40.],
        [32., 40., 49., 50., 34., 38., 41., 41., 40., 38.],
        [28., 37., 36., 35., 66., 44., 44., 36., 41., 44.]], device='cuda:0')
Train accuarcate: 92.51%



iteration:
   95
    0   907   bit_w:-1  loss: 0.25325
    1  1120   bit_w:-1  loss: 0.25265
    2  1067   bit_w:-1  loss: 0.25222
    3   973   bit_w:-1  loss: 0.25191
    4  1151   bit_w: 1  loss: 0.25134
   1134   6109   3753   2385   1375   1561   3381   2722   2390   1449
     -1      1      1      1     -1      0      1      1     -1     -1
Train accuarcate: 92.65%
tensor([[41., 36., 41., 51., 32., 38., 22., 74., 31., 45.],
        [41., 42., 63., 48., 22., 39., 45., 35., 39., 26.],
        [26., 61., 52., 35., 39., 37., 39., 41., 44., 29.],
        [65., 32., 47., 34., 28., 41., 47., 41., 40., 48.],
        [31., 41., 36., 29., 69., 34., 46., 44., 40., 48.],
        [25., 67., 45., 37., 42., 31., 35., 43., 41., 35.],
        [26., 42., 25., 42., 66., 50., 36., 40., 41., 54.],
        [22., 40., 37., 42., 48., 48., 40., 38., 47., 61.],
        [45., 40., 44., 14., 47., 49., 54., 34., 43., 41.],
        [44., 31., 27., 39., 46., 39., 28., 57., 47., 71.],
        [71., 31., 46., 38., 32., 49., 45., 34., 41., 36.],
        [40., 44., 48., 34., 49., 32., 56., 36., 41., 31.],
        [34., 30., 32., 39., 51., 37., 31., 47., 42., 69.],
        [69., 23., 42., 38., 32., 47., 36., 41., 49., 42.],
        [18., 72., 42., 46., 36., 38., 38., 40., 40., 35.],
        [36., 39., 39., 56., 34., 56., 36., 41., 44., 37.],
        [33., 30., 36., 39., 49., 36., 32., 48., 44., 71.],
        [43., 36., 46., 49., 34., 33., 25., 73., 28., 41.],
        [33., 40., 49., 50., 35., 38., 41., 41., 41., 39.],
        [28., 38., 37., 36., 66., 44., 45., 37., 41., 44.]], device='cuda:0')
Train accuarcate: 92.64%



iteration:
   96
    0   964   bit_w:-1  loss: 0.25058
    1   865   bit_w:-1  loss: 0.24990
    2   796   bit_w: 1  loss: 0.24985
    3  1014   bit_w:-1  loss: 0.24971
    4  1022   bit_w: 1  loss: 0.24961
   3699   6567   2364   3863   5510   4022   5705   3553   4815   4688
      0      0     -1     -1      1     -1      1      1      0     -1
Train accuarcate: 92.74%
tensor([[41., 36., 41., 51., 33., 38., 23., 75., 31., 45.],
        [41., 42., 64., 49., 22., 40., 45., 35., 39., 27.],
        [26., 61., 52., 35., 40., 37., 40., 42., 44., 29.],
        [65., 32., 47., 34., 29., 41., 48., 42., 40., 48.],
        [31., 41., 36., 29., 70., 34., 47., 45., 40., 48.],
        [25., 67., 45., 37., 43., 31., 36., 44., 41., 35.],
        [26., 42., 25., 42., 67., 50., 37., 41., 41., 54.],
        [22., 40., 38., 43., 48., 49., 40., 38., 47., 62.],
        [45., 40., 44., 14., 48., 49., 55., 35., 43., 41.],
        [44., 31., 27., 39., 47., 39., 29., 58., 47., 71.],
        [71., 31., 46., 38., 33., 49., 46., 35., 41., 36.],
        [40., 44., 48., 34., 50., 32., 57., 37., 41., 31.],
        [34., 30., 32., 39., 52., 37., 32., 48., 42., 69.],
        [69., 23., 42., 38., 33., 47., 37., 42., 49., 42.],
        [18., 72., 42., 46., 37., 38., 39., 41., 40., 35.],
        [36., 39., 39., 56., 35., 56., 37., 42., 44., 37.],
        [33., 30., 36., 39., 50., 36., 33., 49., 44., 71.],
        [43., 36., 46., 49., 35., 33., 26., 74., 28., 41.],
        [33., 40., 49., 50., 36., 38., 42., 42., 41., 39.],
        [28., 38., 37., 36., 67., 44., 46., 38., 41., 44.]], device='cuda:0')
Train accuarcate: 92.65%



iteration:
   97
    0   883   bit_w:-1  loss: 0.24865
    1   851   bit_w:-1  loss: 0.24829
    2  1137   bit_w: 1  loss: 0.24811
    3  1046   bit_w:-1  loss: 0.24791
    4  1143   bit_w: 1  loss: 0.24773
   4753   6616   3645   1383   3598   1684   3853   3288   4186   3933
      1      1      0     -1      0     -1      0      0      1      0
Train accuarcate: 92.75%
tensor([[41., 36., 41., 52., 33., 39., 23., 75., 31., 45.],
        [42., 43., 64., 49., 22., 40., 45., 35., 40., 27.],
        [27., 62., 52., 35., 40., 37., 40., 42., 45., 29.],
        [66., 33., 47., 34., 29., 41., 48., 42., 41., 48.],
        [32., 42., 36., 29., 70., 34., 47., 45., 41., 48.],
        [26., 68., 45., 37., 43., 31., 36., 44., 42., 35.],
        [27., 43., 25., 42., 67., 50., 37., 41., 42., 54.],
        [23., 41., 38., 43., 48., 49., 40., 38., 48., 62.],
        [46., 41., 44., 14., 48., 49., 55., 35., 44., 41.],
        [44., 31., 27., 40., 47., 40., 29., 58., 47., 71.],
        [72., 32., 46., 38., 33., 49., 46., 35., 42., 36.],
        [41., 45., 48., 34., 50., 32., 57., 37., 42., 31.],
        [34., 30., 32., 40., 52., 38., 32., 48., 42., 69.],
        [70., 24., 42., 38., 33., 47., 37., 42., 50., 42.],
        [19., 73., 42., 46., 37., 38., 39., 41., 41., 35.],
        [36., 39., 39., 57., 35., 57., 37., 42., 44., 37.],
        [34., 31., 36., 39., 50., 36., 33., 49., 45., 71.],
        [44., 37., 46., 49., 35., 33., 26., 74., 29., 41.],
        [33., 40., 49., 51., 36., 39., 42., 42., 41., 39.],
        [29., 39., 37., 36., 67., 44., 46., 38., 42., 44.]], device='cuda:0')
Train accuarcate: 92.67%



iteration:
   98
    0  1070   bit_w:-1  loss: 0.24684
    1   889   bit_w:-1  loss: 0.24646
    2   817   bit_w:-1  loss: 0.24613
    3   852   bit_w: 1  loss: 0.24579
    4  1182   bit_w: 1  loss: 0.24590
   2851   5009   1866   4392   4067   1962    673   3493   3310   3993
      0      0     -1      1      1     -1     -1      1      1     -1
Train accuarcate: 92.84%
tensor([[41., 36., 42., 52., 33., 40., 24., 75., 31., 46.],
        [42., 43., 65., 49., 22., 41., 46., 35., 40., 28.],
        [27., 62., 52., 36., 41., 37., 40., 43., 46., 29.],
        [66., 33., 47., 35., 30., 41., 48., 43., 42., 48.],
        [32., 42., 37., 29., 70., 35., 48., 45., 41., 49.],
        [26., 68., 45., 38., 44., 31., 36., 45., 43., 35.],
        [27., 43., 25., 43., 68., 50., 37., 42., 43., 54.],
        [23., 41., 38., 44., 49., 49., 40., 39., 49., 62.],
        [46., 41., 45., 14., 48., 50., 56., 35., 44., 42.],
        [44., 31., 27., 41., 48., 40., 29., 59., 48., 71.],
        [72., 32., 46., 39., 34., 49., 46., 36., 43., 36.],
        [41., 45., 49., 34., 50., 33., 58., 37., 42., 32.],
        [34., 30., 32., 41., 53., 38., 32., 49., 43., 69.],
        [70., 24., 42., 39., 34., 47., 37., 43., 51., 42.],
        [19., 73., 42., 47., 38., 38., 39., 42., 42., 35.],
        [36., 39., 40., 57., 35., 58., 38., 42., 44., 38.],
        [34., 31., 36., 40., 51., 36., 33., 50., 46., 71.],
        [44., 37., 46., 50., 36., 33., 26., 75., 30., 41.],
        [33., 40., 49., 52., 37., 39., 42., 43., 42., 39.],
        [29., 39., 37., 37., 68., 44., 46., 39., 43., 44.]], device='cuda:0')
Train accuarcate: 92.74%



iteration:
   99
    0   854   bit_w:-1  loss: 0.24474
    1   901   bit_w:-1  loss: 0.24440
    2  1006   bit_w: 1  loss: 0.24421
    3   879   bit_w: 1  loss: 0.24400
    4  1051   bit_w:-1  loss: 0.24400
   5449   4150   4508   3636    319   3631   2453    336   2939    312
      1      1      1      0      0      0      0     -1      0     -1
Train accuarcate: 92.87%
tensor([[41., 36., 42., 52., 33., 40., 24., 76., 31., 47.],
        [43., 44., 66., 49., 22., 41., 46., 35., 40., 28.],
        [28., 63., 53., 36., 41., 37., 40., 43., 46., 29.],
        [67., 34., 48., 35., 30., 41., 48., 43., 42., 48.],
        [32., 42., 37., 29., 70., 35., 48., 46., 41., 50.],
        [27., 69., 46., 38., 44., 31., 36., 45., 43., 35.],
        [27., 43., 25., 43., 68., 50., 37., 43., 43., 55.],
        [23., 41., 38., 44., 49., 49., 40., 40., 49., 63.],
        [47., 42., 46., 14., 48., 50., 56., 35., 44., 42.],
        [44., 31., 27., 41., 48., 40., 29., 60., 48., 72.],
        [73., 33., 47., 39., 34., 49., 46., 36., 43., 36.],
        [41., 45., 49., 34., 50., 33., 58., 38., 42., 33.],
        [34., 30., 32., 41., 53., 38., 32., 50., 43., 70.],
        [71., 25., 43., 39., 34., 47., 37., 43., 51., 42.],
        [19., 73., 42., 47., 38., 38., 39., 43., 42., 36.],
        [36., 39., 40., 57., 35., 58., 38., 43., 44., 39.],
        [34., 31., 36., 40., 51., 36., 33., 51., 46., 72.],
        [44., 37., 46., 50., 36., 33., 26., 76., 30., 42.],
        [34., 41., 50., 52., 37., 39., 42., 43., 42., 39.],
        [29., 39., 37., 37., 68., 44., 46., 40., 43., 45.]], device='cuda:0')
Train accuarcate: 92.71%



iteration:
  100
    0  1135   bit_w:-1  loss: 0.24322
    1  1015   bit_w: 1  loss: 0.24272
    2  1174   bit_w:-1  loss: 0.24246
    3  1131   bit_w: 1  loss: 0.24196
    4  1006   bit_w:-1  loss: 0.24171
   2685    109   1578   2220   1151   3616   4632   2023   2765   2015
     -1     -1      0      0     -1      1      1      0      1      0
Train accuarcate: 92.93%
tensor([[41., 36., 42., 52., 33., 41., 25., 76., 32., 47.],
        [44., 45., 66., 49., 23., 41., 46., 35., 40., 28.],
        [29., 64., 53., 36., 42., 37., 40., 43., 46., 29.],
        [68., 35., 48., 35., 31., 41., 48., 43., 42., 48.],
        [33., 43., 37., 29., 71., 35., 48., 46., 41., 50.],
        [28., 70., 46., 38., 45., 31., 36., 45., 43., 35.],
        [28., 44., 25., 43., 69., 50., 37., 43., 43., 55.],
        [23., 41., 38., 44., 49., 50., 41., 40., 50., 63.],
        [48., 43., 46., 14., 49., 50., 56., 35., 44., 42.],
        [45., 32., 27., 41., 49., 40., 29., 60., 48., 72.],
        [74., 34., 47., 39., 35., 49., 46., 36., 43., 36.],
        [41., 45., 49., 34., 50., 34., 59., 38., 43., 33.],
        [35., 31., 32., 41., 54., 38., 32., 50., 43., 70.],
        [71., 25., 43., 39., 34., 48., 38., 43., 52., 42.],
        [20., 74., 42., 47., 39., 38., 39., 43., 42., 36.],
        [37., 40., 40., 57., 36., 58., 38., 43., 44., 39.],
        [35., 32., 36., 40., 52., 36., 33., 51., 46., 72.],
        [45., 38., 46., 50., 37., 33., 26., 76., 30., 42.],
        [34., 41., 50., 52., 37., 40., 43., 43., 43., 39.],
        [30., 40., 37., 37., 69., 44., 46., 40., 43., 45.]], device='cuda:0')
Train accuarcate: 92.70%



iteration:
  101
    0   882   bit_w:-1  loss: 0.24068
    1   935   bit_w:-1  loss: 0.24039
    2  1075   bit_w:-1  loss: 0.23971
    3   577   bit_w:-1  loss: 0.23995
    4  1114   bit_w:-1  loss: 0.23969
    780   1086    656    890   2565   2092   2084    400   3144   2483
      0      0     -1     -1      1      1      0      0      1      1
Train accuarcate: 92.97%
tensor([[41., 36., 43., 53., 33., 41., 25., 76., 32., 47.],
        [44., 45., 67., 50., 23., 41., 46., 35., 40., 28.],
        [29., 64., 54., 37., 42., 37., 40., 43., 46., 29.],
        [68., 35., 49., 36., 31., 41., 48., 43., 42., 48.],
        [33., 43., 38., 30., 71., 35., 48., 46., 41., 50.],
        [28., 70., 47., 39., 45., 31., 36., 45., 43., 35.],
        [28., 44., 25., 43., 70., 51., 37., 43., 44., 56.],
        [23., 41., 39., 45., 49., 50., 41., 40., 50., 63.],
        [48., 43., 47., 15., 49., 50., 56., 35., 44., 42.],
        [45., 32., 28., 42., 49., 40., 29., 60., 48., 72.],
        [74., 34., 48., 40., 35., 49., 46., 36., 43., 36.],
        [41., 45., 50., 35., 50., 34., 59., 38., 43., 33.],
        [35., 31., 33., 42., 54., 38., 32., 50., 43., 70.],
        [71., 25., 44., 40., 34., 48., 38., 43., 52., 42.],
        [20., 74., 43., 48., 39., 38., 39., 43., 42., 36.],
        [37., 40., 40., 57., 37., 59., 38., 43., 45., 40.],
        [35., 32., 37., 41., 52., 36., 33., 51., 46., 72.],
        [45., 38., 47., 51., 37., 33., 26., 76., 30., 42.],
        [34., 41., 51., 53., 37., 40., 43., 43., 43., 39.],
        [30., 40., 37., 37., 70., 45., 46., 40., 44., 46.]], device='cuda:0')
Train accuarcate: 92.73%



iteration:
  102
    0  1122   bit_w:-1  loss: 0.23899
    1   899   bit_w: 1  loss: 0.23845
    2  1054   bit_w:-1  loss: 0.23840
    3  1064   bit_w:-1  loss: 0.23787
    4  1004   bit_w:-1  loss: 0.23777
   2125   3364   2223   1564   4335   2025   1625   5264   1525   4030
      1      0      0     -1      1      0     -1      1     -1      1
Train accuarcate: 93.02%
tensor([[42., 36., 43., 53., 34., 41., 25., 77., 32., 48.],
        [44., 45., 67., 51., 23., 41., 47., 35., 41., 28.],
        [30., 64., 54., 37., 43., 37., 40., 44., 46., 30.],
        [69., 35., 49., 36., 32., 41., 48., 44., 42., 49.],
        [34., 43., 38., 30., 72., 35., 48., 47., 41., 51.],
        [29., 70., 47., 39., 46., 31., 36., 46., 43., 36.],
        [28., 44., 25., 44., 70., 51., 38., 43., 45., 56.],
        [24., 41., 39., 45., 50., 50., 41., 41., 50., 64.],
        [48., 43., 47., 16., 49., 50., 57., 35., 45., 42.],
        [46., 32., 28., 42., 50., 40., 29., 61., 48., 73.],
        [74., 34., 48., 41., 35., 49., 47., 36., 44., 36.],
        [41., 45., 50., 36., 50., 34., 60., 38., 44., 33.],
        [36., 31., 33., 42., 55., 38., 32., 51., 43., 71.],
        [71., 25., 44., 41., 34., 48., 39., 43., 53., 42.],
        [20., 74., 43., 49., 39., 38., 40., 43., 43., 36.],
        [37., 40., 40., 58., 37., 59., 39., 43., 46., 40.],
        [36., 32., 37., 41., 53., 36., 33., 52., 46., 73.],
        [46., 38., 47., 51., 38., 33., 26., 77., 30., 43.],
        [35., 41., 51., 53., 38., 40., 43., 44., 43., 40.],
        [31., 40., 37., 37., 71., 45., 46., 41., 44., 47.]], device='cuda:0')
Train accuarcate: 92.82%



iteration:
  103
    0  1023   bit_w:-1  loss: 0.23676
    1  1130   bit_w: 1  loss: 0.23654
    2  1146   bit_w:-1  loss: 0.23619
    3  1001   bit_w:-1  loss: 0.23570
    4   835   bit_w:-1  loss: 0.23535
   5018   5385   2705   1843   2303   1462   1795   3436   4367   1560
      1      1      1     -1      0     -1      0      1      0     -1
Train accuarcate: 93.09%
tensor([[43., 37., 44., 53., 34., 41., 25., 78., 32., 48.],
        [44., 45., 67., 52., 23., 42., 47., 35., 41., 29.],
        [31., 65., 55., 37., 43., 37., 40., 45., 46., 30.],
        [70., 36., 50., 36., 32., 41., 48., 45., 42., 49.],
        [35., 44., 39., 30., 72., 35., 48., 48., 41., 51.],
        [30., 71., 48., 39., 46., 31., 36., 47., 43., 36.],
        [28., 44., 25., 45., 70., 52., 38., 43., 45., 57.],
        [24., 41., 39., 46., 50., 51., 41., 41., 50., 65.],
        [49., 44., 48., 16., 49., 50., 57., 36., 45., 42.],
        [46., 32., 28., 43., 50., 41., 29., 61., 48., 74.],
        [75., 35., 49., 41., 35., 49., 47., 37., 44., 36.],
        [42., 46., 51., 36., 50., 34., 60., 39., 44., 33.],
        [36., 31., 33., 43., 55., 39., 32., 51., 43., 72.],
        [72., 26., 45., 41., 34., 48., 39., 44., 53., 42.],
        [21., 75., 44., 49., 39., 38., 40., 44., 43., 36.],
        [37., 40., 40., 59., 37., 60., 39., 43., 46., 41.],
        [37., 33., 38., 41., 53., 36., 33., 53., 46., 73.],
        [46., 38., 47., 52., 38., 34., 26., 77., 30., 44.],
        [35., 41., 51., 54., 38., 41., 43., 44., 43., 41.],
        [32., 41., 38., 37., 71., 45., 46., 42., 44., 47.]], device='cuda:0')
Train accuarcate: 93.03%



iteration:
  104
    0   933   bit_w:-1  loss: 0.23457
    1  1063   bit_w: 1  loss: 0.23403
    2   993   bit_w: 1  loss: 0.23365
    3   927   bit_w:-1  loss: 0.23326
    4  1182   bit_w:-1  loss: 0.23321
   2261   3020    870   1530    926   3895   4279   2417   1227   1322
      0      1     -1      0     -1      1      1      0     -1      0
Train accuarcate: 93.16%
tensor([[43., 37., 45., 53., 35., 41., 25., 78., 33., 48.],
        [44., 45., 68., 52., 24., 42., 47., 35., 42., 29.],
        [31., 65., 56., 37., 44., 37., 40., 45., 47., 30.],
        [70., 37., 50., 36., 32., 42., 49., 45., 42., 49.],
        [35., 44., 40., 30., 73., 35., 48., 48., 42., 51.],
        [30., 71., 49., 39., 47., 31., 36., 47., 44., 36.],
        [28., 44., 26., 45., 71., 52., 38., 43., 46., 57.],
        [24., 41., 40., 46., 51., 51., 41., 41., 51., 65.],
        [49., 45., 48., 16., 49., 51., 58., 36., 45., 42.],
        [46., 32., 29., 43., 51., 41., 29., 61., 49., 74.],
        [75., 35., 50., 41., 36., 49., 47., 37., 45., 36.],
        [42., 46., 52., 36., 51., 34., 60., 39., 45., 33.],
        [36., 31., 34., 43., 56., 39., 32., 51., 44., 72.],
        [72., 26., 46., 41., 35., 48., 39., 44., 54., 42.],
        [21., 76., 44., 49., 39., 39., 41., 44., 43., 36.],
        [37., 40., 41., 59., 38., 60., 39., 43., 47., 41.],
        [37., 33., 39., 41., 54., 36., 33., 53., 47., 73.],
        [46., 38., 48., 52., 39., 34., 26., 77., 31., 44.],
        [35., 41., 52., 54., 39., 41., 43., 44., 44., 41.],
        [32., 41., 39., 37., 72., 45., 46., 42., 45., 47.]], device='cuda:0')
Train accuarcate: 93.10%



iteration:
  105
    0  1098   bit_w:-1  loss: 0.23246
    1  1164   bit_w: 1  loss: 0.23212
    2  1045   bit_w:-1  loss: 0.23174
    3   972   bit_w: 1  loss: 0.23143
    4  1074   bit_w:-1  loss: 0.23150
   4139   4089   2729   2509   2243   3015   4256   1852   2862   4010
      0      1      0     -1      0      1      1     -1      0      1
Train accuarcate: 93.23%
tensor([[43., 37., 45., 54., 35., 41., 25., 79., 33., 48.],
        [44., 45., 68., 53., 24., 42., 47., 36., 42., 29.],
        [31., 66., 56., 37., 44., 38., 41., 45., 47., 31.],
        [70., 38., 50., 36., 32., 43., 50., 45., 42., 50.],
        [35., 45., 40., 30., 73., 36., 49., 48., 42., 52.],
        [30., 72., 49., 39., 47., 32., 37., 47., 44., 37.],
        [28., 44., 26., 46., 71., 52., 38., 44., 46., 57.],
        [24., 41., 40., 47., 51., 51., 41., 42., 51., 65.],
        [49., 45., 48., 17., 49., 51., 58., 37., 45., 42.],
        [46., 33., 29., 43., 51., 42., 30., 61., 49., 75.],
        [75., 36., 50., 41., 36., 50., 48., 37., 45., 37.],
        [42., 47., 52., 36., 51., 35., 61., 39., 45., 34.],
        [36., 32., 34., 43., 56., 40., 33., 51., 44., 73.],
        [72., 26., 46., 42., 35., 48., 39., 45., 54., 42.],
        [21., 77., 44., 49., 39., 40., 42., 44., 43., 37.],
        [37., 41., 41., 59., 38., 61., 40., 43., 47., 42.],
        [37., 34., 39., 41., 54., 37., 34., 53., 47., 74.],
        [46., 39., 48., 52., 39., 35., 27., 77., 31., 45.],
        [35., 41., 52., 55., 39., 41., 43., 45., 44., 41.],
        [32., 41., 39., 38., 72., 45., 46., 43., 45., 47.]], device='cuda:0')
Train accuarcate: 93.01%



iteration:
  106
    0   950   bit_w:-1  loss: 0.23063
    1   965   bit_w: 1  loss: 0.23027
    2   952   bit_w:-1  loss: 0.23007
    3  1013   bit_w:-1  loss: 0.22982
    4   992   bit_w: 1  loss: 0.22967
   4932    718   2689   5207   4377   3288   5132   5174   3215   4520
      1     -1     -1      0      0     -1      0      1     -1      0
Train accuarcate: 93.33%
tensor([[44., 37., 45., 54., 35., 41., 25., 80., 33., 48.],
        [44., 46., 69., 53., 24., 43., 47., 36., 43., 29.],
        [31., 67., 57., 37., 44., 39., 41., 45., 48., 31.],
        [71., 38., 50., 36., 32., 43., 50., 46., 42., 50.],
        [36., 45., 40., 30., 73., 36., 49., 49., 42., 52.],
        [30., 73., 50., 39., 47., 33., 37., 47., 45., 37.],
        [28., 45., 27., 46., 71., 53., 38., 44., 47., 57.],
        [25., 41., 40., 47., 51., 51., 41., 43., 51., 65.],
        [49., 46., 49., 17., 49., 52., 58., 37., 46., 42.],
        [47., 33., 29., 43., 51., 42., 30., 62., 49., 75.],
        [76., 36., 50., 41., 36., 50., 48., 38., 45., 37.],
        [42., 48., 53., 36., 51., 36., 61., 39., 46., 34.],
        [37., 32., 34., 43., 56., 40., 33., 52., 44., 73.],
        [73., 26., 46., 42., 35., 48., 39., 46., 54., 42.],
        [21., 78., 45., 49., 39., 41., 42., 44., 44., 37.],
        [38., 41., 41., 59., 38., 61., 40., 44., 47., 42.],
        [38., 34., 39., 41., 54., 37., 34., 54., 47., 74.],
        [47., 39., 48., 52., 39., 35., 27., 78., 31., 45.],
        [36., 41., 52., 55., 39., 41., 43., 46., 44., 41.],
        [33., 41., 39., 38., 72., 45., 46., 44., 45., 47.]], device='cuda:0')
Train accuarcate: 93.13%



iteration:
  107
    0  1034   bit_w:-1  loss: 0.22863
    1   975   bit_w:-1  loss: 0.22836
    2  1170   bit_w: 1  loss: 0.22820
    3   899   bit_w:-1  loss: 0.22800
    4  1121   bit_w: 1  loss: 0.22803
   3590   4032   2190   2712   1963   2327   3220   2942   2877   1274
      0     -1      0      0     -1      0      1      0      1     -1
Train accuarcate: 93.36%
tensor([[44., 38., 45., 54., 36., 41., 25., 80., 33., 49.],
        [44., 46., 69., 53., 24., 43., 48., 36., 44., 29.],
        [31., 68., 57., 37., 45., 39., 41., 45., 48., 32.],
        [71., 38., 50., 36., 32., 43., 51., 46., 43., 50.],
        [36., 46., 40., 30., 74., 36., 49., 49., 42., 53.],
        [30., 73., 50., 39., 47., 33., 38., 47., 46., 37.],
        [28., 45., 27., 46., 71., 53., 39., 44., 48., 57.],
        [25., 42., 40., 47., 52., 51., 41., 43., 51., 66.],
        [49., 47., 49., 17., 50., 52., 58., 37., 46., 43.],
        [47., 34., 29., 43., 52., 42., 30., 62., 49., 76.],
        [76., 37., 50., 41., 37., 50., 48., 38., 45., 38.],
        [42., 48., 53., 36., 51., 36., 62., 39., 47., 34.],
        [37., 33., 34., 43., 57., 40., 33., 52., 44., 74.],
        [73., 26., 46., 42., 35., 48., 40., 46., 55., 42.],
        [21., 78., 45., 49., 39., 41., 43., 44., 45., 37.],
        [38., 42., 41., 59., 39., 61., 40., 44., 47., 43.],
        [38., 35., 39., 41., 55., 37., 34., 54., 47., 75.],
        [47., 39., 48., 52., 39., 35., 28., 78., 32., 45.],
        [36., 42., 52., 55., 40., 41., 43., 46., 44., 42.],
        [33., 42., 39., 38., 73., 45., 46., 44., 45., 48.]], device='cuda:0')
Train accuarcate: 93.09%



iteration:
  108
    0  1070   bit_w:-1  loss: 0.22736
    1  1018   bit_w:-1  loss: 0.22686
    2   938   bit_w:-1  loss: 0.22689
    3   436   bit_w:-1  loss: 0.22656
    4   942   bit_w:-1  loss: 0.22642
   4804   5337   3064   3994   1738   4615   3896   3725   3650   2715
      1      0     -1      1     -1      1      0      0      0     -1
Train accuarcate: 93.38%
tensor([[45., 38., 45., 55., 36., 42., 25., 80., 33., 49.],
        [45., 46., 69., 54., 24., 44., 48., 36., 44., 29.],
        [32., 68., 57., 38., 45., 40., 41., 45., 48., 32.],
        [72., 38., 50., 37., 32., 44., 51., 46., 43., 50.],
        [37., 46., 40., 31., 74., 37., 49., 49., 42., 53.],
        [31., 73., 50., 40., 47., 34., 38., 47., 46., 37.],
        [28., 45., 28., 46., 72., 53., 39., 44., 48., 58.],
        [25., 42., 41., 47., 53., 51., 41., 43., 51., 67.],
        [50., 47., 49., 18., 50., 53., 58., 37., 46., 43.],
        [47., 34., 30., 43., 53., 42., 30., 62., 49., 77.],
        [77., 37., 50., 42., 37., 51., 48., 38., 45., 38.],
        [42., 48., 54., 36., 52., 36., 62., 39., 47., 35.],
        [38., 33., 34., 44., 57., 41., 33., 52., 44., 74.],
        [74., 26., 46., 43., 35., 49., 40., 46., 55., 42.],
        [22., 78., 45., 50., 39., 42., 43., 44., 45., 37.],
        [38., 42., 42., 59., 40., 61., 40., 44., 47., 44.],
        [39., 35., 39., 42., 55., 38., 34., 54., 47., 75.],
        [48., 39., 48., 53., 39., 36., 28., 78., 32., 45.],
        [37., 42., 52., 56., 40., 42., 43., 46., 44., 42.],
        [33., 42., 40., 38., 74., 45., 46., 44., 45., 49.]], device='cuda:0')
Train accuarcate: 93.15%



iteration:
  109
    0   950   bit_w:-1  loss: 0.22566
    1   864   bit_w: 1  loss: 0.22526
    2   965   bit_w: 1  loss: 0.22545
    3  1015   bit_w:-1  loss: 0.22482
    4   944   bit_w: 1  loss: 0.22502
   3904   2225   1441   5096   3536   3376    914   5092   1601   4975
      0      0     -1      1      0      0     -1      1     -1      0
Train accuarcate: 93.47%
tensor([[45., 38., 46., 55., 36., 42., 26., 80., 34., 49.],
        [45., 46., 70., 54., 24., 44., 49., 36., 45., 29.],
        [32., 68., 58., 38., 45., 40., 42., 45., 49., 32.],
        [72., 38., 51., 37., 32., 44., 52., 46., 44., 50.],
        [37., 46., 41., 31., 74., 37., 50., 49., 43., 53.],
        [31., 73., 51., 40., 47., 34., 39., 47., 47., 37.],
        [28., 45., 29., 46., 72., 53., 40., 44., 49., 58.],
        [25., 42., 41., 48., 53., 51., 41., 44., 51., 67.],
        [50., 47., 50., 18., 50., 53., 59., 37., 47., 43.],
        [47., 34., 30., 44., 53., 42., 30., 63., 49., 77.],
        [77., 37., 51., 42., 37., 51., 49., 38., 46., 38.],
        [42., 48., 55., 36., 52., 36., 63., 39., 48., 35.],
        [38., 33., 34., 45., 57., 41., 33., 53., 44., 74.],
        [74., 26., 46., 44., 35., 49., 40., 47., 55., 42.],
        [22., 78., 46., 50., 39., 42., 44., 44., 46., 37.],
        [38., 42., 42., 60., 40., 61., 40., 45., 47., 44.],
        [39., 35., 39., 43., 55., 38., 34., 55., 47., 75.],
        [48., 39., 49., 53., 39., 36., 29., 78., 33., 45.],
        [37., 42., 53., 56., 40., 42., 44., 46., 45., 42.],
        [33., 42., 40., 39., 74., 45., 46., 45., 45., 49.]], device='cuda:0')
Train accuarcate: 93.16%



iteration:
  110
    0  1122   bit_w:-1  loss: 0.22437
    1  1019   bit_w:-1  loss: 0.22385
    2   875   bit_w: 1  loss: 0.22387
    3  1018   bit_w: 1  loss: 0.22362
    4   963   bit_w:-1  loss: 0.22313
   4555   4639   3836   2118   2823   1825   5108   3460   1404   1150
      1      1      1      0      1     -1      0      1     -1     -1
Train accuarcate: 93.50%
tensor([[46., 39., 47., 55., 37., 42., 26., 81., 34., 49.],
        [45., 46., 70., 54., 24., 45., 49., 36., 46., 30.],
        [33., 69., 59., 38., 46., 40., 42., 46., 49., 32.],
        [73., 39., 52., 37., 33., 44., 52., 47., 44., 50.],
        [38., 47., 42., 31., 75., 37., 50., 50., 43., 53.],
        [32., 74., 52., 40., 48., 34., 39., 48., 47., 37.],
        [28., 45., 29., 46., 72., 54., 40., 44., 50., 59.],
        [25., 42., 41., 48., 53., 52., 41., 44., 52., 68.],
        [51., 48., 51., 18., 51., 53., 59., 38., 47., 43.],
        [47., 34., 30., 44., 53., 43., 30., 63., 50., 78.],
        [78., 38., 52., 42., 38., 51., 49., 39., 46., 38.],
        [43., 49., 56., 36., 53., 36., 63., 40., 48., 35.],
        [38., 33., 34., 45., 57., 42., 33., 53., 45., 75.],
        [74., 26., 46., 44., 35., 50., 40., 47., 56., 43.],
        [23., 79., 47., 50., 40., 42., 44., 45., 46., 37.],
        [39., 43., 43., 60., 41., 61., 40., 46., 47., 44.],
        [40., 36., 40., 43., 56., 38., 34., 56., 47., 75.],
        [48., 39., 49., 53., 39., 37., 29., 78., 34., 46.],
        [37., 42., 53., 56., 40., 43., 44., 46., 46., 43.],
        [33., 42., 40., 39., 74., 46., 46., 45., 46., 50.]], device='cuda:0')
Train accuarcate: 93.15%



iteration:
  111
    0  1096   bit_w:-1  loss: 0.22245
    1   974   bit_w: 1  loss: 0.22186
    2  1063   bit_w:-1  loss: 0.22179
    3  1131   bit_w:-1  loss: 0.22150
    4  1027   bit_w: 1  loss: 0.22139
   4950   5699   5278   5235   5197   1912   1077   5184   4691   4077
      1      1      0      1      1     -1     -1      0      0      0
Train accuarcate: 93.52%
tensor([[46., 39., 47., 55., 37., 43., 27., 81., 34., 49.],
        [46., 47., 70., 55., 25., 45., 49., 36., 46., 30.],
        [34., 70., 59., 39., 47., 40., 42., 46., 49., 32.],
        [74., 40., 52., 38., 34., 44., 52., 47., 44., 50.],
        [39., 48., 42., 32., 76., 37., 50., 50., 43., 53.],
        [33., 75., 52., 41., 49., 34., 39., 48., 47., 37.],
        [29., 46., 29., 47., 73., 54., 40., 44., 50., 59.],
        [26., 43., 41., 49., 54., 52., 41., 44., 52., 68.],
        [51., 48., 51., 18., 51., 54., 60., 38., 47., 43.],
        [48., 35., 30., 45., 54., 43., 30., 63., 50., 78.],
        [79., 39., 52., 43., 39., 51., 49., 39., 46., 38.],
        [44., 50., 56., 37., 54., 36., 63., 40., 48., 35.],
        [39., 34., 34., 46., 58., 42., 33., 53., 45., 75.],
        [75., 27., 46., 45., 36., 50., 40., 47., 56., 43.],
        [24., 80., 47., 51., 41., 42., 44., 45., 46., 37.],
        [40., 44., 43., 61., 42., 61., 40., 46., 47., 44.],
        [41., 37., 40., 44., 57., 38., 34., 56., 47., 75.],
        [49., 40., 49., 54., 40., 37., 29., 78., 34., 46.],
        [38., 43., 53., 57., 41., 43., 44., 46., 46., 43.],
        [34., 43., 40., 40., 75., 46., 46., 45., 46., 50.]], device='cuda:0')
Train accuarcate: 93.22%



iteration:
  112
    0   432   bit_w:-1  loss: 0.22055
    1   854   bit_w: 1  loss: 0.22009
    2   951   bit_w: 1  loss: 0.22007
    3  1053   bit_w: 1  loss: 0.21983
    4  1079   bit_w: 1  loss: 0.21974
   1403   4750    916   2994   2590   2185   2108   5885   1530   3492
      0      0     -1      0      0      0     -1      1     -1      1
Train accuarcate: 93.58%
tensor([[46., 39., 47., 55., 37., 43., 27., 82., 34., 50.],
        [46., 47., 71., 55., 25., 45., 50., 36., 47., 30.],
        [34., 70., 59., 39., 47., 40., 42., 47., 49., 33.],
        [74., 40., 53., 38., 34., 44., 53., 47., 45., 50.],
        [39., 48., 42., 32., 76., 37., 50., 51., 43., 54.],
        [33., 75., 52., 41., 49., 34., 39., 49., 47., 38.],
        [29., 46., 29., 47., 73., 54., 40., 45., 50., 60.],
        [26., 43., 42., 49., 54., 52., 42., 44., 53., 68.],
        [51., 48., 51., 18., 51., 54., 60., 39., 47., 44.],
        [48., 35., 31., 45., 54., 43., 31., 63., 51., 78.],
        [79., 39., 53., 43., 39., 51., 50., 39., 47., 38.],
        [44., 50., 57., 37., 54., 36., 64., 40., 49., 35.],
        [39., 34., 35., 46., 58., 42., 34., 53., 46., 75.],
        [75., 27., 47., 45., 36., 50., 41., 47., 57., 43.],
        [24., 80., 47., 51., 41., 42., 44., 46., 46., 38.],
        [40., 44., 43., 61., 42., 61., 40., 47., 47., 45.],
        [41., 37., 40., 44., 57., 38., 34., 57., 47., 76.],
        [49., 40., 49., 54., 40., 37., 29., 79., 34., 47.],
        [38., 43., 53., 57., 41., 43., 44., 47., 46., 44.],
        [34., 43., 41., 40., 75., 46., 47., 45., 47., 50.]], device='cuda:0')
Train accuarcate: 93.21%



iteration:
  113
    0  1125   bit_w:-1  loss: 0.21919
    1   983   bit_w: 1  loss: 0.21876
    2  1083   bit_w: 1  loss: 0.21881
    3  1061   bit_w: 1  loss: 0.21821
    4   874   bit_w:-1  loss: 0.21835
   1225   5389   3106   4383   3105   3694   2057   4091   4006   3177
     -1     -1     -1      1      0      1     -1      0      1      0
Train accuarcate: 93.65%
tensor([[46., 39., 47., 56., 37., 44., 27., 82., 35., 50.],
        [46., 47., 71., 56., 25., 46., 50., 36., 48., 30.],
        [35., 71., 60., 39., 47., 40., 43., 47., 49., 33.],
        [74., 40., 53., 39., 34., 45., 53., 47., 46., 50.],
        [40., 49., 43., 32., 76., 37., 51., 51., 43., 54.],
        [33., 75., 52., 42., 49., 35., 39., 49., 48., 38.],
        [30., 47., 30., 47., 73., 54., 41., 45., 50., 60.],
        [26., 43., 42., 50., 54., 53., 42., 44., 54., 68.],
        [52., 49., 52., 18., 51., 54., 61., 39., 47., 44.],
        [49., 36., 32., 45., 54., 43., 32., 63., 51., 78.],
        [80., 40., 54., 43., 39., 51., 51., 39., 47., 38.],
        [45., 51., 58., 37., 54., 36., 65., 40., 49., 35.],
        [39., 34., 35., 47., 58., 43., 34., 53., 47., 75.],
        [75., 27., 47., 46., 36., 51., 41., 47., 58., 43.],
        [24., 80., 47., 52., 41., 43., 44., 46., 47., 38.],
        [40., 44., 43., 62., 42., 62., 40., 47., 48., 45.],
        [41., 37., 40., 45., 57., 39., 34., 57., 48., 76.],
        [49., 40., 49., 55., 40., 38., 29., 79., 35., 47.],
        [39., 44., 54., 57., 41., 43., 45., 47., 46., 44.],
        [34., 43., 41., 41., 75., 47., 47., 45., 48., 50.]], device='cuda:0')
Train accuarcate: 93.28%



iteration:
  114
    0  1074   bit_w:-1  loss: 0.21748
    1  1008   bit_w: 1  loss: 0.21731
    2  1062   bit_w:-1  loss: 0.21706
    3  1144   bit_w:-1  loss: 0.21688
    4  1009   bit_w: 1  loss: 0.21679
   2760   1792   2770   4137   1294   4492   3597   2062   2141   1885
      0     -1      0      0     -1      1      0     -1      0     -1
Train accuarcate: 93.67%
tensor([[46., 39., 47., 56., 37., 45., 27., 82., 35., 50.],
        [46., 47., 71., 56., 25., 47., 50., 36., 48., 30.],
        [35., 72., 60., 39., 48., 40., 43., 48., 49., 34.],
        [74., 40., 53., 39., 34., 46., 53., 47., 46., 50.],
        [40., 50., 43., 32., 77., 37., 51., 52., 43., 55.],
        [33., 76., 52., 42., 50., 35., 39., 50., 48., 39.],
        [30., 48., 30., 47., 74., 54., 41., 46., 50., 61.],
        [26., 44., 42., 50., 55., 53., 42., 45., 54., 69.],
        [52., 49., 52., 18., 51., 55., 61., 39., 47., 44.],
        [49., 36., 32., 45., 54., 44., 32., 63., 51., 78.],
        [80., 41., 54., 43., 40., 51., 51., 40., 47., 39.],
        [45., 52., 58., 37., 55., 36., 65., 41., 49., 36.],
        [39., 35., 35., 47., 59., 43., 34., 54., 47., 76.],
        [75., 28., 47., 46., 37., 51., 41., 48., 58., 44.],
        [24., 81., 47., 52., 42., 43., 44., 47., 47., 39.],
        [40., 44., 43., 62., 42., 63., 40., 47., 48., 45.],
        [41., 38., 40., 45., 58., 39., 34., 58., 48., 77.],
        [49., 40., 49., 55., 40., 39., 29., 79., 35., 47.],
        [39., 45., 54., 57., 42., 43., 45., 48., 46., 45.],
        [34., 44., 41., 41., 76., 47., 47., 46., 48., 51.]], device='cuda:0')
Train accuarcate: 93.23%



iteration:
  115
    0  1175   bit_w:-1  loss: 0.21617
    1  1172   bit_w: 1  loss: 0.21565
    2   832   bit_w: 1  loss: 0.21553
    3  1127   bit_w: 1  loss: 0.21535
    4  1035   bit_w: 1  loss: 0.21472
   2406   5579   2107   3074   5044   3178   5302   2445   3049   2886
      0      1     -1      1      1      0      1     -1     -1     -1
Train accuarcate: 93.67%
tensor([[46., 40., 47., 57., 38., 45., 28., 82., 35., 50.],
        [46., 48., 71., 57., 26., 47., 51., 36., 48., 30.],
        [35., 73., 60., 40., 49., 40., 44., 48., 49., 34.],
        [74., 40., 54., 39., 34., 46., 53., 48., 47., 51.],
        [40., 51., 43., 33., 78., 37., 52., 52., 43., 55.],
        [33., 77., 52., 43., 51., 35., 40., 50., 48., 39.],
        [30., 49., 30., 48., 75., 54., 42., 46., 50., 61.],
        [26., 44., 43., 50., 55., 53., 42., 46., 55., 70.],
        [52., 50., 52., 19., 52., 55., 62., 39., 47., 44.],
        [49., 37., 32., 46., 55., 44., 33., 63., 51., 78.],
        [80., 42., 54., 44., 41., 51., 52., 40., 47., 39.],
        [45., 53., 58., 38., 56., 36., 66., 41., 49., 36.],
        [39., 36., 35., 48., 60., 43., 35., 54., 47., 76.],
        [75., 28., 48., 46., 37., 51., 41., 49., 59., 45.],
        [24., 82., 47., 53., 43., 43., 45., 47., 47., 39.],
        [40., 44., 44., 62., 42., 63., 40., 48., 49., 46.],
        [41., 39., 40., 46., 59., 39., 35., 58., 48., 77.],
        [49., 41., 49., 56., 41., 39., 30., 79., 35., 47.],
        [39., 45., 55., 57., 42., 43., 45., 49., 47., 46.],
        [34., 45., 41., 42., 77., 47., 48., 46., 48., 51.]], device='cuda:0')
Train accuarcate: 93.29%



iteration:
  116
    0  1176   bit_w:-1  loss: 0.21408
    1  1003   bit_w: 1  loss: 0.21377
    2  1153   bit_w: 1  loss: 0.21377
    3  1155   bit_w: 1  loss: 0.21333
    4   988   bit_w: 1  loss: 0.21335
   1117   6419   3043   3580   4962   4677   4842   4476   3159   3850
     -1      0     -1     -1      0      1      0      0      1     -1
Train accuarcate: 93.74%
tensor([[46., 40., 47., 57., 38., 46., 28., 82., 36., 50.],
        [46., 48., 71., 57., 26., 48., 51., 36., 49., 30.],
        [35., 73., 60., 40., 49., 41., 44., 48., 50., 34.],
        [75., 40., 55., 40., 34., 46., 53., 48., 47., 52.],
        [40., 51., 43., 33., 78., 38., 52., 52., 44., 55.],
        [33., 77., 52., 43., 51., 36., 40., 50., 49., 39.],
        [30., 49., 30., 48., 75., 55., 42., 46., 51., 61.],
        [27., 44., 44., 51., 55., 53., 42., 46., 55., 71.],
        [52., 50., 52., 19., 52., 56., 62., 39., 48., 44.],
        [50., 37., 33., 47., 55., 44., 33., 63., 51., 79.],
        [81., 42., 55., 45., 41., 51., 52., 40., 47., 40.],
        [45., 53., 58., 38., 56., 37., 66., 41., 50., 36.],
        [39., 36., 35., 48., 60., 44., 35., 54., 48., 76.],
        [76., 28., 49., 47., 37., 51., 41., 49., 59., 46.],
        [24., 82., 47., 53., 43., 44., 45., 47., 48., 39.],
        [40., 44., 44., 62., 42., 64., 40., 48., 50., 46.],
        [42., 39., 41., 47., 59., 39., 35., 58., 48., 78.],
        [50., 41., 50., 57., 41., 39., 30., 79., 35., 48.],
        [39., 45., 55., 57., 42., 44., 45., 49., 48., 46.],
        [34., 45., 41., 42., 77., 48., 48., 46., 49., 51.]], device='cuda:0')
Train accuarcate: 93.25%



iteration:
  117
    0  1038   bit_w:-1  loss: 0.21280
    1  1049   bit_w: 1  loss: 0.21238
    2  1078   bit_w: 1  loss: 0.21229
    3  1058   bit_w:-1  loss: 0.21184
    4   885   bit_w: 1  loss: 0.21165
   2496   4099   4588   4589   5184   2092   1288   3754   3960   4772
     -1     -1      0      1      1     -1     -1     -1      0      1
Train accuarcate: 93.76%
tensor([[46., 40., 47., 58., 39., 46., 28., 82., 36., 51.],
        [47., 49., 71., 57., 26., 49., 52., 37., 49., 30.],
        [35., 73., 60., 41., 50., 41., 44., 48., 50., 35.],
        [76., 41., 55., 40., 34., 47., 54., 49., 47., 52.],
        [40., 51., 43., 34., 79., 38., 52., 52., 44., 56.],
        [33., 77., 52., 44., 52., 36., 40., 50., 49., 40.],
        [30., 49., 30., 49., 76., 55., 42., 46., 51., 62.],
        [27., 44., 44., 52., 56., 53., 42., 46., 55., 72.],
        [53., 51., 52., 19., 52., 57., 63., 40., 48., 44.],
        [51., 38., 33., 47., 55., 45., 34., 64., 51., 79.],
        [82., 43., 55., 45., 41., 52., 53., 41., 47., 40.],
        [46., 54., 58., 38., 56., 38., 67., 42., 50., 36.],
        [39., 36., 35., 49., 61., 44., 35., 54., 48., 77.],
        [76., 28., 49., 48., 38., 51., 41., 49., 59., 47.],
        [24., 82., 47., 54., 44., 44., 45., 47., 48., 40.],
        [40., 44., 44., 63., 43., 64., 40., 48., 50., 47.],
        [42., 39., 41., 48., 60., 39., 35., 58., 48., 79.],
        [51., 42., 50., 57., 41., 40., 31., 80., 35., 48.],
        [40., 46., 55., 57., 42., 45., 46., 50., 48., 46.],
        [34., 45., 41., 43., 78., 48., 48., 46., 49., 52.]], device='cuda:0')
Train accuarcate: 93.31%



iteration:
  118
    0   989   bit_w:-1  loss: 0.21084
    1  1121   bit_w: 1  loss: 0.21058
    2  1116   bit_w: 1  loss: 0.21032
    3  1029   bit_w:-1  loss: 0.21002
    4  1076   bit_w:-1  loss: 0.20986
   4302   2997   2236   1465   2483   2492   2121   2706   3029   1684
      1      0     -1      0      0      0      1      1      1     -1
Train accuarcate: 93.81%
tensor([[46., 40., 48., 58., 39., 46., 28., 82., 36., 52.],
        [47., 49., 72., 57., 26., 49., 52., 37., 49., 31.],
        [36., 73., 60., 41., 50., 41., 45., 49., 51., 35.],
        [76., 41., 56., 40., 34., 47., 54., 49., 47., 53.],
        [40., 51., 44., 34., 79., 38., 52., 52., 44., 57.],
        [34., 77., 52., 44., 52., 36., 41., 51., 50., 40.],
        [30., 49., 31., 49., 76., 55., 42., 46., 51., 63.],
        [27., 44., 45., 52., 56., 53., 42., 46., 55., 73.],
        [53., 51., 53., 19., 52., 57., 63., 40., 48., 45.],
        [51., 38., 34., 47., 55., 45., 34., 64., 51., 80.],
        [82., 43., 56., 45., 41., 52., 53., 41., 47., 41.],
        [47., 54., 58., 38., 56., 38., 68., 43., 51., 36.],
        [40., 36., 35., 49., 61., 44., 36., 55., 49., 77.],
        [77., 28., 49., 48., 38., 51., 42., 50., 60., 47.],
        [25., 82., 47., 54., 44., 44., 46., 48., 49., 40.],
        [40., 44., 45., 63., 43., 64., 40., 48., 50., 48.],
        [42., 39., 42., 48., 60., 39., 35., 58., 48., 80.],
        [51., 42., 51., 57., 41., 40., 31., 80., 35., 49.],
        [40., 46., 56., 57., 42., 45., 46., 50., 48., 47.],
        [34., 45., 42., 43., 78., 48., 48., 46., 49., 53.]], device='cuda:0')
Train accuarcate: 93.33%



iteration:
  119
    0  1044   bit_w:-1  loss: 0.20921
    1   948   bit_w:-1  loss: 0.20885
    2   179   bit_w:-1  loss: 0.20882
    3   429   bit_w: 1  loss: 0.20857
    4  1147   bit_w:-1  loss: 0.20860
   3680   2482   1972   1068   4809   2925   4955    618   2209   4076
      0     -1      1     -1      1      0      0     -1     -1      0
Train accuarcate: 93.84%
tensor([[46., 41., 48., 59., 39., 46., 28., 83., 37., 52.],
        [47., 50., 72., 58., 26., 49., 52., 38., 50., 31.],
        [36., 74., 60., 42., 50., 41., 45., 50., 52., 35.],
        [76., 41., 57., 40., 35., 47., 54., 49., 47., 53.],
        [40., 52., 44., 35., 79., 38., 52., 53., 45., 57.],
        [34., 78., 52., 45., 52., 36., 41., 52., 51., 40.],
        [30., 50., 31., 50., 76., 55., 42., 47., 52., 63.],
        [27., 44., 46., 52., 57., 53., 42., 46., 55., 73.],
        [53., 51., 54., 19., 53., 57., 63., 40., 48., 45.],
        [51., 38., 35., 47., 56., 45., 34., 64., 51., 80.],
        [82., 44., 56., 46., 41., 52., 53., 42., 48., 41.],
        [47., 54., 59., 38., 57., 38., 68., 43., 51., 36.],
        [40., 36., 36., 49., 62., 44., 36., 55., 49., 77.],
        [77., 28., 50., 48., 39., 51., 42., 50., 60., 47.],
        [25., 82., 48., 54., 45., 44., 46., 48., 49., 40.],
        [40., 45., 45., 64., 43., 64., 40., 49., 51., 48.],
        [42., 40., 42., 49., 60., 39., 35., 59., 49., 80.],
        [51., 43., 51., 58., 41., 40., 31., 81., 36., 49.],
        [40., 47., 56., 58., 42., 45., 46., 51., 49., 47.],
        [34., 45., 43., 43., 79., 48., 48., 46., 49., 53.]], device='cuda:0')
Train accuarcate: 93.35%



iteration:
  120
    0  1023   bit_w:-1  loss: 0.20792
    1   437   bit_w: 1  loss: 0.20769
    2  1029   bit_w:-1  loss: 0.20763
    3  1011   bit_w:-1  loss: 0.20726
    4  1114   bit_w: 1  loss: 0.20748
   4469   1984   2734   3328   4902   2264   2861   5151   2639   4461
      1     -1     -1      0      0     -1      1      1      0      0
Train accuarcate: 93.90%
tensor([[47., 41., 48., 59., 39., 46., 29., 84., 37., 52.],
        [47., 51., 73., 58., 26., 50., 52., 38., 50., 31.],
        [37., 74., 60., 42., 50., 41., 46., 51., 52., 35.],
        [77., 41., 57., 40., 35., 47., 55., 50., 47., 53.],
        [41., 52., 44., 35., 79., 38., 53., 54., 45., 57.],
        [35., 78., 52., 45., 52., 36., 42., 53., 51., 40.],
        [31., 50., 31., 50., 76., 55., 43., 48., 52., 63.],
        [27., 45., 47., 52., 57., 54., 42., 46., 55., 73.],
        [54., 51., 54., 19., 53., 57., 64., 41., 48., 45.],
        [52., 38., 35., 47., 56., 45., 35., 65., 51., 80.],
        [83., 44., 56., 46., 41., 52., 54., 43., 48., 41.],
        [48., 54., 59., 38., 57., 38., 69., 44., 51., 36.],
        [41., 36., 36., 49., 62., 44., 37., 56., 49., 77.],
        [78., 28., 50., 48., 39., 51., 43., 51., 60., 47.],
        [25., 83., 49., 54., 45., 45., 46., 48., 49., 40.],
        [40., 46., 46., 64., 43., 65., 40., 49., 51., 48.],
        [43., 40., 42., 49., 60., 39., 36., 60., 49., 80.],
        [51., 44., 52., 58., 41., 41., 31., 81., 36., 49.],
        [40., 48., 57., 58., 42., 46., 46., 51., 49., 47.],
        [35., 45., 43., 43., 79., 48., 49., 47., 49., 53.]], device='cuda:0')
Train accuarcate: 93.40%



iteration:
  121
    0   979   bit_w:-1  loss: 0.20683
    1  1153   bit_w:-1  loss: 0.20645
    2  1021   bit_w: 1  loss: 0.20652
    3  1173   bit_w: 1  loss: 0.20602
    4   183   bit_w:-1  loss: 0.20604
   5154   3553   3579   1359   4169   2416   3390   4537   1282   1928
      1      0      1     -1      0     -1      1      0     -1     -1
Train accuarcate: 93.94%
tensor([[48., 41., 49., 59., 39., 46., 30., 84., 37., 52.],
        [48., 51., 74., 58., 26., 50., 53., 38., 50., 31.],
        [38., 74., 61., 42., 50., 41., 47., 51., 52., 35.],
        [78., 41., 58., 40., 35., 47., 56., 50., 47., 53.],
        [42., 52., 45., 35., 79., 38., 54., 54., 45., 57.],
        [36., 78., 53., 45., 52., 36., 43., 53., 51., 40.],
        [31., 50., 31., 51., 76., 56., 43., 48., 53., 64.],
        [28., 45., 48., 52., 57., 54., 43., 46., 55., 73.],
        [54., 51., 54., 20., 53., 58., 64., 41., 49., 46.],
        [53., 38., 36., 47., 56., 45., 36., 65., 51., 80.],
        [83., 44., 56., 47., 41., 53., 54., 43., 49., 42.],
        [49., 54., 60., 38., 57., 38., 70., 44., 51., 36.],
        [42., 36., 37., 49., 62., 44., 38., 56., 49., 77.],
        [79., 28., 51., 48., 39., 51., 44., 51., 60., 47.],
        [25., 83., 49., 55., 45., 46., 46., 48., 50., 41.],
        [41., 46., 47., 64., 43., 65., 41., 49., 51., 48.],
        [43., 40., 42., 50., 60., 40., 36., 60., 50., 81.],
        [52., 44., 53., 58., 41., 41., 32., 81., 36., 49.],
        [40., 48., 57., 59., 42., 47., 46., 51., 50., 48.],
        [36., 45., 44., 43., 79., 48., 50., 47., 49., 53.]], device='cuda:0')
Train accuarcate: 93.45%



iteration:
  122
    0  1152   bit_w:-1  loss: 0.20549
    1  1151   bit_w:-1  loss: 0.20513
    2   908   bit_w:-1  loss: 0.20525
    3  1138   bit_w: 1  loss: 0.20493
    4  1125   bit_w:-1  loss: 0.20496
   1110   4257    854   3207    496   2264   1104   3386   2315   1251
      0      1      0      1     -1      1      0      0      1      0
Train accuarcate: 93.99%
tensor([[48., 42., 49., 60., 39., 47., 30., 84., 38., 52.],
        [48., 52., 74., 59., 26., 51., 53., 38., 51., 31.],
        [38., 74., 61., 42., 51., 41., 47., 51., 52., 35.],
        [78., 41., 58., 40., 36., 47., 56., 50., 47., 53.],
        [42., 52., 45., 35., 80., 38., 54., 54., 45., 57.],
        [36., 79., 53., 46., 52., 37., 43., 53., 52., 40.],
        [31., 50., 31., 51., 77., 56., 43., 48., 53., 64.],
        [28., 46., 48., 53., 57., 55., 43., 46., 56., 73.],
        [54., 51., 54., 20., 54., 58., 64., 41., 49., 46.],
        [53., 38., 36., 47., 57., 45., 36., 65., 51., 80.],
        [83., 44., 56., 47., 42., 53., 54., 43., 49., 42.],
        [49., 54., 60., 38., 58., 38., 70., 44., 51., 36.],
        [42., 37., 37., 50., 62., 45., 38., 56., 50., 77.],
        [79., 29., 51., 49., 39., 52., 44., 51., 61., 47.],
        [25., 84., 49., 56., 45., 47., 46., 48., 51., 41.],
        [41., 47., 47., 65., 43., 66., 41., 49., 52., 48.],
        [43., 40., 42., 50., 61., 40., 36., 60., 50., 81.],
        [52., 45., 53., 59., 41., 42., 32., 81., 37., 49.],
        [40., 49., 57., 60., 42., 48., 46., 51., 51., 48.],
        [36., 45., 44., 43., 80., 48., 50., 47., 49., 53.]], device='cuda:0')
Train accuarcate: 93.49%



iteration:
  123
    0  1136   bit_w:-1  loss: 0.20437
    1  1165   bit_w: 1  loss: 0.20407
    2  1140   bit_w: 1  loss: 0.20359
    3  1168   bit_w: 1  loss: 0.20338
    4  1008   bit_w:-1  loss: 0.20309
   2948     44   2517   2223   2147   1004   1838   1969   1575   1003
      0      0      1      1      1     -1     -1      1      1     -1
Train accuarcate: 94.04%
tensor([[48., 42., 49., 60., 39., 48., 31., 84., 38., 53.],
        [48., 52., 74., 59., 26., 52., 54., 38., 51., 32.],
        [38., 74., 61., 42., 51., 42., 48., 51., 52., 36.],
        [78., 41., 58., 40., 36., 48., 57., 50., 47., 54.],
        [42., 52., 46., 36., 81., 38., 54., 55., 46., 57.],
        [36., 79., 53., 46., 52., 38., 44., 53., 52., 41.],
        [31., 50., 31., 51., 77., 57., 44., 48., 53., 65.],
        [28., 46., 48., 53., 57., 56., 44., 46., 56., 74.],
        [54., 51., 54., 20., 54., 59., 65., 41., 49., 47.],
        [53., 38., 37., 48., 58., 45., 36., 66., 52., 80.],
        [83., 44., 57., 48., 43., 53., 54., 44., 50., 42.],
        [49., 54., 60., 38., 58., 39., 71., 44., 51., 37.],
        [42., 37., 37., 50., 62., 46., 39., 56., 50., 78.],
        [79., 29., 52., 50., 40., 52., 44., 52., 62., 47.],
        [25., 84., 49., 56., 45., 48., 47., 48., 51., 42.],
        [41., 47., 47., 65., 43., 67., 42., 49., 52., 49.],
        [43., 40., 42., 50., 61., 41., 37., 60., 50., 82.],
        [52., 45., 53., 59., 41., 43., 33., 81., 37., 50.],
        [40., 49., 57., 60., 42., 49., 47., 51., 51., 49.],
        [36., 45., 44., 43., 80., 49., 51., 47., 49., 54.]], device='cuda:0')
Train accuarcate: 93.59%



iteration:
  124
    0  1176   bit_w:-1  loss: 0.20252
    1  1175   bit_w: 1  loss: 0.20222
    2   854   bit_w: 1  loss: 0.20198
    3  1157   bit_w:-1  loss: 0.20191
    4   997   bit_w:-1  loss: 0.20158
   1750   5465   2903   2733   4605   2578   2204   6019   4300   5261
     -1     -1      1     -1      0      0      0      1      1      0
Train accuarcate: 94.11%
tensor([[48., 42., 50., 60., 39., 48., 31., 85., 39., 53.],
        [49., 53., 74., 60., 26., 52., 54., 38., 51., 32.],
        [39., 75., 61., 43., 51., 42., 48., 51., 52., 36.],
        [79., 42., 58., 41., 36., 48., 57., 50., 47., 54.],
        [43., 53., 46., 37., 81., 38., 54., 55., 46., 57.],
        [37., 80., 53., 47., 52., 38., 44., 53., 52., 41.],
        [31., 50., 32., 51., 77., 57., 44., 49., 54., 65.],
        [28., 46., 49., 53., 57., 56., 44., 47., 57., 74.],
        [54., 51., 55., 20., 54., 59., 65., 42., 50., 47.],
        [53., 38., 38., 48., 58., 45., 36., 67., 53., 80.],
        [84., 45., 57., 49., 43., 53., 54., 44., 50., 42.],
        [50., 55., 60., 39., 58., 39., 71., 44., 51., 37.],
        [42., 37., 38., 50., 62., 46., 39., 57., 51., 78.],
        [80., 30., 52., 51., 40., 52., 44., 52., 62., 47.],
        [25., 84., 50., 56., 45., 48., 47., 49., 52., 42.],
        [41., 47., 48., 65., 43., 67., 42., 50., 53., 49.],
        [44., 41., 42., 51., 61., 41., 37., 60., 50., 82.],
        [52., 45., 54., 59., 41., 43., 33., 82., 38., 50.],
        [41., 50., 57., 61., 42., 49., 47., 51., 51., 49.],
        [36., 45., 45., 43., 80., 49., 51., 48., 50., 54.]], device='cuda:0')
Train accuarcate: 93.67%



iteration:
  125
    0   863   bit_w:-1  loss: 0.20107
    1   879   bit_w: 1  loss: 0.20079
    2  1134   bit_w: 1  loss: 0.20094
    3  1075   bit_w: 1  loss: 0.20063
    4  1157   bit_w:-1  loss: 0.20065
   5198   6696   4650   3898   1976   4579   3379   5610   4225   1810
     -1      1      0      0     -1      0      0      0      0     -1
Train accuarcate: 94.09%
tensor([[48., 43., 50., 60., 39., 48., 31., 85., 39., 53.],
        [50., 53., 74., 60., 27., 52., 54., 38., 51., 33.],
        [39., 76., 61., 43., 51., 42., 48., 51., 52., 36.],
        [79., 43., 58., 41., 36., 48., 57., 50., 47., 54.],
        [44., 53., 46., 37., 82., 38., 54., 55., 46., 58.],
        [37., 81., 53., 47., 52., 38., 44., 53., 52., 41.],
        [32., 50., 32., 51., 78., 57., 44., 49., 54., 66.],
        [29., 46., 49., 53., 58., 56., 44., 47., 57., 75.],
        [54., 52., 55., 20., 54., 59., 65., 42., 50., 47.],
        [54., 38., 38., 48., 59., 45., 36., 67., 53., 81.],
        [84., 46., 57., 49., 43., 53., 54., 44., 50., 42.],
        [50., 56., 60., 39., 58., 39., 71., 44., 51., 37.],
        [43., 37., 38., 50., 63., 46., 39., 57., 51., 79.],
        [80., 31., 52., 51., 40., 52., 44., 52., 62., 47.],
        [25., 85., 50., 56., 45., 48., 47., 49., 52., 42.],
        [41., 48., 48., 65., 43., 67., 42., 50., 53., 49.],
        [45., 41., 42., 51., 62., 41., 37., 60., 50., 83.],
        [52., 46., 54., 59., 41., 43., 33., 82., 38., 50.],
        [42., 50., 57., 61., 43., 49., 47., 51., 51., 50.],
        [37., 45., 45., 43., 81., 49., 51., 48., 50., 55.]], device='cuda:0')
Train accuarcate: 93.69%



iteration:
  126
    0  1111   bit_w:-1  loss: 0.20018
    1   949   bit_w:-1  loss: 0.19973
    2   991   bit_w: 1  loss: 0.19976
    3   903   bit_w: 1  loss: 0.19936
    4  1062   bit_w: 1  loss: 0.19962
   1770   6007   2913   1582   4326   2329   4662   3770   3220   3727
     -1      0     -1     -1      0     -1      1      0      0      0
Train accuarcate: 94.14%
tensor([[49., 43., 51., 61., 39., 49., 31., 85., 39., 53.],
        [50., 53., 74., 60., 27., 52., 55., 38., 51., 33.],
        [39., 76., 61., 43., 51., 42., 49., 51., 52., 36.],
        [79., 43., 58., 41., 36., 48., 58., 50., 47., 54.],
        [44., 53., 46., 37., 82., 38., 55., 55., 46., 58.],
        [37., 81., 53., 47., 52., 38., 45., 53., 52., 41.],
        [32., 50., 32., 51., 78., 57., 45., 49., 54., 66.],
        [29., 46., 49., 53., 58., 56., 45., 47., 57., 75.],
        [54., 52., 55., 20., 54., 59., 66., 42., 50., 47.],
        [55., 38., 39., 49., 59., 46., 36., 67., 53., 81.],
        [85., 46., 58., 50., 43., 54., 54., 44., 50., 42.],
        [51., 56., 61., 40., 58., 40., 71., 44., 51., 37.],
        [44., 37., 39., 51., 63., 47., 39., 57., 51., 79.],
        [81., 31., 53., 52., 40., 53., 44., 52., 62., 47.],
        [25., 85., 50., 56., 45., 48., 48., 49., 52., 42.],
        [42., 48., 49., 66., 43., 68., 42., 50., 53., 49.],
        [45., 41., 42., 51., 62., 41., 38., 60., 50., 83.],
        [53., 46., 55., 60., 41., 44., 33., 82., 38., 50.],
        [43., 50., 58., 62., 43., 50., 47., 51., 51., 50.],
        [38., 45., 46., 44., 81., 50., 51., 48., 50., 55.]], device='cuda:0')
Train accuarcate: 93.80%



iteration:
  127
    0  1015   bit_w:-1  loss: 0.19917
    1  1143   bit_w: 1  loss: 0.19879
    2  1017   bit_w:-1  loss: 0.19872
    3  1096   bit_w:-1  loss: 0.19844
    4  1025   bit_w: 1  loss: 0.19859
   4744   4491   4233   4365   4857   1271   1968   5210   4762   4232
      0      0      0      0      1     -1     -1      0      1     -1
Train accuarcate: 94.15%
tensor([[49., 43., 51., 61., 40., 49., 31., 85., 40., 53.],
        [50., 53., 74., 60., 28., 52., 55., 38., 52., 33.],
        [39., 76., 61., 43., 51., 43., 50., 51., 52., 37.],
        [79., 43., 58., 41., 36., 49., 59., 50., 47., 55.],
        [44., 53., 46., 37., 83., 38., 55., 55., 47., 58.],
        [37., 81., 53., 47., 52., 39., 46., 53., 52., 42.],
        [32., 50., 32., 51., 79., 57., 45., 49., 55., 66.],
        [29., 46., 49., 53., 59., 56., 45., 47., 58., 75.],
        [54., 52., 55., 20., 54., 60., 67., 42., 50., 48.],
        [55., 38., 39., 49., 60., 46., 36., 67., 54., 81.],
        [85., 46., 58., 50., 44., 54., 54., 44., 51., 42.],
        [51., 56., 61., 40., 59., 40., 71., 44., 52., 37.],
        [44., 37., 39., 51., 64., 47., 39., 57., 52., 79.],
        [81., 31., 53., 52., 41., 53., 44., 52., 63., 47.],
        [25., 85., 50., 56., 46., 48., 48., 49., 53., 42.],
        [42., 48., 49., 66., 43., 69., 43., 50., 53., 50.],
        [45., 41., 42., 51., 63., 41., 38., 60., 51., 83.],
        [53., 46., 55., 60., 42., 44., 33., 82., 39., 50.],
        [43., 50., 58., 62., 44., 50., 47., 51., 52., 50.],
        [38., 45., 46., 44., 82., 50., 51., 48., 51., 55.]], device='cuda:0')
Train accuarcate: 93.65%



iteration:
  128
    0   964   bit_w:-1  loss: 0.19803
    1   882   bit_w:-1  loss: 0.19762
    2  1041   bit_w: 1  loss: 0.19749
    3   861   bit_w:-1  loss: 0.19710
    4  1175   bit_w: 1  loss: 0.19706
   4336   2262    579    964   4646   3395   4047   2747   4486   4998
      0     -1     -1     -1      0      0      0     -1      1      1
Train accuarcate: 94.20%
tensor([[49., 44., 52., 62., 40., 49., 31., 86., 40., 53.],
        [50., 54., 75., 61., 28., 52., 55., 39., 52., 33.],
        [39., 77., 62., 44., 51., 43., 50., 52., 52., 37.],
        [79., 43., 58., 41., 36., 49., 59., 50., 48., 56.],
        [44., 53., 46., 37., 83., 38., 55., 55., 48., 59.],
        [37., 82., 54., 48., 52., 39., 46., 54., 52., 42.],
        [32., 51., 33., 52., 79., 57., 45., 50., 55., 66.],
        [29., 46., 49., 53., 59., 56., 45., 47., 59., 76.],
        [54., 52., 55., 20., 54., 60., 67., 42., 51., 49.],
        [55., 38., 39., 49., 60., 46., 36., 67., 55., 82.],
        [85., 46., 58., 50., 44., 54., 54., 44., 52., 43.],
        [51., 56., 61., 40., 59., 40., 71., 44., 53., 38.],
        [44., 37., 39., 51., 64., 47., 39., 57., 53., 80.],
        [81., 31., 53., 52., 41., 53., 44., 52., 64., 48.],
        [25., 85., 50., 56., 46., 48., 48., 49., 54., 43.],
        [42., 48., 49., 66., 43., 69., 43., 50., 54., 51.],
        [45., 41., 42., 51., 63., 41., 38., 60., 52., 84.],
        [53., 47., 56., 61., 42., 44., 33., 83., 39., 50.],
        [43., 51., 59., 63., 44., 50., 47., 52., 52., 50.],
        [38., 45., 46., 44., 82., 50., 51., 48., 52., 56.]], device='cuda:0')
Train accuarcate: 93.73%



iteration:
  129
    0   960   bit_w:-1  loss: 0.19643
    1   324   bit_w:-1  loss: 0.19616
    2  1113   bit_w: 1  loss: 0.19601
    3   971   bit_w:-1  loss: 0.19584
    4  1048   bit_w: 1  loss: 0.19571
   5161   2805   4718   4551   3466   4277   4732   1988   3853   3553
      1     -1      1      0      1     -1      0     -1      0      0
Train accuarcate: 94.31%
tensor([[49., 45., 52., 62., 40., 50., 31., 87., 40., 53.],
        [51., 54., 76., 61., 29., 52., 55., 39., 52., 33.],
        [39., 78., 62., 44., 51., 44., 50., 53., 52., 37.],
        [79., 44., 58., 41., 36., 50., 59., 51., 48., 56.],
        [45., 53., 47., 37., 84., 38., 55., 55., 48., 59.],
        [37., 83., 54., 48., 52., 40., 46., 55., 52., 42.],
        [32., 52., 33., 52., 79., 58., 45., 51., 55., 66.],
        [30., 46., 50., 53., 60., 56., 45., 47., 59., 76.],
        [55., 52., 56., 20., 55., 60., 67., 42., 51., 49.],
        [56., 38., 40., 49., 61., 46., 36., 67., 55., 82.],
        [86., 46., 59., 50., 45., 54., 54., 44., 52., 43.],
        [51., 57., 61., 40., 59., 41., 71., 45., 53., 38.],
        [44., 38., 39., 51., 64., 48., 39., 58., 53., 80.],
        [82., 31., 54., 52., 42., 53., 44., 52., 64., 48.],
        [26., 85., 51., 56., 47., 48., 48., 49., 54., 43.],
        [42., 49., 49., 66., 43., 70., 43., 51., 54., 51.],
        [46., 41., 43., 51., 64., 41., 38., 60., 52., 84.],
        [54., 47., 57., 61., 43., 44., 33., 83., 39., 50.],
        [43., 52., 59., 63., 44., 51., 47., 53., 52., 50.],
        [39., 45., 47., 44., 83., 50., 51., 48., 52., 56.]], device='cuda:0')
Train accuarcate: 93.76%



iteration:
  130
    0   982   bit_w:-1  loss: 0.19518
    1  1057   bit_w: 1  loss: 0.19484
    2  1100   bit_w:-1  loss: 0.19472
    3   984   bit_w: 1  loss: 0.19442
    4   292   bit_w: 1  loss: 0.19436
   3308   5307   3557   2928   3877   2825   4957   3192   4512   2741
     -1      0      0      1      0      0      1      1     -1     -1
Train accuarcate: 94.32%
tensor([[50., 45., 52., 62., 40., 50., 31., 87., 41., 54.],
        [52., 54., 76., 61., 29., 52., 55., 39., 53., 34.],
        [39., 78., 62., 45., 51., 44., 51., 54., 52., 37.],
        [79., 44., 58., 42., 36., 50., 60., 52., 48., 56.],
        [45., 53., 47., 38., 84., 38., 56., 56., 48., 59.],
        [37., 83., 54., 49., 52., 40., 47., 56., 52., 42.],
        [33., 52., 33., 52., 79., 58., 45., 51., 56., 67.],
        [30., 46., 50., 54., 60., 56., 46., 48., 59., 76.],
        [56., 52., 56., 20., 55., 60., 67., 42., 52., 50.],
        [56., 38., 40., 50., 61., 46., 37., 68., 55., 82.],
        [87., 46., 59., 50., 45., 54., 54., 44., 53., 44.],
        [51., 57., 61., 41., 59., 41., 72., 46., 53., 38.],
        [45., 38., 39., 51., 64., 48., 39., 58., 54., 81.],
        [82., 31., 54., 53., 42., 53., 45., 53., 64., 48.],
        [27., 85., 51., 56., 47., 48., 48., 49., 55., 44.],
        [43., 49., 49., 66., 43., 70., 43., 51., 55., 52.],
        [46., 41., 43., 52., 64., 41., 39., 61., 52., 84.],
        [55., 47., 57., 61., 43., 44., 33., 83., 40., 51.],
        [44., 52., 59., 63., 44., 51., 47., 53., 53., 51.],
        [40., 45., 47., 44., 83., 50., 51., 48., 53., 57.]], device='cuda:0')
Train accuarcate: 93.71%



iteration:
  131
    0  1112   bit_w:-1  loss: 0.19380
    1  1042   bit_w: 1  loss: 0.19349
    2  1095   bit_w:-1  loss: 0.19348
    3  1113   bit_w: 1  loss: 0.19294
    4  1063   bit_w:-1  loss: 0.19294
   3982   6003   5374   5554   1436   1676   2575   4765   4122   3880
      1      0      1      1     -1     -1      0      0      0      1
Train accuarcate: 94.33%
tensor([[51., 45., 53., 63., 40., 50., 31., 87., 41., 55.],
        [53., 54., 77., 62., 29., 52., 55., 39., 53., 35.],
        [40., 78., 63., 46., 51., 44., 51., 54., 52., 38.],
        [80., 44., 59., 43., 36., 50., 60., 52., 48., 57.],
        [45., 53., 47., 38., 85., 39., 56., 56., 48., 59.],
        [38., 83., 55., 50., 52., 40., 47., 56., 52., 43.],
        [33., 52., 33., 52., 80., 59., 45., 51., 56., 67.],
        [31., 46., 51., 55., 60., 56., 46., 48., 59., 77.],
        [56., 52., 56., 20., 56., 61., 67., 42., 52., 50.],
        [57., 38., 41., 51., 61., 46., 37., 68., 55., 83.],
        [88., 46., 60., 51., 45., 54., 54., 44., 53., 45.],
        [51., 57., 61., 41., 60., 42., 72., 46., 53., 38.],
        [46., 38., 40., 52., 64., 48., 39., 58., 54., 82.],
        [82., 31., 54., 53., 43., 54., 45., 53., 64., 48.],
        [28., 85., 52., 57., 47., 48., 48., 49., 55., 45.],
        [44., 49., 50., 67., 43., 70., 43., 51., 55., 53.],
        [47., 41., 44., 53., 64., 41., 39., 61., 52., 85.],
        [56., 47., 58., 62., 43., 44., 33., 83., 40., 52.],
        [45., 52., 60., 64., 44., 51., 47., 53., 53., 52.],
        [40., 45., 47., 44., 84., 51., 51., 48., 53., 57.]], device='cuda:0')
Train accuarcate: 93.89%



iteration:
  132
    0   961   bit_w:-1  loss: 0.19217
    1  1126   bit_w: 1  loss: 0.19190
    2  1065   bit_w:-1  loss: 0.19180
    3   869   bit_w: 1  loss: 0.19146
    4   878   bit_w: 1  loss: 0.19148
   2051   3507   3209   4587   1853   3905   1357    831   4457   1938
      0      1      0      0      0      1     -1     -1      1      0
Train accuarcate: 94.41%
tensor([[51., 45., 53., 63., 40., 50., 32., 88., 41., 55.],
        [53., 55., 77., 62., 29., 53., 55., 39., 54., 35.],
        [40., 78., 63., 46., 51., 44., 52., 55., 52., 38.],
        [80., 44., 59., 43., 36., 50., 61., 53., 48., 57.],
        [45., 54., 47., 38., 85., 40., 56., 56., 49., 59.],
        [38., 83., 55., 50., 52., 40., 48., 57., 52., 43.],
        [33., 53., 33., 52., 80., 60., 45., 51., 57., 67.],
        [31., 46., 51., 55., 60., 56., 47., 49., 59., 77.],
        [56., 52., 56., 20., 56., 61., 68., 43., 52., 50.],
        [57., 38., 41., 51., 61., 46., 38., 69., 55., 83.],
        [88., 46., 60., 51., 45., 54., 55., 45., 53., 45.],
        [51., 57., 61., 41., 60., 42., 73., 47., 53., 38.],
        [46., 38., 40., 52., 64., 48., 40., 59., 54., 82.],
        [82., 32., 54., 53., 43., 55., 45., 53., 65., 48.],
        [28., 86., 52., 57., 47., 49., 48., 49., 56., 45.],
        [44., 50., 50., 67., 43., 71., 43., 51., 56., 53.],
        [47., 42., 44., 53., 64., 42., 39., 61., 53., 85.],
        [56., 47., 58., 62., 43., 44., 34., 84., 40., 52.],
        [45., 52., 60., 64., 44., 51., 48., 54., 53., 52.],
        [40., 45., 47., 44., 84., 51., 52., 49., 53., 57.]], device='cuda:0')
Train accuarcate: 93.95%



iteration:
  133
    0  1046   bit_w:-1  loss: 0.19106
    1  1071   bit_w: 1  loss: 0.19069
    2   963   bit_w:-1  loss: 0.19079
    3  1053   bit_w:-1  loss: 0.19028
    4   572   bit_w: 1  loss: 0.19060
   2859   1644   3241   1629   1331   2893   5146   2162   3271   1205
      0     -1      1     -1     -1      1      1      0      1      0
Train accuarcate: 94.41%
tensor([[51., 46., 53., 64., 41., 50., 32., 88., 41., 55.],
        [53., 55., 78., 62., 29., 54., 56., 39., 55., 35.],
        [40., 78., 64., 46., 51., 45., 53., 55., 53., 38.],
        [80., 45., 59., 44., 37., 50., 61., 53., 48., 57.],
        [45., 55., 47., 39., 86., 40., 56., 56., 49., 59.],
        [38., 83., 56., 50., 52., 41., 49., 57., 53., 43.],
        [33., 54., 33., 53., 81., 60., 45., 51., 57., 67.],
        [31., 47., 51., 56., 61., 56., 47., 49., 59., 77.],
        [56., 52., 57., 20., 56., 62., 69., 43., 53., 50.],
        [57., 38., 42., 51., 61., 47., 39., 69., 56., 83.],
        [88., 47., 60., 52., 46., 54., 55., 45., 53., 45.],
        [51., 57., 62., 41., 60., 43., 74., 47., 54., 38.],
        [46., 39., 40., 53., 65., 48., 40., 59., 54., 82.],
        [82., 32., 55., 53., 43., 56., 46., 53., 66., 48.],
        [28., 87., 52., 58., 48., 49., 48., 49., 56., 45.],
        [44., 50., 51., 67., 43., 72., 44., 51., 57., 53.],
        [47., 43., 44., 54., 65., 42., 39., 61., 53., 85.],
        [56., 48., 58., 63., 44., 44., 34., 84., 40., 52.],
        [45., 52., 61., 64., 44., 52., 49., 54., 54., 52.],
        [40., 46., 47., 45., 85., 51., 52., 49., 53., 57.]], device='cuda:0')
Train accuarcate: 93.95%



iteration:
  134
    0  1164   bit_w:-1  loss: 0.19003
    1  1112   bit_w: 1  loss: 0.18988
    2  1021   bit_w:-1  loss: 0.18973
    3  1137   bit_w: 1  loss: 0.18954
    4  1171   bit_w:-1  loss: 0.18945
    605    527   1957   1630   2684   1405    747   2691   1808   1877
     -1      0      0      0      0      1      0      1      1     -1
Train accuarcate: 94.42%
tensor([[51., 46., 53., 64., 41., 51., 32., 89., 42., 55.],
        [53., 55., 78., 62., 29., 55., 56., 40., 56., 35.],
        [41., 78., 64., 46., 51., 45., 53., 55., 53., 39.],
        [81., 45., 59., 44., 37., 50., 61., 53., 48., 58.],
        [46., 55., 47., 39., 86., 40., 56., 56., 49., 60.],
        [39., 83., 56., 50., 52., 41., 49., 57., 53., 44.],
        [33., 54., 33., 53., 81., 61., 45., 52., 58., 67.],
        [32., 47., 51., 56., 61., 56., 47., 49., 59., 78.],
        [56., 52., 57., 20., 56., 63., 69., 44., 54., 50.],
        [58., 38., 42., 51., 61., 47., 39., 69., 56., 84.],
        [89., 47., 60., 52., 46., 54., 55., 45., 53., 46.],
        [52., 57., 62., 41., 60., 43., 74., 47., 54., 39.],
        [47., 39., 40., 53., 65., 48., 40., 59., 54., 83.],
        [83., 32., 55., 53., 43., 56., 46., 53., 66., 49.],
        [29., 87., 52., 58., 48., 49., 48., 49., 56., 46.],
        [45., 50., 51., 67., 43., 72., 44., 51., 57., 54.],
        [47., 43., 44., 54., 65., 43., 39., 62., 54., 85.],
        [57., 48., 58., 63., 44., 44., 34., 84., 40., 53.],
        [46., 52., 61., 64., 44., 52., 49., 54., 54., 53.],
        [40., 46., 47., 45., 85., 52., 52., 50., 54., 57.]], device='cuda:0')
Train accuarcate: 93.93%



iteration:
  135
    0  1038   bit_w:-1  loss: 0.18906
    1  1122   bit_w: 1  loss: 0.18873
    2  1107   bit_w:-1  loss: 0.18888
    3  1049   bit_w: 1  loss: 0.18834
    4  1123   bit_w:-1  loss: 0.18867
    548    292   3869   3203   2548   1211   2259   2164   2369   3575
      0      0      1      1     -1      0      0     -1      0      1
Train accuarcate: 94.46%
tensor([[51., 46., 53., 64., 42., 51., 32., 90., 42., 55.],
        [53., 55., 79., 63., 29., 55., 56., 40., 56., 36.],
        [41., 78., 64., 46., 52., 45., 53., 56., 53., 39.],
        [81., 45., 59., 44., 38., 50., 61., 54., 48., 58.],
        [46., 55., 47., 39., 87., 40., 56., 57., 49., 60.],
        [39., 83., 56., 50., 53., 41., 49., 58., 53., 44.],
        [33., 54., 34., 54., 81., 61., 45., 52., 58., 68.],
        [32., 47., 52., 57., 61., 56., 47., 49., 59., 79.],
        [56., 52., 58., 21., 56., 63., 69., 44., 54., 51.],
        [58., 38., 43., 52., 61., 47., 39., 69., 56., 85.],
        [89., 47., 60., 52., 47., 54., 55., 46., 53., 46.],
        [52., 57., 62., 41., 61., 43., 74., 48., 54., 39.],
        [47., 39., 41., 54., 65., 48., 40., 59., 54., 84.],
        [83., 32., 56., 54., 43., 56., 46., 53., 66., 50.],
        [29., 87., 52., 58., 49., 49., 48., 50., 56., 46.],
        [45., 50., 51., 67., 44., 72., 44., 52., 57., 54.],
        [47., 43., 44., 54., 66., 43., 39., 63., 54., 85.],
        [57., 48., 58., 63., 45., 44., 34., 85., 40., 53.],
        [46., 52., 62., 65., 44., 52., 49., 54., 54., 54.],
        [40., 46., 48., 46., 85., 52., 52., 50., 54., 58.]], device='cuda:0')
Train accuarcate: 94.09%



iteration:
  136
    0  1048   bit_w:-1  loss: 0.18820
    1  1009   bit_w: 1  loss: 0.18794
    2  1046   bit_w:-1  loss: 0.18802
    3  1158   bit_w: 1  loss: 0.18746
    4  1012   bit_w:-1  loss: 0.18784
   3230   5766   3337   2849   2610   4512   4920   3149   3761   3470
      0      0     -1     -1      0      1      0     -1      1     -1
Train accuarcate: 94.48%
tensor([[51., 46., 53., 64., 42., 52., 32., 90., 43., 55.],
        [53., 55., 79., 63., 29., 56., 56., 40., 57., 36.],
        [41., 78., 64., 46., 52., 46., 53., 56., 54., 39.],
        [81., 45., 59., 44., 38., 51., 61., 54., 49., 58.],
        [46., 55., 47., 39., 87., 41., 56., 57., 50., 60.],
        [39., 83., 56., 50., 53., 42., 49., 58., 54., 44.],
        [33., 54., 34., 54., 81., 62., 45., 52., 59., 68.],
        [32., 47., 52., 57., 61., 57., 47., 49., 60., 79.],
        [56., 52., 58., 21., 56., 64., 69., 44., 55., 51.],
        [58., 38., 43., 52., 61., 48., 39., 69., 57., 85.],
        [89., 47., 61., 53., 47., 54., 55., 47., 53., 47.],
        [52., 57., 62., 41., 61., 44., 74., 48., 55., 39.],
        [47., 39., 42., 55., 65., 48., 40., 60., 54., 85.],
        [83., 32., 56., 54., 43., 57., 46., 53., 67., 50.],
        [29., 87., 52., 58., 49., 50., 48., 50., 57., 46.],
        [45., 50., 51., 67., 44., 73., 44., 52., 58., 54.],
        [47., 43., 44., 54., 66., 44., 39., 63., 55., 85.],
        [57., 48., 59., 64., 45., 44., 34., 86., 40., 54.],
        [46., 52., 62., 65., 44., 53., 49., 54., 55., 54.],
        [40., 46., 49., 47., 85., 52., 52., 51., 54., 59.]], device='cuda:0')
Train accuarcate: 94.11%



iteration:
  137
    0   408   bit_w:-1  loss: 0.18715
    1   939   bit_w: 1  loss: 0.18698
    2   912   bit_w:-1  loss: 0.18699
    3   937   bit_w:-1  loss: 0.18687
    4  1118   bit_w: 1  loss: 0.18685
   5650   4803   2700   2566    777   3669   1692   4264   2772   2351
      1     -1      0      0     -1      0     -1      0      0      0
Train accuarcate: 94.45%
tensor([[52., 46., 53., 64., 42., 52., 32., 90., 43., 55.],
        [54., 55., 79., 63., 29., 56., 56., 40., 57., 36.],
        [42., 78., 64., 46., 52., 46., 53., 56., 54., 39.],
        [82., 45., 59., 44., 38., 51., 61., 54., 49., 58.],
        [47., 55., 47., 39., 87., 41., 56., 57., 50., 60.],
        [40., 83., 56., 50., 53., 42., 49., 58., 54., 44.],
        [33., 55., 34., 54., 82., 62., 46., 52., 59., 68.],
        [32., 48., 52., 57., 62., 57., 48., 49., 60., 79.],
        [57., 52., 58., 21., 56., 64., 69., 44., 55., 51.],
        [58., 39., 43., 52., 62., 48., 40., 69., 57., 85.],
        [90., 47., 61., 53., 47., 54., 55., 47., 53., 47.],
        [52., 58., 62., 41., 62., 44., 75., 48., 55., 39.],
        [48., 39., 42., 55., 65., 48., 40., 60., 54., 85.],
        [84., 32., 56., 54., 43., 57., 46., 53., 67., 50.],
        [30., 87., 52., 58., 49., 50., 48., 50., 57., 46.],
        [46., 50., 51., 67., 44., 73., 44., 52., 58., 54.],
        [48., 43., 44., 54., 66., 44., 39., 63., 55., 85.],
        [58., 48., 59., 64., 45., 44., 34., 86., 40., 54.],
        [46., 53., 62., 65., 45., 53., 50., 54., 55., 54.],
        [40., 47., 49., 47., 86., 52., 53., 51., 54., 59.]], device='cuda:0')
Train accuarcate: 94.17%



iteration:
  138
    0  1073   bit_w:-1  loss: 0.18647
    1  1155   bit_w:-1  loss: 0.18618
    2  1035   bit_w:-1  loss: 0.18616
    3  1127   bit_w:-1  loss: 0.18577
    4   787   bit_w:-1  loss: 0.18589
   3713    585   4105   3326    720   1813   2159   1023   2691    991
      0     -1      1      1      0      0     -1      0      1      1
Train accuarcate: 94.50%
tensor([[52., 47., 53., 64., 42., 52., 33., 90., 43., 55.],
        [54., 56., 79., 63., 29., 56., 57., 40., 57., 36.],
        [42., 79., 64., 46., 52., 46., 54., 56., 54., 39.],
        [82., 45., 60., 45., 38., 51., 61., 54., 50., 59.],
        [47., 56., 47., 39., 87., 41., 57., 57., 50., 60.],
        [40., 84., 56., 50., 53., 42., 50., 58., 54., 44.],
        [33., 56., 34., 54., 82., 62., 47., 52., 59., 68.],
        [32., 48., 53., 58., 62., 57., 48., 49., 61., 80.],
        [57., 53., 58., 21., 56., 64., 70., 44., 55., 51.],
        [58., 40., 43., 52., 62., 48., 41., 69., 57., 85.],
        [90., 48., 61., 53., 47., 54., 56., 47., 53., 47.],
        [52., 59., 62., 41., 62., 44., 76., 48., 55., 39.],
        [48., 40., 42., 55., 65., 48., 41., 60., 54., 85.],
        [84., 33., 56., 54., 43., 57., 47., 53., 67., 50.],
        [30., 88., 52., 58., 49., 50., 49., 50., 57., 46.],
        [46., 51., 51., 67., 44., 73., 45., 52., 58., 54.],
        [48., 44., 44., 54., 66., 44., 40., 63., 55., 85.],
        [58., 49., 59., 64., 45., 44., 35., 86., 40., 54.],
        [46., 53., 63., 66., 45., 53., 50., 54., 56., 55.],
        [40., 48., 49., 47., 86., 52., 54., 51., 54., 59.]], device='cuda:0')
Train accuarcate: 94.23%



iteration:
  139
    0  1070   bit_w:-1  loss: 0.18551
    1  1019   bit_w:-1  loss: 0.18520
    2   516   bit_w: 1  loss: 0.18530
    3   487   bit_w:-1  loss: 0.18493
    4  1008   bit_w: 1  loss: 0.18489
   3508   6609   4066   4620   3202   4174   4306   5256   2925   3194
      0      1     -1      0      0      1      0      1     -1     -1
Train accuarcate: 94.55%
tensor([[52., 48., 53., 64., 42., 53., 33., 91., 43., 55.],
        [54., 56., 80., 63., 29., 56., 57., 40., 58., 37.],
        [42., 80., 64., 46., 52., 47., 54., 57., 54., 39.],
        [82., 46., 60., 45., 38., 52., 61., 55., 50., 59.],
        [47., 56., 48., 39., 87., 41., 57., 57., 51., 61.],
        [40., 85., 56., 50., 53., 43., 50., 59., 54., 44.],
        [33., 56., 35., 54., 82., 62., 47., 52., 60., 69.],
        [32., 48., 54., 58., 62., 57., 48., 49., 62., 81.],
        [57., 54., 58., 21., 56., 65., 70., 45., 55., 51.],
        [58., 40., 44., 52., 62., 48., 41., 69., 58., 86.],
        [90., 49., 61., 53., 47., 55., 56., 48., 53., 47.],
        [52., 60., 62., 41., 62., 45., 76., 49., 55., 39.],
        [48., 41., 42., 55., 65., 49., 41., 61., 54., 85.],
        [84., 34., 56., 54., 43., 58., 47., 54., 67., 50.],
        [30., 89., 52., 58., 49., 51., 49., 51., 57., 46.],
        [46., 52., 51., 67., 44., 74., 45., 53., 58., 54.],
        [48., 44., 45., 54., 66., 44., 40., 63., 56., 86.],
        [58., 50., 59., 64., 45., 45., 35., 87., 40., 54.],
        [46., 54., 63., 66., 45., 54., 50., 55., 56., 55.],
        [40., 49., 49., 47., 86., 53., 54., 52., 54., 59.]], device='cuda:0')
Train accuarcate: 94.19%



iteration:
  140
    0   812   bit_w:-1  loss: 0.18431
    1  1069   bit_w: 1  loss: 0.18405
    2  1038   bit_w:-1  loss: 0.18396
    3  1162   bit_w: 1  loss: 0.18370
    4   546   bit_w: 1  loss: 0.18365
    800   6419   4247   5295   3847   3919   3515   4139   4394   4296
     -1      0      1      1      1      0      0      0      0     -1
Train accuarcate: 94.63%
tensor([[52., 48., 54., 65., 43., 53., 33., 91., 43., 55.],
        [54., 56., 81., 64., 30., 56., 57., 40., 58., 37.],
        [42., 80., 65., 47., 53., 47., 54., 57., 54., 39.],
        [82., 46., 61., 46., 39., 52., 61., 55., 50., 59.],
        [48., 56., 48., 39., 87., 41., 57., 57., 51., 62.],
        [40., 85., 57., 51., 54., 43., 50., 59., 54., 44.],
        [33., 56., 36., 55., 83., 62., 47., 52., 60., 69.],
        [32., 48., 55., 59., 63., 57., 48., 49., 62., 81.],
        [57., 54., 59., 22., 57., 65., 70., 45., 55., 51.],
        [58., 40., 45., 53., 63., 48., 41., 69., 58., 86.],
        [91., 49., 61., 53., 47., 55., 56., 48., 53., 48.],
        [53., 60., 62., 41., 62., 45., 76., 49., 55., 40.],
        [48., 41., 43., 56., 66., 49., 41., 61., 54., 85.],
        [84., 34., 57., 55., 44., 58., 47., 54., 67., 50.],
        [30., 89., 53., 59., 50., 51., 49., 51., 57., 46.],
        [47., 52., 51., 67., 44., 74., 45., 53., 58., 55.],
        [49., 44., 45., 54., 66., 44., 40., 63., 56., 87.],
        [59., 50., 59., 64., 45., 45., 35., 87., 40., 55.],
        [46., 54., 64., 67., 46., 54., 50., 55., 56., 55.],
        [40., 49., 50., 48., 87., 53., 54., 52., 54., 59.]], device='cuda:0')
Train accuarcate: 94.29%



iteration:
  141
    0  1111   bit_w:-1  loss: 0.18321
    1  1022   bit_w: 1  loss: 0.18291
    2  1065   bit_w:-1  loss: 0.18303
    3  1148   bit_w: 1  loss: 0.18263
    4  1069   bit_w:-1  loss: 0.18288
   3061   2672   2384   1267   2868   1793   2987    344   2753    865
      0      1      0      0      1      0      1      0      1      0
Train accuarcate: 94.62%
tensor([[52., 48., 54., 65., 43., 53., 33., 91., 43., 55.],
        [54., 56., 81., 64., 30., 56., 57., 40., 58., 37.],
        [42., 80., 65., 47., 53., 47., 54., 57., 54., 39.],
        [82., 46., 61., 46., 39., 52., 61., 55., 50., 59.],
        [48., 57., 48., 39., 88., 41., 58., 57., 52., 62.],
        [40., 85., 57., 51., 54., 43., 50., 59., 54., 44.],
        [33., 57., 36., 55., 84., 62., 48., 52., 61., 69.],
        [32., 48., 55., 59., 63., 57., 48., 49., 62., 81.],
        [57., 55., 59., 22., 58., 65., 71., 45., 56., 51.],
        [58., 40., 45., 53., 63., 48., 41., 69., 58., 86.],
        [91., 50., 61., 53., 48., 55., 57., 48., 54., 48.],
        [53., 61., 62., 41., 63., 45., 77., 49., 56., 40.],
        [48., 41., 43., 56., 66., 49., 41., 61., 54., 85.],
        [84., 34., 57., 55., 44., 58., 47., 54., 67., 50.],
        [30., 90., 53., 59., 51., 51., 50., 51., 58., 46.],
        [47., 53., 51., 67., 45., 74., 46., 53., 59., 55.],
        [49., 45., 45., 54., 67., 44., 41., 63., 57., 87.],
        [59., 50., 59., 64., 45., 45., 35., 87., 40., 55.],
        [46., 54., 64., 67., 46., 54., 50., 55., 56., 55.],
        [40., 49., 50., 48., 87., 53., 54., 52., 54., 59.]], device='cuda:0')
Train accuarcate: 94.32%



iteration:
  142
    0   990   bit_w:-1  loss: 0.18249
    1   972   bit_w: 1  loss: 0.18215
    2  1007   bit_w:-1  loss: 0.18230
    3  1140   bit_w:-1  loss: 0.18178
    4  1015   bit_w: 1  loss: 0.18208
   5299   4866   2947   2745   3835   4851   5144   3252   4098   4723
      0      0     -1     -1      0      1      1     -1     -1      1
Train accuarcate: 94.66%
tensor([[52., 48., 54., 65., 43., 54., 34., 91., 43., 56.],
        [54., 56., 82., 65., 30., 56., 57., 41., 59., 37.],
        [42., 80., 65., 47., 53., 48., 55., 57., 54., 40.],
        [82., 46., 61., 46., 39., 53., 62., 55., 50., 60.],
        [48., 57., 48., 39., 88., 42., 59., 57., 52., 63.],
        [40., 85., 57., 51., 54., 44., 51., 59., 54., 45.],
        [33., 57., 37., 56., 84., 62., 48., 53., 62., 69.],
        [32., 48., 55., 59., 63., 58., 49., 49., 62., 82.],
        [57., 55., 59., 22., 58., 66., 72., 45., 56., 52.],
        [58., 40., 46., 54., 63., 48., 41., 70., 59., 86.],
        [91., 50., 61., 53., 48., 56., 58., 48., 54., 49.],
        [53., 61., 62., 41., 63., 46., 78., 49., 56., 41.],
        [48., 41., 43., 56., 66., 50., 42., 61., 54., 86.],
        [84., 34., 57., 55., 44., 59., 48., 54., 67., 51.],
        [30., 90., 53., 59., 51., 52., 51., 51., 58., 47.],
        [47., 53., 51., 67., 45., 75., 47., 53., 59., 56.],
        [49., 45., 45., 54., 67., 45., 42., 63., 57., 88.],
        [59., 50., 59., 64., 45., 46., 36., 87., 40., 56.],
        [46., 54., 64., 67., 46., 55., 51., 55., 56., 56.],
        [40., 49., 51., 49., 87., 53., 54., 53., 55., 59.]], device='cuda:0')
Train accuarcate: 94.21%



iteration:
  143
    0   905   bit_w:-1  loss: 0.18148
    1   831   bit_w:-1  loss: 0.18113
    2  1119   bit_w: 1  loss: 0.18110
    3   664   bit_w: 1  loss: 0.18089
    4  1182   bit_w: 1  loss: 0.18094
    336   5896   4553   4987   5318   4436   3602   1173   5223   5182
     -1     -1      0      1      1      0     -1     -1     -1      0
Train accuarcate: 94.69%
tensor([[53., 49., 54., 65., 43., 54., 35., 92., 44., 56.],
        [54., 56., 82., 66., 31., 56., 57., 41., 59., 37.],
        [42., 80., 65., 48., 54., 48., 55., 57., 54., 40.],
        [83., 47., 61., 46., 39., 53., 63., 56., 51., 60.],
        [49., 58., 48., 39., 88., 42., 60., 58., 53., 63.],
        [40., 85., 57., 52., 55., 44., 51., 59., 54., 45.],
        [33., 57., 37., 57., 85., 62., 48., 53., 62., 69.],
        [32., 48., 55., 60., 64., 58., 49., 49., 62., 82.],
        [58., 56., 59., 22., 58., 66., 73., 46., 57., 52.],
        [58., 40., 46., 55., 64., 48., 41., 70., 59., 86.],
        [92., 51., 61., 53., 48., 56., 59., 49., 55., 49.],
        [53., 61., 62., 42., 64., 46., 78., 49., 56., 41.],
        [48., 41., 43., 57., 67., 50., 42., 61., 54., 86.],
        [85., 35., 57., 55., 44., 59., 49., 55., 68., 51.],
        [30., 90., 53., 60., 52., 52., 51., 51., 58., 47.],
        [48., 54., 51., 67., 45., 75., 48., 54., 60., 56.],
        [49., 45., 45., 55., 68., 45., 42., 63., 57., 88.],
        [60., 51., 59., 64., 45., 46., 37., 88., 41., 56.],
        [46., 54., 64., 68., 47., 55., 51., 55., 56., 56.],
        [40., 49., 51., 50., 88., 53., 54., 53., 55., 59.]], device='cuda:0')
Train accuarcate: 94.31%



iteration:
  144
    0  1103   bit_w:-1  loss: 0.18055
    1   927   bit_w:-1  loss: 0.18017
    2  1032   bit_w:-1  loss: 0.18017
    3  1172   bit_w: 1  loss: 0.17994
    4   936   bit_w:-1  loss: 0.17991
   1486    566   2048   1451   3678   3128   4102   1305   2205   1699
     -1     -1     -1      0      0      1      1      0      1      0
Train accuarcate: 94.71%
tensor([[54., 50., 55., 65., 43., 54., 35., 92., 44., 56.],
        [55., 57., 83., 66., 31., 56., 57., 41., 59., 37.],
        [43., 81., 66., 48., 54., 48., 55., 57., 54., 40.],
        [84., 48., 62., 46., 39., 53., 63., 56., 51., 60.],
        [49., 58., 48., 39., 88., 43., 61., 58., 54., 63.],
        [41., 86., 58., 52., 55., 44., 51., 59., 54., 45.],
        [34., 58., 38., 57., 85., 62., 48., 53., 62., 69.],
        [33., 49., 56., 60., 64., 58., 49., 49., 62., 82.],
        [58., 56., 59., 22., 58., 67., 74., 46., 58., 52.],
        [58., 40., 46., 55., 64., 49., 42., 70., 60., 86.],
        [92., 51., 61., 53., 48., 57., 60., 49., 56., 49.],
        [53., 61., 62., 42., 64., 47., 79., 49., 57., 41.],
        [49., 42., 44., 57., 67., 50., 42., 61., 54., 86.],
        [86., 36., 58., 55., 44., 59., 49., 55., 68., 51.],
        [30., 90., 53., 60., 52., 53., 52., 51., 59., 47.],
        [48., 54., 51., 67., 45., 76., 49., 54., 61., 56.],
        [49., 45., 45., 55., 68., 46., 43., 63., 58., 88.],
        [61., 52., 60., 64., 45., 46., 37., 88., 41., 56.],
        [47., 55., 65., 68., 47., 55., 51., 55., 56., 56.],
        [40., 49., 51., 50., 88., 54., 55., 53., 56., 59.]], device='cuda:0')
Train accuarcate: 94.32%



iteration:
  145
    0   928   bit_w:-1  loss: 0.17946
    1  1078   bit_w:-1  loss: 0.17919
    2  1079   bit_w:-1  loss: 0.17917
    3   986   bit_w: 1  loss: 0.17897
    4  1073   bit_w: 1  loss: 0.17900
   4750   2663   3854   3851   1942   4319   5066   1907   3949   1854
      1      0      0     -1      1      0      0     -1     -1     -1
Train accuarcate: 94.74%
tensor([[54., 50., 55., 66., 43., 54., 35., 93., 45., 57.],
        [56., 57., 83., 66., 32., 56., 57., 41., 59., 37.],
        [43., 81., 66., 49., 54., 48., 55., 58., 55., 41.],
        [85., 48., 62., 46., 40., 53., 63., 56., 51., 60.],
        [50., 58., 48., 39., 89., 43., 61., 58., 54., 63.],
        [41., 86., 58., 53., 55., 44., 51., 60., 55., 46.],
        [35., 58., 38., 57., 86., 62., 48., 53., 62., 69.],
        [33., 49., 56., 61., 64., 58., 49., 50., 63., 83.],
        [58., 56., 59., 23., 58., 67., 74., 47., 59., 53.],
        [59., 40., 46., 55., 65., 49., 42., 70., 60., 86.],
        [93., 51., 61., 53., 49., 57., 60., 49., 56., 49.],
        [54., 61., 62., 42., 65., 47., 79., 49., 57., 41.],
        [50., 42., 44., 57., 68., 50., 42., 61., 54., 86.],
        [86., 36., 58., 56., 44., 59., 49., 56., 69., 52.],
        [31., 90., 53., 60., 53., 53., 52., 51., 59., 47.],
        [49., 54., 51., 67., 46., 76., 49., 54., 61., 56.],
        [49., 45., 45., 56., 68., 46., 43., 64., 59., 89.],
        [62., 52., 60., 64., 46., 46., 37., 88., 41., 56.],
        [48., 55., 65., 68., 48., 55., 51., 55., 56., 56.],
        [40., 49., 51., 51., 88., 54., 55., 54., 57., 60.]], device='cuda:0')
Train accuarcate: 94.31%



iteration:
  146
    0  1018   bit_w:-1  loss: 0.17861
    1  1164   bit_w:-1  loss: 0.17833
    2  1144   bit_w: 1  loss: 0.17843
    3  1085   bit_w:-1  loss: 0.17800
    4  1136   bit_w:-1  loss: 0.17822
    993    518   2127   2613   1678    631    928   3121   1705    971
      0      0      0      1      1     -1      0      1      1     -1
Train accuarcate: 94.75%
tensor([[54., 50., 55., 67., 44., 54., 35., 94., 46., 57.],
        [56., 57., 83., 67., 33., 56., 57., 42., 60., 37.],
        [43., 81., 66., 49., 54., 49., 55., 58., 55., 42.],
        [85., 48., 62., 46., 40., 54., 63., 56., 51., 61.],
        [50., 58., 48., 40., 90., 43., 61., 59., 55., 63.],
        [41., 86., 58., 53., 55., 45., 51., 60., 55., 47.],
        [35., 58., 38., 57., 86., 63., 48., 53., 62., 70.],
        [33., 49., 56., 61., 64., 59., 49., 50., 63., 84.],
        [58., 56., 59., 23., 58., 68., 74., 47., 59., 54.],
        [59., 40., 46., 56., 66., 49., 42., 71., 61., 86.],
        [93., 51., 61., 54., 50., 57., 60., 50., 57., 49.],
        [54., 61., 62., 42., 65., 48., 79., 49., 57., 42.],
        [50., 42., 44., 57., 68., 51., 42., 61., 54., 87.],
        [86., 36., 58., 56., 44., 60., 49., 56., 69., 53.],
        [31., 90., 53., 60., 53., 54., 52., 51., 59., 48.],
        [49., 54., 51., 67., 46., 77., 49., 54., 61., 57.],
        [49., 45., 45., 56., 68., 47., 43., 64., 59., 90.],
        [62., 52., 60., 64., 46., 47., 37., 88., 41., 57.],
        [48., 55., 65., 69., 49., 55., 51., 56., 57., 56.],
        [40., 49., 51., 51., 88., 55., 55., 54., 57., 61.]], device='cuda:0')
Train accuarcate: 94.40%



iteration:
  147
    0  1142   bit_w:-1  loss: 0.17776
    1   964   bit_w: 1  loss: 0.17758
    2   976   bit_w:-1  loss: 0.17753
    3   968   bit_w:-1  loss: 0.17725
    4   372   bit_w:-1  loss: 0.17728
   1158   4542   4327   5281    855   3528   1554   4825   1770   2044
     -1      0      1      0     -1      0     -1     -1     -1      1
Train accuarcate: 94.74%
tensor([[54., 50., 56., 67., 44., 54., 35., 94., 46., 58.],
        [56., 57., 84., 67., 33., 56., 57., 42., 60., 38.],
        [43., 81., 67., 49., 54., 49., 55., 58., 55., 43.],
        [86., 48., 62., 46., 41., 54., 64., 57., 52., 61.],
        [51., 58., 48., 40., 91., 43., 62., 60., 56., 63.],
        [41., 86., 59., 53., 55., 45., 51., 60., 55., 48.],
        [35., 58., 39., 57., 86., 63., 48., 53., 62., 71.],
        [34., 49., 56., 61., 65., 59., 50., 51., 64., 84.],
        [59., 56., 59., 23., 59., 68., 75., 48., 60., 54.],
        [60., 40., 46., 56., 67., 49., 43., 72., 62., 86.],
        [94., 51., 61., 54., 51., 57., 61., 51., 58., 49.],
        [55., 61., 62., 42., 66., 48., 80., 50., 58., 42.],
        [51., 42., 44., 57., 69., 51., 43., 62., 55., 87.],
        [87., 36., 58., 56., 45., 60., 50., 57., 70., 53.],
        [31., 90., 54., 60., 53., 54., 52., 51., 59., 49.],
        [49., 54., 52., 67., 46., 77., 49., 54., 61., 58.],
        [50., 45., 45., 56., 69., 47., 44., 65., 60., 90.],
        [62., 52., 61., 64., 46., 47., 37., 88., 41., 58.],
        [48., 55., 66., 69., 49., 55., 51., 56., 57., 57.],
        [41., 49., 51., 51., 89., 55., 56., 55., 58., 61.]], device='cuda:0')
Train accuarcate: 94.25%



iteration:
  148
    0   929   bit_w:-1  loss: 0.17668
    1  1163   bit_w: 1  loss: 0.17658
    2  1111   bit_w:-1  loss: 0.17646
    3  1059   bit_w:-1  loss: 0.17625
    4   379   bit_w: 1  loss: 0.17627
   1475   6173   2257   4080   1867   2517   2798    847   4218   2612
      0      1     -1     -1      0     -1      1      0      1      0
Train accuarcate: 94.81%
tensor([[54., 50., 57., 68., 44., 55., 35., 94., 46., 58.],
        [56., 58., 84., 67., 33., 56., 58., 42., 61., 38.],
        [43., 82., 67., 49., 54., 49., 56., 58., 56., 43.],
        [86., 48., 63., 47., 41., 55., 64., 57., 52., 61.],
        [51., 58., 49., 41., 91., 44., 62., 60., 56., 63.],
        [41., 87., 59., 53., 55., 45., 52., 60., 56., 48.],
        [35., 59., 39., 57., 86., 63., 49., 53., 63., 71.],
        [34., 49., 57., 62., 65., 60., 50., 51., 64., 84.],
        [59., 56., 60., 24., 59., 69., 75., 48., 60., 54.],
        [60., 41., 46., 56., 67., 49., 44., 72., 63., 86.],
        [94., 51., 62., 55., 51., 58., 61., 51., 58., 49.],
        [55., 61., 63., 43., 66., 49., 80., 50., 58., 42.],
        [51., 42., 45., 58., 69., 52., 43., 62., 55., 87.],
        [87., 36., 59., 57., 45., 61., 50., 57., 70., 53.],
        [31., 91., 54., 60., 53., 54., 53., 51., 60., 49.],
        [49., 54., 53., 68., 46., 78., 49., 54., 61., 58.],
        [50., 45., 46., 57., 69., 48., 44., 65., 60., 90.],
        [62., 52., 62., 65., 46., 48., 37., 88., 41., 58.],
        [48., 55., 67., 70., 49., 56., 51., 56., 57., 57.],
        [41., 49., 52., 52., 89., 56., 56., 55., 58., 61.]], device='cuda:0')
Train accuarcate: 94.21%



iteration:
  149
    0  1064   bit_w:-1  loss: 0.17591
    1  1143   bit_w: 1  loss: 0.17561
    2  1062   bit_w: 1  loss: 0.17551
    3  1142   bit_w: 1  loss: 0.17514
    4   805   bit_w: 1  loss: 0.17492
   1523   6625   2179   1975   3232   1830   1662   5286   4211   3172
     -1      0      1     -1      1     -1      0      1      0     -1
Train accuarcate: 94.83%
tensor([[54., 50., 58., 68., 45., 55., 35., 95., 46., 58.],
        [56., 58., 85., 67., 34., 56., 58., 43., 61., 38.],
        [43., 82., 68., 49., 55., 49., 56., 59., 56., 43.],
        [86., 48., 64., 47., 42., 55., 64., 58., 52., 61.],
        [52., 58., 49., 42., 91., 45., 62., 60., 56., 64.],
        [41., 87., 60., 53., 56., 45., 52., 61., 56., 48.],
        [35., 59., 40., 57., 87., 63., 49., 54., 63., 71.],
        [34., 49., 58., 62., 66., 60., 50., 52., 64., 84.],
        [59., 56., 61., 24., 60., 69., 75., 49., 60., 54.],
        [60., 41., 47., 56., 68., 49., 44., 73., 63., 86.],
        [95., 51., 62., 56., 51., 59., 61., 51., 58., 50.],
        [55., 61., 64., 43., 67., 49., 80., 51., 58., 42.],
        [52., 42., 45., 59., 69., 53., 43., 62., 55., 88.],
        [88., 36., 59., 58., 45., 62., 50., 57., 70., 54.],
        [31., 91., 55., 60., 54., 54., 53., 52., 60., 49.],
        [50., 54., 53., 69., 46., 79., 49., 54., 61., 59.],
        [51., 45., 46., 58., 69., 49., 44., 65., 60., 91.],
        [62., 52., 63., 65., 47., 48., 37., 89., 41., 58.],
        [48., 55., 68., 70., 50., 56., 51., 57., 57., 57.],
        [41., 49., 53., 52., 90., 56., 56., 56., 58., 61.]], device='cuda:0')
Train accuarcate: 94.29%



iteration:
  150
    0  1046   bit_w:-1  loss: 0.17455
    1  1058   bit_w: 1  loss: 0.17436
    2  1023   bit_w:-1  loss: 0.17437
    3   970   bit_w: 1  loss: 0.17404
    4   983   bit_w:-1  loss: 0.17420
   3325     37   1477    376    952    702   2772    213   1049    685
      1     -1      1      0      0      0      1      0      1      0
Train accuarcate: 94.86%
tensor([[54., 51., 58., 68., 45., 55., 35., 95., 46., 58.],
        [57., 58., 86., 67., 34., 56., 59., 43., 62., 38.],
        [43., 83., 68., 49., 55., 49., 56., 59., 56., 43.],
        [87., 48., 65., 47., 42., 55., 65., 58., 53., 61.],
        [52., 59., 49., 42., 91., 45., 62., 60., 56., 64.],
        [41., 88., 60., 53., 56., 45., 52., 61., 56., 48.],
        [35., 60., 40., 57., 87., 63., 49., 54., 63., 71.],
        [34., 50., 58., 62., 66., 60., 50., 52., 64., 84.],
        [59., 57., 61., 24., 60., 69., 75., 49., 60., 54.],
        [60., 42., 47., 56., 68., 49., 44., 73., 63., 86.],
        [96., 51., 63., 56., 51., 59., 62., 51., 59., 50.],
        [56., 61., 65., 43., 67., 49., 81., 51., 59., 42.],
        [52., 43., 45., 59., 69., 53., 43., 62., 55., 88.],
        [88., 37., 59., 58., 45., 62., 50., 57., 70., 54.],
        [31., 92., 55., 60., 54., 54., 53., 52., 60., 49.],
        [50., 55., 53., 69., 46., 79., 49., 54., 61., 59.],
        [51., 46., 46., 58., 69., 49., 44., 65., 60., 91.],
        [62., 53., 63., 65., 47., 48., 37., 89., 41., 58.],
        [48., 56., 68., 70., 50., 56., 51., 57., 57., 57.],
        [41., 50., 53., 52., 90., 56., 56., 56., 58., 61.]], device='cuda:0')
Train accuarcate: 94.35%



iteration:
  151
    0  1054   bit_w:-1  loss: 0.17388
    1  1025   bit_w:-1  loss: 0.17363
    2  1099   bit_w:-1  loss: 0.17364
    3  1106   bit_w: 1  loss: 0.17325
    4   887   bit_w:-1  loss: 0.17347
   4278   4194   2486   4742   2040   3560   2547   4470   4219   4495
      0      0     -1      0     -1      0      0      1     -1      1
Train accuarcate: 94.87%
tensor([[54., 51., 59., 68., 46., 55., 35., 95., 47., 58.],
        [57., 58., 87., 67., 35., 56., 59., 43., 63., 38.],
        [43., 83., 69., 49., 56., 49., 56., 59., 57., 43.],
        [87., 48., 65., 47., 42., 55., 65., 59., 53., 62.],
        [52., 59., 50., 42., 92., 45., 62., 60., 57., 64.],
        [41., 88., 60., 53., 56., 45., 52., 62., 56., 49.],
        [35., 60., 41., 57., 88., 63., 49., 54., 64., 71.],
        [34., 50., 58., 62., 66., 60., 50., 53., 64., 85.],
        [59., 57., 61., 24., 60., 69., 75., 50., 60., 55.],
        [60., 42., 48., 56., 69., 49., 44., 73., 64., 86.],
        [96., 51., 63., 56., 51., 59., 62., 52., 59., 51.],
        [56., 61., 66., 43., 68., 49., 81., 51., 60., 42.],
        [52., 43., 45., 59., 69., 53., 43., 63., 55., 89.],
        [88., 37., 60., 58., 46., 62., 50., 57., 71., 54.],
        [31., 92., 55., 60., 54., 54., 53., 53., 60., 50.],
        [50., 55., 54., 69., 47., 79., 49., 54., 62., 59.],
        [51., 46., 46., 58., 69., 49., 44., 66., 60., 92.],
        [62., 53., 64., 65., 48., 48., 37., 89., 42., 58.],
        [48., 56., 69., 70., 51., 56., 51., 57., 58., 57.],
        [41., 50., 54., 52., 91., 56., 56., 56., 59., 61.]], device='cuda:0')
Train accuarcate: 94.33%



iteration:
  152
    0   855   bit_w:-1  loss: 0.17300
    1  1181   bit_w: 1  loss: 0.17274
    2   978   bit_w: 1  loss: 0.17269
    3   942   bit_w: 1  loss: 0.17243
    4  1152   bit_w: 1  loss: 0.17260
   2669   3142   2123   1898   4936   2261   1590   5890   4090   5383
     -1      0      0     -1      0     -1     -1      0      0      0
Train accuarcate: 94.91%
tensor([[54., 51., 59., 68., 46., 55., 35., 95., 47., 58.],
        [58., 58., 87., 68., 35., 57., 60., 43., 63., 38.],
        [44., 83., 69., 50., 56., 50., 57., 59., 57., 43.],
        [88., 48., 65., 48., 42., 56., 66., 59., 53., 62.],
        [53., 59., 50., 43., 92., 46., 63., 60., 57., 64.],
        [42., 88., 60., 54., 56., 46., 53., 62., 56., 49.],
        [36., 60., 41., 58., 88., 64., 50., 54., 64., 71.],
        [35., 50., 58., 63., 66., 61., 51., 53., 64., 85.],
        [60., 57., 61., 25., 60., 70., 76., 50., 60., 55.],
        [60., 42., 48., 56., 69., 49., 44., 73., 64., 86.],
        [97., 51., 63., 57., 51., 60., 63., 52., 59., 51.],
        [56., 61., 66., 43., 68., 49., 81., 51., 60., 42.],
        [52., 43., 45., 59., 69., 53., 43., 63., 55., 89.],
        [88., 37., 60., 58., 46., 62., 50., 57., 71., 54.],
        [32., 92., 55., 61., 54., 55., 54., 53., 60., 50.],
        [51., 55., 54., 70., 47., 80., 50., 54., 62., 59.],
        [51., 46., 46., 58., 69., 49., 44., 66., 60., 92.],
        [63., 53., 64., 66., 48., 49., 38., 89., 42., 58.],
        [49., 56., 69., 71., 51., 57., 52., 57., 58., 57.],
        [41., 50., 54., 52., 91., 56., 56., 56., 59., 61.]], device='cuda:0')
Train accuarcate: 94.40%



iteration:
  153
    0  1097   bit_w:-1  loss: 0.17228
    1  1151   bit_w:-1  loss: 0.17201
    2  1135   bit_w:-1  loss: 0.17215
    3  1028   bit_w:-1  loss: 0.17173
    4   811   bit_w: 1  loss: 0.17198
   1147   6413   2931   3551   4344   3593   4653   3997   3754   2944
      0      0     -1      1      1      0      0     -1      1      0
Train accuarcate: 94.93%
tensor([[54., 51., 59., 69., 47., 55., 35., 95., 48., 58.],
        [58., 58., 87., 69., 36., 57., 60., 43., 64., 38.],
        [44., 83., 69., 51., 57., 50., 57., 59., 58., 43.],
        [88., 48., 65., 49., 43., 56., 66., 59., 54., 62.],
        [53., 59., 50., 44., 93., 46., 63., 60., 58., 64.],
        [42., 88., 60., 55., 57., 46., 53., 62., 57., 49.],
        [36., 60., 41., 59., 89., 64., 50., 54., 65., 71.],
        [35., 50., 58., 64., 67., 61., 51., 53., 65., 85.],
        [60., 57., 62., 25., 60., 70., 76., 51., 60., 55.],
        [60., 42., 48., 57., 70., 49., 44., 73., 65., 86.],
        [97., 51., 64., 57., 51., 60., 63., 53., 59., 51.],
        [56., 61., 66., 44., 69., 49., 81., 51., 61., 42.],
        [52., 43., 45., 60., 70., 53., 43., 63., 56., 89.],
        [88., 37., 60., 59., 47., 62., 50., 57., 72., 54.],
        [32., 92., 55., 62., 55., 55., 54., 53., 61., 50.],
        [51., 55., 54., 71., 48., 80., 50., 54., 63., 59.],
        [51., 46., 47., 58., 69., 49., 44., 67., 60., 92.],
        [63., 53., 64., 67., 49., 49., 38., 89., 43., 58.],
        [49., 56., 69., 72., 52., 57., 52., 57., 59., 57.],
        [41., 50., 54., 53., 92., 56., 56., 56., 60., 61.]], device='cuda:0')
Train accuarcate: 94.40%



iteration:
  154
    0  1146   bit_w:-1  loss: 0.17152
    1  1039   bit_w:-1  loss: 0.17131
    2  1147   bit_w: 1  loss: 0.17119
    3   793   bit_w: 1  loss: 0.17108
    4  1102   bit_w: 1  loss: 0.17103
   3641   4665   3655    476   2335    634   2427   3393   2051   1839
      0      1      1      0      0     -1      1      0      0     -1
Train accuarcate: 94.93%
tensor([[54., 51., 59., 69., 47., 56., 35., 95., 48., 59.],
        [58., 59., 88., 69., 36., 57., 61., 43., 64., 38.],
        [44., 84., 70., 51., 57., 50., 58., 59., 58., 43.],
        [88., 49., 66., 49., 43., 56., 67., 59., 54., 62.],
        [53., 60., 51., 44., 93., 46., 64., 60., 58., 64.],
        [42., 89., 61., 55., 57., 46., 54., 62., 57., 49.],
        [36., 60., 41., 59., 89., 65., 50., 54., 65., 72.],
        [35., 50., 58., 64., 67., 62., 51., 53., 65., 86.],
        [60., 58., 63., 25., 60., 70., 77., 51., 60., 55.],
        [60., 42., 48., 57., 70., 50., 44., 73., 65., 87.],
        [97., 51., 64., 57., 51., 61., 63., 53., 59., 52.],
        [56., 61., 66., 44., 69., 50., 81., 51., 61., 43.],
        [52., 43., 45., 60., 70., 54., 43., 63., 56., 90.],
        [88., 38., 61., 59., 47., 62., 51., 57., 72., 54.],
        [32., 93., 56., 62., 55., 55., 55., 53., 61., 50.],
        [51., 55., 54., 71., 48., 81., 50., 54., 63., 60.],
        [51., 47., 48., 58., 69., 49., 45., 67., 60., 92.],
        [63., 53., 64., 67., 49., 50., 38., 89., 43., 59.],
        [49., 56., 69., 72., 52., 58., 52., 57., 59., 58.],
        [41., 50., 54., 53., 92., 57., 56., 56., 60., 62.]], device='cuda:0')
Train accuarcate: 94.34%



iteration:
  155
    0  1068   bit_w:-1  loss: 0.17066
    1  1109   bit_w:-1  loss: 0.17043
    2   429   bit_w:-1  loss: 0.17043
    3   925   bit_w: 1  loss: 0.17031
    4   864   bit_w: 1  loss: 0.17027
   2101   5384   1738   5434   3313   4380    464   5833   3293   4781
     -1      1      0     -1     -1      0     -1      0      1      0
Train accuarcate: 94.99%
tensor([[54., 52., 59., 69., 47., 56., 35., 95., 49., 59.],
        [59., 59., 88., 70., 37., 57., 62., 43., 64., 38.],
        [44., 85., 70., 51., 57., 50., 58., 59., 59., 43.],
        [89., 49., 66., 50., 44., 56., 68., 59., 54., 62.],
        [53., 61., 51., 44., 93., 46., 64., 60., 59., 64.],
        [42., 90., 61., 55., 57., 46., 54., 62., 58., 49.],
        [36., 61., 41., 59., 89., 65., 50., 54., 66., 72.],
        [35., 51., 58., 64., 67., 62., 51., 53., 66., 86.],
        [61., 58., 63., 26., 61., 70., 78., 51., 60., 55.],
        [60., 43., 48., 57., 70., 50., 44., 73., 66., 87.],
        [97., 52., 64., 57., 51., 61., 63., 53., 60., 52.],
        [56., 62., 66., 44., 69., 50., 81., 51., 62., 43.],
        [52., 44., 45., 60., 70., 54., 43., 63., 57., 90.],
        [89., 38., 61., 60., 48., 62., 52., 57., 72., 54.],
        [32., 94., 56., 62., 55., 55., 55., 53., 62., 50.],
        [51., 56., 54., 71., 48., 81., 50., 54., 64., 60.],
        [51., 48., 48., 58., 69., 49., 45., 67., 61., 92.],
        [63., 54., 64., 67., 49., 50., 38., 89., 44., 59.],
        [50., 56., 69., 73., 53., 58., 53., 57., 59., 58.],
        [41., 51., 54., 53., 92., 57., 56., 56., 61., 62.]], device='cuda:0')
Train accuarcate: 94.35%



iteration:
  156
    0  1090   bit_w:-1  loss: 0.16996
    1   981   bit_w: 1  loss: 0.16971
    2   262   bit_w: 1  loss: 0.16977
    3  1098   bit_w: 1  loss: 0.16961
    4   838   bit_w:-1  loss: 0.16965
   2845   1818   2772   2058   3748   2665   2147   4664   3734   3382
      0      0      1     -1      0      1      0      1      0     -1
Train accuarcate: 95.01%
tensor([[54., 52., 60., 69., 47., 57., 35., 96., 49., 59.],
        [59., 59., 88., 71., 37., 57., 62., 43., 64., 39.],
        [44., 85., 70., 52., 57., 50., 58., 59., 59., 44.],
        [89., 49., 67., 50., 44., 57., 68., 60., 54., 62.],
        [53., 61., 52., 44., 93., 47., 64., 61., 59., 64.],
        [42., 90., 61., 56., 57., 46., 54., 62., 58., 50.],
        [36., 61., 42., 59., 89., 66., 50., 55., 66., 72.],
        [35., 51., 59., 64., 67., 63., 51., 54., 66., 86.],
        [61., 58., 63., 27., 61., 70., 78., 51., 60., 56.],
        [60., 43., 49., 57., 70., 51., 44., 74., 66., 87.],
        [97., 52., 64., 58., 51., 61., 63., 53., 60., 53.],
        [56., 62., 67., 44., 69., 51., 81., 52., 62., 43.],
        [52., 44., 45., 61., 70., 54., 43., 63., 57., 91.],
        [89., 38., 62., 60., 48., 63., 52., 58., 72., 54.],
        [32., 94., 56., 63., 55., 55., 55., 53., 62., 51.],
        [51., 56., 55., 71., 48., 82., 50., 55., 64., 60.],
        [51., 48., 49., 58., 69., 50., 45., 68., 61., 92.],
        [63., 54., 65., 67., 49., 51., 38., 90., 44., 59.],
        [50., 56., 70., 73., 53., 59., 53., 58., 59., 58.],
        [41., 51., 55., 53., 92., 58., 56., 57., 61., 62.]], device='cuda:0')
Train accuarcate: 94.41%



iteration:
  157
    0  1061   bit_w:-1  loss: 0.16933
    1  1122   bit_w: 1  loss: 0.16909
    2   965   bit_w:-1  loss: 0.16911
    3   249   bit_w:-1  loss: 0.16881
    4  1171   bit_w:-1  loss: 0.16897
    394   1055   2631   1828   1541    886   2260    229   3319    950
     -1      1      1      0     -1      0      1      0      1      0
Train accuarcate: 95.03%
tensor([[55., 52., 60., 69., 48., 57., 35., 96., 49., 59.],
        [59., 60., 89., 71., 37., 57., 63., 43., 65., 39.],
        [45., 85., 70., 52., 58., 50., 58., 59., 59., 44.],
        [90., 49., 67., 50., 45., 57., 68., 60., 54., 62.],
        [54., 61., 52., 44., 94., 47., 64., 61., 59., 64.],
        [43., 90., 61., 56., 58., 46., 54., 62., 58., 50.],
        [36., 62., 43., 59., 89., 66., 51., 55., 67., 72.],
        [36., 51., 59., 64., 68., 63., 51., 54., 66., 86.],
        [62., 58., 63., 27., 62., 70., 78., 51., 60., 56.],
        [61., 43., 49., 57., 71., 51., 44., 74., 66., 87.],
        [98., 52., 64., 58., 52., 61., 63., 53., 60., 53.],
        [56., 63., 68., 44., 69., 51., 82., 52., 63., 43.],
        [53., 44., 45., 61., 71., 54., 43., 63., 57., 91.],
        [90., 38., 62., 60., 49., 63., 52., 58., 72., 54.],
        [33., 94., 56., 63., 56., 55., 55., 53., 62., 51.],
        [52., 56., 55., 71., 49., 82., 50., 55., 64., 60.],
        [52., 48., 49., 58., 70., 50., 45., 68., 61., 92.],
        [64., 54., 65., 67., 50., 51., 38., 90., 44., 59.],
        [50., 57., 71., 73., 53., 59., 54., 58., 60., 58.],
        [41., 52., 56., 53., 92., 58., 57., 57., 62., 62.]], device='cuda:0')
Train accuarcate: 94.41%



iteration:
  158
    0  1152   bit_w:-1  loss: 0.16868
    1   971   bit_w: 1  loss: 0.16845
    2  1170   bit_w: 1  loss: 0.16839
    3   982   bit_w:-1  loss: 0.16818
    4  1047   bit_w: 1  loss: 0.16818
   3369   6295   2430   2583   3437   2918   4027   5265   3530   3480
      0     -1     -1      1      0      0      0      1      0     -1
Train accuarcate: 95.09%
tensor([[55., 52., 60., 70., 48., 57., 35., 97., 49., 59.],
        [59., 60., 89., 72., 37., 57., 63., 44., 65., 39.],
        [45., 85., 70., 53., 58., 50., 58., 60., 59., 44.],
        [90., 49., 67., 51., 45., 57., 68., 61., 54., 62.],
        [54., 61., 52., 45., 94., 47., 64., 62., 59., 64.],
        [43., 90., 61., 57., 58., 46., 54., 63., 58., 50.],
        [36., 62., 43., 60., 89., 66., 51., 56., 67., 72.],
        [36., 52., 60., 64., 68., 63., 51., 54., 66., 87.],
        [62., 58., 63., 28., 62., 70., 78., 52., 60., 56.],
        [61., 44., 50., 57., 71., 51., 44., 74., 66., 88.],
        [98., 52., 64., 59., 52., 61., 63., 54., 60., 53.],
        [56., 63., 68., 45., 69., 51., 82., 53., 63., 43.],
        [53., 45., 46., 61., 71., 54., 43., 63., 57., 92.],
        [90., 38., 62., 61., 49., 63., 52., 59., 72., 54.],
        [33., 94., 56., 64., 56., 55., 55., 54., 62., 51.],
        [52., 56., 55., 72., 49., 82., 50., 56., 64., 60.],
        [52., 48., 49., 59., 70., 50., 45., 69., 61., 92.],
        [64., 54., 65., 68., 50., 51., 38., 91., 44., 59.],
        [50., 57., 71., 74., 53., 59., 54., 59., 60., 58.],
        [41., 52., 56., 54., 92., 58., 57., 58., 62., 62.]], device='cuda:0')
Train accuarcate: 94.39%



iteration:
  159
    0   997   bit_w:-1  loss: 0.16777
    1   925   bit_w: 1  loss: 0.16749
    2   546   bit_w: 1  loss: 0.16742
    3   951   bit_w:-1  loss: 0.16736
    4  1174   bit_w:-1  loss: 0.16730
   2075   1099   3020   1237   2885   1732   3475   4184   2837   2728
      1     -1      0      0      0     -1      1      0      1     -1
Train accuarcate: 95.09%
tensor([[56., 52., 60., 70., 48., 57., 36., 97., 50., 59.],
        [59., 61., 89., 72., 37., 58., 63., 44., 65., 40.],
        [45., 86., 70., 53., 58., 51., 58., 60., 59., 45.],
        [90., 50., 67., 51., 45., 58., 68., 61., 54., 63.],
        [54., 62., 52., 45., 94., 48., 64., 62., 59., 65.],
        [43., 91., 61., 57., 58., 47., 54., 63., 58., 51.],
        [36., 63., 43., 60., 89., 67., 51., 56., 67., 73.],
        [36., 53., 60., 64., 68., 64., 51., 54., 66., 88.],
        [63., 58., 63., 28., 62., 70., 79., 52., 61., 56.],
        [62., 44., 50., 57., 71., 51., 45., 74., 67., 88.],
        [98., 53., 64., 59., 52., 62., 63., 54., 60., 54.],
        [56., 64., 68., 45., 69., 52., 82., 53., 63., 44.],
        [53., 46., 46., 61., 71., 55., 43., 63., 57., 93.],
        [90., 39., 62., 61., 49., 64., 52., 59., 72., 55.],
        [33., 95., 56., 64., 56., 56., 55., 54., 62., 52.],
        [52., 57., 55., 72., 49., 83., 50., 56., 64., 61.],
        [52., 49., 49., 59., 70., 51., 45., 69., 61., 93.],
        [65., 54., 65., 68., 50., 51., 39., 91., 45., 59.],
        [50., 58., 71., 74., 53., 60., 54., 59., 60., 59.],
        [41., 53., 56., 54., 92., 59., 57., 58., 62., 63.]], device='cuda:0')
Train accuarcate: 94.49%



iteration:
  160
    0   966   bit_w:-1  loss: 0.16698
    1  1017   bit_w: 1  loss: 0.16676
    2  1120   bit_w: 1  loss: 0.16662
    3  1030   bit_w:-1  loss: 0.16655
    4   936   bit_w:-1  loss: 0.16651
   1763   1295   1377    986   3257   2366   2564   1707   2893   2169
      0      0      0     -1      1      1      0      0      1      0
Train accuarcate: 95.13%
tensor([[56., 52., 60., 71., 48., 57., 36., 97., 50., 59.],
        [59., 61., 89., 73., 37., 58., 63., 44., 65., 40.],
        [45., 86., 70., 54., 58., 51., 58., 60., 59., 45.],
        [90., 50., 67., 52., 45., 58., 68., 61., 54., 63.],
        [54., 62., 52., 45., 95., 49., 64., 62., 60., 65.],
        [43., 91., 61., 58., 58., 47., 54., 63., 58., 51.],
        [36., 63., 43., 61., 89., 67., 51., 56., 67., 73.],
        [36., 53., 60., 65., 68., 64., 51., 54., 66., 88.],
        [63., 58., 63., 28., 63., 71., 79., 52., 62., 56.],
        [62., 44., 50., 57., 72., 52., 45., 74., 68., 88.],
        [98., 53., 64., 59., 53., 63., 63., 54., 61., 54.],
        [56., 64., 68., 45., 70., 53., 82., 53., 64., 44.],
        [53., 46., 46., 62., 71., 55., 43., 63., 57., 93.],
        [90., 39., 62., 62., 49., 64., 52., 59., 72., 55.],
        [33., 95., 56., 65., 56., 56., 55., 54., 62., 52.],
        [52., 57., 55., 72., 50., 84., 50., 56., 65., 61.],
        [52., 49., 49., 59., 71., 52., 45., 69., 62., 93.],
        [65., 54., 65., 69., 50., 51., 39., 91., 45., 59.],
        [50., 58., 71., 75., 53., 60., 54., 59., 60., 59.],
        [41., 53., 56., 54., 93., 60., 57., 58., 63., 63.]], device='cuda:0')
Train accuarcate: 94.57%



iteration:
  161
    0  1001   bit_w:-1  loss: 0.16619
    1  1064   bit_w: 1  loss: 0.16594
    2  1117   bit_w:-1  loss: 0.16588
    3  1118   bit_w: 1  loss: 0.16558
    4  1011   bit_w:-1  loss: 0.16570
   4157   1091   1850   1172    484   1218   1279    780   2607    374
      1      0      1      0      0      0      1     -1      1      0
Train accuarcate: 95.16%
tensor([[56., 52., 60., 71., 48., 57., 36., 98., 50., 59.],
        [59., 61., 89., 73., 37., 58., 63., 45., 65., 40.],
        [45., 86., 70., 54., 58., 51., 58., 61., 59., 45.],
        [90., 50., 67., 52., 45., 58., 68., 62., 54., 63.],
        [54., 62., 52., 45., 95., 49., 64., 63., 60., 65.],
        [43., 91., 61., 58., 58., 47., 54., 64., 58., 51.],
        [36., 63., 43., 61., 89., 67., 51., 57., 67., 73.],
        [36., 53., 60., 65., 68., 64., 51., 55., 66., 88.],
        [64., 58., 64., 28., 63., 71., 80., 52., 63., 56.],
        [62., 44., 50., 57., 72., 52., 45., 75., 68., 88.],
        [99., 53., 65., 59., 53., 63., 64., 54., 62., 54.],
        [56., 64., 68., 45., 70., 53., 82., 54., 64., 44.],
        [53., 46., 46., 62., 71., 55., 43., 64., 57., 93.],
        [91., 39., 63., 62., 49., 64., 53., 59., 73., 55.],
        [33., 95., 56., 65., 56., 56., 55., 55., 62., 52.],
        [52., 57., 55., 72., 50., 84., 50., 57., 65., 61.],
        [52., 49., 49., 59., 71., 52., 45., 70., 62., 93.],
        [65., 54., 65., 69., 50., 51., 39., 92., 45., 59.],
        [50., 58., 71., 75., 53., 60., 54., 60., 60., 59.],
        [41., 53., 56., 54., 93., 60., 57., 59., 63., 63.]], device='cuda:0')
Train accuarcate: 94.63%



iteration:
  162
    0  1178   bit_w:-1  loss: 0.16542
    1  1071   bit_w: 1  loss: 0.16518
    2   927   bit_w:-1  loss: 0.16520
    3  1131   bit_w: 1  loss: 0.16493
    4  1018   bit_w: 1  loss: 0.16483
   3024   1646   1837   1363    891   3950   4286    769   1095    768
      0     -1      1      0     -1      1      1      0      0     -1
Train accuarcate: 95.15%
tensor([[56., 53., 60., 71., 49., 57., 36., 98., 50., 60.],
        [59., 61., 90., 73., 37., 59., 64., 45., 65., 40.],
        [45., 87., 70., 54., 59., 51., 58., 61., 59., 46.],
        [90., 51., 67., 52., 46., 58., 68., 62., 54., 64.],
        [54., 63., 52., 45., 96., 49., 64., 63., 60., 66.],
        [43., 92., 61., 58., 59., 47., 54., 64., 58., 52.],
        [36., 64., 43., 61., 90., 67., 51., 57., 67., 74.],
        [36., 54., 60., 65., 69., 64., 51., 55., 66., 89.],
        [64., 59., 64., 28., 64., 71., 80., 52., 63., 57.],
        [62., 45., 50., 57., 73., 52., 45., 75., 68., 89.],
        [99., 54., 65., 59., 54., 63., 64., 54., 62., 55.],
        [56., 64., 69., 45., 70., 54., 83., 54., 64., 44.],
        [53., 47., 46., 62., 72., 55., 43., 64., 57., 94.],
        [91., 40., 63., 62., 50., 64., 53., 59., 73., 56.],
        [33., 96., 56., 65., 57., 56., 55., 55., 62., 53.],
        [52., 57., 56., 72., 50., 85., 51., 57., 65., 61.],
        [52., 50., 49., 59., 72., 52., 45., 70., 62., 94.],
        [65., 55., 65., 69., 51., 51., 39., 92., 45., 60.],
        [50., 59., 71., 75., 54., 60., 54., 60., 60., 60.],
        [41., 54., 56., 54., 94., 60., 57., 59., 63., 64.]], device='cuda:0')
Train accuarcate: 94.51%



iteration:
  163
    0   888   bit_w:-1  loss: 0.16446
    1  1089   bit_w:-1  loss: 0.16424
    2  1125   bit_w: 1  loss: 0.16428
    3  1056   bit_w: 1  loss: 0.16398
    4  1054   bit_w:-1  loss: 0.16411
   3626   5405   4253   2773   5136   3010   5114   5578   2648   5076
     -1      0      0     -1      0      0      0      0     -1      0
Train accuarcate: 95.18%
tensor([[ 56.,  53.,  60.,  71.,  49.,  57.,  36.,  98.,  50.,  60.],
        [ 59.,  61.,  90.,  73.,  37.,  59.,  64.,  45.,  65.,  40.],
        [ 46.,  87.,  70.,  55.,  59.,  51.,  58.,  61.,  60.,  46.],
        [ 90.,  51.,  67.,  52.,  46.,  58.,  68.,  62.,  54.,  64.],
        [ 55.,  63.,  52.,  46.,  96.,  49.,  64.,  63.,  61.,  66.],
        [ 43.,  92.,  61.,  58.,  59.,  47.,  54.,  64.,  58.,  52.],
        [ 36.,  64.,  43.,  61.,  90.,  67.,  51.,  57.,  67.,  74.],
        [ 37.,  54.,  60.,  66.,  69.,  64.,  51.,  55.,  67.,  89.],
        [ 64.,  59.,  64.,  28.,  64.,  71.,  80.,  52.,  63.,  57.],
        [ 62.,  45.,  50.,  57.,  73.,  52.,  45.,  75.,  68.,  89.],
        [100.,  54.,  65.,  60.,  54.,  63.,  64.,  54.,  63.,  55.],
        [ 56.,  64.,  69.,  45.,  70.,  54.,  83.,  54.,  64.,  44.],
        [ 53.,  47.,  46.,  62.,  72.,  55.,  43.,  64.,  57.,  94.],
        [ 92.,  40.,  63.,  63.,  50.,  64.,  53.,  59.,  74.,  56.],
        [ 33.,  96.,  56.,  65.,  57.,  56.,  55.,  55.,  62.,  53.],
        [ 53.,  57.,  56.,  73.,  50.,  85.,  51.,  57.,  66.,  61.],
        [ 52.,  50.,  49.,  59.,  72.,  52.,  45.,  70.,  62.,  94.],
        [ 65.,  55.,  65.,  69.,  51.,  51.,  39.,  92.,  45.,  60.],
        [ 51.,  59.,  71.,  76.,  54.,  60.,  54.,  60.,  61.,  60.],
        [ 42.,  54.,  56.,  55.,  94.,  60.,  57.,  59.,  64.,  64.]],
       device='cuda:0')
Train accuarcate: 94.61%



iteration:
  164
    0  1089   bit_w:-1  loss: 0.16384
    1  1025   bit_w: 1  loss: 0.16363
    2  1039   bit_w:-1  loss: 0.16369
    3  1024   bit_w: 1  loss: 0.16333
    4  1119   bit_w:-1  loss: 0.16356
   1780    338   2979    843    332    406   3540     63   1232    125
      1      1      1      0      0      0      1      0      0      0
Train accuarcate: 95.19%
tensor([[ 56.,  53.,  60.,  71.,  49.,  57.,  36.,  98.,  50.,  60.],
        [ 60.,  62.,  91.,  73.,  37.,  59.,  65.,  45.,  65.,  40.],
        [ 46.,  87.,  70.,  55.,  59.,  51.,  58.,  61.,  60.,  46.],
        [ 90.,  51.,  67.,  52.,  46.,  58.,  68.,  62.,  54.,  64.],
        [ 55.,  63.,  52.,  46.,  96.,  49.,  64.,  63.,  61.,  66.],
        [ 43.,  92.,  61.,  58.,  59.,  47.,  54.,  64.,  58.,  52.],
        [ 36.,  64.,  43.,  61.,  90.,  67.,  51.,  57.,  67.,  74.],
        [ 37.,  54.,  60.,  66.,  69.,  64.,  51.,  55.,  67.,  89.],
        [ 65.,  60.,  65.,  28.,  64.,  71.,  81.,  52.,  63.,  57.],
        [ 62.,  45.,  50.,  57.,  73.,  52.,  45.,  75.,  68.,  89.],
        [101.,  55.,  66.,  60.,  54.,  63.,  65.,  54.,  63.,  55.],
        [ 57.,  65.,  70.,  45.,  70.,  54.,  84.,  54.,  64.,  44.],
        [ 53.,  47.,  46.,  62.,  72.,  55.,  43.,  64.,  57.,  94.],
        [ 92.,  40.,  63.,  63.,  50.,  64.,  53.,  59.,  74.,  56.],
        [ 33.,  96.,  56.,  65.,  57.,  56.,  55.,  55.,  62.,  53.],
        [ 53.,  57.,  56.,  73.,  50.,  85.,  51.,  57.,  66.,  61.],
        [ 52.,  50.,  49.,  59.,  72.,  52.,  45.,  70.,  62.,  94.],
        [ 65.,  55.,  65.,  69.,  51.,  51.,  39.,  92.,  45.,  60.],
        [ 51.,  59.,  71.,  76.,  54.,  60.,  54.,  60.,  61.,  60.],
        [ 42.,  54.,  56.,  55.,  94.,  60.,  57.,  59.,  64.,  64.]],
       device='cuda:0')
Train accuarcate: 94.61%



iteration:
  165
    0  1072   bit_w:-1  loss: 0.16331
    1   998   bit_w:-1  loss: 0.16309
    2  1007   bit_w:-1  loss: 0.16320
    3   955   bit_w: 1  loss: 0.16288
    4   839   bit_w:-1  loss: 0.16307
   3189   2988   3653   3070   2995   2342   2982   2057   2636   2381
      1      1      0      0      0      1      0      0     -1      0
Train accuarcate: 95.18%
tensor([[ 57.,  54.,  60.,  71.,  49.,  58.,  36.,  98.,  50.,  60.],
        [ 60.,  62.,  91.,  73.,  37.,  59.,  65.,  45.,  66.,  40.],
        [ 46.,  87.,  70.,  55.,  59.,  51.,  58.,  61.,  61.,  46.],
        [ 91.,  52.,  67.,  52.,  46.,  59.,  68.,  62.,  54.,  64.],
        [ 56.,  64.,  52.,  46.,  96.,  50.,  64.,  63.,  61.,  66.],
        [ 44.,  93.,  61.,  58.,  59.,  48.,  54.,  64.,  58.,  52.],
        [ 36.,  64.,  43.,  61.,  90.,  67.,  51.,  57.,  68.,  74.],
        [ 38.,  55.,  60.,  66.,  69.,  65.,  51.,  55.,  67.,  89.],
        [ 65.,  60.,  65.,  28.,  64.,  71.,  81.,  52.,  64.,  57.],
        [ 62.,  45.,  50.,  57.,  73.,  52.,  45.,  75.,  69.,  89.],
        [102.,  56.,  66.,  60.,  54.,  64.,  65.,  54.,  63.,  55.],
        [ 58.,  66.,  70.,  45.,  70.,  55.,  84.,  54.,  64.,  44.],
        [ 54.,  48.,  46.,  62.,  72.,  56.,  43.,  64.,  57.,  94.],
        [ 92.,  40.,  63.,  63.,  50.,  64.,  53.,  59.,  75.,  56.],
        [ 33.,  96.,  56.,  65.,  57.,  56.,  55.,  55.,  63.,  53.],
        [ 53.,  57.,  56.,  73.,  50.,  85.,  51.,  57.,  67.,  61.],
        [ 53.,  51.,  49.,  59.,  72.,  53.,  45.,  70.,  62.,  94.],
        [ 65.,  55.,  65.,  69.,  51.,  51.,  39.,  92.,  46.,  60.],
        [ 52.,  60.,  71.,  76.,  54.,  61.,  54.,  60.,  61.,  60.],
        [ 42.,  54.,  56.,  55.,  94.,  60.,  57.,  59.,  65.,  64.]],
       device='cuda:0')
Train accuarcate: 94.55%



iteration:
  166
    0  1124   bit_w:-1  loss: 0.16276
    1  1004   bit_w:-1  loss: 0.16251
    2   271   bit_w: 1  loss: 0.16250
    3   216   bit_w:-1  loss: 0.16234
    4   484   bit_w: 1  loss: 0.16239
   3203   4869   2548   3021   4090   1814   2573   3450   1809   3896
      0      0     -1      1      1      0     -1      1      0      0
Train accuarcate: 95.21%
tensor([[ 57.,  54.,  60.,  72.,  50.,  58.,  36.,  99.,  50.,  60.],
        [ 60.,  62.,  92.,  73.,  37.,  59.,  66.,  45.,  66.,  40.],
        [ 46.,  87.,  70.,  56.,  60.,  51.,  58.,  62.,  61.,  46.],
        [ 91.,  52.,  67.,  53.,  47.,  59.,  68.,  63.,  54.,  64.],
        [ 56.,  64.,  52.,  47.,  97.,  50.,  64.,  64.,  61.,  66.],
        [ 44.,  93.,  61.,  59.,  60.,  48.,  54.,  65.,  58.,  52.],
        [ 36.,  64.,  43.,  62.,  91.,  67.,  51.,  58.,  68.,  74.],
        [ 38.,  55.,  60.,  67.,  70.,  65.,  51.,  56.,  67.,  89.],
        [ 65.,  60.,  66.,  28.,  64.,  71.,  82.,  52.,  64.,  57.],
        [ 62.,  45.,  50.,  58.,  74.,  52.,  45.,  76.,  69.,  89.],
        [102.,  56.,  67.,  60.,  54.,  64.,  66.,  54.,  63.,  55.],
        [ 58.,  66.,  70.,  46.,  71.,  55.,  84.,  55.,  64.,  44.],
        [ 54.,  48.,  46.,  63.,  73.,  56.,  43.,  65.,  57.,  94.],
        [ 92.,  40.,  63.,  64.,  51.,  64.,  53.,  60.,  75.,  56.],
        [ 33.,  96.,  56.,  66.,  58.,  56.,  55.,  56.,  63.,  53.],
        [ 53.,  57.,  56.,  74.,  51.,  85.,  51.,  58.,  67.,  61.],
        [ 53.,  51.,  49.,  60.,  73.,  53.,  45.,  71.,  62.,  94.],
        [ 65.,  55.,  65.,  70.,  52.,  51.,  39.,  93.,  46.,  60.],
        [ 52.,  60.,  72.,  76.,  54.,  61.,  55.,  60.,  61.,  60.],
        [ 42.,  54.,  57.,  55.,  94.,  60.,  58.,  59.,  65.,  64.]],
       device='cuda:0')
Train accuarcate: 94.70%



iteration:
  167
    0  1055   bit_w:-1  loss: 0.16207
    1  1016   bit_w: 1  loss: 0.16191
    2  1103   bit_w:-1  loss: 0.16195
    3   975   bit_w:-1  loss: 0.16177
    4   262   bit_w:-1  loss: 0.16178
   2027   1668   3169   4092   3056   2631   4045   2820   3006   2019
      0      0      0      0      0      1      0      0      0     -1
Train accuarcate: 95.22%
tensor([[ 57.,  54.,  60.,  72.,  50.,  59.,  36.,  99.,  50.,  60.],
        [ 60.,  62.,  92.,  73.,  37.,  59.,  66.,  45.,  66.,  41.],
        [ 46.,  87.,  70.,  56.,  60.,  52.,  58.,  62.,  61.,  46.],
        [ 91.,  52.,  67.,  53.,  47.,  59.,  68.,  63.,  54.,  65.],
        [ 56.,  64.,  52.,  47.,  97.,  50.,  64.,  64.,  61.,  67.],
        [ 44.,  93.,  61.,  59.,  60.,  48.,  54.,  65.,  58.,  53.],
        [ 36.,  64.,  43.,  62.,  91.,  68.,  51.,  58.,  68.,  74.],
        [ 38.,  55.,  60.,  67.,  70.,  65.,  51.,  56.,  67.,  90.],
        [ 65.,  60.,  66.,  28.,  64.,  72.,  82.,  52.,  64.,  57.],
        [ 62.,  45.,  50.,  58.,  74.,  53.,  45.,  76.,  69.,  89.],
        [102.,  56.,  67.,  60.,  54.,  64.,  66.,  54.,  63.,  56.],
        [ 58.,  66.,  70.,  46.,  71.,  55.,  84.,  55.,  64.,  45.],
        [ 54.,  48.,  46.,  63.,  73.,  57.,  43.,  65.,  57.,  94.],
        [ 92.,  40.,  63.,  64.,  51.,  64.,  53.,  60.,  75.,  57.],
        [ 33.,  96.,  56.,  66.,  58.,  56.,  55.,  56.,  63.,  54.],
        [ 53.,  57.,  56.,  74.,  51.,  85.,  51.,  58.,  67.,  62.],
        [ 53.,  51.,  49.,  60.,  73.,  53.,  45.,  71.,  62.,  95.],
        [ 65.,  55.,  65.,  70.,  52.,  51.,  39.,  93.,  46.,  61.],
        [ 52.,  60.,  72.,  76.,  54.,  62.,  55.,  60.,  61.,  60.],
        [ 42.,  54.,  57.,  55.,  94.,  60.,  58.,  59.,  65.,  65.]],
       device='cuda:0')
Train accuarcate: 94.63%



iteration:
  168
    0  1034   bit_w:-1  loss: 0.16152
    1  1157   bit_w:-1  loss: 0.16132
    2   841   bit_w: 1  loss: 0.16136
    3  1138   bit_w: 1  loss: 0.16108
    4   812   bit_w: 1  loss: 0.16111
   4098   2369   3974   4955   1614   2353   3416   5866   2660   1390
      0      0     -1      1     -1      0      0      1      0     -1
Train accuarcate: 95.26%
tensor([[ 57.,  54.,  60.,  73.,  50.,  59.,  36., 100.,  50.,  60.],
        [ 60.,  62.,  93.,  73.,  38.,  59.,  66.,  45.,  66.,  42.],
        [ 46.,  87.,  71.,  56.,  61.,  52.,  58.,  62.,  61.,  47.],
        [ 91.,  52.,  67.,  54.,  47.,  59.,  68.,  64.,  54.,  65.],
        [ 56.,  64.,  53.,  47.,  98.,  50.,  64.,  64.,  61.,  68.],
        [ 44.,  93.,  61.,  60.,  60.,  48.,  54.,  66.,  58.,  53.],
        [ 36.,  64.,  43.,  63.,  91.,  68.,  51.,  59.,  68.,  74.],
        [ 38.,  55.,  61.,  67.,  71.,  65.,  51.,  56.,  67.,  91.],
        [ 65.,  60.,  66.,  29.,  64.,  72.,  82.,  53.,  64.,  57.],
        [ 62.,  45.,  51.,  58.,  75.,  53.,  45.,  76.,  69.,  90.],
        [102.,  56.,  67.,  61.,  54.,  64.,  66.,  55.,  63.,  56.],
        [ 58.,  66.,  71.,  46.,  72.,  55.,  84.,  55.,  64.,  46.],
        [ 54.,  48.,  47.,  63.,  74.,  57.,  43.,  65.,  57.,  95.],
        [ 92.,  40.,  63.,  65.,  51.,  64.,  53.,  61.,  75.,  57.],
        [ 33.,  96.,  57.,  66.,  59.,  56.,  55.,  56.,  63.,  55.],
        [ 53.,  57.,  56.,  75.,  51.,  85.,  51.,  59.,  67.,  62.],
        [ 53.,  51.,  50.,  60.,  74.,  53.,  45.,  71.,  62.,  96.],
        [ 65.,  55.,  65.,  71.,  52.,  51.,  39.,  94.,  46.,  61.],
        [ 52.,  60.,  72.,  77.,  54.,  62.,  55.,  61.,  61.,  60.],
        [ 42.,  54.,  58.,  55.,  95.,  60.,  58.,  59.,  65.,  66.]],
       device='cuda:0')
Train accuarcate: 94.72%



iteration:
  169
    0   990   bit_w:-1  loss: 0.16069
    1   869   bit_w:-1  loss: 0.16055
    2   408   bit_w:-1  loss: 0.16039
    3   861   bit_w: 1  loss: 0.16027
    4   910   bit_w: 1  loss: 0.16019
   4112    124   2845   2443   2025   3074   3749   1831   1466   1382
      1     -1      1      0      0      1      1      0     -1      0
Train accuarcate: 95.27%
tensor([[ 58.,  54.,  61.,  73.,  50.,  60.,  37., 100.,  50.,  60.],
        [ 60.,  63.,  93.,  73.,  38.,  59.,  66.,  45.,  67.,  42.],
        [ 46.,  88.,  71.,  56.,  61.,  52.,  58.,  62.,  62.,  47.],
        [ 92.,  52.,  68.,  54.,  47.,  60.,  69.,  64.,  54.,  65.],
        [ 57.,  64.,  54.,  47.,  98.,  51.,  65.,  64.,  61.,  68.],
        [ 44.,  94.,  61.,  60.,  60.,  48.,  54.,  66.,  59.,  53.],
        [ 36.,  65.,  43.,  63.,  91.,  68.,  51.,  59.,  69.,  74.],
        [ 38.,  56.,  61.,  67.,  71.,  65.,  51.,  56.,  68.,  91.],
        [ 66.,  60.,  67.,  29.,  64.,  73.,  83.,  53.,  64.,  57.],
        [ 62.,  46.,  51.,  58.,  75.,  53.,  45.,  76.,  70.,  90.],
        [103.,  56.,  68.,  61.,  54.,  65.,  67.,  55.,  63.,  56.],
        [ 59.,  66.,  72.,  46.,  72.,  56.,  85.,  55.,  64.,  46.],
        [ 54.,  49.,  47.,  63.,  74.,  57.,  43.,  65.,  58.,  95.],
        [ 93.,  40.,  64.,  65.,  51.,  65.,  54.,  61.,  75.,  57.],
        [ 33.,  97.,  57.,  66.,  59.,  56.,  55.,  56.,  64.,  55.],
        [ 54.,  57.,  57.,  75.,  51.,  86.,  52.,  59.,  67.,  62.],
        [ 54.,  51.,  51.,  60.,  74.,  54.,  46.,  71.,  62.,  96.],
        [ 66.,  55.,  66.,  71.,  52.,  52.,  40.,  94.,  46.,  61.],
        [ 52.,  61.,  72.,  77.,  54.,  62.,  55.,  61.,  62.,  60.],
        [ 42.,  55.,  58.,  55.,  95.,  60.,  58.,  59.,  66.,  66.]],
       device='cuda:0')
Train accuarcate: 94.74%



iteration:
  170
    0   885   bit_w:-1  loss: 0.15992
    1  1160   bit_w:-1  loss: 0.15969
    2  1032   bit_w:-1  loss: 0.15973
    3  1088   bit_w: 1  loss: 0.15938
    4  1023   bit_w:-1  loss: 0.15954
   5137   1539   3119   1103   2682   2243   4776    817   2483    699
      1      0      0     -1      1     -1      1      0      1      0
Train accuarcate: 95.31%
tensor([[ 58.,  54.,  61.,  74.,  50.,  61.,  37., 100.,  50.,  60.],
        [ 61.,  63.,  93.,  73.,  39.,  59.,  67.,  45.,  68.,  42.],
        [ 46.,  88.,  71.,  57.,  61.,  53.,  58.,  62.,  62.,  47.],
        [ 93.,  52.,  68.,  54.,  48.,  60.,  70.,  64.,  55.,  65.],
        [ 58.,  64.,  54.,  47.,  99.,  51.,  66.,  64.,  62.,  68.],
        [ 44.,  94.,  61.,  61.,  60.,  49.,  54.,  66.,  59.,  53.],
        [ 36.,  65.,  43.,  64.,  91.,  69.,  51.,  59.,  69.,  74.],
        [ 38.,  56.,  61.,  68.,  71.,  66.,  51.,  56.,  68.,  91.],
        [ 67.,  60.,  67.,  29.,  65.,  73.,  84.,  53.,  65.,  57.],
        [ 63.,  46.,  51.,  58.,  76.,  53.,  46.,  76.,  71.,  90.],
        [104.,  56.,  68.,  61.,  55.,  65.,  68.,  55.,  64.,  56.],
        [ 60.,  66.,  72.,  46.,  73.,  56.,  86.,  55.,  65.,  46.],
        [ 54.,  49.,  47.,  64.,  74.,  58.,  43.,  65.,  58.,  95.],
        [ 94.,  40.,  64.,  65.,  52.,  65.,  55.,  61.,  76.,  57.],
        [ 33.,  97.,  57.,  67.,  59.,  57.,  55.,  56.,  64.,  55.],
        [ 54.,  57.,  57.,  76.,  51.,  87.,  52.,  59.,  67.,  62.],
        [ 54.,  51.,  51.,  61.,  74.,  55.,  46.,  71.,  62.,  96.],
        [ 66.,  55.,  66.,  72.,  52.,  53.,  40.,  94.,  46.,  61.],
        [ 53.,  61.,  72.,  77.,  55.,  62.,  56.,  61.,  63.,  60.],
        [ 42.,  55.,  58.,  56.,  95.,  61.,  58.,  59.,  66.,  66.]],
       device='cuda:0')
Train accuarcate: 94.72%



iteration:
  171
    0  1026   bit_w:-1  loss: 0.15917
    1   893   bit_w:-1  loss: 0.15898
    2   345   bit_w:-1  loss: 0.15877
    3   966   bit_w:-1  loss: 0.15876
    4   264   bit_w:-1  loss: 0.15866
   2046    364    898   2961   1636   2116   1658   1033   3220   1515
      0     -1     -1      0      0      0      0     -1      1      1
Train accuarcate: 95.33%
tensor([[ 58.,  55.,  62.,  74.,  50.,  61.,  37., 101.,  50.,  60.],
        [ 61.,  64.,  94.,  73.,  39.,  59.,  67.,  46.,  68.,  42.],
        [ 46.,  89.,  72.,  57.,  61.,  53.,  58.,  63.,  62.,  47.],
        [ 93.,  53.,  69.,  54.,  48.,  60.,  70.,  65.,  55.,  65.],
        [ 58.,  64.,  54.,  47.,  99.,  51.,  66.,  64.,  63.,  69.],
        [ 44.,  95.,  62.,  61.,  60.,  49.,  54.,  67.,  59.,  53.],
        [ 36.,  66.,  44.,  64.,  91.,  69.,  51.,  60.,  69.,  74.],
        [ 38.,  57.,  62.,  68.,  71.,  66.,  51.,  57.,  68.,  91.],
        [ 67.,  60.,  67.,  29.,  65.,  73.,  84.,  53.,  66.,  58.],
        [ 63.,  47.,  52.,  58.,  76.,  53.,  46.,  77.,  71.,  90.],
        [104.,  56.,  68.,  61.,  55.,  65.,  68.,  55.,  65.,  57.],
        [ 60.,  66.,  72.,  46.,  73.,  56.,  86.,  55.,  66.,  47.],
        [ 54.,  50.,  48.,  64.,  74.,  58.,  43.,  66.,  58.,  95.],
        [ 94.,  41.,  65.,  65.,  52.,  65.,  55.,  62.,  76.,  57.],
        [ 33.,  97.,  57.,  67.,  59.,  57.,  55.,  56.,  65.,  56.],
        [ 54.,  58.,  58.,  76.,  51.,  87.,  52.,  60.,  67.,  62.],
        [ 54.,  51.,  51.,  61.,  74.,  55.,  46.,  71.,  63.,  97.],
        [ 66.,  56.,  67.,  72.,  52.,  53.,  40.,  95.,  46.,  61.],
        [ 53.,  62.,  73.,  77.,  55.,  62.,  56.,  62.,  63.,  60.],
        [ 42.,  56.,  59.,  56.,  95.,  61.,  58.,  60.,  66.,  66.]],
       device='cuda:0')
Train accuarcate: 94.74%



iteration:
  172
    0  1022   bit_w:-1  loss: 0.15832
    1  1111   bit_w: 1  loss: 0.15811
    2  1148   bit_w:-1  loss: 0.15809
    3  1167   bit_w: 1  loss: 0.15773
    4   937   bit_w:-1  loss: 0.15790
   3937     80   2799   3181    785   3227    627   2519   3333   3264
      0      0      0      1     -1      1      0      0      0      1
Train accuarcate: 95.35%
tensor([[ 58.,  55.,  62.,  75.,  50.,  62.,  37., 101.,  50.,  61.],
        [ 61.,  64.,  94.,  73.,  40.,  59.,  67.,  46.,  68.,  42.],
        [ 46.,  89.,  72.,  57.,  62.,  53.,  58.,  63.,  62.,  47.],
        [ 93.,  53.,  69.,  54.,  49.,  60.,  70.,  65.,  55.,  65.],
        [ 58.,  64.,  54.,  47., 100.,  51.,  66.,  64.,  63.,  69.],
        [ 44.,  95.,  62.,  61.,  61.,  49.,  54.,  67.,  59.,  53.],
        [ 36.,  66.,  44.,  64.,  92.,  69.,  51.,  60.,  69.,  74.],
        [ 38.,  57.,  62.,  68.,  72.,  66.,  51.,  57.,  68.,  91.],
        [ 67.,  60.,  67.,  29.,  66.,  73.,  84.,  53.,  66.,  58.],
        [ 63.,  47.,  52.,  58.,  77.,  53.,  46.,  77.,  71.,  90.],
        [104.,  56.,  68.,  62.,  55.,  66.,  68.,  55.,  65.,  58.],
        [ 60.,  66.,  72.,  46.,  74.,  56.,  86.,  55.,  66.,  47.],
        [ 54.,  50.,  48.,  64.,  75.,  58.,  43.,  66.,  58.,  95.],
        [ 94.,  41.,  65.,  66.,  52.,  66.,  55.,  62.,  76.,  58.],
        [ 33.,  97.,  57.,  67.,  60.,  57.,  55.,  56.,  65.,  56.],
        [ 54.,  58.,  58.,  76.,  52.,  87.,  52.,  60.,  67.,  62.],
        [ 54.,  51.,  51.,  61.,  75.,  55.,  46.,  71.,  63.,  97.],
        [ 66.,  56.,  67.,  73.,  52.,  54.,  40.,  95.,  46.,  62.],
        [ 53.,  62.,  73.,  78.,  55.,  63.,  56.,  62.,  63.,  61.],
        [ 42.,  56.,  59.,  56.,  96.,  61.,  58.,  60.,  66.,  66.]],
       device='cuda:0')
Train accuarcate: 94.86%



iteration:
  173
    0  1139   bit_w:-1  loss: 0.15763
    1  1095   bit_w:-1  loss: 0.15741
    2  1121   bit_w:-1  loss: 0.15742
    3  1068   bit_w:-1  loss: 0.15718
    4   963   bit_w: 1  loss: 0.15729
   3003   1723   3122   3715   1081   1822    914   2561   2981   3326
      0      0      1      0      0      0     -1     -1      1      1
Train accuarcate: 95.36%
tensor([[ 58.,  55.,  63.,  75.,  50.,  62.,  37., 101.,  51.,  62.],
        [ 61.,  64.,  94.,  73.,  40.,  59.,  68.,  47.,  68.,  42.],
        [ 46.,  89.,  72.,  57.,  62.,  53.,  59.,  64.,  62.,  47.],
        [ 93.,  53.,  70.,  54.,  49.,  60.,  70.,  65.,  56.,  66.],
        [ 58.,  64.,  54.,  47., 100.,  51.,  67.,  65.,  63.,  69.],
        [ 44.,  95.,  62.,  61.,  61.,  49.,  55.,  68.,  59.,  53.],
        [ 36.,  66.,  44.,  64.,  92.,  69.,  52.,  61.,  69.,  74.],
        [ 38.,  57.,  62.,  68.,  72.,  66.,  52.,  58.,  68.,  91.],
        [ 67.,  60.,  67.,  29.,  66.,  73.,  85.,  54.,  66.,  58.],
        [ 63.,  47.,  53.,  58.,  77.,  53.,  46.,  77.,  72.,  91.],
        [104.,  56.,  69.,  62.,  55.,  66.,  68.,  55.,  66.,  59.],
        [ 60.,  66.,  72.,  46.,  74.,  56.,  87.,  56.,  66.,  47.],
        [ 54.,  50.,  49.,  64.,  75.,  58.,  43.,  66.,  59.,  96.],
        [ 94.,  41.,  65.,  66.,  52.,  66.,  56.,  63.,  76.,  58.],
        [ 33.,  97.,  57.,  67.,  60.,  57.,  56.,  57.,  65.,  56.],
        [ 54.,  58.,  58.,  76.,  52.,  87.,  53.,  61.,  67.,  62.],
        [ 54.,  51.,  52.,  61.,  75.,  55.,  46.,  71.,  64.,  98.],
        [ 66.,  56.,  67.,  73.,  52.,  54.,  41.,  96.,  46.,  62.],
        [ 53.,  62.,  73.,  78.,  55.,  63.,  57.,  63.,  63.,  61.],
        [ 42.,  56.,  59.,  56.,  96.,  61.,  59.,  61.,  66.,  66.]],
       device='cuda:0')
Train accuarcate: 94.80%



iteration:
  174
    0   999   bit_w:-1  loss: 0.15692
    1   812   bit_w:-1  loss: 0.15665
    2   625   bit_w:-1  loss: 0.15669
    3   406   bit_w: 1  loss: 0.15657
    4   542   bit_w:-1  loss: 0.15663
    623   5294   2134   4468   4841   4000   2865   3773   4118   5056
     -1     -1      0      1      0     -1      0      0      0     -1
Train accuarcate: 95.40%
tensor([[ 58.,  55.,  63.,  76.,  50.,  62.,  37., 101.,  51.,  62.],
        [ 62.,  65.,  94.,  73.,  40.,  60.,  68.,  47.,  68.,  43.],
        [ 46.,  89.,  72.,  58.,  62.,  53.,  59.,  64.,  62.,  47.],
        [ 94.,  54.,  70.,  54.,  49.,  61.,  70.,  65.,  56.,  67.],
        [ 58.,  64.,  54.,  48., 100.,  51.,  67.,  65.,  63.,  69.],
        [ 44.,  95.,  62.,  62.,  61.,  49.,  55.,  68.,  59.,  53.],
        [ 36.,  66.,  44.,  65.,  92.,  69.,  52.,  61.,  69.,  74.],
        [ 38.,  57.,  62.,  69.,  72.,  66.,  52.,  58.,  68.,  91.],
        [ 68.,  61.,  67.,  29.,  66.,  74.,  85.,  54.,  66.,  59.],
        [ 63.,  47.,  53.,  59.,  77.,  53.,  46.,  77.,  72.,  91.],
        [105.,  57.,  69.,  62.,  55.,  67.,  68.,  55.,  66.,  60.],
        [ 60.,  66.,  72.,  47.,  74.,  56.,  87.,  56.,  66.,  47.],
        [ 54.,  50.,  49.,  65.,  75.,  58.,  43.,  66.,  59.,  96.],
        [ 95.,  42.,  65.,  66.,  52.,  67.,  56.,  63.,  76.,  59.],
        [ 33.,  97.,  57.,  68.,  60.,  57.,  56.,  57.,  65.,  56.],
        [ 55.,  59.,  58.,  76.,  52.,  88.,  53.,  61.,  67.,  63.],
        [ 54.,  51.,  52.,  62.,  75.,  55.,  46.,  71.,  64.,  98.],
        [ 66.,  56.,  67.,  74.,  52.,  54.,  41.,  96.,  46.,  62.],
        [ 54.,  63.,  73.,  78.,  55.,  64.,  57.,  63.,  63.,  62.],
        [ 42.,  56.,  59.,  57.,  96.,  61.,  59.,  61.,  66.,  66.]],
       device='cuda:0')
Train accuarcate: 94.82%



iteration:
  175
    0  1106   bit_w:-1  loss: 0.15637
    1  1159   bit_w:-1  loss: 0.15618
    2  1169   bit_w:-1  loss: 0.15624
    3  1079   bit_w:-1  loss: 0.15589
    4  1172   bit_w: 1  loss: 0.15614
   5465   5722   5612   5505   5476   4153   5609   2241   5585   4269
     -1      0      0      0      1     -1      0     -1      0     -1
Train accuarcate: 95.40%
tensor([[ 59.,  55.,  63.,  76.,  50.,  63.,  37., 102.,  51.,  63.],
        [ 62.,  65.,  94.,  73.,  41.,  60.,  68.,  47.,  68.,  43.],
        [ 46.,  89.,  72.,  58.,  63.,  53.,  59.,  64.,  62.,  47.],
        [ 94.,  54.,  70.,  54.,  50.,  61.,  70.,  65.,  56.,  67.],
        [ 58.,  64.,  54.,  48., 101.,  51.,  67.,  65.,  63.,  69.],
        [ 44.,  95.,  62.,  62.,  62.,  49.,  55.,  68.,  59.,  53.],
        [ 36.,  66.,  44.,  65.,  93.,  69.,  52.,  61.,  69.,  74.],
        [ 39.,  57.,  62.,  69.,  72.,  67.,  52.,  59.,  68.,  92.],
        [ 68.,  61.,  67.,  29.,  67.,  74.,  85.,  54.,  66.,  59.],
        [ 63.,  47.,  53.,  59.,  78.,  53.,  46.,  77.,  72.,  91.],
        [105.,  57.,  69.,  62.,  56.,  67.,  68.,  55.,  66.,  60.],
        [ 60.,  66.,  72.,  47.,  75.,  56.,  87.,  56.,  66.,  47.],
        [ 54.,  50.,  49.,  65.,  76.,  58.,  43.,  66.,  59.,  96.],
        [ 95.,  42.,  65.,  66.,  53.,  67.,  56.,  63.,  76.,  59.],
        [ 33.,  97.,  57.,  68.,  61.,  57.,  56.,  57.,  65.,  56.],
        [ 55.,  59.,  58.,  76.,  53.,  88.,  53.,  61.,  67.,  63.],
        [ 54.,  51.,  52.,  62.,  76.,  55.,  46.,  71.,  64.,  98.],
        [ 67.,  56.,  67.,  74.,  52.,  55.,  41.,  97.,  46.,  63.],
        [ 54.,  63.,  73.,  78.,  56.,  64.,  57.,  63.,  63.,  62.],
        [ 42.,  56.,  59.,  57.,  97.,  61.,  59.,  61.,  66.,  66.]],
       device='cuda:0')
Train accuarcate: 94.82%



iteration:
  176
    0  1176   bit_w:-1  loss: 0.15584
    1   826   bit_w:-1  loss: 0.15565
    2   907   bit_w:-1  loss: 0.15555
    3   917   bit_w: 1  loss: 0.15552
    4  1054   bit_w: 1  loss: 0.15547
    184   1159   3669    659   1856    668   3676    294   1621   1373
      0     -1      1      1      0      0      1      0      1      0
Train accuarcate: 95.44%
tensor([[ 59.,  56.,  63.,  76.,  50.,  63.,  37., 102.,  51.,  63.],
        [ 62.,  65.,  95.,  74.,  41.,  60.,  69.,  47.,  69.,  43.],
        [ 46.,  89.,  73.,  59.,  63.,  53.,  60.,  64.,  63.,  47.],
        [ 94.,  55.,  70.,  54.,  50.,  61.,  70.,  65.,  56.,  67.],
        [ 58.,  64.,  55.,  49., 101.,  51.,  68.,  65.,  64.,  69.],
        [ 44.,  96.,  62.,  62.,  62.,  49.,  55.,  68.,  59.,  53.],
        [ 36.,  67.,  44.,  65.,  93.,  69.,  52.,  61.,  69.,  74.],
        [ 39.,  57.,  63.,  70.,  72.,  67.,  53.,  59.,  69.,  92.],
        [ 68.,  62.,  67.,  29.,  67.,  74.,  85.,  54.,  66.,  59.],
        [ 63.,  48.,  53.,  59.,  78.,  53.,  46.,  77.,  72.,  91.],
        [105.,  58.,  69.,  62.,  56.,  67.,  68.,  55.,  66.,  60.],
        [ 60.,  67.,  72.,  47.,  75.,  56.,  87.,  56.,  66.,  47.],
        [ 54.,  51.,  49.,  65.,  76.,  58.,  43.,  66.,  59.,  96.],
        [ 95.,  43.,  65.,  66.,  53.,  67.,  56.,  63.,  76.,  59.],
        [ 33.,  98.,  57.,  68.,  61.,  57.,  56.,  57.,  65.,  56.],
        [ 55.,  60.,  58.,  76.,  53.,  88.,  53.,  61.,  67.,  63.],
        [ 54.,  52.,  52.,  62.,  76.,  55.,  46.,  71.,  64.,  98.],
        [ 67.,  57.,  67.,  74.,  52.,  55.,  41.,  97.,  46.,  63.],
        [ 54.,  64.,  73.,  78.,  56.,  64.,  57.,  63.,  63.,  62.],
        [ 42.,  56.,  60.,  58.,  97.,  61.,  60.,  61.,  67.,  66.]],
       device='cuda:0')
Train accuarcate: 94.84%



iteration:
  177
    0  1081   bit_w:-1  loss: 0.15522
    1  1112   bit_w: 1  loss: 0.15501
    2  1055   bit_w:-1  loss: 0.15508
    3   807   bit_w:-1  loss: 0.15484
    4   943   bit_w: 1  loss: 0.15493
   2723   4562   2950   1847   2965   4024   3742   4274   4650   4687
      0      0     -1     -1      0      1      0     -1      1      0
Train accuarcate: 95.44%
tensor([[ 59.,  56.,  63.,  76.,  50.,  64.,  37., 102.,  52.,  63.],
        [ 62.,  65.,  95.,  74.,  41.,  61.,  69.,  47.,  70.,  43.],
        [ 46.,  89.,  73.,  59.,  63.,  54.,  60.,  64.,  64.,  47.],
        [ 94.,  55.,  70.,  54.,  50.,  62.,  70.,  65.,  57.,  67.],
        [ 58.,  64.,  55.,  49., 101.,  52.,  68.,  65.,  65.,  69.],
        [ 44.,  96.,  62.,  62.,  62.,  50.,  55.,  68.,  60.,  53.],
        [ 36.,  67.,  45.,  66.,  93.,  69.,  52.,  62.,  69.,  74.],
        [ 39.,  57.,  63.,  70.,  72.,  68.,  53.,  59.,  70.,  92.],
        [ 68.,  62.,  67.,  29.,  67.,  75.,  85.,  54.,  67.,  59.],
        [ 63.,  48.,  54.,  60.,  78.,  53.,  46.,  78.,  72.,  91.],
        [105.,  58.,  70.,  63.,  56.,  67.,  68.,  56.,  66.,  60.],
        [ 60.,  67.,  73.,  48.,  75.,  56.,  87.,  57.,  66.,  47.],
        [ 54.,  51.,  49.,  65.,  76.,  59.,  43.,  66.,  60.,  96.],
        [ 95.,  43.,  66.,  67.,  53.,  67.,  56.,  64.,  76.,  59.],
        [ 33.,  98.,  57.,  68.,  61.,  58.,  56.,  57.,  66.,  56.],
        [ 55.,  60.,  58.,  76.,  53.,  89.,  53.,  61.,  68.,  63.],
        [ 54.,  52.,  52.,  62.,  76.,  56.,  46.,  71.,  65.,  98.],
        [ 67.,  57.,  68.,  75.,  52.,  55.,  41.,  98.,  46.,  63.],
        [ 54.,  64.,  74.,  79.,  56.,  64.,  57.,  64.,  63.,  62.],
        [ 42.,  56.,  61.,  59.,  97.,  61.,  60.,  62.,  67.,  66.]],
       device='cuda:0')
Train accuarcate: 94.97%



iteration:
  178
    0   944   bit_w:-1  loss: 0.15454
    1   831   bit_w: 1  loss: 0.15440
    2   869   bit_w: 1  loss: 0.15421
    3   959   bit_w: 1  loss: 0.15422
    4   126   bit_w:-1  loss: 0.15411
   4889   4324   4247   1856   3013   2364   4822   4256   2714   2466
      1      1      0      0     -1      0      1      0      0     -1
Train accuarcate: 95.46%
tensor([[ 60.,  57.,  63.,  76.,  50.,  64.,  38., 102.,  52.,  63.],
        [ 62.,  65.,  95.,  74.,  42.,  61.,  69.,  47.,  70.,  44.],
        [ 47.,  90.,  73.,  59.,  63.,  54.,  61.,  64.,  64.,  47.],
        [ 95.,  56.,  70.,  54.,  50.,  62.,  71.,  65.,  57.,  67.],
        [ 58.,  64.,  55.,  49., 102.,  52.,  68.,  65.,  65.,  70.],
        [ 44.,  96.,  62.,  62.,  63.,  50.,  55.,  68.,  60.,  54.],
        [ 37.,  68.,  45.,  66.,  93.,  69.,  53.,  62.,  69.,  74.],
        [ 39.,  57.,  63.,  70.,  73.,  68.,  53.,  59.,  70.,  93.],
        [ 68.,  62.,  67.,  29.,  68.,  75.,  85.,  54.,  67.,  60.],
        [ 63.,  48.,  54.,  60.,  79.,  53.,  46.,  78.,  72.,  92.],
        [106.,  59.,  70.,  63.,  56.,  67.,  69.,  56.,  66.,  60.],
        [ 60.,  67.,  73.,  48.,  76.,  56.,  87.,  57.,  66.,  48.],
        [ 54.,  51.,  49.,  65.,  77.,  59.,  43.,  66.,  60.,  97.],
        [ 96.,  44.,  66.,  67.,  53.,  67.,  57.,  64.,  76.,  59.],
        [ 34.,  99.,  57.,  68.,  61.,  58.,  57.,  57.,  66.,  56.],
        [ 56.,  61.,  58.,  76.,  53.,  89.,  54.,  61.,  68.,  63.],
        [ 55.,  53.,  52.,  62.,  76.,  56.,  47.,  71.,  65.,  98.],
        [ 68.,  58.,  68.,  75.,  52.,  55.,  42.,  98.,  46.,  63.],
        [ 54.,  64.,  74.,  79.,  57.,  64.,  57.,  64.,  63.,  63.],
        [ 42.,  56.,  61.,  59.,  98.,  61.,  60.,  62.,  67.,  67.]],
       device='cuda:0')
Train accuarcate: 94.95%



iteration:
  179
    0  1070   bit_w:-1  loss: 0.15387
    1  1181   bit_w:-1  loss: 0.15365
    2  1153   bit_w: 1  loss: 0.15365
    3  1150   bit_w:-1  loss: 0.15338
    4   656   bit_w:-1  loss: 0.15354
   2275   4564   2728   2863   3584   2880   4354   3825   1737   3674
      0      0     -1      1      0      1      0      1      0      0
Train accuarcate: 95.51%
tensor([[ 60.,  57.,  64.,  76.,  50.,  64.,  38., 102.,  52.,  63.],
        [ 62.,  65.,  96.,  74.,  42.,  61.,  69.,  47.,  70.,  44.],
        [ 47.,  90.,  74.,  59.,  63.,  54.,  61.,  64.,  64.,  47.],
        [ 95.,  56.,  71.,  54.,  50.,  62.,  71.,  65.,  57.,  67.],
        [ 58.,  64.,  55.,  50., 102.,  53.,  68.,  66.,  65.,  70.],
        [ 44.,  96.,  63.,  62.,  63.,  50.,  55.,  68.,  60.,  54.],
        [ 37.,  68.,  45.,  67.,  93.,  70.,  53.,  63.,  69.,  74.],
        [ 39.,  57.,  64.,  70.,  73.,  68.,  53.,  59.,  70.,  93.],
        [ 68.,  62.,  67.,  30.,  68.,  76.,  85.,  55.,  67.,  60.],
        [ 63.,  48.,  54.,  61.,  79.,  54.,  46.,  79.,  72.,  92.],
        [106.,  59.,  70.,  64.,  56.,  68.,  69.,  57.,  66.,  60.],
        [ 60.,  67.,  74.,  48.,  76.,  56.,  87.,  57.,  66.,  48.],
        [ 54.,  51.,  49.,  66.,  77.,  60.,  43.,  67.,  60.,  97.],
        [ 96.,  44.,  67.,  67.,  53.,  67.,  57.,  64.,  76.,  59.],
        [ 34.,  99.,  58.,  68.,  61.,  58.,  57.,  57.,  66.,  56.],
        [ 56.,  61.,  59.,  76.,  53.,  89.,  54.,  61.,  68.,  63.],
        [ 55.,  53.,  52.,  63.,  76.,  57.,  47.,  72.,  65.,  98.],
        [ 68.,  58.,  69.,  75.,  52.,  55.,  42.,  98.,  46.,  63.],
        [ 54.,  64.,  74.,  80.,  57.,  65.,  57.,  65.,  63.,  63.],
        [ 42.,  56.,  61.,  60.,  98.,  62.,  60.,  63.,  67.,  67.]],
       device='cuda:0')
Train accuarcate: 95.02%



iteration:
  180
    0  1087   bit_w:-1  loss: 0.15316
    1   380   bit_w: 1  loss: 0.15297
    2   378   bit_w:-1  loss: 0.15284
    3   975   bit_w: 1  loss: 0.15287
    4  1078   bit_w:-1  loss: 0.15282
   3644   3188   3097   3708   3582   3801   3795   4037   2817   4305
     -1      0     -1      0     -1      0      1      0     -1      1
Train accuarcate: 95.51%
tensor([[ 61.,  57.,  65.,  76.,  51.,  64.,  38., 102.,  53.,  63.],
        [ 62.,  65.,  96.,  74.,  42.,  61.,  70.,  47.,  70.,  45.],
        [ 48.,  90.,  75.,  59.,  64.,  54.,  61.,  64.,  65.,  47.],
        [ 95.,  56.,  71.,  54.,  50.,  62.,  72.,  65.,  57.,  68.],
        [ 59.,  64.,  56.,  50., 103.,  53.,  68.,  66.,  66.,  70.],
        [ 44.,  96.,  63.,  62.,  63.,  50.,  56.,  68.,  60.,  55.],
        [ 37.,  68.,  45.,  67.,  93.,  70.,  54.,  63.,  69.,  75.],
        [ 39.,  57.,  64.,  70.,  73.,  68.,  54.,  59.,  70.,  94.],
        [ 68.,  62.,  67.,  30.,  68.,  76.,  86.,  55.,  67.,  61.],
        [ 64.,  48.,  55.,  61.,  80.,  54.,  46.,  79.,  73.,  92.],
        [106.,  59.,  70.,  64.,  56.,  68.,  70.,  57.,  66.,  61.],
        [ 61.,  67.,  75.,  48.,  77.,  56.,  87.,  57.,  67.,  48.],
        [ 54.,  51.,  49.,  66.,  77.,  60.,  44.,  67.,  60.,  98.],
        [ 96.,  44.,  67.,  67.,  53.,  67.,  58.,  64.,  76.,  60.],
        [ 35.,  99.,  59.,  68.,  62.,  58.,  57.,  57.,  67.,  56.],
        [ 56.,  61.,  59.,  76.,  53.,  89.,  55.,  61.,  68.,  64.],
        [ 56.,  53.,  53.,  63.,  77.,  57.,  47.,  72.,  66.,  98.],
        [ 69.,  58.,  70.,  75.,  53.,  55.,  42.,  98.,  47.,  63.],
        [ 54.,  64.,  74.,  80.,  57.,  65.,  58.,  65.,  63.,  64.],
        [ 42.,  56.,  61.,  60.,  98.,  62.,  61.,  63.,  67.,  68.]],
       device='cuda:0')
Train accuarcate: 94.94%



iteration:
  181
    0  1097   bit_w:-1  loss: 0.15258
    1  1128   bit_w: 1  loss: 0.15239
    2   987   bit_w:-1  loss: 0.15242
    3  1165   bit_w: 1  loss: 0.15215
    4   231   bit_w: 1  loss: 0.15236
    474   1361   1559   2699   1094    901   1112   1997   1286    158
      0      1      0      1      1      0      0      1      1      0
Train accuarcate: 95.53%
tensor([[ 61.,  58.,  65.,  77.,  52.,  64.,  38., 103.,  54.,  63.],
        [ 62.,  65.,  96.,  74.,  42.,  61.,  70.,  47.,  70.,  45.],
        [ 48.,  90.,  75.,  59.,  64.,  54.,  61.,  64.,  65.,  47.],
        [ 95.,  57.,  71.,  55.,  51.,  62.,  72.,  66.,  58.,  68.],
        [ 59.,  64.,  56.,  50., 103.,  53.,  68.,  66.,  66.,  70.],
        [ 44.,  96.,  63.,  62.,  63.,  50.,  56.,  68.,  60.,  55.],
        [ 37.,  68.,  45.,  67.,  93.,  70.,  54.,  63.,  69.,  75.],
        [ 39.,  57.,  64.,  70.,  73.,  68.,  54.,  59.,  70.,  94.],
        [ 68.,  63.,  67.,  31.,  69.,  76.,  86.,  56.,  68.,  61.],
        [ 64.,  48.,  55.,  61.,  80.,  54.,  46.,  79.,  73.,  92.],
        [106.,  59.,  70.,  64.,  56.,  68.,  70.,  57.,  66.,  61.],
        [ 61.,  67.,  75.,  48.,  77.,  56.,  87.,  57.,  67.,  48.],
        [ 54.,  51.,  49.,  66.,  77.,  60.,  44.,  67.,  60.,  98.],
        [ 96.,  44.,  67.,  67.,  53.,  67.,  58.,  64.,  76.,  60.],
        [ 35., 100.,  59.,  69.,  63.,  58.,  57.,  58.,  68.,  56.],
        [ 56.,  61.,  59.,  76.,  53.,  89.,  55.,  61.,  68.,  64.],
        [ 56.,  53.,  53.,  63.,  77.,  57.,  47.,  72.,  66.,  98.],
        [ 69.,  59.,  70.,  76.,  54.,  55.,  42.,  99.,  48.,  63.],
        [ 54.,  64.,  74.,  80.,  57.,  65.,  58.,  65.,  63.,  64.],
        [ 42.,  56.,  61.,  60.,  98.,  62.,  61.,  63.,  67.,  68.]],
       device='cuda:0')
Train accuarcate: 94.92%



iteration:
  182
    0  1118   bit_w:-1  loss: 0.15213
    1  1112   bit_w: 1  loss: 0.15192
    2  1113   bit_w:-1  loss: 0.15197
    3  1002   bit_w: 1  loss: 0.15168
    4  1144   bit_w:-1  loss: 0.15171
    850   1227   1513   1483   2290   4297   3092   1936   1455    749
     -1      0      0      0      0      1      1      1      0      0
Train accuarcate: 95.56%
tensor([[ 61.,  58.,  65.,  77.,  52.,  65.,  39., 104.,  54.,  63.],
        [ 63.,  65.,  96.,  74.,  42.,  61.,  70.,  47.,  70.,  45.],
        [ 49.,  90.,  75.,  59.,  64.,  54.,  61.,  64.,  65.,  47.],
        [ 96.,  57.,  71.,  55.,  51.,  62.,  72.,  66.,  58.,  68.],
        [ 59.,  64.,  56.,  50., 103.,  54.,  69.,  67.,  66.,  70.],
        [ 45.,  96.,  63.,  62.,  63.,  50.,  56.,  68.,  60.,  55.],
        [ 37.,  68.,  45.,  67.,  93.,  71.,  55.,  64.,  69.,  75.],
        [ 40.,  57.,  64.,  70.,  73.,  68.,  54.,  59.,  70.,  94.],
        [ 68.,  63.,  67.,  31.,  69.,  77.,  87.,  57.,  68.,  61.],
        [ 65.,  48.,  55.,  61.,  80.,  54.,  46.,  79.,  73.,  92.],
        [107.,  59.,  70.,  64.,  56.,  68.,  70.,  57.,  66.,  61.],
        [ 61.,  67.,  75.,  48.,  77.,  57.,  88.,  58.,  67.,  48.],
        [ 54.,  51.,  49.,  66.,  77.,  61.,  45.,  68.,  60.,  98.],
        [ 97.,  44.,  67.,  67.,  53.,  67.,  58.,  64.,  76.,  60.],
        [ 36., 100.,  59.,  69.,  63.,  58.,  57.,  58.,  68.,  56.],
        [ 56.,  61.,  59.,  76.,  53.,  90.,  56.,  62.,  68.,  64.],
        [ 57.,  53.,  53.,  63.,  77.,  57.,  47.,  72.,  66.,  98.],
        [ 70.,  59.,  70.,  76.,  54.,  55.,  42.,  99.,  48.,  63.],
        [ 55.,  64.,  74.,  80.,  57.,  65.,  58.,  65.,  63.,  64.],
        [ 43.,  56.,  61.,  60.,  98.,  62.,  61.,  63.,  67.,  68.]],
       device='cuda:0')
Train accuarcate: 94.92%



iteration:
  183
    0   992   bit_w:-1  loss: 0.15146
    1  1099   bit_w: 1  loss: 0.15129
    2   994   bit_w: 1  loss: 0.15136
    3  1052   bit_w:-1  loss: 0.15115
    4  1082   bit_w: 1  loss: 0.15114
   2735   5560   3668   3540   4756   3453   4449   4095   3282   3036
      0      1     -1     -1      0      0      0      0     -1     -1
Train accuarcate: 95.56%
tensor([[ 61.,  59.,  65.,  77.,  52.,  65.,  39., 104.,  54.,  63.],
        [ 63.,  66.,  96.,  74.,  42.,  61.,  70.,  47.,  70.,  45.],
        [ 49.,  91.,  75.,  59.,  64.,  54.,  61.,  64.,  65.,  47.],
        [ 96.,  58.,  71.,  55.,  51.,  62.,  72.,  66.,  58.,  68.],
        [ 59.,  65.,  56.,  50., 103.,  54.,  69.,  67.,  66.,  70.],
        [ 45.,  97.,  63.,  62.,  63.,  50.,  56.,  68.,  60.,  55.],
        [ 37.,  69.,  45.,  67.,  93.,  71.,  55.,  64.,  69.,  75.],
        [ 40.,  57.,  65.,  71.,  73.,  68.,  54.,  59.,  71.,  95.],
        [ 68.,  63.,  68.,  32.,  69.,  77.,  87.,  57.,  69.,  62.],
        [ 65.,  48.,  56.,  62.,  80.,  54.,  46.,  79.,  74.,  93.],
        [107.,  59.,  71.,  65.,  56.,  68.,  70.,  57.,  67.,  62.],
        [ 61.,  68.,  75.,  48.,  77.,  57.,  88.,  58.,  67.,  48.],
        [ 54.,  51.,  50.,  67.,  77.,  61.,  45.,  68.,  61.,  99.],
        [ 97.,  45.,  67.,  67.,  53.,  67.,  58.,  64.,  76.,  60.],
        [ 36., 100.,  60.,  70.,  63.,  58.,  57.,  58.,  69.,  57.],
        [ 56.,  62.,  59.,  76.,  53.,  90.,  56.,  62.,  68.,  64.],
        [ 57.,  54.,  53.,  63.,  77.,  57.,  47.,  72.,  66.,  98.],
        [ 70.,  60.,  70.,  76.,  54.,  55.,  42.,  99.,  48.,  63.],
        [ 55.,  65.,  74.,  80.,  57.,  65.,  58.,  65.,  63.,  64.],
        [ 43.,  57.,  61.,  60.,  98.,  62.,  61.,  63.,  67.,  68.]],
       device='cuda:0')
Train accuarcate: 94.93%



iteration:
  184
    0   992   bit_w:-1  loss: 0.15089
    1  1079   bit_w:-1  loss: 0.15074
    2   956   bit_w: 1  loss: 0.15076
    3  1159   bit_w:-1  loss: 0.15052
    4  1019   bit_w: 1  loss: 0.15065
   1813    224   2782   2344   2206   2912   1169    248   2549   1552
      0      0      1      0      1      1      0      0      1      0
Train accuarcate: 95.57%
tensor([[ 61.,  59.,  65.,  77.,  52.,  65.,  39., 104.,  54.,  63.],
        [ 63.,  66.,  97.,  74.,  43.,  62.,  70.,  47.,  71.,  45.],
        [ 49.,  91.,  75.,  59.,  64.,  54.,  61.,  64.,  65.,  47.],
        [ 96.,  58.,  71.,  55.,  51.,  62.,  72.,  66.,  58.,  68.],
        [ 59.,  65.,  56.,  50., 103.,  54.,  69.,  67.,  66.,  70.],
        [ 45.,  97.,  63.,  62.,  63.,  50.,  56.,  68.,  60.,  55.],
        [ 37.,  69.,  46.,  67.,  94.,  72.,  55.,  64.,  70.,  75.],
        [ 40.,  57.,  66.,  71.,  74.,  69.,  54.,  59.,  72.,  95.],
        [ 68.,  63.,  69.,  32.,  70.,  78.,  87.,  57.,  70.,  62.],
        [ 65.,  48.,  57.,  62.,  81.,  55.,  46.,  79.,  75.,  93.],
        [107.,  59.,  71.,  65.,  56.,  68.,  70.,  57.,  67.,  62.],
        [ 61.,  68.,  75.,  48.,  77.,  57.,  88.,  58.,  67.,  48.],
        [ 54.,  51.,  50.,  67.,  77.,  61.,  45.,  68.,  61.,  99.],
        [ 97.,  45.,  67.,  67.,  53.,  67.,  58.,  64.,  76.,  60.],
        [ 36., 100.,  60.,  70.,  63.,  58.,  57.,  58.,  69.,  57.],
        [ 56.,  62.,  59.,  76.,  53.,  90.,  56.,  62.,  68.,  64.],
        [ 57.,  54.,  53.,  63.,  77.,  57.,  47.,  72.,  66.,  98.],
        [ 70.,  60.,  70.,  76.,  54.,  55.,  42.,  99.,  48.,  63.],
        [ 55.,  65.,  75.,  80.,  58.,  66.,  58.,  65.,  64.,  64.],
        [ 43.,  57.,  61.,  60.,  98.,  62.,  61.,  63.,  67.,  68.]],
       device='cuda:0')
Train accuarcate: 94.96%



iteration:
  185
    0  1178   bit_w:-1  loss: 0.15043
    1  1145   bit_w:-1  loss: 0.15021
    2  1127   bit_w: 1  loss: 0.15018
    3  1064   bit_w: 1  loss: 0.14993
    4   884   bit_w:-1  loss: 0.15005
   3099    727   2296   2934    543   3324   4498    899   2837    847
      1      0      0      1     -1      1      1     -1      0      0
Train accuarcate: 95.60%
tensor([[ 61.,  59.,  65.,  77.,  53.,  65.,  39., 105.,  54.,  63.],
        [ 64.,  66.,  97.,  75.,  43.,  63.,  71.,  47.,  71.,  45.],
        [ 49.,  91.,  75.,  59.,  65.,  54.,  61.,  65.,  65.,  47.],
        [ 96.,  58.,  71.,  55.,  52.,  62.,  72.,  67.,  58.,  68.],
        [ 60.,  65.,  56.,  51., 103.,  55.,  70.,  67.,  66.,  70.],
        [ 45.,  97.,  63.,  62.,  64.,  50.,  56.,  69.,  60.,  55.],
        [ 37.,  69.,  46.,  67.,  95.,  72.,  55.,  65.,  70.,  75.],
        [ 40.,  57.,  66.,  71.,  75.,  69.,  54.,  60.,  72.,  95.],
        [ 69.,  63.,  69.,  33.,  70.,  79.,  88.,  57.,  70.,  62.],
        [ 65.,  48.,  57.,  62.,  82.,  55.,  46.,  80.,  75.,  93.],
        [108.,  59.,  71.,  66.,  56.,  69.,  71.,  57.,  67.,  62.],
        [ 62.,  68.,  75.,  49.,  77.,  58.,  89.,  58.,  67.,  48.],
        [ 54.,  51.,  50.,  67.,  78.,  61.,  45.,  69.,  61.,  99.],
        [ 97.,  45.,  67.,  67.,  54.,  67.,  58.,  65.,  76.,  60.],
        [ 36., 100.,  60.,  70.,  64.,  58.,  57.,  59.,  69.,  57.],
        [ 56.,  62.,  59.,  76.,  54.,  90.,  56.,  63.,  68.,  64.],
        [ 57.,  54.,  53.,  63.,  78.,  57.,  47.,  73.,  66.,  98.],
        [ 71.,  60.,  70.,  77.,  54.,  56.,  43.,  99.,  48.,  63.],
        [ 55.,  65.,  75.,  80.,  59.,  66.,  58.,  66.,  64.,  64.],
        [ 43.,  57.,  61.,  60.,  99.,  62.,  61.,  64.,  67.,  68.]],
       device='cuda:0')
Train accuarcate: 94.93%



iteration:
  186
    0  1106   bit_w:-1  loss: 0.14957
    1   941   bit_w:-1  loss: 0.14949
    2   465   bit_w:-1  loss: 0.14927
    3   864   bit_w:-1  loss: 0.14925
    4  1054   bit_w: 1  loss: 0.14923
    833   2543   2665    344    249    511   2771     44   3159     77
      0      1      1      0      0      0      1      0      1     -1
Train accuarcate: 95.60%
tensor([[ 61.,  59.,  65.,  77.,  53.,  65.,  39., 105.,  54.,  64.],
        [ 64.,  67.,  98.,  75.,  43.,  63.,  72.,  47.,  72.,  45.],
        [ 49.,  92.,  76.,  59.,  65.,  54.,  62.,  65.,  66.,  47.],
        [ 96.,  58.,  71.,  55.,  52.,  62.,  72.,  67.,  58.,  69.],
        [ 60.,  65.,  56.,  51., 103.,  55.,  70.,  67.,  66.,  71.],
        [ 45.,  97.,  63.,  62.,  64.,  50.,  56.,  69.,  60.,  56.],
        [ 37.,  69.,  46.,  67.,  95.,  72.,  55.,  65.,  70.,  76.],
        [ 40.,  57.,  66.,  71.,  75.,  69.,  54.,  60.,  72.,  96.],
        [ 69.,  63.,  69.,  33.,  70.,  79.,  88.,  57.,  70.,  63.],
        [ 65.,  48.,  57.,  62.,  82.,  55.,  46.,  80.,  75.,  94.],
        [108.,  59.,  71.,  66.,  56.,  69.,  71.,  57.,  67.,  63.],
        [ 62.,  69.,  76.,  49.,  77.,  58.,  90.,  58.,  68.,  48.],
        [ 54.,  51.,  50.,  67.,  78.,  61.,  45.,  69.,  61., 100.],
        [ 97.,  46.,  68.,  67.,  54.,  67.,  59.,  65.,  77.,  60.],
        [ 36., 100.,  60.,  70.,  64.,  58.,  57.,  59.,  69.,  58.],
        [ 56.,  62.,  59.,  76.,  54.,  90.,  56.,  63.,  68.,  65.],
        [ 57.,  54.,  53.,  63.,  78.,  57.,  47.,  73.,  66.,  99.],
        [ 71.,  60.,  70.,  77.,  54.,  56.,  43.,  99.,  48.,  64.],
        [ 55.,  66.,  76.,  80.,  59.,  66.,  59.,  66.,  65.,  64.],
        [ 43.,  57.,  61.,  60.,  99.,  62.,  61.,  64.,  67.,  69.]],
       device='cuda:0')
Train accuarcate: 94.97%



iteration:
  187
    0  1116   bit_w:-1  loss: 0.14901
    1  1078   bit_w:-1  loss: 0.14880
    2   909   bit_w:-1  loss: 0.14886
    3  1000   bit_w: 1  loss: 0.14864
    4  1083   bit_w:-1  loss: 0.14866
   3478   5112   4137   4937   4826   4143   4744   5023   3347   5023
     -1      1     -1      0     -1      0      0      0     -1      0
Train accuarcate: 95.61%
tensor([[ 62.,  59.,  66.,  77.,  54.,  65.,  39., 105.,  55.,  64.],
        [ 65.,  67.,  99.,  75.,  44.,  63.,  72.,  47.,  73.,  45.],
        [ 49.,  93.,  76.,  59.,  65.,  54.,  62.,  65.,  66.,  47.],
        [ 96.,  59.,  71.,  55.,  52.,  62.,  72.,  67.,  58.,  69.],
        [ 60.,  66.,  56.,  51., 103.,  55.,  70.,  67.,  66.,  71.],
        [ 45.,  98.,  63.,  62.,  64.,  50.,  56.,  69.,  60.,  56.],
        [ 37.,  70.,  46.,  67.,  95.,  72.,  55.,  65.,  70.,  76.],
        [ 41.,  57.,  67.,  71.,  76.,  69.,  54.,  60.,  73.,  96.],
        [ 69.,  64.,  69.,  33.,  70.,  79.,  88.,  57.,  70.,  63.],
        [ 65.,  49.,  57.,  62.,  82.,  55.,  46.,  80.,  75.,  94.],
        [108.,  60.,  71.,  66.,  56.,  69.,  71.,  57.,  67.,  63.],
        [ 62.,  70.,  76.,  49.,  77.,  58.,  90.,  58.,  68.,  48.],
        [ 54.,  52.,  50.,  67.,  78.,  61.,  45.,  69.,  61., 100.],
        [ 98.,  46.,  69.,  67.,  55.,  67.,  59.,  65.,  78.,  60.],
        [ 36., 101.,  60.,  70.,  64.,  58.,  57.,  59.,  69.,  58.],
        [ 56.,  63.,  59.,  76.,  54.,  90.,  56.,  63.,  68.,  65.],
        [ 57.,  55.,  53.,  63.,  78.,  57.,  47.,  73.,  66.,  99.],
        [ 71.,  61.,  70.,  77.,  54.,  56.,  43.,  99.,  48.,  64.],
        [ 55.,  67.,  76.,  80.,  59.,  66.,  59.,  66.,  65.,  64.],
        [ 43.,  58.,  61.,  60.,  99.,  62.,  61.,  64.,  67.,  69.]],
       device='cuda:0')
Train accuarcate: 94.92%



iteration:
  188
    0  1022   bit_w:-1  loss: 0.14844
    1  1177   bit_w: 1  loss: 0.14829
    2   975   bit_w:-1  loss: 0.14826
    3   882   bit_w: 1  loss: 0.14802
    4   892   bit_w:-1  loss: 0.14819
   3915   5475   4689   5168   2135   3741   5123   3183   3094   2126
      0      0      0      1      0      0      0     -1     -1     -1
Train accuarcate: 95.65%
tensor([[ 62.,  59.,  66.,  77.,  54.,  65.,  39., 106.,  56.,  65.],
        [ 65.,  67.,  99.,  76.,  44.,  63.,  72.,  47.,  73.,  45.],
        [ 49.,  93.,  76.,  60.,  65.,  54.,  62.,  65.,  66.,  47.],
        [ 96.,  59.,  71.,  56.,  52.,  62.,  72.,  67.,  58.,  69.],
        [ 60.,  66.,  56.,  51., 103.,  55.,  70.,  68.,  67.,  72.],
        [ 45.,  98.,  63.,  63.,  64.,  50.,  56.,  69.,  60.,  56.],
        [ 37.,  70.,  46.,  67.,  95.,  72.,  55.,  66.,  71.,  77.],
        [ 41.,  57.,  67.,  72.,  76.,  69.,  54.,  60.,  73.,  96.],
        [ 69.,  64.,  69.,  33.,  70.,  79.,  88.,  58.,  71.,  64.],
        [ 65.,  49.,  57.,  62.,  82.,  55.,  46.,  81.,  76.,  95.],
        [108.,  60.,  71.,  66.,  56.,  69.,  71.,  58.,  68.,  64.],
        [ 62.,  70.,  76.,  49.,  77.,  58.,  90.,  59.,  69.,  49.],
        [ 54.,  52.,  50.,  67.,  78.,  61.,  45.,  70.,  62., 101.],
        [ 98.,  46.,  69.,  67.,  55.,  67.,  59.,  66.,  79.,  61.],
        [ 36., 101.,  60.,  71.,  64.,  58.,  57.,  59.,  69.,  58.],
        [ 56.,  63.,  59.,  76.,  54.,  90.,  56.,  64.,  69.,  66.],
        [ 57.,  55.,  53.,  63.,  78.,  57.,  47.,  74.,  67., 100.],
        [ 71.,  61.,  70.,  78.,  54.,  56.,  43.,  99.,  48.,  64.],
        [ 55.,  67.,  76.,  81.,  59.,  66.,  59.,  66.,  65.,  64.],
        [ 43.,  58.,  61.,  60.,  99.,  62.,  61.,  65.,  68.,  70.]],
       device='cuda:0')
Train accuarcate: 94.87%



iteration:
  189
    0   946   bit_w:-1  loss: 0.14787
    1   814   bit_w:-1  loss: 0.14769
    2  1074   bit_w:-1  loss: 0.14765
    3  1109   bit_w: 1  loss: 0.14749
    4  1165   bit_w:-1  loss: 0.14748
   2682    152   1029   2904    988   3496   2524    660   2968   1063
      1      0     -1      0      0      1      0      0      0      0
Train accuarcate: 95.66%
tensor([[ 62.,  59.,  67.,  77.,  54.,  65.,  39., 106.,  56.,  65.],
        [ 66.,  67.,  99.,  76.,  44.,  64.,  72.,  47.,  73.,  45.],
        [ 49.,  93.,  77.,  60.,  65.,  54.,  62.,  65.,  66.,  47.],
        [ 96.,  59.,  72.,  56.,  52.,  62.,  72.,  67.,  58.,  69.],
        [ 60.,  66.,  57.,  51., 103.,  55.,  70.,  68.,  67.,  72.],
        [ 45.,  98.,  64.,  63.,  64.,  50.,  56.,  69.,  60.,  56.],
        [ 37.,  70.,  47.,  67.,  95.,  72.,  55.,  66.,  71.,  77.],
        [ 41.,  57.,  68.,  72.,  76.,  69.,  54.,  60.,  73.,  96.],
        [ 69.,  64.,  70.,  33.,  70.,  79.,  88.,  58.,  71.,  64.],
        [ 65.,  49.,  58.,  62.,  82.,  55.,  46.,  81.,  76.,  95.],
        [108.,  60.,  72.,  66.,  56.,  69.,  71.,  58.,  68.,  64.],
        [ 62.,  70.,  77.,  49.,  77.,  58.,  90.,  59.,  69.,  49.],
        [ 54.,  52.,  51.,  67.,  78.,  61.,  45.,  70.,  62., 101.],
        [ 98.,  46.,  70.,  67.,  55.,  67.,  59.,  66.,  79.,  61.],
        [ 36., 101.,  61.,  71.,  64.,  58.,  57.,  59.,  69.,  58.],
        [ 57.,  63.,  59.,  76.,  54.,  91.,  56.,  64.,  69.,  66.],
        [ 57.,  55.,  54.,  63.,  78.,  57.,  47.,  74.,  67., 100.],
        [ 71.,  61.,  71.,  78.,  54.,  56.,  43.,  99.,  48.,  64.],
        [ 56.,  67.,  76.,  81.,  59.,  67.,  59.,  66.,  65.,  64.],
        [ 43.,  58.,  62.,  60.,  99.,  62.,  61.,  65.,  68.,  70.]],
       device='cuda:0')
Train accuarcate: 95.01%



iteration:
  190
    0  1145   bit_w:-1  loss: 0.14721
    1  1115   bit_w:-1  loss: 0.14700
    2  1076   bit_w: 1  loss: 0.14704
    3  1146   bit_w: 1  loss: 0.14674
    4   917   bit_w: 1  loss: 0.14685
   2675   2563   3438   4050   1619   3123   2793   1587   2423   2012
      0     -1      0      1     -1      1     -1     -1      0      0
Train accuarcate: 95.68%
tensor([[ 62.,  59.,  67.,  78.,  54.,  66.,  39., 106.,  56.,  65.],
        [ 66.,  67.,  99.,  77.,  44.,  65.,  72.,  47.,  73.,  45.],
        [ 49.,  93.,  77.,  61.,  65.,  55.,  62.,  65.,  66.,  47.],
        [ 96.,  59.,  72.,  57.,  52.,  63.,  72.,  67.,  58.,  69.],
        [ 60.,  66.,  57.,  52., 103.,  56.,  70.,  68.,  67.,  72.],
        [ 45.,  98.,  64.,  64.,  64.,  51.,  56.,  69.,  60.,  56.],
        [ 37.,  70.,  47.,  68.,  95.,  73.,  55.,  66.,  71.,  77.],
        [ 41.,  57.,  68.,  73.,  76.,  70.,  54.,  60.,  73.,  96.],
        [ 69.,  64.,  70.,  34.,  70.,  80.,  88.,  58.,  71.,  64.],
        [ 65.,  50.,  58.,  62.,  83.,  55.,  47.,  82.,  76.,  95.],
        [108.,  60.,  72.,  67.,  56.,  70.,  71.,  58.,  68.,  64.],
        [ 62.,  71.,  77.,  49.,  78.,  58.,  91.,  60.,  69.,  49.],
        [ 54.,  53.,  51.,  67.,  79.,  61.,  46.,  71.,  62., 101.],
        [ 98.,  46.,  70.,  68.,  55.,  68.,  59.,  66.,  79.,  61.],
        [ 36., 102.,  61.,  71.,  65.,  58.,  58.,  60.,  69.,  58.],
        [ 57.,  63.,  59.,  77.,  54.,  92.,  56.,  64.,  69.,  66.],
        [ 57.,  56.,  54.,  63.,  79.,  57.,  48.,  75.,  67., 100.],
        [ 71.,  61.,  71.,  79.,  54.,  57.,  43.,  99.,  48.,  64.],
        [ 56.,  67.,  76.,  82.,  59.,  68.,  59.,  66.,  65.,  64.],
        [ 43.,  59.,  62.,  60., 100.,  62.,  62.,  66.,  68.,  70.]],
       device='cuda:0')
Train accuarcate: 95.00%



iteration:
  191
    0  1114   bit_w:-1  loss: 0.14662
    1  1161   bit_w: 1  loss: 0.14643
    2  1128   bit_w:-1  loss: 0.14640
    3  1089   bit_w: 1  loss: 0.14612
    4  1112   bit_w:-1  loss: 0.14628
   4253   1011   1988   1636    915   3239   1104   1536   2633   1533
      1      0      0      0      0      1      0      0      1      1
Train accuarcate: 95.71%
tensor([[ 62.,  59.,  67.,  78.,  54.,  66.,  39., 106.,  56.,  65.],
        [ 66.,  67.,  99.,  77.,  44.,  65.,  72.,  47.,  73.,  45.],
        [ 49.,  93.,  77.,  61.,  65.,  55.,  62.,  65.,  66.,  47.],
        [ 96.,  59.,  72.,  57.,  52.,  63.,  72.,  67.,  58.,  69.],
        [ 60.,  66.,  57.,  52., 103.,  56.,  70.,  68.,  67.,  72.],
        [ 45.,  98.,  64.,  64.,  64.,  51.,  56.,  69.,  60.,  56.],
        [ 37.,  70.,  47.,  68.,  95.,  73.,  55.,  66.,  71.,  77.],
        [ 41.,  57.,  68.,  73.,  76.,  70.,  54.,  60.,  73.,  96.],
        [ 69.,  64.,  70.,  34.,  70.,  80.,  88.,  58.,  71.,  64.],
        [ 66.,  50.,  58.,  62.,  83.,  56.,  47.,  82.,  77.,  96.],
        [109.,  60.,  72.,  67.,  56.,  71.,  71.,  58.,  69.,  65.],
        [ 62.,  71.,  77.,  49.,  78.,  58.,  91.,  60.,  69.,  49.],
        [ 54.,  53.,  51.,  67.,  79.,  61.,  46.,  71.,  62., 101.],
        [ 98.,  46.,  70.,  68.,  55.,  68.,  59.,  66.,  79.,  61.],
        [ 36., 102.,  61.,  71.,  65.,  58.,  58.,  60.,  69.,  58.],
        [ 58.,  63.,  59.,  77.,  54.,  93.,  56.,  64.,  70.,  67.],
        [ 57.,  56.,  54.,  63.,  79.,  57.,  48.,  75.,  67., 100.],
        [ 71.,  61.,  71.,  79.,  54.,  57.,  43.,  99.,  48.,  64.],
        [ 56.,  67.,  76.,  82.,  59.,  68.,  59.,  66.,  65.,  64.],
        [ 43.,  59.,  62.,  60., 100.,  62.,  62.,  66.,  68.,  70.]],
       device='cuda:0')
Train accuarcate: 95.04%



iteration:
  192
    0  1117   bit_w:-1  loss: 0.14606
    1  1013   bit_w: 1  loss: 0.14588
    2   543   bit_w: 1  loss: 0.14597
    3  1058   bit_w: 1  loss: 0.14578
    4  1001   bit_w:-1  loss: 0.14583
   2495   2802   3000    385    293    907   2544    332   3171    269
      1      0      1      0      0      0      1      0      1      0
Train accuarcate: 95.73%
tensor([[ 62.,  59.,  67.,  78.,  54.,  66.,  39., 106.,  56.,  65.],
        [ 66.,  67.,  99.,  77.,  44.,  65.,  72.,  47.,  73.,  45.],
        [ 49.,  93.,  77.,  61.,  65.,  55.,  62.,  65.,  66.,  47.],
        [ 97.,  59.,  73.,  57.,  52.,  63.,  73.,  67.,  59.,  69.],
        [ 60.,  66.,  57.,  52., 103.,  56.,  70.,  68.,  67.,  72.],
        [ 45.,  98.,  64.,  64.,  64.,  51.,  56.,  69.,  60.,  56.],
        [ 37.,  70.,  47.,  68.,  95.,  73.,  55.,  66.,  71.,  77.],
        [ 41.,  57.,  68.,  73.,  76.,  70.,  54.,  60.,  73.,  96.],
        [ 69.,  64.,  70.,  34.,  70.,  80.,  88.,  58.,  71.,  64.],
        [ 66.,  50.,  58.,  62.,  83.,  56.,  47.,  82.,  77.,  96.],
        [109.,  60.,  72.,  67.,  56.,  71.,  71.,  58.,  69.,  65.],
        [ 62.,  71.,  77.,  49.,  78.,  58.,  91.,  60.,  69.,  49.],
        [ 54.,  53.,  51.,  67.,  79.,  61.,  46.,  71.,  62., 101.],
        [ 98.,  46.,  70.,  68.,  55.,  68.,  59.,  66.,  79.,  61.],
        [ 36., 102.,  61.,  71.,  65.,  58.,  58.,  60.,  69.,  58.],
        [ 58.,  63.,  59.,  77.,  54.,  93.,  56.,  64.,  70.,  67.],
        [ 57.,  56.,  54.,  63.,  79.,  57.,  48.,  75.,  67., 100.],
        [ 71.,  61.,  71.,  79.,  54.,  57.,  43.,  99.,  48.,  64.],
        [ 57.,  67.,  77.,  82.,  59.,  68.,  60.,  66.,  66.,  64.],
        [ 43.,  59.,  62.,  60., 100.,  62.,  62.,  66.,  68.,  70.]],
       device='cuda:0')
Train accuarcate: 95.01%



iteration:
  193
    0  1106   bit_w:-1  loss: 0.14566
    1  1071   bit_w: 1  loss: 0.14550
    2  1119   bit_w:-1  loss: 0.14552
    3   125   bit_w:-1  loss: 0.14532
    4  1169   bit_w:-1  loss: 0.14538
   1293    938   1442    413    483    590   3026    128   1299     46
      0      0      1      1      0      0      1      0      1      0
Train accuarcate: 95.74%
tensor([[ 62.,  59.,  67.,  78.,  54.,  66.,  39., 106.,  56.,  65.],
        [ 66.,  67.,  99.,  77.,  44.,  65.,  72.,  47.,  73.,  45.],
        [ 49.,  93.,  77.,  61.,  65.,  55.,  62.,  65.,  66.,  47.],
        [ 97.,  59.,  73.,  57.,  52.,  63.,  73.,  67.,  59.,  69.],
        [ 60.,  66.,  57.,  52., 103.,  56.,  70.,  68.,  67.,  72.],
        [ 45.,  98.,  64.,  64.,  64.,  51.,  56.,  69.,  60.,  56.],
        [ 37.,  70.,  47.,  68.,  95.,  73.,  55.,  66.,  71.,  77.],
        [ 41.,  57.,  68.,  73.,  76.,  70.,  54.,  60.,  73.,  96.],
        [ 69.,  64.,  71.,  35.,  70.,  80.,  89.,  58.,  72.,  64.],
        [ 66.,  50.,  58.,  62.,  83.,  56.,  47.,  82.,  77.,  96.],
        [109.,  60.,  72.,  67.,  56.,  71.,  71.,  58.,  69.,  65.],
        [ 62.,  71.,  77.,  49.,  78.,  58.,  91.,  60.,  69.,  49.],
        [ 54.,  53.,  51.,  67.,  79.,  61.,  46.,  71.,  62., 101.],
        [ 98.,  46.,  70.,  68.,  55.,  68.,  59.,  66.,  79.,  61.],
        [ 36., 102.,  61.,  71.,  65.,  58.,  58.,  60.,  69.,  58.],
        [ 58.,  63.,  59.,  77.,  54.,  93.,  56.,  64.,  70.,  67.],
        [ 57.,  56.,  54.,  63.,  79.,  57.,  48.,  75.,  67., 100.],
        [ 71.,  61.,  71.,  79.,  54.,  57.,  43.,  99.,  48.,  64.],
        [ 57.,  67.,  78.,  83.,  59.,  68.,  61.,  66.,  67.,  64.],
        [ 43.,  59.,  62.,  60., 100.,  62.,  62.,  66.,  68.,  70.]],
       device='cuda:0')
Train accuarcate: 95.07%



iteration:
  194
    0   805   bit_w:-1  loss: 0.14519
    1   905   bit_w:-1  loss: 0.14493
    2   979   bit_w: 1  loss: 0.14503
    3  1082   bit_w: 1  loss: 0.14483
    4  1129   bit_w:-1  loss: 0.14489
   2182    847   3096   3293   4691   2652   4383    764   3925   4388
      0     -1     -1      1      1      0      0      0      0      1
Train accuarcate: 95.73%
tensor([[ 62.,  60.,  68.,  78.,  54.,  66.,  39., 106.,  56.,  65.],
        [ 66.,  68., 100.,  77.,  44.,  65.,  72.,  47.,  73.,  45.],
        [ 49.,  94.,  78.,  61.,  65.,  55.,  62.,  65.,  66.,  47.],
        [ 97.,  60.,  74.,  57.,  52.,  63.,  73.,  67.,  59.,  69.],
        [ 60.,  67.,  58.,  52., 103.,  56.,  70.,  68.,  67.,  72.],
        [ 45.,  99.,  65.,  64.,  64.,  51.,  56.,  69.,  60.,  56.],
        [ 37.,  70.,  47.,  69.,  96.,  73.,  55.,  66.,  71.,  78.],
        [ 41.,  58.,  69.,  73.,  76.,  70.,  54.,  60.,  73.,  96.],
        [ 69.,  64.,  71.,  36.,  71.,  80.,  89.,  58.,  72.,  65.],
        [ 66.,  51.,  59.,  62.,  83.,  56.,  47.,  82.,  77.,  96.],
        [109.,  60.,  72.,  68.,  57.,  71.,  71.,  58.,  69.,  66.],
        [ 62.,  71.,  77.,  50.,  79.,  58.,  91.,  60.,  69.,  50.],
        [ 54.,  53.,  51.,  68.,  80.,  61.,  46.,  71.,  62., 102.],
        [ 98.,  47.,  71.,  68.,  55.,  68.,  59.,  66.,  79.,  61.],
        [ 36., 103.,  62.,  71.,  65.,  58.,  58.,  60.,  69.,  58.],
        [ 58.,  63.,  59.,  78.,  55.,  93.,  56.,  64.,  70.,  68.],
        [ 57.,  56.,  54.,  64.,  80.,  57.,  48.,  75.,  67., 101.],
        [ 71.,  62.,  72.,  79.,  54.,  57.,  43.,  99.,  48.,  64.],
        [ 57.,  67.,  78.,  84.,  60.,  68.,  61.,  66.,  67.,  65.],
        [ 43.,  59.,  62.,  61., 101.,  62.,  62.,  66.,  68.,  71.]],
       device='cuda:0')
Train accuarcate: 95.12%



iteration:
  195
    0  1139   bit_w:-1  loss: 0.14463
    1   985   bit_w:-1  loss: 0.14448
    2   935   bit_w:-1  loss: 0.14447
    3   578   bit_w: 1  loss: 0.14429
    4   442   bit_w:-1  loss: 0.14432
   1561    755   2849   4294   3921   4484   3189   3095   4169   4679
     -1      0      0      0      0      1     -1     -1     -1      0
Train accuarcate: 95.78%
tensor([[ 63.,  60.,  68.,  78.,  54.,  66.,  40., 107.,  57.,  65.],
        [ 66.,  68., 100.,  77.,  44.,  66.,  72.,  47.,  73.,  45.],
        [ 50.,  94.,  78.,  61.,  65.,  55.,  63.,  66.,  67.,  47.],
        [ 97.,  60.,  74.,  57.,  52.,  64.,  73.,  67.,  59.,  69.],
        [ 60.,  67.,  58.,  52., 103.,  57.,  70.,  68.,  67.,  72.],
        [ 46.,  99.,  65.,  64.,  64.,  51.,  57.,  70.,  61.,  56.],
        [ 37.,  70.,  47.,  69.,  96.,  74.,  55.,  66.,  71.,  78.],
        [ 41.,  58.,  69.,  73.,  76.,  71.,  54.,  60.,  73.,  96.],
        [ 69.,  64.,  71.,  36.,  71.,  81.,  89.,  58.,  72.,  65.],
        [ 66.,  51.,  59.,  62.,  83.,  57.,  47.,  82.,  77.,  96.],
        [110.,  60.,  72.,  68.,  57.,  71.,  72.,  59.,  70.,  66.],
        [ 63.,  71.,  77.,  50.,  79.,  58.,  92.,  61.,  70.,  50.],
        [ 54.,  53.,  51.,  68.,  80.,  62.,  46.,  71.,  62., 102.],
        [ 98.,  47.,  71.,  68.,  55.,  69.,  59.,  66.,  79.,  61.],
        [ 37., 103.,  62.,  71.,  65.,  58.,  59.,  61.,  70.,  58.],
        [ 59.,  63.,  59.,  78.,  55.,  93.,  57.,  65.,  71.,  68.],
        [ 58.,  56.,  54.,  64.,  80.,  57.,  49.,  76.,  68., 101.],
        [ 72.,  62.,  72.,  79.,  54.,  57.,  44., 100.,  49.,  64.],
        [ 58.,  67.,  78.,  84.,  60.,  68.,  62.,  67.,  68.,  65.],
        [ 43.,  59.,  62.,  61., 101.,  63.,  62.,  66.,  68.,  71.]],
       device='cuda:0')
Train accuarcate: 95.16%



iteration:
  196
    0  1072   bit_w:-1  loss: 0.14414
    1  1158   bit_w: 1  loss: 0.14390
    2  1071   bit_w:-1  loss: 0.14403
    3  1159   bit_w:-1  loss: 0.14373
    4   791   bit_w: 1  loss: 0.14380
   3845   3064   2560   4813   2084   4103   2810   2699   2180   3247
      0      1      0      0      1      0      0     -1      0     -1
Train accuarcate: 95.79%
tensor([[ 63.,  60.,  68.,  78.,  54.,  66.,  40., 108.,  57.,  66.],
        [ 66.,  69., 100.,  77.,  45.,  66.,  72.,  47.,  73.,  45.],
        [ 50.,  94.,  78.,  61.,  65.,  55.,  63.,  67.,  67.,  48.],
        [ 97.,  61.,  74.,  57.,  53.,  64.,  73.,  67.,  59.,  69.],
        [ 60.,  67.,  58.,  52., 103.,  57.,  70.,  69.,  67.,  73.],
        [ 46.,  99.,  65.,  64.,  64.,  51.,  57.,  71.,  61.,  57.],
        [ 37.,  71.,  47.,  69.,  97.,  74.,  55.,  66.,  71.,  78.],
        [ 41.,  58.,  69.,  73.,  76.,  71.,  54.,  61.,  73.,  97.],
        [ 69.,  64.,  71.,  36.,  71.,  81.,  89.,  59.,  72.,  66.],
        [ 66.,  52.,  59.,  62.,  84.,  57.,  47.,  82.,  77.,  96.],
        [110.,  61.,  72.,  68.,  58.,  71.,  72.,  59.,  70.,  66.],
        [ 63.,  71.,  77.,  50.,  79.,  58.,  92.,  62.,  70.,  51.],
        [ 54.,  54.,  51.,  68.,  81.,  62.,  46.,  71.,  62., 102.],
        [ 98.,  48.,  71.,  68.,  56.,  69.,  59.,  66.,  79.,  61.],
        [ 37., 104.,  62.,  71.,  66.,  58.,  59.,  61.,  70.,  58.],
        [ 59.,  63.,  59.,  78.,  55.,  93.,  57.,  66.,  71.,  69.],
        [ 58.,  57.,  54.,  64.,  81.,  57.,  49.,  76.,  68., 101.],
        [ 72.,  62.,  72.,  79.,  54.,  57.,  44., 101.,  49.,  65.],
        [ 58.,  67.,  78.,  84.,  60.,  68.,  62.,  68.,  68.,  66.],
        [ 43.,  60.,  62.,  61., 102.,  63.,  62.,  66.,  68.,  71.]],
       device='cuda:0')
Train accuarcate: 95.13%



iteration:
  197
    0  1135   bit_w:-1  loss: 0.14360
    1  1099   bit_w: 1  loss: 0.14343
    2  1130   bit_w:-1  loss: 0.14348
    3  1159   bit_w:-1  loss: 0.14330
    4  1125   bit_w:-1  loss: 0.14340
   1095    502   1178   1581    736   1703   1255    881   1880    896
      0      0      0      1      0      1      1      0      1      0
Train accuarcate: 95.80%
tensor([[ 63.,  60.,  68.,  78.,  54.,  66.,  40., 108.,  57.,  66.],
        [ 66.,  69., 100.,  78.,  45.,  67.,  73.,  47.,  74.,  45.],
        [ 50.,  94.,  78.,  61.,  65.,  55.,  63.,  67.,  67.,  48.],
        [ 97.,  61.,  74.,  57.,  53.,  64.,  73.,  67.,  59.,  69.],
        [ 60.,  67.,  58.,  52., 103.,  57.,  70.,  69.,  67.,  73.],
        [ 46.,  99.,  65.,  64.,  64.,  51.,  57.,  71.,  61.,  57.],
        [ 37.,  71.,  47.,  69.,  97.,  74.,  55.,  66.,  71.,  78.],
        [ 41.,  58.,  69.,  74.,  76.,  72.,  55.,  61.,  74.,  97.],
        [ 69.,  64.,  71.,  37.,  71.,  82.,  90.,  59.,  73.,  66.],
        [ 66.,  52.,  59.,  62.,  84.,  57.,  47.,  82.,  77.,  96.],
        [110.,  61.,  72.,  68.,  58.,  71.,  72.,  59.,  70.,  66.],
        [ 63.,  71.,  77.,  51.,  79.,  59.,  93.,  62.,  71.,  51.],
        [ 54.,  54.,  51.,  68.,  81.,  62.,  46.,  71.,  62., 102.],
        [ 98.,  48.,  71.,  69.,  56.,  70.,  60.,  66.,  80.,  61.],
        [ 37., 104.,  62.,  71.,  66.,  58.,  59.,  61.,  70.,  58.],
        [ 59.,  63.,  59.,  79.,  55.,  94.,  58.,  66.,  72.,  69.],
        [ 58.,  57.,  54.,  64.,  81.,  57.,  49.,  76.,  68., 101.],
        [ 72.,  62.,  72.,  79.,  54.,  57.,  44., 101.,  49.,  65.],
        [ 58.,  67.,  78.,  85.,  60.,  69.,  63.,  68.,  69.,  66.],
        [ 43.,  60.,  62.,  61., 102.,  63.,  62.,  66.,  68.,  71.]],
       device='cuda:0')
Train accuarcate: 95.13%



iteration:
  198
    0  1131   bit_w:-1  loss: 0.14319
    1  1168   bit_w: 1  loss: 0.14304
    2  1138   bit_w:-1  loss: 0.14306
    3  1162   bit_w: 1  loss: 0.14278
    4  1097   bit_w:-1  loss: 0.14289
   1209   1552   2901   2710   2074    854    677    247   1653    288
      0      1      1      1      1      0      0      0      0      0
Train accuarcate: 95.82%
tensor([[ 63.,  60.,  68.,  78.,  54.,  66.,  40., 108.,  57.,  66.],
        [ 66.,  70., 101.,  79.,  46.,  67.,  73.,  47.,  74.,  45.],
        [ 50.,  94.,  78.,  61.,  65.,  55.,  63.,  67.,  67.,  48.],
        [ 97.,  61.,  74.,  57.,  53.,  64.,  73.,  67.,  59.,  69.],
        [ 60.,  68.,  59.,  53., 104.,  57.,  70.,  69.,  67.,  73.],
        [ 46.,  99.,  65.,  64.,  64.,  51.,  57.,  71.,  61.,  57.],
        [ 37.,  72.,  48.,  70.,  98.,  74.,  55.,  66.,  71.,  78.],
        [ 41.,  59.,  70.,  75.,  77.,  72.,  55.,  61.,  74.,  97.],
        [ 69.,  65.,  72.,  38.,  72.,  82.,  90.,  59.,  73.,  66.],
        [ 66.,  52.,  59.,  62.,  84.,  57.,  47.,  82.,  77.,  96.],
        [110.,  62.,  73.,  69.,  59.,  71.,  72.,  59.,  70.,  66.],
        [ 63.,  72.,  78.,  52.,  80.,  59.,  93.,  62.,  71.,  51.],
        [ 54.,  54.,  51.,  68.,  81.,  62.,  46.,  71.,  62., 102.],
        [ 98.,  48.,  71.,  69.,  56.,  70.,  60.,  66.,  80.,  61.],
        [ 37., 105.,  63.,  72.,  67.,  58.,  59.,  61.,  70.,  58.],
        [ 59.,  63.,  59.,  79.,  55.,  94.,  58.,  66.,  72.,  69.],
        [ 58.,  57.,  54.,  64.,  81.,  57.,  49.,  76.,  68., 101.],
        [ 72.,  62.,  72.,  79.,  54.,  57.,  44., 101.,  49.,  65.],
        [ 58.,  67.,  78.,  85.,  60.,  69.,  63.,  68.,  69.,  66.],
        [ 43.,  60.,  62.,  61., 102.,  63.,  62.,  66.,  68.,  71.]],
       device='cuda:0')
Train accuarcate: 95.20%



iteration:
  199
    0   967   bit_w:-1  loss: 0.14267
    1   899   bit_w:-1  loss: 0.14250
    2  1076   bit_w:-1  loss: 0.14257
    3  1132   bit_w:-1  loss: 0.14244
    4   516   bit_w:-1  loss: 0.14245
   2765   3093   2205   4044   4108   3733   4005   3158   3455   4010
     -1     -1      0      0      0      0      1      0      1      0
Train accuarcate: 95.82%
tensor([[ 64.,  61.,  68.,  78.,  54.,  66.,  40., 108.,  57.,  66.],
        [ 67.,  71., 101.,  79.,  46.,  67.,  73.,  47.,  74.,  45.],
        [ 51.,  95.,  78.,  61.,  65.,  55.,  63.,  67.,  67.,  48.],
        [ 97.,  61.,  74.,  57.,  53.,  64.,  74.,  67.,  60.,  69.],
        [ 60.,  68.,  59.,  53., 104.,  57.,  71.,  69.,  68.,  73.],
        [ 47., 100.,  65.,  64.,  64.,  51.,  57.,  71.,  61.,  57.],
        [ 37.,  72.,  48.,  70.,  98.,  74.,  56.,  66.,  72.,  78.],
        [ 42.,  60.,  70.,  75.,  77.,  72.,  55.,  61.,  74.,  97.],
        [ 69.,  65.,  72.,  38.,  72.,  82.,  91.,  59.,  74.,  66.],
        [ 66.,  52.,  59.,  62.,  84.,  57.,  48.,  82.,  78.,  96.],
        [111.,  63.,  73.,  69.,  59.,  71.,  72.,  59.,  70.,  66.],
        [ 64.,  73.,  78.,  52.,  80.,  59.,  93.,  62.,  71.,  51.],
        [ 54.,  54.,  51.,  68.,  81.,  62.,  47.,  71.,  63., 102.],
        [ 99.,  49.,  71.,  69.,  56.,  70.,  60.,  66.,  80.,  61.],
        [ 37., 105.,  63.,  72.,  67.,  58.,  60.,  61.,  71.,  58.],
        [ 60.,  64.,  59.,  79.,  55.,  94.,  58.,  66.,  72.,  69.],
        [ 58.,  57.,  54.,  64.,  81.,  57.,  50.,  76.,  69., 101.],
        [ 73.,  63.,  72.,  79.,  54.,  57.,  44., 101.,  49.,  65.],
        [ 59.,  68.,  78.,  85.,  60.,  69.,  63.,  68.,  69.,  66.],
        [ 44.,  61.,  62.,  61., 102.,  63.,  62.,  66.,  68.,  71.]],
       device='cuda:0')
Train accuarcate: 95.19%



iteration:
  200
    0  1061   bit_w:-1  loss: 0.14227
    1  1143   bit_w: 1  loss: 0.14213
    2   869   bit_w:-1  loss: 0.14212
    3   831   bit_w: 1  loss: 0.14193
    4   915   bit_w:-1  loss: 0.14197
   3624   1670   3224   1835   3876   2020   3420   5848   2093   2692
      0      0      1      0     -1      0      0      0      0     -1
Train accuarcate: 95.85%
tensor([[ 64.,  61.,  69.,  78.,  54.,  66.,  40., 108.,  57.,  66.],
        [ 67.,  71., 101.,  79.,  47.,  67.,  73.,  47.,  74.,  46.],
        [ 51.,  95.,  79.,  61.,  65.,  55.,  63.,  67.,  67.,  48.],
        [ 97.,  61.,  74.,  57.,  54.,  64.,  74.,  67.,  60.,  70.],
        [ 60.,  68.,  60.,  53., 104.,  57.,  71.,  69.,  68.,  73.],
        [ 47., 100.,  65.,  64.,  65.,  51.,  57.,  71.,  61.,  58.],
        [ 37.,  72.,  48.,  70.,  99.,  74.,  56.,  66.,  72.,  79.],
        [ 42.,  60.,  70.,  75.,  78.,  72.,  55.,  61.,  74.,  98.],
        [ 69.,  65.,  73.,  38.,  72.,  82.,  91.,  59.,  74.,  66.],
        [ 66.,  52.,  59.,  62.,  85.,  57.,  48.,  82.,  78.,  97.],
        [111.,  63.,  74.,  69.,  59.,  71.,  72.,  59.,  70.,  66.],
        [ 64.,  73.,  79.,  52.,  80.,  59.,  93.,  62.,  71.,  51.],
        [ 54.,  54.,  52.,  68.,  81.,  62.,  47.,  71.,  63., 102.],
        [ 99.,  49.,  72.,  69.,  56.,  70.,  60.,  66.,  80.,  61.],
        [ 37., 105.,  63.,  72.,  68.,  58.,  60.,  61.,  71.,  59.],
        [ 60.,  64.,  60.,  79.,  55.,  94.,  58.,  66.,  72.,  69.],
        [ 58.,  57.,  55.,  64.,  81.,  57.,  50.,  76.,  69., 101.],
        [ 73.,  63.,  73.,  79.,  54.,  57.,  44., 101.,  49.,  65.],
        [ 59.,  68.,  79.,  85.,  60.,  69.,  63.,  68.,  69.,  66.],
        [ 44.,  61.,  63.,  61., 102.,  63.,  62.,  66.,  68.,  71.]],
       device='cuda:0')
Train accuarcate: 95.24%



iteration:
  201
    0   955   bit_w:-1  loss: 0.14179
    1  1112   bit_w: 1  loss: 0.14164
    2  1093   bit_w:-1  loss: 0.14154
    3   511   bit_w:-1  loss: 0.14140
    4  1152   bit_w:-1  loss: 0.14142
    613    875   1842   1791   2232   1616   3020   3037   2318   2921
     -1      0      0      1      0      1      0      1      1      0
Train accuarcate: 95.90%
tensor([[ 64.,  61.,  69.,  79.,  54.,  67.,  40., 109.,  58.,  66.],
        [ 67.,  71., 101.,  80.,  47.,  68.,  73.,  48.,  75.,  46.],
        [ 52.,  95.,  79.,  61.,  65.,  55.,  63.,  67.,  67.,  48.],
        [ 98.,  61.,  74.,  57.,  54.,  64.,  74.,  67.,  60.,  70.],
        [ 61.,  68.,  60.,  53., 104.,  57.,  71.,  69.,  68.,  73.],
        [ 48., 100.,  65.,  64.,  65.,  51.,  57.,  71.,  61.,  58.],
        [ 38.,  72.,  48.,  70.,  99.,  74.,  56.,  66.,  72.,  79.],
        [ 43.,  60.,  70.,  75.,  78.,  72.,  55.,  61.,  74.,  98.],
        [ 69.,  65.,  73.,  39.,  72.,  83.,  91.,  60.,  75.,  66.],
        [ 67.,  52.,  59.,  62.,  85.,  57.,  48.,  82.,  78.,  97.],
        [112.,  63.,  74.,  69.,  59.,  71.,  72.,  59.,  70.,  66.],
        [ 65.,  73.,  79.,  52.,  80.,  59.,  93.,  62.,  71.,  51.],
        [ 55.,  54.,  52.,  68.,  81.,  62.,  47.,  71.,  63., 102.],
        [100.,  49.,  72.,  69.,  56.,  70.,  60.,  66.,  80.,  61.],
        [ 38., 105.,  63.,  72.,  68.,  58.,  60.,  61.,  71.,  59.],
        [ 60.,  64.,  60.,  80.,  55.,  95.,  58.,  67.,  73.,  69.],
        [ 58.,  57.,  55.,  65.,  81.,  58.,  50.,  77.,  70., 101.],
        [ 74.,  63.,  73.,  79.,  54.,  57.,  44., 101.,  49.,  65.],
        [ 59.,  68.,  79.,  86.,  60.,  70.,  63.,  69.,  70.,  66.],
        [ 45.,  61.,  63.,  61., 102.,  63.,  62.,  66.,  68.,  71.]],
       device='cuda:0')
Train accuarcate: 95.21%



iteration:
  202
    0  1155   bit_w:-1  loss: 0.14123
    1  1058   bit_w:-1  loss: 0.14105
    2  1013   bit_w:-1  loss: 0.14108
    3  1174   bit_w: 1  loss: 0.14081
    4  1028   bit_w: 1  loss: 0.14098
   2257    107   2306   1584   2364    243    905   1750   1457   1151
      0      0      1      1      1      0      0      1      0     -1
Train accuarcate: 95.89%
tensor([[ 64.,  61.,  69.,  79.,  54.,  67.,  40., 109.,  58.,  67.],
        [ 67.,  71., 101.,  80.,  47.,  68.,  73.,  48.,  75.,  47.],
        [ 52.,  95.,  79.,  61.,  65.,  55.,  63.,  67.,  67.,  49.],
        [ 98.,  61.,  74.,  57.,  54.,  64.,  74.,  67.,  60.,  71.],
        [ 61.,  68.,  61.,  54., 105.,  57.,  71.,  70.,  68.,  73.],
        [ 48., 100.,  65.,  64.,  65.,  51.,  57.,  71.,  61.,  59.],
        [ 38.,  72.,  49.,  71., 100.,  74.,  56.,  67.,  72.,  79.],
        [ 43.,  60.,  70.,  75.,  78.,  72.,  55.,  61.,  74.,  99.],
        [ 69.,  65.,  73.,  39.,  72.,  83.,  91.,  60.,  75.,  67.],
        [ 67.,  52.,  59.,  62.,  85.,  57.,  48.,  82.,  78.,  98.],
        [112.,  63.,  74.,  69.,  59.,  71.,  72.,  59.,  70.,  67.],
        [ 65.,  73.,  79.,  52.,  80.,  59.,  93.,  62.,  71.,  52.],
        [ 55.,  54.,  53.,  69.,  82.,  62.,  47.,  72.,  63., 102.],
        [100.,  49.,  72.,  69.,  56.,  70.,  60.,  66.,  80.,  62.],
        [ 38., 105.,  63.,  72.,  68.,  58.,  60.,  61.,  71.,  60.],
        [ 60.,  64.,  60.,  80.,  55.,  95.,  58.,  67.,  73.,  70.],
        [ 58.,  57.,  56.,  66.,  82.,  58.,  50.,  78.,  70., 101.],
        [ 74.,  63.,  74.,  80.,  55.,  57.,  44., 102.,  49.,  65.],
        [ 59.,  68.,  79.,  86.,  60.,  70.,  63.,  69.,  70.,  67.],
        [ 45.,  61.,  63.,  61., 102.,  63.,  62.,  66.,  68.,  72.]],
       device='cuda:0')
Train accuarcate: 95.14%



iteration:
  203
    0  1063   bit_w:-1  loss: 0.14077
    1   271   bit_w: 1  loss: 0.14056
    2  1049   bit_w: 1  loss: 0.14052
    3  1177   bit_w:-1  loss: 0.14038
    4   870   bit_w:-1  loss: 0.14043
   5060   2553   4070   4422   2668   1440    441   4515   4025   3950
      0      0      1      0      1     -1     -1      0      1      0
Train accuarcate: 95.88%
tensor([[ 64.,  61.,  70.,  79.,  55.,  67.,  40., 109.,  59.,  67.],
        [ 67.,  71., 101.,  80.,  47.,  69.,  74.,  48.,  75.,  47.],
        [ 52.,  95.,  79.,  61.,  65.,  56.,  64.,  67.,  67.,  49.],
        [ 98.,  61.,  75.,  57.,  55.,  64.,  74.,  67.,  61.,  71.],
        [ 61.,  68.,  62.,  54., 106.,  57.,  71.,  70.,  69.,  73.],
        [ 48., 100.,  65.,  64.,  65.,  52.,  58.,  71.,  61.,  59.],
        [ 38.,  72.,  50.,  71., 101.,  74.,  56.,  67.,  73.,  79.],
        [ 43.,  60.,  70.,  75.,  78.,  73.,  56.,  61.,  74.,  99.],
        [ 69.,  65.,  73.,  39.,  72.,  84.,  92.,  60.,  75.,  67.],
        [ 67.,  52.,  60.,  62.,  86.,  57.,  48.,  82.,  79.,  98.],
        [112.,  63.,  75.,  69.,  60.,  71.,  72.,  59.,  71.,  67.],
        [ 65.,  73.,  79.,  52.,  80.,  60.,  94.,  62.,  71.,  52.],
        [ 55.,  54.,  54.,  69.,  83.,  62.,  47.,  72.,  64., 102.],
        [100.,  49.,  73.,  69.,  57.,  70.,  60.,  66.,  81.,  62.],
        [ 38., 105.,  64.,  72.,  69.,  58.,  60.,  61.,  72.,  60.],
        [ 60.,  64.,  60.,  80.,  55.,  96.,  59.,  67.,  73.,  70.],
        [ 58.,  57.,  57.,  66.,  83.,  58.,  50.,  78.,  71., 101.],
        [ 74.,  63.,  75.,  80.,  56.,  57.,  44., 102.,  50.,  65.],
        [ 59.,  68.,  79.,  86.,  60.,  71.,  64.,  69.,  70.,  67.],
        [ 45.,  61.,  63.,  61., 102.,  64.,  63.,  66.,  68.,  72.]],
       device='cuda:0')
Train accuarcate: 95.18%



iteration:
  204
    0   980   bit_w:-1  loss: 0.14011
    1   959   bit_w: 1  loss: 0.13990
    2   950   bit_w: 1  loss: 0.13987
    3  1069   bit_w:-1  loss: 0.13981
    4   982   bit_w: 1  loss: 0.13979
   2800   3139   3743   2481   4030   3102   3605   3173   2850   3743
      1      1      0     -1      0      0      0     -1      0      0
Train accuarcate: 95.90%
tensor([[ 65.,  62.,  70.,  79.,  55.,  67.,  40., 109.,  59.,  67.],
        [ 68.,  72., 101.,  80.,  47.,  69.,  74.,  48.,  75.,  47.],
        [ 53.,  96.,  79.,  61.,  65.,  56.,  64.,  67.,  67.,  49.],
        [ 98.,  61.,  75.,  58.,  55.,  64.,  74.,  68.,  61.,  71.],
        [ 62.,  69.,  62.,  54., 106.,  57.,  71.,  70.,  69.,  73.],
        [ 48., 100.,  65.,  65.,  65.,  52.,  58.,  72.,  61.,  59.],
        [ 38.,  72.,  50.,  72., 101.,  74.,  56.,  68.,  73.,  79.],
        [ 43.,  60.,  70.,  76.,  78.,  73.,  56.,  62.,  74.,  99.],
        [ 69.,  65.,  73.,  40.,  72.,  84.,  92.,  61.,  75.,  67.],
        [ 68.,  53.,  60.,  62.,  86.,  57.,  48.,  82.,  79.,  98.],
        [112.,  63.,  75.,  70.,  60.,  71.,  72.,  60.,  71.,  67.],
        [ 65.,  73.,  79.,  53.,  80.,  60.,  94.,  63.,  71.,  52.],
        [ 56.,  55.,  54.,  69.,  83.,  62.,  47.,  72.,  64., 102.],
        [100.,  49.,  73.,  70.,  57.,  70.,  60.,  67.,  81.,  62.],
        [ 39., 106.,  64.,  72.,  69.,  58.,  60.,  61.,  72.,  60.],
        [ 61.,  65.,  60.,  80.,  55.,  96.,  59.,  67.,  73.,  70.],
        [ 59.,  58.,  57.,  66.,  83.,  58.,  50.,  78.,  71., 101.],
        [ 75.,  64.,  75.,  80.,  56.,  57.,  44., 102.,  50.,  65.],
        [ 59.,  68.,  79.,  87.,  60.,  71.,  64.,  70.,  70.,  67.],
        [ 46.,  62.,  63.,  61., 102.,  64.,  63.,  66.,  68.,  72.]],
       device='cuda:0')
Train accuarcate: 95.24%



iteration:
  205
    0  1024   bit_w:-1  loss: 0.13962
    1  1066   bit_w: 1  loss: 0.13948
    2   982   bit_w:-1  loss: 0.13954
    3   920   bit_w: 1  loss: 0.13945
    4  1062   bit_w:-1  loss: 0.13945
   1020    213   1022   3829    236   2532    375   1652   1513    829
      0      0      0      1      0      1      0      0      1      0
Train accuarcate: 95.90%
tensor([[ 65.,  62.,  70.,  79.,  55.,  67.,  40., 109.,  59.,  67.],
        [ 68.,  72., 101.,  80.,  47.,  69.,  74.,  48.,  75.,  47.],
        [ 53.,  96.,  79.,  61.,  65.,  56.,  64.,  67.,  67.,  49.],
        [ 98.,  61.,  75.,  58.,  55.,  64.,  74.,  68.,  61.,  71.],
        [ 62.,  69.,  62.,  54., 106.,  57.,  71.,  70.,  69.,  73.],
        [ 48., 100.,  65.,  65.,  65.,  52.,  58.,  72.,  61.,  59.],
        [ 38.,  72.,  50.,  72., 101.,  74.,  56.,  68.,  73.,  79.],
        [ 43.,  60.,  70.,  76.,  78.,  73.,  56.,  62.,  74.,  99.],
        [ 69.,  65.,  73.,  40.,  72.,  84.,  92.,  61.,  75.,  67.],
        [ 68.,  53.,  60.,  62.,  86.,  57.,  48.,  82.,  79.,  98.],
        [112.,  63.,  75.,  71.,  60.,  72.,  72.,  60.,  72.,  67.],
        [ 65.,  73.,  79.,  53.,  80.,  60.,  94.,  63.,  71.,  52.],
        [ 56.,  55.,  54.,  69.,  83.,  62.,  47.,  72.,  64., 102.],
        [100.,  49.,  73.,  70.,  57.,  70.,  60.,  67.,  81.,  62.],
        [ 39., 106.,  64.,  72.,  69.,  58.,  60.,  61.,  72.,  60.],
        [ 61.,  65.,  60.,  81.,  55.,  97.,  59.,  67.,  74.,  70.],
        [ 59.,  58.,  57.,  67.,  83.,  59.,  50.,  78.,  72., 101.],
        [ 75.,  64.,  75.,  80.,  56.,  57.,  44., 102.,  50.,  65.],
        [ 59.,  68.,  79.,  87.,  60.,  71.,  64.,  70.,  70.,  67.],
        [ 46.,  62.,  63.,  61., 102.,  64.,  63.,  66.,  68.,  72.]],
       device='cuda:0')
Train accuarcate: 95.21%



iteration:
  206
    0  1118   bit_w:-1  loss: 0.13928
    1  1043   bit_w:-1  loss: 0.13914
    2   971   bit_w: 1  loss: 0.13917
    3  1078   bit_w:-1  loss: 0.13899
    4  1179   bit_w: 1  loss: 0.13905
   3182   6724   3799   4916   4538   4033   4006   5496   4254   4012
      0      0     -1      0      0      0     -1      0      0     -1
Train accuarcate: 95.92%
tensor([[ 65.,  62.,  71.,  79.,  55.,  67.,  41., 109.,  59.,  68.],
        [ 68.,  72., 101.,  80.,  47.,  69.,  74.,  48.,  75.,  47.],
        [ 53.,  96.,  79.,  61.,  65.,  56.,  64.,  67.,  67.,  49.],
        [ 98.,  61.,  75.,  58.,  55.,  64.,  74.,  68.,  61.,  71.],
        [ 62.,  69.,  62.,  54., 106.,  57.,  71.,  70.,  69.,  73.],
        [ 48., 100.,  65.,  65.,  65.,  52.,  58.,  72.,  61.,  59.],
        [ 38.,  72.,  50.,  72., 101.,  74.,  56.,  68.,  73.,  79.],
        [ 43.,  60.,  71.,  76.,  78.,  73.,  57.,  62.,  74., 100.],
        [ 69.,  65.,  73.,  40.,  72.,  84.,  92.,  61.,  75.,  67.],
        [ 68.,  53.,  60.,  62.,  86.,  57.,  48.,  82.,  79.,  98.],
        [112.,  63.,  75.,  71.,  60.,  72.,  72.,  60.,  72.,  67.],
        [ 65.,  73.,  80.,  53.,  80.,  60.,  95.,  63.,  71.,  53.],
        [ 56.,  55.,  54.,  69.,  83.,  62.,  47.,  72.,  64., 102.],
        [100.,  49.,  74.,  70.,  57.,  70.,  61.,  67.,  81.,  63.],
        [ 39., 106.,  64.,  72.,  69.,  58.,  60.,  61.,  72.,  60.],
        [ 61.,  65.,  61.,  81.,  55.,  97.,  60.,  67.,  74.,  71.],
        [ 59.,  58.,  57.,  67.,  83.,  59.,  50.,  78.,  72., 101.],
        [ 75.,  64.,  75.,  80.,  56.,  57.,  44., 102.,  50.,  65.],
        [ 59.,  68.,  79.,  87.,  60.,  71.,  64.,  70.,  70.,  67.],
        [ 46.,  62.,  63.,  61., 102.,  64.,  63.,  66.,  68.,  72.]],
       device='cuda:0')
Train accuarcate: 95.23%



iteration:
  207
    0  1162   bit_w:-1  loss: 0.13888
    1  1161   bit_w: 1  loss: 0.13878
    2  1178   bit_w: 1  loss: 0.13883
    3  1057   bit_w:-1  loss: 0.13865
    4   596   bit_w:-1  loss: 0.13875
   3951   5962   2780   3693   5607   3450   3952   6042   3905   5672
      0     -1     -1     -1      0      0     -1      0      0      0
Train accuarcate: 95.93%
tensor([[ 65.,  62.,  71.,  79.,  55.,  67.,  41., 109.,  59.,  68.],
        [ 68.,  73., 102.,  81.,  47.,  69.,  75.,  48.,  75.,  47.],
        [ 53.,  96.,  79.,  61.,  65.,  56.,  64.,  67.,  67.,  49.],
        [ 98.,  62.,  76.,  59.,  55.,  64.,  75.,  68.,  61.,  71.],
        [ 62.,  69.,  62.,  54., 106.,  57.,  71.,  70.,  69.,  73.],
        [ 48., 100.,  65.,  65.,  65.,  52.,  58.,  72.,  61.,  59.],
        [ 38.,  72.,  50.,  72., 101.,  74.,  56.,  68.,  73.,  79.],
        [ 43.,  60.,  71.,  76.,  78.,  73.,  57.,  62.,  74., 100.],
        [ 69.,  65.,  73.,  40.,  72.,  84.,  92.,  61.,  75.,  67.],
        [ 68.,  53.,  60.,  62.,  86.,  57.,  48.,  82.,  79.,  98.],
        [112.,  64.,  76.,  72.,  60.,  72.,  73.,  60.,  72.,  67.],
        [ 65.,  74.,  81.,  54.,  80.,  60.,  96.,  63.,  71.,  53.],
        [ 56.,  55.,  54.,  69.,  83.,  62.,  47.,  72.,  64., 102.],
        [100.,  49.,  74.,  70.,  57.,  70.,  61.,  67.,  81.,  63.],
        [ 39., 106.,  64.,  72.,  69.,  58.,  60.,  61.,  72.,  60.],
        [ 61.,  66.,  62.,  82.,  55.,  97.,  61.,  67.,  74.,  71.],
        [ 59.,  58.,  57.,  67.,  83.,  59.,  50.,  78.,  72., 101.],
        [ 75.,  64.,  75.,  80.,  56.,  57.,  44., 102.,  50.,  65.],
        [ 59.,  68.,  79.,  87.,  60.,  71.,  64.,  70.,  70.,  67.],
        [ 46.,  62.,  63.,  61., 102.,  64.,  63.,  66.,  68.,  72.]],
       device='cuda:0')
Train accuarcate: 95.23%



iteration:
  208
    0  1081   bit_w:-1  loss: 0.13853
    1  1111   bit_w: 1  loss: 0.13841
    2  1115   bit_w:-1  loss: 0.13833
    3  1079   bit_w:-1  loss: 0.13819
    4   932   bit_w: 1  loss: 0.13828
   2280   3632   2690   1154    846   2543    414   1433   1374    405
      1      0      0      0      1      1      0      0      1      0
Train accuarcate: 95.94%
tensor([[ 65.,  62.,  71.,  79.,  55.,  67.,  41., 109.,  59.,  68.],
        [ 69.,  73., 102.,  81.,  48.,  70.,  75.,  48.,  76.,  47.],
        [ 53.,  96.,  79.,  61.,  65.,  56.,  64.,  67.,  67.,  49.],
        [ 98.,  62.,  76.,  59.,  55.,  64.,  75.,  68.,  61.,  71.],
        [ 62.,  69.,  62.,  54., 106.,  57.,  71.,  70.,  69.,  73.],
        [ 49., 100.,  65.,  65.,  66.,  53.,  58.,  72.,  62.,  59.],
        [ 38.,  72.,  50.,  72., 101.,  74.,  56.,  68.,  73.,  79.],
        [ 44.,  60.,  71.,  76.,  79.,  74.,  57.,  62.,  75., 100.],
        [ 69.,  65.,  73.,  40.,  72.,  84.,  92.,  61.,  75.,  67.],
        [ 68.,  53.,  60.,  62.,  86.,  57.,  48.,  82.,  79.,  98.],
        [112.,  64.,  76.,  72.,  60.,  72.,  73.,  60.,  72.,  67.],
        [ 65.,  74.,  81.,  54.,  80.,  60.,  96.,  63.,  71.,  53.],
        [ 56.,  55.,  54.,  69.,  83.,  62.,  47.,  72.,  64., 102.],
        [100.,  49.,  74.,  70.,  57.,  70.,  61.,  67.,  81.,  63.],
        [ 40., 106.,  64.,  72.,  70.,  59.,  60.,  61.,  73.,  60.],
        [ 61.,  66.,  62.,  82.,  55.,  97.,  61.,  67.,  74.,  71.],
        [ 59.,  58.,  57.,  67.,  83.,  59.,  50.,  78.,  72., 101.],
        [ 75.,  64.,  75.,  80.,  56.,  57.,  44., 102.,  50.,  65.],
        [ 60.,  68.,  79.,  87.,  61.,  72.,  64.,  70.,  71.,  67.],
        [ 46.,  62.,  63.,  61., 102.,  64.,  63.,  66.,  68.,  72.]],
       device='cuda:0')
Train accuarcate: 95.22%



iteration:
  209
    0  1118   bit_w:-1  loss: 0.13811
    1  1117   bit_w: 1  loss: 0.13797
    2  1007   bit_w:-1  loss: 0.13801
    3  1001   bit_w: 1  loss: 0.13783
    4   163   bit_w: 1  loss: 0.13794
    791    710    822   1001    875   2207   1055    598    735    110
      0      1      0      0      1      1      1      1      0      0
Train accuarcate: 95.95%
tensor([[ 65.,  62.,  71.,  79.,  55.,  67.,  41., 109.,  59.,  68.],
        [ 69.,  73., 102.,  81.,  48.,  70.,  75.,  48.,  76.,  47.],
        [ 53.,  96.,  79.,  61.,  65.,  56.,  64.,  67.,  67.,  49.],
        [ 98.,  62.,  76.,  59.,  55.,  64.,  75.,  68.,  61.,  71.],
        [ 62.,  69.,  62.,  54., 106.,  57.,  71.,  70.,  69.,  73.],
        [ 49., 100.,  65.,  65.,  66.,  53.,  58.,  72.,  62.,  59.],
        [ 38.,  72.,  50.,  72., 101.,  74.,  56.,  68.,  73.,  79.],
        [ 44.,  60.,  71.,  76.,  79.,  74.,  57.,  62.,  75., 100.],
        [ 69.,  66.,  73.,  40.,  73.,  85.,  93.,  62.,  75.,  67.],
        [ 68.,  53.,  60.,  62.,  86.,  57.,  48.,  82.,  79.,  98.],
        [112.,  65.,  76.,  72.,  61.,  73.,  74.,  61.,  72.,  67.],
        [ 65.,  75.,  81.,  54.,  81.,  61.,  97.,  64.,  71.,  53.],
        [ 56.,  55.,  54.,  69.,  83.,  62.,  47.,  72.,  64., 102.],
        [100.,  49.,  74.,  70.,  57.,  70.,  61.,  67.,  81.,  63.],
        [ 40., 106.,  64.,  72.,  70.,  59.,  60.,  61.,  73.,  60.],
        [ 61.,  66.,  62.,  82.,  55.,  97.,  61.,  67.,  74.,  71.],
        [ 59.,  58.,  57.,  67.,  83.,  59.,  50.,  78.,  72., 101.],
        [ 75.,  64.,  75.,  80.,  56.,  57.,  44., 102.,  50.,  65.],
        [ 60.,  68.,  79.,  87.,  61.,  72.,  64.,  70.,  71.,  67.],
        [ 46.,  62.,  63.,  61., 102.,  64.,  63.,  66.,  68.,  72.]],
       device='cuda:0')
Train accuarcate: 95.19%



iteration:
  210
    0  1141   bit_w:-1  loss: 0.13777
    1  1039   bit_w: 1  loss: 0.13763
    2  1159   bit_w: 1  loss: 0.13769
    3   962   bit_w: 1  loss: 0.13748
    4  1054   bit_w:-1  loss: 0.13761
   4286   5537   2356   4462   5447   4769   3650   6095   4925   5646
     -1     -1     -1     -1      0      0      0      0      0      0
Train accuarcate: 95.98%
tensor([[ 65.,  62.,  71.,  79.,  55.,  67.,  41., 109.,  59.,  68.],
        [ 70.,  74., 103.,  82.,  48.,  70.,  75.,  48.,  76.,  47.],
        [ 54.,  97.,  80.,  62.,  65.,  56.,  64.,  67.,  67.,  49.],
        [ 98.,  62.,  76.,  59.,  55.,  64.,  75.,  68.,  61.,  71.],
        [ 63.,  70.,  63.,  55., 106.,  57.,  71.,  70.,  69.,  73.],
        [ 49., 100.,  65.,  65.,  66.,  53.,  58.,  72.,  62.,  59.],
        [ 38.,  72.,  50.,  72., 101.,  74.,  56.,  68.,  73.,  79.],
        [ 44.,  60.,  71.,  76.,  79.,  74.,  57.,  62.,  75., 100.],
        [ 69.,  66.,  73.,  40.,  73.,  85.,  93.,  62.,  75.,  67.],
        [ 68.,  53.,  60.,  62.,  86.,  57.,  48.,  82.,  79.,  98.],
        [112.,  65.,  76.,  72.,  61.,  73.,  74.,  61.,  72.,  67.],
        [ 66.,  76.,  82.,  55.,  81.,  61.,  97.,  64.,  71.,  53.],
        [ 56.,  55.,  54.,  69.,  83.,  62.,  47.,  72.,  64., 102.],
        [101.,  50.,  75.,  71.,  57.,  70.,  61.,  67.,  81.,  63.],
        [ 40., 106.,  64.,  72.,  70.,  59.,  60.,  61.,  73.,  60.],
        [ 62.,  67.,  63.,  83.,  55.,  97.,  61.,  67.,  74.,  71.],
        [ 59.,  58.,  57.,  67.,  83.,  59.,  50.,  78.,  72., 101.],
        [ 75.,  64.,  75.,  80.,  56.,  57.,  44., 102.,  50.,  65.],
        [ 61.,  69.,  80.,  88.,  61.,  72.,  64.,  70.,  71.,  67.],
        [ 46.,  62.,  63.,  61., 102.,  64.,  63.,  66.,  68.,  72.]],
       device='cuda:0')
Train accuarcate: 95.24%



iteration:
  211
    0  1141   bit_w:-1  loss: 0.13741
    1  1111   bit_w: 1  loss: 0.13732
    2  1168   bit_w:-1  loss: 0.13727
    3  1128   bit_w: 1  loss: 0.13716
    4  1166   bit_w: 1  loss: 0.13718
   1907     48   1146    574    899   1297   2261   1460   1388   1356
      0      0      0      0      0      1      1      1      1      1
Train accuarcate: 96.00%
tensor([[ 65.,  62.,  71.,  79.,  55.,  67.,  41., 109.,  59.,  68.],
        [ 70.,  74., 103.,  82.,  48.,  71.,  76.,  49.,  77.,  48.],
        [ 54.,  97.,  80.,  62.,  65.,  56.,  64.,  67.,  67.,  49.],
        [ 98.,  62.,  76.,  59.,  55.,  65.,  76.,  69.,  62.,  72.],
        [ 63.,  70.,  63.,  55., 106.,  57.,  71.,  70.,  69.,  73.],
        [ 49., 100.,  65.,  65.,  66.,  53.,  58.,  72.,  62.,  59.],
        [ 38.,  72.,  50.,  72., 101.,  75.,  57.,  69.,  74.,  80.],
        [ 44.,  60.,  71.,  76.,  79.,  74.,  57.,  62.,  75., 100.],
        [ 69.,  66.,  73.,  40.,  73.,  85.,  93.,  62.,  75.,  67.],
        [ 68.,  53.,  60.,  62.,  86.,  57.,  48.,  82.,  79.,  98.],
        [112.,  65.,  76.,  72.,  61.,  74.,  75.,  62.,  73.,  68.],
        [ 66.,  76.,  82.,  55.,  81.,  61.,  97.,  64.,  71.,  53.],
        [ 56.,  55.,  54.,  69.,  83.,  62.,  47.,  72.,  64., 102.],
        [101.,  50.,  75.,  71.,  57.,  70.,  61.,  67.,  81.,  63.],
        [ 40., 106.,  64.,  72.,  70.,  59.,  60.,  61.,  73.,  60.],
        [ 62.,  67.,  63.,  83.,  55.,  98.,  62.,  68.,  75.,  72.],
        [ 59.,  58.,  57.,  67.,  83.,  59.,  50.,  78.,  72., 101.],
        [ 75.,  64.,  75.,  80.,  56.,  57.,  44., 102.,  50.,  65.],
        [ 61.,  69.,  80.,  88.,  61.,  72.,  64.,  70.,  71.,  67.],
        [ 46.,  62.,  63.,  61., 102.,  64.,  63.,  66.,  68.,  72.]],
       device='cuda:0')
Train accuarcate: 95.23%



iteration:
  212
    0  1066   bit_w:-1  loss: 0.13701
    1  1142   bit_w:-1  loss: 0.13681
    2  1183   bit_w: 1  loss: 0.13683
    3  1175   bit_w:-1  loss: 0.13657
    4  1173   bit_w:-1  loss: 0.13673
   2074   5757   3159   4914   4903   3810   4415   2064   3035   5238
     -1      0     -1      1      0      0      0     -1     -1      0
Train accuarcate: 96.02%
tensor([[ 66.,  62.,  72.,  79.,  55.,  67.,  41., 110.,  60.,  68.],
        [ 70.,  74., 103.,  83.,  48.,  71.,  76.,  49.,  77.,  48.],
        [ 54.,  97.,  80.,  63.,  65.,  56.,  64.,  67.,  67.,  49.],
        [ 99.,  62.,  77.,  59.,  55.,  65.,  76.,  70.,  63.,  72.],
        [ 63.,  70.,  63.,  56., 106.,  57.,  71.,  70.,  69.,  73.],
        [ 49., 100.,  65.,  66.,  66.,  53.,  58.,  72.,  62.,  59.],
        [ 38.,  72.,  50.,  73., 101.,  75.,  57.,  69.,  74.,  80.],
        [ 44.,  60.,  71.,  77.,  79.,  74.,  57.,  62.,  75., 100.],
        [ 69.,  66.,  73.,  41.,  73.,  85.,  93.,  62.,  75.,  67.],
        [ 68.,  53.,  60.,  63.,  86.,  57.,  48.,  82.,  79.,  98.],
        [113.,  65.,  77.,  72.,  61.,  74.,  75.,  63.,  74.,  68.],
        [ 66.,  76.,  82.,  56.,  81.,  61.,  97.,  64.,  71.,  53.],
        [ 56.,  55.,  54.,  70.,  83.,  62.,  47.,  72.,  64., 102.],
        [101.,  50.,  75.,  72.,  57.,  70.,  61.,  67.,  81.,  63.],
        [ 40., 106.,  64.,  73.,  70.,  59.,  60.,  61.,  73.,  60.],
        [ 63.,  67.,  64.,  83.,  55.,  98.,  62.,  69.,  76.,  72.],
        [ 59.,  58.,  57.,  68.,  83.,  59.,  50.,  78.,  72., 101.],
        [ 76.,  64.,  76.,  80.,  56.,  57.,  44., 103.,  51.,  65.],
        [ 61.,  69.,  80.,  89.,  61.,  72.,  64.,  70.,  71.,  67.],
        [ 47.,  62.,  64.,  61., 102.,  64.,  63.,  67.,  69.,  72.]],
       device='cuda:0')
Train accuarcate: 95.23%



iteration:
  213
    0   907   bit_w:-1  loss: 0.13653
    1  1116   bit_w: 1  loss: 0.13622
    2   346   bit_w:-1  loss: 0.13623
    3   461   bit_w: 1  loss: 0.13613
    4   985   bit_w: 1  loss: 0.13609
   1130   6186   4866   2016   1467    990   3106   1129   4602   1080
      1     -1      0      0     -1     -1      0      1      0     -1
Train accuarcate: 96.01%
tensor([[ 66.,  63.,  72.,  79.,  56.,  68.,  41., 110.,  60.,  69.],
        [ 71.,  74., 103.,  83.,  48.,  71.,  76.,  50.,  77.,  48.],
        [ 55.,  97.,  80.,  63.,  65.,  56.,  64.,  68.,  67.,  49.],
        [ 99.,  63.,  77.,  59.,  56.,  66.,  76.,  70.,  63.,  73.],
        [ 63.,  71.,  63.,  56., 107.,  58.,  71.,  70.,  69.,  74.],
        [ 50., 100.,  65.,  66.,  66.,  53.,  58.,  73.,  62.,  59.],
        [ 38.,  73.,  50.,  73., 102.,  76.,  57.,  69.,  74.,  81.],
        [ 45.,  60.,  71.,  77.,  79.,  74.,  57.,  63.,  75., 100.],
        [ 70.,  66.,  73.,  41.,  73.,  85.,  93.,  63.,  75.,  67.],
        [ 68.,  54.,  60.,  63.,  87.,  58.,  48.,  82.,  79.,  99.],
        [113.,  66.,  77.,  72.,  62.,  75.,  75.,  63.,  74.,  69.],
        [ 67.,  76.,  82.,  56.,  81.,  61.,  97.,  65.,  71.,  53.],
        [ 56.,  56.,  54.,  70.,  84.,  63.,  47.,  72.,  64., 103.],
        [101.,  51.,  75.,  72.,  58.,  71.,  61.,  67.,  81.,  64.],
        [ 41., 106.,  64.,  73.,  70.,  59.,  60.,  62.,  73.,  60.],
        [ 63.,  68.,  64.,  83.,  56.,  99.,  62.,  69.,  76.,  73.],
        [ 60.,  58.,  57.,  68.,  83.,  59.,  50.,  79.,  72., 101.],
        [ 76.,  65.,  76.,  80.,  57.,  58.,  44., 103.,  51.,  66.],
        [ 61.,  70.,  80.,  89.,  62.,  73.,  64.,  70.,  71.,  68.],
        [ 47.,  63.,  64.,  61., 103.,  65.,  63.,  67.,  69.,  73.]],
       device='cuda:0')
Train accuarcate: 95.23%



iteration:
  214
    0  1111   bit_w:-1  loss: 0.13589
    1  1009   bit_w: 1  loss: 0.13576
    2  1156   bit_w:-1  loss: 0.13577
    3  1088   bit_w: 1  loss: 0.13560
    4  1076   bit_w:-1  loss: 0.13572
   3002   1761   1915   1860   2535   2943   2556    760   3051   1152
      0      1      0      0      0      0      1      0      1      0
Train accuarcate: 96.01%
tensor([[ 66.,  63.,  72.,  79.,  56.,  68.,  41., 110.,  60.,  69.],
        [ 71.,  74., 103.,  83.,  48.,  71.,  76.,  50.,  77.,  48.],
        [ 55.,  97.,  80.,  63.,  65.,  56.,  64.,  68.,  67.,  49.],
        [ 99.,  63.,  77.,  59.,  56.,  66.,  76.,  70.,  63.,  73.],
        [ 63.,  72.,  63.,  56., 107.,  58.,  72.,  70.,  70.,  74.],
        [ 50., 100.,  65.,  66.,  66.,  53.,  58.,  73.,  62.,  59.],
        [ 38.,  73.,  50.,  73., 102.,  76.,  57.,  69.,  74.,  81.],
        [ 45.,  60.,  71.,  77.,  79.,  74.,  57.,  63.,  75., 100.],
        [ 70.,  67.,  73.,  41.,  73.,  85.,  94.,  63.,  76.,  67.],
        [ 68.,  54.,  60.,  63.,  87.,  58.,  48.,  82.,  79.,  99.],
        [113.,  66.,  77.,  72.,  62.,  75.,  75.,  63.,  74.,  69.],
        [ 67.,  76.,  82.,  56.,  81.,  61.,  97.,  65.,  71.,  53.],
        [ 56.,  56.,  54.,  70.,  84.,  63.,  47.,  72.,  64., 103.],
        [101.,  51.,  75.,  72.,  58.,  71.,  61.,  67.,  81.,  64.],
        [ 41., 106.,  64.,  73.,  70.,  59.,  60.,  62.,  73.,  60.],
        [ 63.,  68.,  64.,  83.,  56.,  99.,  62.,  69.,  76.,  73.],
        [ 60.,  58.,  57.,  68.,  83.,  59.,  50.,  79.,  72., 101.],
        [ 76.,  65.,  76.,  80.,  57.,  58.,  44., 103.,  51.,  66.],
        [ 61.,  70.,  80.,  89.,  62.,  73.,  64.,  70.,  71.,  68.],
        [ 47.,  63.,  64.,  61., 103.,  65.,  63.,  67.,  69.,  73.]],
       device='cuda:0')
Train accuarcate: 95.22%



iteration:
  215
    0  1112   bit_w:-1  loss: 0.13555
    1  1167   bit_w: 1  loss: 0.13542
    2  1038   bit_w: 1  loss: 0.13545
    3  1009   bit_w:-1  loss: 0.13522
    4   153   bit_w: 1  loss: 0.13538
   3819    498   2254   2471    303   1007    987   2169   2315   1150
      1      0      0      1     -1      0      0      1      0      1
Train accuarcate: 96.03%
tensor([[ 66.,  63.,  72.,  79.,  57.,  68.,  41., 110.,  60.,  69.],
        [ 71.,  74., 103.,  83.,  49.,  71.,  76.,  50.,  77.,  48.],
        [ 55.,  97.,  80.,  63.,  66.,  56.,  64.,  68.,  67.,  49.],
        [100.,  63.,  77.,  60.,  56.,  66.,  76.,  71.,  63.,  74.],
        [ 63.,  72.,  63.,  56., 108.,  58.,  72.,  70.,  70.,  74.],
        [ 50., 100.,  65.,  66.,  67.,  53.,  58.,  73.,  62.,  59.],
        [ 38.,  73.,  50.,  73., 103.,  76.,  57.,  69.,  74.,  81.],
        [ 45.,  60.,  71.,  77.,  80.,  74.,  57.,  63.,  75., 100.],
        [ 70.,  67.,  73.,  41.,  74.,  85.,  94.,  63.,  76.,  67.],
        [ 69.,  54.,  60.,  64.,  87.,  58.,  48.,  83.,  79., 100.],
        [114.,  66.,  77.,  73.,  62.,  75.,  75.,  64.,  74.,  70.],
        [ 67.,  76.,  82.,  56.,  82.,  61.,  97.,  65.,  71.,  53.],
        [ 57.,  56.,  54.,  71.,  84.,  63.,  47.,  73.,  64., 104.],
        [101.,  51.,  75.,  72.,  59.,  71.,  61.,  67.,  81.,  64.],
        [ 42., 106.,  64.,  74.,  70.,  59.,  60.,  63.,  73.,  61.],
        [ 64.,  68.,  64.,  84.,  56.,  99.,  62.,  70.,  76.,  74.],
        [ 60.,  58.,  57.,  68.,  84.,  59.,  50.,  79.,  72., 101.],
        [ 76.,  65.,  76.,  80.,  58.,  58.,  44., 103.,  51.,  66.],
        [ 61.,  70.,  80.,  89.,  63.,  73.,  64.,  70.,  71.,  68.],
        [ 47.,  63.,  64.,  61., 104.,  65.,  63.,  67.,  69.,  73.]],
       device='cuda:0')
Train accuarcate: 95.19%



iteration:
  216
    0  1117   bit_w:-1  loss: 0.13522
    1  1049   bit_w: 1  loss: 0.13511
    2  1095   bit_w:-1  loss: 0.13510
    3  1174   bit_w: 1  loss: 0.13484
    4   383   bit_w:-1  loss: 0.13464
   4050   6166   4335   3122   2608   1581   2188   3197   3897   4108
      1      1      1      0      0     -1     -1     -1      1      1
Train accuarcate: 96.04%
tensor([[ 66.,  63.,  72.,  79.,  57.,  69.,  42., 111.,  60.,  69.],
        [ 72.,  75., 104.,  83.,  49.,  71.,  76.,  50.,  78.,  49.],
        [ 56.,  98.,  81.,  63.,  66.,  56.,  64.,  68.,  68.,  50.],
        [101.,  64.,  78.,  60.,  56.,  66.,  76.,  71.,  64.,  75.],
        [ 63.,  72.,  63.,  56., 108.,  59.,  73.,  71.,  70.,  74.],
        [ 51., 101.,  66.,  66.,  67.,  53.,  58.,  73.,  63.,  60.],
        [ 39.,  74.,  51.,  73., 103.,  76.,  57.,  69.,  75.,  82.],
        [ 46.,  61.,  72.,  77.,  80.,  74.,  57.,  63.,  76., 101.],
        [ 71.,  68.,  74.,  41.,  74.,  85.,  94.,  63.,  77.,  68.],
        [ 69.,  54.,  60.,  64.,  87.,  59.,  49.,  84.,  79., 100.],
        [114.,  66.,  77.,  73.,  62.,  76.,  76.,  65.,  74.,  70.],
        [ 67.,  76.,  82.,  56.,  82.,  62.,  98.,  66.,  71.,  53.],
        [ 58.,  57.,  55.,  71.,  84.,  63.,  47.,  73.,  65., 105.],
        [102.,  52.,  76.,  72.,  59.,  71.,  61.,  67.,  82.,  65.],
        [ 43., 107.,  65.,  74.,  70.,  59.,  60.,  63.,  74.,  62.],
        [ 64.,  68.,  64.,  84.,  56., 100.,  63.,  71.,  76.,  74.],
        [ 61.,  59.,  58.,  68.,  84.,  59.,  50.,  79.,  73., 102.],
        [ 76.,  65.,  76.,  80.,  58.,  59.,  45., 104.,  51.,  66.],
        [ 61.,  70.,  80.,  89.,  63.,  74.,  65.,  71.,  71.,  68.],
        [ 48.,  64.,  65.,  61., 104.,  65.,  63.,  67.,  70.,  74.]],
       device='cuda:0')
Train accuarcate: 95.20%



iteration:
  217
    0   830   bit_w:-1  loss: 0.13445
    1  1001   bit_w:-1  loss: 0.13426
    2   459   bit_w:-1  loss: 0.13426
    3   976   bit_w: 1  loss: 0.13414
    4  1075   bit_w: 1  loss: 0.13420
   5180    912   1100   1198   1890   2285   2111   2084   2695   1619
      0      0      0     -1      0     -1      1      1      1      0
Train accuarcate: 96.08%
tensor([[ 66.,  63.,  72.,  80.,  57.,  70.,  42., 111.,  60.,  69.],
        [ 72.,  75., 104.,  84.,  49.,  72.,  76.,  50.,  78.,  49.],
        [ 56.,  98.,  81.,  64.,  66.,  57.,  64.,  68.,  68.,  50.],
        [101.,  64.,  78.,  60.,  56.,  66.,  77.,  72.,  65.,  75.],
        [ 63.,  72.,  63.,  56., 108.,  59.,  74.,  72.,  71.,  74.],
        [ 51., 101.,  66.,  66.,  67.,  53.,  59.,  74.,  64.,  60.],
        [ 39.,  74.,  51.,  74., 103.,  77.,  57.,  69.,  75.,  82.],
        [ 46.,  61.,  72.,  78.,  80.,  75.,  57.,  63.,  76., 101.],
        [ 71.,  68.,  74.,  41.,  74.,  85.,  95.,  64.,  78.,  68.],
        [ 69.,  54.,  60.,  65.,  87.,  60.,  49.,  84.,  79., 100.],
        [114.,  66.,  77.,  73.,  62.,  76.,  77.,  66.,  75.,  70.],
        [ 67.,  76.,  82.,  57.,  82.,  63.,  98.,  66.,  71.,  53.],
        [ 58.,  57.,  55.,  72.,  84.,  64.,  47.,  73.,  65., 105.],
        [102.,  52.,  76.,  72.,  59.,  71.,  62.,  68.,  83.,  65.],
        [ 43., 107.,  65.,  75.,  70.,  60.,  60.,  63.,  74.,  62.],
        [ 64.,  68.,  64.,  84.,  56., 100.,  64.,  72.,  77.,  74.],
        [ 61.,  59.,  58.,  68.,  84.,  59.,  51.,  80.,  74., 102.],
        [ 76.,  65.,  76.,  81.,  58.,  60.,  45., 104.,  51.,  66.],
        [ 61.,  70.,  80.,  90.,  63.,  75.,  65.,  71.,  71.,  68.],
        [ 48.,  64.,  65.,  61., 104.,  65.,  64.,  68.,  71.,  74.]],
       device='cuda:0')
Train accuarcate: 95.26%



iteration:
  218
    0  1177   bit_w:-1  loss: 0.13400
    1  1046   bit_w: 1  loss: 0.13385
    2   915   bit_w: 1  loss: 0.13384
    3  1119   bit_w: 1  loss: 0.13372
    4  1073   bit_w:-1  loss: 0.13376
   4133    410   3891   3186   2957   1442   2640   1711   1739   2132
     -1     -1      1      0      1      0      0      0      0      1
Train accuarcate: 96.06%
tensor([[ 66.,  63.,  73.,  80.,  58.,  70.,  42., 111.,  60.,  70.],
        [ 73.,  76., 104.,  84.,  49.,  72.,  76.,  50.,  78.,  49.],
        [ 57.,  99.,  81.,  64.,  66.,  57.,  64.,  68.,  68.,  50.],
        [101.,  64.,  79.,  60.,  57.,  66.,  77.,  72.,  65.,  76.],
        [ 64.,  73.,  63.,  56., 108.,  59.,  74.,  72.,  71.,  74.],
        [ 52., 102.,  66.,  66.,  67.,  53.,  59.,  74.,  64.,  60.],
        [ 40.,  75.,  51.,  74., 103.,  77.,  57.,  69.,  75.,  82.],
        [ 46.,  61.,  73.,  78.,  81.,  75.,  57.,  63.,  76., 102.],
        [ 72.,  69.,  74.,  41.,  74.,  85.,  95.,  64.,  78.,  68.],
        [ 69.,  54.,  61.,  65.,  88.,  60.,  49.,  84.,  79., 101.],
        [114.,  66.,  78.,  73.,  63.,  76.,  77.,  66.,  75.,  71.],
        [ 67.,  76.,  83.,  57.,  83.,  63.,  98.,  66.,  71.,  54.],
        [ 58.,  57.,  56.,  72.,  85.,  64.,  47.,  73.,  65., 106.],
        [103.,  53.,  76.,  72.,  59.,  71.,  62.,  68.,  83.,  65.],
        [ 44., 108.,  65.,  75.,  70.,  60.,  60.,  63.,  74.,  62.],
        [ 65.,  69.,  64.,  84.,  56., 100.,  64.,  72.,  77.,  74.],
        [ 62.,  60.,  58.,  68.,  84.,  59.,  51.,  80.,  74., 102.],
        [ 76.,  65.,  77.,  81.,  59.,  60.,  45., 104.,  51.,  67.],
        [ 62.,  71.,  80.,  90.,  63.,  75.,  65.,  71.,  71.,  68.],
        [ 49.,  65.,  65.,  61., 104.,  65.,  64.,  68.,  71.,  74.]],
       device='cuda:0')
Train accuarcate: 95.29%



iteration:
  219
    0  1167   bit_w:-1  loss: 0.13360
    1  1130   bit_w: 1  loss: 0.13348
    2  1034   bit_w:-1  loss: 0.13351
    3  1148   bit_w: 1  loss: 0.13331
    4  1134   bit_w:-1  loss: 0.13348
   1235   4293   1873   2882    922    945   1870    710   1324    517
      0      0      0      0      1      0      1      0      1      0
Train accuarcate: 96.07%
tensor([[ 66.,  63.,  73.,  80.,  58.,  70.,  42., 111.,  60.,  70.],
        [ 73.,  76., 104.,  84.,  49.,  72.,  76.,  50.,  78.,  49.],
        [ 57.,  99.,  81.,  64.,  67.,  57.,  65.,  68.,  69.,  50.],
        [101.,  64.,  79.,  60.,  57.,  66.,  77.,  72.,  65.,  76.],
        [ 64.,  73.,  63.,  56., 108.,  59.,  74.,  72.,  71.,  74.],
        [ 52., 102.,  66.,  66.,  68.,  53.,  60.,  74.,  65.,  60.],
        [ 40.,  75.,  51.,  74., 103.,  77.,  57.,  69.,  75.,  82.],
        [ 46.,  61.,  73.,  78.,  81.,  75.,  57.,  63.,  76., 102.],
        [ 72.,  69.,  74.,  41.,  74.,  85.,  95.,  64.,  78.,  68.],
        [ 69.,  54.,  61.,  65.,  88.,  60.,  49.,  84.,  79., 101.],
        [114.,  66.,  78.,  73.,  63.,  76.,  77.,  66.,  75.,  71.],
        [ 67.,  76.,  83.,  57.,  83.,  63.,  98.,  66.,  71.,  54.],
        [ 58.,  57.,  56.,  72.,  85.,  64.,  47.,  73.,  65., 106.],
        [103.,  53.,  76.,  72.,  59.,  71.,  62.,  68.,  83.,  65.],
        [ 44., 108.,  65.,  75.,  70.,  60.,  60.,  63.,  74.,  62.],
        [ 65.,  69.,  64.,  84.,  57., 100.,  65.,  72.,  78.,  74.],
        [ 62.,  60.,  58.,  68.,  84.,  59.,  51.,  80.,  74., 102.],
        [ 76.,  65.,  77.,  81.,  59.,  60.,  45., 104.,  51.,  67.],
        [ 62.,  71.,  80.,  90.,  63.,  75.,  65.,  71.,  71.,  68.],
        [ 49.,  65.,  65.,  61., 104.,  65.,  64.,  68.,  71.,  74.]],
       device='cuda:0')
Train accuarcate: 95.29%



iteration:
  220
    0  1130   bit_w:-1  loss: 0.13332
    1  1019   bit_w:-1  loss: 0.13319
    2  1091   bit_w: 1  loss: 0.13321
    3  1146   bit_w: 1  loss: 0.13294
    4   516   bit_w: 1  loss: 0.13310
   2265   4521   3685   2045   2038   2140   3318   2995   2514   2097
      1      0      0      1      0      1      0      0     -1      0
Train accuarcate: 96.11%
tensor([[ 66.,  63.,  73.,  80.,  58.,  70.,  42., 111.,  61.,  70.],
        [ 73.,  76., 104.,  84.,  49.,  72.,  76.,  50.,  79.,  49.],
        [ 58.,  99.,  81.,  65.,  67.,  58.,  65.,  68.,  69.,  50.],
        [101.,  64.,  79.,  60.,  57.,  66.,  77.,  72.,  66.,  76.],
        [ 64.,  73.,  63.,  56., 108.,  59.,  74.,  72.,  72.,  74.],
        [ 53., 102.,  66.,  67.,  68.,  54.,  60.,  74.,  65.,  60.],
        [ 40.,  75.,  51.,  74., 103.,  77.,  57.,  69.,  76.,  82.],
        [ 46.,  61.,  73.,  78.,  81.,  75.,  57.,  63.,  77., 102.],
        [ 73.,  69.,  74.,  42.,  74.,  86.,  95.,  64.,  78.,  68.],
        [ 69.,  54.,  61.,  65.,  88.,  60.,  49.,  84.,  80., 101.],
        [115.,  66.,  78.,  74.,  63.,  77.,  77.,  66.,  75.,  71.],
        [ 67.,  76.,  83.,  57.,  83.,  63.,  98.,  66.,  72.,  54.],
        [ 59.,  57.,  56.,  73.,  85.,  65.,  47.,  73.,  65., 106.],
        [103.,  53.,  76.,  72.,  59.,  71.,  62.,  68.,  84.,  65.],
        [ 44., 108.,  65.,  75.,  70.,  60.,  60.,  63.,  75.,  62.],
        [ 66.,  69.,  64.,  85.,  57., 101.,  65.,  72.,  78.,  74.],
        [ 62.,  60.,  58.,  68.,  84.,  59.,  51.,  80.,  75., 102.],
        [ 77.,  65.,  77.,  82.,  59.,  61.,  45., 104.,  51.,  67.],
        [ 62.,  71.,  80.,  90.,  63.,  75.,  65.,  71.,  72.,  68.],
        [ 49.,  65.,  65.,  61., 104.,  65.,  64.,  68.,  72.,  74.]],
       device='cuda:0')
Train accuarcate: 95.28%



iteration:
  221
    0  1084   bit_w:-1  loss: 0.13288
    1   827   bit_w:-1  loss: 0.13273
    2   919   bit_w:-1  loss: 0.13273
    3   328   bit_w:-1  loss: 0.13264
    4  1061   bit_w:-1  loss: 0.13264
   1000   4245   4356    933   3099   1582   4273   3259   3160   2868
      0      0      1      0      0      0      1      1      0     -1
Train accuarcate: 96.12%
tensor([[ 66.,  63.,  73.,  80.,  58.,  70.,  42., 111.,  61.,  71.],
        [ 73.,  76., 105.,  84.,  49.,  72.,  77.,  51.,  79.,  49.],
        [ 58.,  99.,  82.,  65.,  67.,  58.,  66.,  69.,  69.,  50.],
        [101.,  64.,  79.,  60.,  57.,  66.,  77.,  72.,  66.,  77.],
        [ 64.,  73.,  64.,  56., 108.,  59.,  75.,  73.,  72.,  74.],
        [ 53., 102.,  67.,  67.,  68.,  54.,  61.,  75.,  65.,  60.],
        [ 40.,  75.,  52.,  74., 103.,  77.,  58.,  70.,  76.,  82.],
        [ 46.,  61.,  74.,  78.,  81.,  75.,  58.,  64.,  77., 102.],
        [ 73.,  69.,  75.,  42.,  74.,  86.,  96.,  65.,  78.,  68.],
        [ 69.,  54.,  61.,  65.,  88.,  60.,  49.,  84.,  80., 102.],
        [115.,  66.,  79.,  74.,  63.,  77.,  78.,  67.,  75.,  71.],
        [ 67.,  76.,  84.,  57.,  83.,  63.,  99.,  67.,  72.,  54.],
        [ 59.,  57.,  57.,  73.,  85.,  65.,  48.,  74.,  65., 106.],
        [103.,  53.,  76.,  72.,  59.,  71.,  62.,  68.,  84.,  66.],
        [ 44., 108.,  65.,  75.,  70.,  60.,  60.,  63.,  75.,  63.],
        [ 66.,  69.,  64.,  85.,  57., 101.,  65.,  72.,  78.,  75.],
        [ 62.,  60.,  59.,  68.,  84.,  59.,  52.,  81.,  75., 102.],
        [ 77.,  65.,  77.,  82.,  59.,  61.,  45., 104.,  51.,  68.],
        [ 62.,  71.,  81.,  90.,  63.,  75.,  66.,  72.,  72.,  68.],
        [ 49.,  65.,  65.,  61., 104.,  65.,  64.,  68.,  72.,  75.]],
       device='cuda:0')
Train accuarcate: 95.39%



iteration:
  222
    0   961   bit_w:-1  loss: 0.13248
    1   945   bit_w: 1  loss: 0.13223
    2   967   bit_w: 1  loss: 0.13233
    3   966   bit_w: 1  loss: 0.13214
    4   844   bit_w: 1  loss: 0.13219
   4094   4283   3213   5601   1139   4280   1648   2999   3456   2881
      0      1     -1      1     -1      0      0      0      0      0
Train accuarcate: 96.14%
tensor([[ 66.,  64.,  73.,  81.,  58.,  70.,  42., 111.,  61.,  71.],
        [ 73.,  77., 105.,  85.,  49.,  72.,  77.,  51.,  79.,  49.],
        [ 58.,  99.,  83.,  65.,  68.,  58.,  66.,  69.,  69.,  50.],
        [101.,  65.,  79.,  61.,  57.,  66.,  77.,  72.,  66.,  77.],
        [ 64.,  73.,  65.,  56., 109.,  59.,  75.,  73.,  72.,  74.],
        [ 53., 102.,  68.,  67.,  69.,  54.,  61.,  75.,  65.,  60.],
        [ 40.,  75.,  53.,  74., 104.,  77.,  58.,  70.,  76.,  82.],
        [ 46.,  61.,  75.,  78.,  82.,  75.,  58.,  64.,  77., 102.],
        [ 73.,  69.,  76.,  42.,  75.,  86.,  96.,  65.,  78.,  68.],
        [ 69.,  54.,  62.,  65.,  89.,  60.,  49.,  84.,  80., 102.],
        [115.,  66.,  80.,  74.,  64.,  77.,  78.,  67.,  75.,  71.],
        [ 67.,  76.,  85.,  57.,  84.,  63.,  99.,  67.,  72.,  54.],
        [ 59.,  57.,  58.,  73.,  86.,  65.,  48.,  74.,  65., 106.],
        [103.,  54.,  76.,  73.,  59.,  71.,  62.,  68.,  84.,  66.],
        [ 44., 109.,  65.,  76.,  70.,  60.,  60.,  63.,  75.,  63.],
        [ 66.,  70.,  64.,  86.,  57., 101.,  65.,  72.,  78.,  75.],
        [ 62.,  60.,  60.,  68.,  85.,  59.,  52.,  81.,  75., 102.],
        [ 77.,  66.,  77.,  83.,  59.,  61.,  45., 104.,  51.,  68.],
        [ 62.,  72.,  81.,  91.,  63.,  75.,  66.,  72.,  72.,  68.],
        [ 49.,  65.,  66.,  61., 105.,  65.,  64.,  68.,  72.,  75.]],
       device='cuda:0')
Train accuarcate: 95.40%



iteration:
  223
    0  1092   bit_w:-1  loss: 0.13196
    1   803   bit_w:-1  loss: 0.13180
    2   378   bit_w:-1  loss: 0.13156
    3   894   bit_w: 1  loss: 0.13163
    4   811   bit_w: 1  loss: 0.13156
    530   4242   3992   1256   4626   2022   3254   1324   3249   3472
     -1      0      0      0      0      1      0     -1      1      1
Train accuarcate: 96.15%
tensor([[ 67.,  64.,  73.,  81.,  58.,  70.,  42., 112.,  61.,  71.],
        [ 73.,  77., 105.,  85.,  49.,  73.,  77.,  51.,  80.,  50.],
        [ 59.,  99.,  83.,  65.,  68.,  58.,  66.,  70.,  69.,  50.],
        [102.,  65.,  79.,  61.,  57.,  66.,  77.,  73.,  66.,  77.],
        [ 64.,  73.,  65.,  56., 109.,  60.,  75.,  73.,  73.,  75.],
        [ 54., 102.,  68.,  67.,  69.,  54.,  61.,  76.,  65.,  60.],
        [ 41.,  75.,  53.,  74., 104.,  77.,  58.,  71.,  76.,  82.],
        [ 46.,  61.,  75.,  78.,  82.,  76.,  58.,  64.,  78., 103.],
        [ 73.,  69.,  76.,  42.,  75.,  87.,  96.,  65.,  79.,  69.],
        [ 70.,  54.,  62.,  65.,  89.,  60.,  49.,  85.,  80., 102.],
        [115.,  66.,  80.,  74.,  64.,  78.,  78.,  67.,  76.,  72.],
        [ 67.,  76.,  85.,  57.,  84.,  64.,  99.,  67.,  73.,  55.],
        [ 59.,  57.,  58.,  73.,  86.,  66.,  48.,  74.,  66., 107.],
        [104.,  54.,  76.,  73.,  59.,  71.,  62.,  69.,  84.,  66.],
        [ 44., 109.,  65.,  76.,  70.,  61.,  60.,  63.,  76.,  64.],
        [ 66.,  70.,  64.,  86.,  57., 102.,  65.,  72.,  79.,  76.],
        [ 62.,  60.,  60.,  68.,  85.,  60.,  52.,  81.,  76., 103.],
        [ 78.,  66.,  77.,  83.,  59.,  61.,  45., 105.,  51.,  68.],
        [ 63.,  72.,  81.,  91.,  63.,  75.,  66.,  73.,  72.,  68.],
        [ 49.,  65.,  66.,  61., 105.,  66.,  64.,  68.,  73.,  76.]],
       device='cuda:0')
Train accuarcate: 95.43%



iteration:
  224
    0  1074   bit_w:-1  loss: 0.13139
    1  1012   bit_w:-1  loss: 0.13119
    2   903   bit_w: 1  loss: 0.13118
    3  1028   bit_w:-1  loss: 0.13104
    4  1093   bit_w:-1  loss: 0.13112
   1144   1803   2302    829   1649   3084   4615   2497   1950   1589
      0      0      0      0     -1      1      1      0      0      0
Train accuarcate: 96.15%
tensor([[ 67.,  64.,  73.,  81.,  58.,  71.,  43., 112.,  61.,  71.],
        [ 73.,  77., 105.,  85.,  49.,  74.,  78.,  51.,  80.,  50.],
        [ 59.,  99.,  83.,  65.,  69.,  58.,  66.,  70.,  69.,  50.],
        [102.,  65.,  79.,  61.,  57.,  67.,  78.,  73.,  66.,  77.],
        [ 64.,  73.,  65.,  56., 110.,  60.,  75.,  73.,  73.,  75.],
        [ 54., 102.,  68.,  67.,  70.,  54.,  61.,  76.,  65.,  60.],
        [ 41.,  75.,  53.,  74., 104.,  78.,  59.,  71.,  76.,  82.],
        [ 46.,  61.,  75.,  78.,  83.,  76.,  58.,  64.,  78., 103.],
        [ 73.,  69.,  76.,  42.,  75.,  88.,  97.,  65.,  79.,  69.],
        [ 70.,  54.,  62.,  65.,  89.,  61.,  50.,  85.,  80., 102.],
        [115.,  66.,  80.,  74.,  65.,  78.,  78.,  67.,  76.,  72.],
        [ 67.,  76.,  85.,  57.,  85.,  64.,  99.,  67.,  73.,  55.],
        [ 59.,  57.,  58.,  73.,  87.,  66.,  48.,  74.,  66., 107.],
        [104.,  54.,  76.,  73.,  60.,  71.,  62.,  69.,  84.,  66.],
        [ 44., 109.,  65.,  76.,  71.,  61.,  60.,  63.,  76.,  64.],
        [ 66.,  70.,  64.,  86.,  57., 103.,  66.,  72.,  79.,  76.],
        [ 62.,  60.,  60.,  68.,  85.,  61.,  53.,  81.,  76., 103.],
        [ 78.,  66.,  77.,  83.,  59.,  62.,  46., 105.,  51.,  68.],
        [ 63.,  72.,  81.,  91.,  64.,  75.,  66.,  73.,  72.,  68.],
        [ 49.,  65.,  66.,  61., 106.,  66.,  64.,  68.,  73.,  76.]],
       device='cuda:0')
Train accuarcate: 95.41%



iteration:
  225
    0  1104   bit_w:-1  loss: 0.13097
    1  1135   bit_w: 1  loss: 0.13081
    2   332   bit_w: 1  loss: 0.13087
    3  1080   bit_w: 1  loss: 0.13073
    4   737   bit_w: 1  loss: 0.13083
   1189    357    387   1166    474    666    225   2440    451    601
      1      1      1      0      0      0      0      1      1      1
Train accuarcate: 96.15%
tensor([[ 67.,  64.,  73.,  81.,  58.,  71.,  43., 112.,  61.,  71.],
        [ 73.,  77., 105.,  85.,  49.,  74.,  78.,  51.,  80.,  50.],
        [ 59.,  99.,  83.,  65.,  69.,  58.,  66.,  70.,  69.,  50.],
        [102.,  65.,  79.,  61.,  57.,  67.,  78.,  73.,  66.,  77.],
        [ 64.,  73.,  65.,  56., 110.,  60.,  75.,  73.,  73.,  75.],
        [ 54., 102.,  68.,  67.,  70.,  54.,  61.,  76.,  65.,  60.],
        [ 41.,  75.,  53.,  74., 104.,  78.,  59.,  71.,  76.,  82.],
        [ 46.,  61.,  75.,  78.,  83.,  76.,  58.,  64.,  78., 103.],
        [ 73.,  69.,  76.,  42.,  75.,  88.,  97.,  65.,  79.,  69.],
        [ 71.,  55.,  63.,  65.,  89.,  61.,  50.,  86.,  81., 103.],
        [115.,  66.,  80.,  74.,  65.,  78.,  78.,  67.,  76.,  72.],
        [ 67.,  76.,  85.,  57.,  85.,  64.,  99.,  67.,  73.,  55.],
        [ 59.,  57.,  58.,  73.,  87.,  66.,  48.,  74.,  66., 107.],
        [104.,  54.,  76.,  73.,  60.,  71.,  62.,  69.,  84.,  66.],
        [ 44., 109.,  65.,  76.,  71.,  61.,  60.,  63.,  76.,  64.],
        [ 66.,  70.,  64.,  86.,  57., 103.,  66.,  72.,  79.,  76.],
        [ 62.,  60.,  60.,  68.,  85.,  61.,  53.,  81.,  76., 103.],
        [ 78.,  66.,  77.,  83.,  59.,  62.,  46., 105.,  51.,  68.],
        [ 63.,  72.,  81.,  91.,  64.,  75.,  66.,  73.,  72.,  68.],
        [ 49.,  65.,  66.,  61., 106.,  66.,  64.,  68.,  73.,  76.]],
       device='cuda:0')
Train accuarcate: 95.49%



iteration:
  226
    0  1040   bit_w:-1  loss: 0.13068
    1  1052   bit_w:-1  loss: 0.13047
    2   576   bit_w: 1  loss: 0.13050
    3   884   bit_w: 1  loss: 0.13041
    4  1112   bit_w: 1  loss: 0.13054
   2679   6689   3558   5051   5580   4383   5194   4555   4281   5279
      0      0     -1     -1      0      0      0      0      0      0
Train accuarcate: 96.17%
tensor([[ 67.,  64.,  73.,  81.,  58.,  71.,  43., 112.,  61.,  71.],
        [ 73.,  77., 105.,  85.,  49.,  74.,  78.,  51.,  80.,  50.],
        [ 59.,  99.,  83.,  65.,  69.,  58.,  66.,  70.,  69.,  50.],
        [102.,  65.,  79.,  61.,  57.,  67.,  78.,  73.,  66.,  77.],
        [ 64.,  73.,  65.,  56., 110.,  60.,  75.,  73.,  73.,  75.],
        [ 54., 102.,  68.,  67.,  70.,  54.,  61.,  76.,  65.,  60.],
        [ 41.,  75.,  54.,  75., 104.,  78.,  59.,  71.,  76.,  82.],
        [ 46.,  61.,  75.,  78.,  83.,  76.,  58.,  64.,  78., 103.],
        [ 73.,  69.,  76.,  42.,  75.,  88.,  97.,  65.,  79.,  69.],
        [ 71.,  55.,  64.,  66.,  89.,  61.,  50.,  86.,  81., 103.],
        [115.,  66.,  81.,  75.,  65.,  78.,  78.,  67.,  76.,  72.],
        [ 67.,  76.,  86.,  58.,  85.,  64.,  99.,  67.,  73.,  55.],
        [ 59.,  57.,  58.,  73.,  87.,  66.,  48.,  74.,  66., 107.],
        [104.,  54.,  76.,  73.,  60.,  71.,  62.,  69.,  84.,  66.],
        [ 44., 109.,  65.,  76.,  71.,  61.,  60.,  63.,  76.,  64.],
        [ 66.,  70.,  64.,  86.,  57., 103.,  66.,  72.,  79.,  76.],
        [ 62.,  60.,  60.,  68.,  85.,  61.,  53.,  81.,  76., 103.],
        [ 78.,  66.,  77.,  83.,  59.,  62.,  46., 105.,  51.,  68.],
        [ 63.,  72.,  81.,  91.,  64.,  75.,  66.,  73.,  72.,  68.],
        [ 49.,  65.,  66.,  61., 106.,  66.,  64.,  68.,  73.,  76.]],
       device='cuda:0')
Train accuarcate: 95.54%



iteration:
  227
    0  1119   bit_w:-1  loss: 0.13040
    1  1123   bit_w: 1  loss: 0.13029
    2  1032   bit_w:-1  loss: 0.13033
    3  1149   bit_w: 1  loss: 0.13011
    4   302   bit_w: 1  loss: 0.13024
   3416    250   1137    472    251    836   1657    209   1508     86
      1      0      1      0      0      0      1      0      1      0
Train accuarcate: 96.16%
tensor([[ 67.,  64.,  73.,  81.,  58.,  71.,  43., 112.,  61.,  71.],
        [ 73.,  77., 105.,  85.,  49.,  74.,  78.,  51.,  80.,  50.],
        [ 59.,  99.,  83.,  65.,  69.,  58.,  66.,  70.,  69.,  50.],
        [103.,  65.,  80.,  61.,  57.,  67.,  79.,  73.,  67.,  77.],
        [ 64.,  73.,  65.,  56., 110.,  60.,  75.,  73.,  73.,  75.],
        [ 54., 102.,  68.,  67.,  70.,  54.,  61.,  76.,  65.,  60.],
        [ 41.,  75.,  54.,  75., 104.,  78.,  59.,  71.,  76.,  82.],
        [ 46.,  61.,  75.,  78.,  83.,  76.,  58.,  64.,  78., 103.],
        [ 73.,  69.,  76.,  42.,  75.,  88.,  97.,  65.,  79.,  69.],
        [ 71.,  55.,  64.,  66.,  89.,  61.,  50.,  86.,  81., 103.],
        [116.,  66.,  82.,  75.,  65.,  78.,  79.,  67.,  77.,  72.],
        [ 68.,  76.,  87.,  58.,  85.,  64., 100.,  67.,  74.,  55.],
        [ 59.,  57.,  58.,  73.,  87.,  66.,  48.,  74.,  66., 107.],
        [105.,  54.,  77.,  73.,  60.,  71.,  63.,  69.,  85.,  66.],
        [ 44., 109.,  65.,  76.,  71.,  61.,  60.,  63.,  76.,  64.],
        [ 66.,  70.,  64.,  86.,  57., 103.,  66.,  72.,  79.,  76.],
        [ 62.,  60.,  60.,  68.,  85.,  61.,  53.,  81.,  76., 103.],
        [ 78.,  66.,  77.,  83.,  59.,  62.,  46., 105.,  51.,  68.],
        [ 63.,  72.,  81.,  91.,  64.,  75.,  66.,  73.,  72.,  68.],
        [ 49.,  65.,  66.,  61., 106.,  66.,  64.,  68.,  73.,  76.]],
       device='cuda:0')
Train accuarcate: 95.55%



iteration:
  228
    0  1048   bit_w:-1  loss: 0.13010
    1  1123   bit_w: 1  loss: 0.12993
    2  1182   bit_w:-1  loss: 0.12999
    3  1079   bit_w:-1  loss: 0.12978
    4   295   bit_w:-1  loss: 0.12990
   4840   2105   3163   3153   1796   4347   4417   1465   3956   1723
      0      0      0      0      0      1      1     -1      0     -1
Train accuarcate: 96.19%
tensor([[ 67.,  64.,  73.,  81.,  58.,  71.,  43., 113.,  61.,  72.],
        [ 73.,  77., 105.,  85.,  49.,  74.,  78.,  52.,  80.,  51.],
        [ 59.,  99.,  83.,  65.,  69.,  58.,  66.,  71.,  69.,  51.],
        [103.,  65.,  80.,  61.,  57.,  68.,  80.,  73.,  67.,  77.],
        [ 64.,  73.,  65.,  56., 110.,  60.,  75.,  74.,  73.,  76.],
        [ 54., 102.,  68.,  67.,  70.,  54.,  61.,  77.,  65.,  61.],
        [ 41.,  75.,  54.,  75., 104.,  78.,  59.,  72.,  76.,  83.],
        [ 46.,  61.,  75.,  78.,  83.,  76.,  58.,  65.,  78., 104.],
        [ 73.,  69.,  76.,  42.,  75.,  88.,  97.,  66.,  79.,  70.],
        [ 71.,  55.,  64.,  66.,  89.,  61.,  50.,  87.,  81., 104.],
        [116.,  66.,  82.,  75.,  65.,  79.,  80.,  67.,  77.,  72.],
        [ 68.,  76.,  87.,  58.,  85.,  65., 101.,  67.,  74.,  55.],
        [ 59.,  57.,  58.,  73.,  87.,  66.,  48.,  75.,  66., 108.],
        [105.,  54.,  77.,  73.,  60.,  72.,  64.,  69.,  85.,  66.],
        [ 44., 109.,  65.,  76.,  71.,  61.,  60.,  64.,  76.,  65.],
        [ 66.,  70.,  64.,  86.,  57., 104.,  67.,  72.,  79.,  76.],
        [ 62.,  60.,  60.,  68.,  85.,  61.,  53.,  82.,  76., 104.],
        [ 78.,  66.,  77.,  83.,  59.,  63.,  47., 105.,  51.,  68.],
        [ 63.,  72.,  81.,  91.,  64.,  75.,  66.,  74.,  72.,  69.],
        [ 49.,  65.,  66.,  61., 106.,  66.,  64.,  69.,  73.,  77.]],
       device='cuda:0')
Train accuarcate: 95.53%



iteration:
  229
    0   919   bit_w:-1  loss: 0.12967
    1   427   bit_w: 1  loss: 0.12947
    2   354   bit_w:-1  loss: 0.12954
    3   513   bit_w: 1  loss: 0.12942
    4   377   bit_w:-1  loss: 0.12944
   5492    314   3438    280   3157   1224   4220   1698    865   1918
      1     -1      0     -1      1      0      0      0     -1      1
Train accuarcate: 96.16%
tensor([[ 67.,  65.,  73.,  82.,  58.,  71.,  43., 113.,  62.,  72.],
        [ 74.,  77., 105.,  85.,  50.,  74.,  78.,  52.,  80.,  52.],
        [ 59., 100.,  83.,  66.,  69.,  58.,  66.,  71.,  70.,  51.],
        [104.,  65.,  80.,  61.,  58.,  68.,  80.,  73.,  67.,  78.],
        [ 65.,  73.,  65.,  56., 111.,  60.,  75.,  74.,  73.,  77.],
        [ 54., 103.,  68.,  68.,  70.,  54.,  61.,  77.,  66.,  61.],
        [ 41.,  76.,  54.,  76., 104.,  78.,  59.,  72.,  77.,  83.],
        [ 47.,  61.,  75.,  78.,  84.,  76.,  58.,  65.,  78., 105.],
        [ 74.,  69.,  76.,  42.,  76.,  88.,  97.,  66.,  79.,  71.],
        [ 71.,  56.,  64.,  67.,  89.,  61.,  50.,  87.,  82., 104.],
        [117.,  66.,  82.,  75.,  66.,  79.,  80.,  67.,  77.,  73.],
        [ 68.,  77.,  87.,  59.,  85.,  65., 101.,  67.,  75.,  55.],
        [ 59.,  58.,  58.,  74.,  87.,  66.,  48.,  75.,  67., 108.],
        [106.,  54.,  77.,  73.,  61.,  72.,  64.,  69.,  85.,  67.],
        [ 44., 110.,  65.,  77.,  71.,  61.,  60.,  64.,  77.,  65.],
        [ 66.,  71.,  64.,  87.,  57., 104.,  67.,  72.,  80.,  76.],
        [ 63.,  60.,  60.,  68.,  86.,  61.,  53.,  82.,  76., 105.],
        [ 79.,  66.,  77.,  83.,  60.,  63.,  47., 105.,  51.,  69.],
        [ 63.,  73.,  81.,  92.,  64.,  75.,  66.,  74.,  73.,  69.],
        [ 49.,  66.,  66.,  62., 106.,  66.,  64.,  69.,  74.,  77.]],
       device='cuda:0')
Train accuarcate: 95.52%



iteration:
  230
    0  1070   bit_w:-1  loss: 0.12922
    1  1012   bit_w:-1  loss: 0.12911
    2  1063   bit_w: 1  loss: 0.12906
    3  1008   bit_w: 1  loss: 0.12894
    4  1072   bit_w:-1  loss: 0.12892
   1380    707    750   1614    388   2927   4013    545    965    416
      0      0     -1      0      0      1      1      1      0      0
Train accuarcate: 96.17%
tensor([[ 67.,  65.,  74.,  82.,  58.,  71.,  43., 113.,  62.,  72.],
        [ 74.,  77., 106.,  85.,  50.,  74.,  78.,  52.,  80.,  52.],
        [ 59., 100.,  84.,  66.,  69.,  58.,  66.,  71.,  70.,  51.],
        [104.,  65.,  80.,  61.,  58.,  69.,  81.,  74.,  67.,  78.],
        [ 65.,  73.,  66.,  56., 111.,  60.,  75.,  74.,  73.,  77.],
        [ 54., 103.,  69.,  68.,  70.,  54.,  61.,  77.,  66.,  61.],
        [ 41.,  76.,  55.,  76., 104.,  78.,  59.,  72.,  77.,  83.],
        [ 47.,  61.,  76.,  78.,  84.,  76.,  58.,  65.,  78., 105.],
        [ 74.,  69.,  76.,  42.,  76.,  89.,  98.,  67.,  79.,  71.],
        [ 71.,  56.,  65.,  67.,  89.,  61.,  50.,  87.,  82., 104.],
        [117.,  66.,  83.,  75.,  66.,  79.,  80.,  67.,  77.,  73.],
        [ 68.,  77.,  88.,  59.,  85.,  65., 101.,  67.,  75.,  55.],
        [ 59.,  58.,  59.,  74.,  87.,  66.,  48.,  75.,  67., 108.],
        [106.,  54.,  78.,  73.,  61.,  72.,  64.,  69.,  85.,  67.],
        [ 44., 110.,  66.,  77.,  71.,  61.,  60.,  64.,  77.,  65.],
        [ 66.,  71.,  65.,  87.,  57., 104.,  67.,  72.,  80.,  76.],
        [ 63.,  60.,  61.,  68.,  86.,  61.,  53.,  82.,  76., 105.],
        [ 79.,  66.,  78.,  83.,  60.,  63.,  47., 105.,  51.,  69.],
        [ 63.,  73.,  81.,  92.,  64.,  76.,  67.,  75.,  73.,  69.],
        [ 49.,  66.,  67.,  62., 106.,  66.,  64.,  69.,  74.,  77.]],
       device='cuda:0')
Train accuarcate: 95.55%



iteration:
  231
    0  1076   bit_w:-1  loss: 0.12877
    1  1180   bit_w: 1  loss: 0.12864
    2  1164   bit_w:-1  loss: 0.12871
    3   962   bit_w: 1  loss: 0.12853
    4  1061   bit_w:-1  loss: 0.12863
   2226   1142   1836   1917   2488   1458   3566   2357   2946   1349
      1      0      0      0      1      0      0      1      1      0
Train accuarcate: 96.19%
tensor([[ 68.,  65.,  74.,  82.,  59.,  71.,  43., 114.,  63.,  72.],
        [ 74.,  77., 106.,  85.,  50.,  74.,  78.,  52.,  80.,  52.],
        [ 59., 100.,  84.,  66.,  69.,  58.,  66.,  71.,  70.,  51.],
        [104.,  65.,  80.,  61.,  58.,  69.,  81.,  74.,  67.,  78.],
        [ 65.,  73.,  66.,  56., 111.,  60.,  75.,  74.,  73.,  77.],
        [ 54., 103.,  69.,  68.,  70.,  54.,  61.,  77.,  66.,  61.],
        [ 41.,  76.,  55.,  76., 104.,  78.,  59.,  72.,  77.,  83.],
        [ 47.,  61.,  76.,  78.,  84.,  76.,  58.,  65.,  78., 105.],
        [ 75.,  69.,  76.,  42.,  77.,  89.,  98.,  68.,  80.,  71.],
        [ 71.,  56.,  65.,  67.,  89.,  61.,  50.,  87.,  82., 104.],
        [117.,  66.,  83.,  75.,  66.,  79.,  80.,  67.,  77.,  73.],
        [ 68.,  77.,  88.,  59.,  85.,  65., 101.,  67.,  75.,  55.],
        [ 60.,  58.,  59.,  74.,  88.,  66.,  48.,  76.,  68., 108.],
        [106.,  54.,  78.,  73.,  61.,  72.,  64.,  69.,  85.,  67.],
        [ 44., 110.,  66.,  77.,  71.,  61.,  60.,  64.,  77.,  65.],
        [ 67.,  71.,  65.,  87.,  58., 104.,  67.,  73.,  81.,  76.],
        [ 63.,  60.,  61.,  68.,  86.,  61.,  53.,  82.,  76., 105.],
        [ 79.,  66.,  78.,  83.,  60.,  63.,  47., 105.,  51.,  69.],
        [ 63.,  73.,  81.,  92.,  64.,  76.,  67.,  75.,  73.,  69.],
        [ 49.,  66.,  67.,  62., 106.,  66.,  64.,  69.,  74.,  77.]],
       device='cuda:0')
Train accuarcate: 95.49%



iteration:
  232
    0  1135   bit_w:-1  loss: 0.12850
    1  1099   bit_w: 1  loss: 0.12839
    2   978   bit_w:-1  loss: 0.12841
    3  1033   bit_w: 1  loss: 0.12814
    4  1080   bit_w:-1  loss: 0.12827
    891   4564   1494    750   2401   1325   1625    650   1048    456
      0      1      0      0      1      1      1      0      0      0
Train accuarcate: 96.19%
tensor([[ 68.,  65.,  74.,  82.,  59.,  71.,  43., 114.,  63.,  72.],
        [ 74.,  77., 106.,  85.,  50.,  74.,  78.,  52.,  80.,  52.],
        [ 59., 101.,  84.,  66.,  70.,  59.,  67.,  71.,  70.,  51.],
        [104.,  65.,  80.,  61.,  58.,  69.,  81.,  74.,  67.,  78.],
        [ 65.,  74.,  66.,  56., 112.,  61.,  76.,  74.,  73.,  77.],
        [ 54., 104.,  69.,  68.,  71.,  55.,  62.,  77.,  66.,  61.],
        [ 41.,  77.,  55.,  76., 105.,  79.,  60.,  72.,  77.,  83.],
        [ 47.,  62.,  76.,  78.,  85.,  77.,  59.,  65.,  78., 105.],
        [ 75.,  70.,  76.,  42.,  78.,  90.,  99.,  68.,  80.,  71.],
        [ 71.,  56.,  65.,  67.,  89.,  61.,  50.,  87.,  82., 104.],
        [117.,  66.,  83.,  75.,  66.,  79.,  80.,  67.,  77.,  73.],
        [ 68.,  78.,  88.,  59.,  86.,  66., 102.,  67.,  75.,  55.],
        [ 60.,  58.,  59.,  74.,  88.,  66.,  48.,  76.,  68., 108.],
        [106.,  54.,  78.,  73.,  61.,  72.,  64.,  69.,  85.,  67.],
        [ 44., 110.,  66.,  77.,  71.,  61.,  60.,  64.,  77.,  65.],
        [ 67.,  71.,  65.,  87.,  58., 104.,  67.,  73.,  81.,  76.],
        [ 63.,  60.,  61.,  68.,  86.,  61.,  53.,  82.,  76., 105.],
        [ 79.,  66.,  78.,  83.,  60.,  63.,  47., 105.,  51.,  69.],
        [ 63.,  74.,  81.,  92.,  65.,  77.,  68.,  75.,  73.,  69.],
        [ 49.,  67.,  67.,  62., 107.,  67.,  65.,  69.,  74.,  77.]],
       device='cuda:0')
Train accuarcate: 95.52%



iteration:
  233
    0   964   bit_w:-1  loss: 0.12812
    1   884   bit_w: 1  loss: 0.12796
    2   867   bit_w:-1  loss: 0.12792
    3   599   bit_w:-1  loss: 0.12788
    4   468   bit_w: 1  loss: 0.12800
   2916   3282   1120   2116   4962   2624   2769   3711   1964   4490
      0      0      0     -1      0      0      0      1      0      1
Train accuarcate: 96.21%
tensor([[ 68.,  65.,  74.,  82.,  59.,  71.,  43., 115.,  63.,  73.],
        [ 74.,  77., 106.,  86.,  50.,  74.,  78.,  52.,  80.,  52.],
        [ 59., 101.,  84.,  67.,  70.,  59.,  67.,  71.,  70.,  51.],
        [104.,  65.,  80.,  62.,  58.,  69.,  81.,  74.,  67.,  78.],
        [ 65.,  74.,  66.,  56., 112.,  61.,  76.,  75.,  73.,  78.],
        [ 54., 104.,  69.,  69.,  71.,  55.,  62.,  77.,  66.,  61.],
        [ 41.,  77.,  55.,  76., 105.,  79.,  60.,  73.,  77.,  84.],
        [ 47.,  62.,  76.,  78.,  85.,  77.,  59.,  66.,  78., 106.],
        [ 75.,  70.,  76.,  42.,  78.,  90.,  99.,  69.,  80.,  72.],
        [ 71.,  56.,  65.,  67.,  89.,  61.,  50.,  88.,  82., 105.],
        [117.,  66.,  83.,  75.,  66.,  79.,  80.,  68.,  77.,  74.],
        [ 68.,  78.,  88.,  60.,  86.,  66., 102.,  67.,  75.,  55.],
        [ 60.,  58.,  59.,  75.,  88.,  66.,  48.,  76.,  68., 108.],
        [106.,  54.,  78.,  73.,  61.,  72.,  64.,  70.,  85.,  68.],
        [ 44., 110.,  66.,  77.,  71.,  61.,  60.,  65.,  77.,  66.],
        [ 67.,  71.,  65.,  88.,  58., 104.,  67.,  73.,  81.,  76.],
        [ 63.,  60.,  61.,  68.,  86.,  61.,  53.,  83.,  76., 106.],
        [ 79.,  66.,  78.,  84.,  60.,  63.,  47., 105.,  51.,  69.],
        [ 63.,  74.,  81.,  93.,  65.,  77.,  68.,  75.,  73.,  69.],
        [ 49.,  67.,  67.,  62., 107.,  67.,  65.,  70.,  74.,  78.]],
       device='cuda:0')
Train accuarcate: 95.53%



iteration:
  234
    0  1170   bit_w:-1  loss: 0.12783
    1   401   bit_w:-1  loss: 0.12763
    2  1181   bit_w: 1  loss: 0.12772
    3  1175   bit_w: 1  loss: 0.12757
    4  1028   bit_w: 1  loss: 0.12768
   1766    186   2972   2084    406   1157    677   1065   1607    408
      0      1      1      0      0      1      0      0      0      0
Train accuarcate: 96.22%
tensor([[ 68.,  65.,  74.,  82.,  59.,  71.,  43., 115.,  63.,  73.],
        [ 74.,  77., 106.,  86.,  50.,  74.,  78.,  52.,  80.,  52.],
        [ 59., 101.,  84.,  67.,  70.,  59.,  67.,  71.,  70.,  51.],
        [104.,  65.,  80.,  62.,  58.,  69.,  81.,  74.,  67.,  78.],
        [ 65.,  74.,  66.,  56., 112.,  61.,  76.,  75.,  73.,  78.],
        [ 54., 104.,  69.,  69.,  71.,  55.,  62.,  77.,  66.,  61.],
        [ 41.,  77.,  55.,  76., 105.,  79.,  60.,  73.,  77.,  84.],
        [ 47.,  62.,  76.,  78.,  85.,  77.,  59.,  66.,  78., 106.],
        [ 75.,  70.,  76.,  42.,  78.,  90.,  99.,  69.,  80.,  72.],
        [ 71.,  56.,  65.,  67.,  89.,  61.,  50.,  88.,  82., 105.],
        [117.,  67.,  84.,  75.,  66.,  80.,  80.,  68.,  77.,  74.],
        [ 68.,  79.,  89.,  60.,  86.,  67., 102.,  67.,  75.,  55.],
        [ 60.,  58.,  59.,  75.,  88.,  66.,  48.,  76.,  68., 108.],
        [106.,  54.,  78.,  73.,  61.,  72.,  64.,  70.,  85.,  68.],
        [ 44., 110.,  66.,  77.,  71.,  61.,  60.,  65.,  77.,  66.],
        [ 67.,  72.,  66.,  88.,  58., 105.,  67.,  73.,  81.,  76.],
        [ 63.,  60.,  61.,  68.,  86.,  61.,  53.,  83.,  76., 106.],
        [ 79.,  66.,  78.,  84.,  60.,  63.,  47., 105.,  51.,  69.],
        [ 63.,  74.,  81.,  93.,  65.,  77.,  68.,  75.,  73.,  69.],
        [ 49.,  67.,  67.,  62., 107.,  67.,  65.,  70.,  74.,  78.]],
       device='cuda:0')
Train accuarcate: 95.49%



iteration:
  235
    0  1087   bit_w:-1  loss: 0.12751
    1   950   bit_w:-1  loss: 0.12733
    2  1167   bit_w: 1  loss: 0.12736
    3  1049   bit_w:-1  loss: 0.12725
    4   303   bit_w:-1  loss: 0.12731
   4651   5814   3471   5006   3349   4987   4270   4486   4071   4111
     -1      0     -1      0     -1      0      0      0     -1      0
Train accuarcate: 96.24%
tensor([[ 69.,  65.,  75.,  82.,  60.,  71.,  43., 115.,  64.,  73.],
        [ 74.,  77., 106.,  86.,  50.,  74.,  78.,  52.,  80.,  52.],
        [ 59., 101.,  84.,  67.,  70.,  59.,  67.,  71.,  70.,  51.],
        [104.,  65.,  80.,  62.,  58.,  69.,  81.,  74.,  67.,  78.],
        [ 66.,  74.,  67.,  56., 113.,  61.,  76.,  75.,  74.,  78.],
        [ 54., 104.,  69.,  69.,  71.,  55.,  62.,  77.,  66.,  61.],
        [ 41.,  77.,  55.,  76., 105.,  79.,  60.,  73.,  77.,  84.],
        [ 47.,  62.,  76.,  78.,  85.,  77.,  59.,  66.,  78., 106.],
        [ 75.,  70.,  76.,  42.,  78.,  90.,  99.,  69.,  80.,  72.],
        [ 72.,  56.,  66.,  67.,  90.,  61.,  50.,  88.,  83., 105.],
        [117.,  67.,  84.,  75.,  66.,  80.,  80.,  68.,  77.,  74.],
        [ 68.,  79.,  89.,  60.,  86.,  67., 102.,  67.,  75.,  55.],
        [ 61.,  58.,  60.,  75.,  89.,  66.,  48.,  76.,  69., 108.],
        [106.,  54.,  78.,  73.,  61.,  72.,  64.,  70.,  85.,  68.],
        [ 44., 110.,  66.,  77.,  71.,  61.,  60.,  65.,  77.,  66.],
        [ 67.,  72.,  66.,  88.,  58., 105.,  67.,  73.,  81.,  76.],
        [ 64.,  60.,  62.,  68.,  87.,  61.,  53.,  83.,  77., 106.],
        [ 79.,  66.,  78.,  84.,  60.,  63.,  47., 105.,  51.,  69.],
        [ 63.,  74.,  81.,  93.,  65.,  77.,  68.,  75.,  73.,  69.],
        [ 49.,  67.,  67.,  62., 107.,  67.,  65.,  70.,  74.,  78.]],
       device='cuda:0')
Train accuarcate: 95.47%



iteration:
  236
    0  1072   bit_w:-1  loss: 0.12719
    1  1105   bit_w: 1  loss: 0.12707
    2  1152   bit_w: 1  loss: 0.12706
    3  1175   bit_w:-1  loss: 0.12691
    4  1110   bit_w: 1  loss: 0.12699
   3856   6717   4868   5150   5021   4320   5466   5633   5173   4981
     -1      0      0     -1      0     -1      0      0     -1      0
Train accuarcate: 96.25%
tensor([[ 69.,  65.,  75.,  82.,  60.,  71.,  43., 115.,  64.,  73.],
        [ 74.,  77., 106.,  86.,  50.,  74.,  78.,  52.,  80.,  52.],
        [ 59., 101.,  84.,  67.,  70.,  59.,  67.,  71.,  70.,  51.],
        [104.,  65.,  80.,  62.,  58.,  69.,  81.,  74.,  67.,  78.],
        [ 67.,  74.,  67.,  57., 113.,  62.,  76.,  75.,  75.,  78.],
        [ 54., 104.,  69.,  69.,  71.,  55.,  62.,  77.,  66.,  61.],
        [ 41.,  77.,  55.,  76., 105.,  79.,  60.,  73.,  77.,  84.],
        [ 47.,  62.,  76.,  78.,  85.,  77.,  59.,  66.,  78., 106.],
        [ 75.,  70.,  76.,  42.,  78.,  90.,  99.,  69.,  80.,  72.],
        [ 72.,  56.,  66.,  67.,  90.,  61.,  50.,  88.,  83., 105.],
        [118.,  67.,  84.,  76.,  66.,  81.,  80.,  68.,  78.,  74.],
        [ 68.,  79.,  89.,  60.,  86.,  67., 102.,  67.,  75.,  55.],
        [ 61.,  58.,  60.,  75.,  89.,  66.,  48.,  76.,  69., 108.],
        [107.,  54.,  78.,  74.,  61.,  73.,  64.,  70.,  86.,  68.],
        [ 44., 110.,  66.,  77.,  71.,  61.,  60.,  65.,  77.,  66.],
        [ 68.,  72.,  66.,  89.,  58., 106.,  67.,  73.,  82.,  76.],
        [ 64.,  60.,  62.,  68.,  87.,  61.,  53.,  83.,  77., 106.],
        [ 79.,  66.,  78.,  84.,  60.,  63.,  47., 105.,  51.,  69.],
        [ 63.,  74.,  81.,  93.,  65.,  77.,  68.,  75.,  73.,  69.],
        [ 49.,  67.,  67.,  62., 107.,  67.,  65.,  70.,  74.,  78.]],
       device='cuda:0')
Train accuarcate: 95.46%



iteration:
  237
    0  1072   bit_w:-1  loss: 0.12686
    1  1158   bit_w: 1  loss: 0.12674
    2  1118   bit_w:-1  loss: 0.12677
    3  1030   bit_w:-1  loss: 0.12659
    4  1071   bit_w:-1  loss: 0.12671
    916   3285   1825   1487    594    696   2298    203    923     75
      1      1      0      0      1      0      1      0      0      0
Train accuarcate: 96.27%
tensor([[ 69.,  65.,  75.,  82.,  60.,  71.,  43., 115.,  64.,  73.],
        [ 75.,  78., 106.,  86.,  51.,  74.,  79.,  52.,  80.,  52.],
        [ 59., 101.,  84.,  67.,  70.,  59.,  67.,  71.,  70.,  51.],
        [105.,  66.,  80.,  62.,  59.,  69.,  82.,  74.,  67.,  78.],
        [ 67.,  74.,  67.,  57., 113.,  62.,  76.,  75.,  75.,  78.],
        [ 54., 104.,  69.,  69.,  71.,  55.,  62.,  77.,  66.,  61.],
        [ 41.,  77.,  55.,  76., 105.,  79.,  60.,  73.,  77.,  84.],
        [ 47.,  62.,  76.,  78.,  85.,  77.,  59.,  66.,  78., 106.],
        [ 75.,  70.,  76.,  42.,  78.,  90.,  99.,  69.,  80.,  72.],
        [ 72.,  56.,  66.,  67.,  90.,  61.,  50.,  88.,  83., 105.],
        [118.,  67.,  84.,  76.,  66.,  81.,  80.,  68.,  78.,  74.],
        [ 68.,  79.,  89.,  60.,  86.,  67., 102.,  67.,  75.,  55.],
        [ 61.,  58.,  60.,  75.,  89.,  66.,  48.,  76.,  69., 108.],
        [107.,  54.,  78.,  74.,  61.,  73.,  64.,  70.,  86.,  68.],
        [ 45., 111.,  66.,  77.,  72.,  61.,  61.,  65.,  77.,  66.],
        [ 68.,  72.,  66.,  89.,  58., 106.,  67.,  73.,  82.,  76.],
        [ 64.,  60.,  62.,  68.,  87.,  61.,  53.,  83.,  77., 106.],
        [ 79.,  66.,  78.,  84.,  60.,  63.,  47., 105.,  51.,  69.],
        [ 63.,  74.,  81.,  93.,  65.,  77.,  68.,  75.,  73.,  69.],
        [ 49.,  67.,  67.,  62., 107.,  67.,  65.,  70.,  74.,  78.]],
       device='cuda:0')
Train accuarcate: 95.44%



iteration:
  238
    0  1162   bit_w:-1  loss: 0.12659
    1  1138   bit_w: 1  loss: 0.12646
    2  1151   bit_w:-1  loss: 0.12644
    3  1128   bit_w:-1  loss: 0.12628
    4   581   bit_w:-1  loss: 0.12639
   3871   6682   2665   5088   4560   4701   4390   5658   5296   5258
      0     -1     -1      0     -1      0      0     -1      0      0
Train accuarcate: 96.27%
tensor([[ 69.,  65.,  75.,  82.,  60.,  71.,  43., 115.,  64.,  73.],
        [ 75.,  79., 107.,  86.,  52.,  74.,  79.,  53.,  80.,  52.],
        [ 59., 101.,  84.,  67.,  70.,  59.,  67.,  71.,  70.,  51.],
        [105.,  66.,  80.,  62.,  59.,  69.,  82.,  74.,  67.,  78.],
        [ 67.,  74.,  67.,  57., 113.,  62.,  76.,  75.,  75.,  78.],
        [ 54., 104.,  69.,  69.,  71.,  55.,  62.,  77.,  66.,  61.],
        [ 41.,  77.,  55.,  76., 105.,  79.,  60.,  73.,  77.,  84.],
        [ 47.,  63.,  77.,  78.,  86.,  77.,  59.,  67.,  78., 106.],
        [ 75.,  71.,  77.,  42.,  79.,  90.,  99.,  70.,  80.,  72.],
        [ 72.,  56.,  66.,  67.,  90.,  61.,  50.,  88.,  83., 105.],
        [118.,  68.,  85.,  76.,  67.,  81.,  80.,  69.,  78.,  74.],
        [ 68.,  80.,  90.,  60.,  87.,  67., 102.,  68.,  75.,  55.],
        [ 61.,  58.,  60.,  75.,  89.,  66.,  48.,  76.,  69., 108.],
        [107.,  54.,  78.,  74.,  61.,  73.,  64.,  70.,  86.,  68.],
        [ 45., 111.,  66.,  77.,  72.,  61.,  61.,  65.,  77.,  66.],
        [ 68.,  73.,  67.,  89.,  59., 106.,  67.,  74.,  82.,  76.],
        [ 64.,  60.,  62.,  68.,  87.,  61.,  53.,  83.,  77., 106.],
        [ 79.,  66.,  78.,  84.,  60.,  63.,  47., 105.,  51.,  69.],
        [ 63.,  75.,  82.,  93.,  66.,  77.,  68.,  76.,  73.,  69.],
        [ 49.,  67.,  67.,  62., 107.,  67.,  65.,  70.,  74.,  78.]],
       device='cuda:0')
Train accuarcate: 95.47%



iteration:
  239
    0  1162   bit_w:-1  loss: 0.12624
    1   622   bit_w:-1  loss: 0.12615
    2  1128   bit_w:-1  loss: 0.12614
    3  1178   bit_w: 1  loss: 0.12604
    4   188   bit_w: 1  loss: 0.12610
   2999    797   1149    837   1858   2753    882   1168   2020   1050
      0      0      0      0      0      1      1      0      1      1
Train accuarcate: 96.28%
tensor([[ 69.,  65.,  75.,  82.,  60.,  71.,  43., 115.,  64.,  73.],
        [ 75.,  79., 107.,  86.,  52.,  74.,  79.,  53.,  80.,  52.],
        [ 59., 101.,  84.,  67.,  70.,  59.,  67.,  71.,  70.,  51.],
        [105.,  66.,  80.,  62.,  59.,  69.,  82.,  74.,  67.,  78.],
        [ 67.,  74.,  67.,  57., 113.,  63.,  77.,  75.,  76.,  79.],
        [ 54., 104.,  69.,  69.,  71.,  55.,  62.,  77.,  66.,  61.],
        [ 41.,  77.,  55.,  76., 105.,  79.,  60.,  73.,  77.,  84.],
        [ 47.,  63.,  77.,  78.,  86.,  77.,  59.,  67.,  78., 106.],
        [ 75.,  71.,  77.,  42.,  79.,  91., 100.,  70.,  81.,  73.],
        [ 72.,  56.,  66.,  67.,  90.,  61.,  50.,  88.,  83., 105.],
        [118.,  68.,  85.,  76.,  67.,  82.,  81.,  69.,  79.,  75.],
        [ 68.,  80.,  90.,  60.,  87.,  67., 102.,  68.,  75.,  55.],
        [ 61.,  58.,  60.,  75.,  89.,  66.,  48.,  76.,  69., 108.],
        [107.,  54.,  78.,  74.,  61.,  73.,  64.,  70.,  86.,  68.],
        [ 45., 111.,  66.,  77.,  72.,  61.,  61.,  65.,  77.,  66.],
        [ 68.,  73.,  67.,  89.,  59., 106.,  67.,  74.,  82.,  76.],
        [ 64.,  60.,  62.,  68.,  87.,  61.,  53.,  83.,  77., 106.],
        [ 79.,  66.,  78.,  84.,  60.,  63.,  47., 105.,  51.,  69.],
        [ 63.,  75.,  82.,  93.,  66.,  77.,  68.,  76.,  73.,  69.],
        [ 49.,  67.,  67.,  62., 107.,  67.,  65.,  70.,  74.,  78.]],
       device='cuda:0')
Train accuarcate: 95.51%



iteration:
  240
    0  1161   bit_w:-1  loss: 0.12597
    1  1052   bit_w: 1  loss: 0.12585
    2  1020   bit_w:-1  loss: 0.12583
    3   715   bit_w:-1  loss: 0.12565
    4  1078   bit_w: 1  loss: 0.12579
   3399   1991   3624   3014   3746   2794   4468   2519   4317   2957
      0     -1      0      1      0     -1      0     -1      0      0
Train accuarcate: 96.31%
tensor([[ 69.,  66.,  75.,  82.,  60.,  72.,  43., 116.,  64.,  73.],
        [ 75.,  80., 107.,  86.,  52.,  75.,  79.,  54.,  80.,  52.],
        [ 59., 102.,  84.,  67.,  70.,  60.,  67.,  72.,  70.,  51.],
        [105.,  67.,  80.,  62.,  59.,  70.,  82.,  75.,  67.,  78.],
        [ 67.,  75.,  67.,  57., 113.,  64.,  77.,  76.,  76.,  79.],
        [ 54., 105.,  69.,  69.,  71.,  56.,  62.,  78.,  66.,  61.],
        [ 41.,  77.,  55.,  77., 105.,  79.,  60.,  73.,  77.,  84.],
        [ 47.,  63.,  77.,  79.,  86.,  77.,  59.,  67.,  78., 106.],
        [ 75.,  71.,  77.,  43.,  79.,  91., 100.,  70.,  81.,  73.],
        [ 72.,  56.,  66.,  68.,  90.,  61.,  50.,  88.,  83., 105.],
        [118.,  68.,  85.,  77.,  67.,  82.,  81.,  69.,  79.,  75.],
        [ 68.,  80.,  90.,  61.,  87.,  67., 102.,  68.,  75.,  55.],
        [ 61.,  59.,  60.,  75.,  89.,  67.,  48.,  77.,  69., 108.],
        [107.,  54.,  78.,  75.,  61.,  73.,  64.,  70.,  86.,  68.],
        [ 45., 111.,  66.,  78.,  72.,  61.,  61.,  65.,  77.,  66.],
        [ 68.,  73.,  67.,  90.,  59., 106.,  67.,  74.,  82.,  76.],
        [ 64.,  61.,  62.,  68.,  87.,  62.,  53.,  84.,  77., 106.],
        [ 79.,  67.,  78.,  84.,  60.,  64.,  47., 106.,  51.,  69.],
        [ 63.,  76.,  82.,  93.,  66.,  78.,  68.,  77.,  73.,  69.],
        [ 49.,  67.,  67.,  63., 107.,  67.,  65.,  70.,  74.,  78.]],
       device='cuda:0')
Train accuarcate: 95.49%



iteration:
  241
    0  1103   bit_w:-1  loss: 0.12561
    1  1014   bit_w:-1  loss: 0.12546
    2   936   bit_w: 1  loss: 0.12548
    3  1027   bit_w:-1  loss: 0.12539
    4  1029   bit_w:-1  loss: 0.12538
   2147   1617   2897   5638   3999   4404   4222   5062   4830   5188
     -1      0     -1      0      0      0     -1      0      0     -1
Train accuarcate: 96.31%
tensor([[ 69.,  66.,  75.,  82.,  60.,  72.,  43., 116.,  64.,  73.],
        [ 76.,  80., 108.,  86.,  52.,  75.,  80.,  54.,  80.,  53.],
        [ 60., 102.,  85.,  67.,  70.,  60.,  68.,  72.,  70.,  52.],
        [105.,  67.,  80.,  62.,  59.,  70.,  82.,  75.,  67.,  78.],
        [ 68.,  75.,  68.,  57., 113.,  64.,  78.,  76.,  76.,  80.],
        [ 55., 105.,  70.,  69.,  71.,  56.,  63.,  78.,  66.,  62.],
        [ 41.,  77.,  55.,  77., 105.,  79.,  60.,  73.,  77.,  84.],
        [ 48.,  63.,  78.,  79.,  86.,  77.,  60.,  67.,  78., 107.],
        [ 75.,  71.,  77.,  43.,  79.,  91., 100.,  70.,  81.,  73.],
        [ 73.,  56.,  67.,  68.,  90.,  61.,  51.,  88.,  83., 106.],
        [119.,  68.,  86.,  77.,  67.,  82.,  82.,  69.,  79.,  76.],
        [ 69.,  80.,  91.,  61.,  87.,  67., 103.,  68.,  75.,  56.],
        [ 61.,  59.,  60.,  75.,  89.,  67.,  48.,  77.,  69., 108.],
        [107.,  54.,  78.,  75.,  61.,  73.,  64.,  70.,  86.,  68.],
        [ 46., 111.,  67.,  78.,  72.,  61.,  62.,  65.,  77.,  67.],
        [ 69.,  73.,  68.,  90.,  59., 106.,  68.,  74.,  82.,  77.],
        [ 64.,  61.,  62.,  68.,  87.,  62.,  53.,  84.,  77., 106.],
        [ 79.,  67.,  78.,  84.,  60.,  64.,  47., 106.,  51.,  69.],
        [ 64.,  76.,  83.,  93.,  66.,  78.,  69.,  77.,  73.,  70.],
        [ 50.,  67.,  68.,  63., 107.,  67.,  66.,  70.,  74.,  79.]],
       device='cuda:0')
Train accuarcate: 95.48%



iteration:
  242
    0   936   bit_w:-1  loss: 0.12525
    1  1137   bit_w: 1  loss: 0.12512
    2   681   bit_w: 1  loss: 0.12514
    3  1180   bit_w: 1  loss: 0.12499
    4  1046   bit_w:-1  loss: 0.12505
   1437   1672   1793    677   3528   1102   3553   2425   2958   2138
      1      0      0      0      1      0      1      0      1      0
Train accuarcate: 96.31%
tensor([[ 69.,  66.,  75.,  82.,  60.,  72.,  43., 116.,  64.,  73.],
        [ 76.,  80., 108.,  86.,  52.,  75.,  80.,  54.,  80.,  53.],
        [ 60., 102.,  85.,  67.,  70.,  60.,  68.,  72.,  70.,  52.],
        [105.,  67.,  80.,  62.,  59.,  70.,  82.,  75.,  67.,  78.],
        [ 69.,  75.,  68.,  57., 114.,  64.,  79.,  76.,  77.,  80.],
        [ 55., 105.,  70.,  69.,  71.,  56.,  63.,  78.,  66.,  62.],
        [ 41.,  77.,  55.,  77., 105.,  79.,  60.,  73.,  77.,  84.],
        [ 48.,  63.,  78.,  79.,  86.,  77.,  60.,  67.,  78., 107.],
        [ 75.,  71.,  77.,  43.,  79.,  91., 100.,  70.,  81.,  73.],
        [ 74.,  56.,  67.,  68.,  91.,  61.,  52.,  88.,  84., 106.],
        [119.,  68.,  86.,  77.,  67.,  82.,  82.,  69.,  79.,  76.],
        [ 69.,  80.,  91.,  61.,  87.,  67., 103.,  68.,  75.,  56.],
        [ 61.,  59.,  60.,  75.,  89.,  67.,  48.,  77.,  69., 108.],
        [107.,  54.,  78.,  75.,  61.,  73.,  64.,  70.,  86.,  68.],
        [ 47., 111.,  67.,  78.,  73.,  61.,  63.,  65.,  78.,  67.],
        [ 69.,  73.,  68.,  90.,  59., 106.,  68.,  74.,  82.,  77.],
        [ 65.,  61.,  62.,  68.,  88.,  62.,  54.,  84.,  78., 106.],
        [ 79.,  67.,  78.,  84.,  60.,  64.,  47., 106.,  51.,  69.],
        [ 64.,  76.,  83.,  93.,  66.,  78.,  69.,  77.,  73.,  70.],
        [ 51.,  67.,  68.,  63., 108.,  67.,  67.,  70.,  75.,  79.]],
       device='cuda:0')
Train accuarcate: 95.46%



iteration:
  243
    0  1091   bit_w:-1  loss: 0.12492
    1  1005   bit_w:-1  loss: 0.12484
    2  1016   bit_w: 1  loss: 0.12482
    3   872   bit_w: 1  loss: 0.12466
    4   315   bit_w: 1  loss: 0.12469
    363   2571   1327   1186   1522    613   1252   2767    670    982
      0      0      1      1      0      0      0      1      1     -1
Train accuarcate: 96.35%
tensor([[ 69.,  66.,  76.,  83.,  60.,  72.,  43., 117.,  65.,  73.],
        [ 76.,  80., 108.,  86.,  52.,  75.,  80.,  54.,  80.,  54.],
        [ 60., 102.,  86.,  68.,  70.,  60.,  68.,  73.,  71.,  52.],
        [105.,  67.,  80.,  62.,  59.,  70.,  82.,  75.,  67.,  79.],
        [ 69.,  75.,  68.,  57., 114.,  64.,  79.,  76.,  77.,  81.],
        [ 55., 105.,  71.,  70.,  71.,  56.,  63.,  79.,  67.,  62.],
        [ 41.,  77.,  55.,  77., 105.,  79.,  60.,  73.,  77.,  85.],
        [ 48.,  63.,  78.,  79.,  86.,  77.,  60.,  67.,  78., 108.],
        [ 75.,  71.,  78.,  44.,  79.,  91., 100.,  71.,  82.,  73.],
        [ 74.,  56.,  67.,  68.,  91.,  61.,  52.,  88.,  84., 107.],
        [119.,  68.,  86.,  77.,  67.,  82.,  82.,  69.,  79.,  77.],
        [ 69.,  80.,  91.,  61.,  87.,  67., 103.,  68.,  75.,  57.],
        [ 61.,  59.,  60.,  75.,  89.,  67.,  48.,  77.,  69., 109.],
        [107.,  54.,  78.,  75.,  61.,  73.,  64.,  70.,  86.,  69.],
        [ 47., 111.,  67.,  78.,  73.,  61.,  63.,  65.,  78.,  68.],
        [ 69.,  73.,  68.,  90.,  59., 106.,  68.,  74.,  82.,  78.],
        [ 65.,  61.,  62.,  68.,  88.,  62.,  54.,  84.,  78., 107.],
        [ 79.,  67.,  78.,  84.,  60.,  64.,  47., 106.,  51.,  70.],
        [ 64.,  76.,  84.,  94.,  66.,  78.,  69.,  78.,  74.,  70.],
        [ 51.,  67.,  68.,  63., 108.,  67.,  67.,  70.,  75.,  80.]],
       device='cuda:0')
Train accuarcate: 95.46%



iteration:
  244
    0  1074   bit_w:-1  loss: 0.12454
    1  1047   bit_w: 1  loss: 0.12440
    2  1049   bit_w:-1  loss: 0.12444
    3   293   bit_w:-1  loss: 0.12434
    4   952   bit_w:-1  loss: 0.12433
    970    853   3016   3460   1660   1868   2220   3703   2604   2526
      0     -1      0      0     -1      1      0      1      0      0
Train accuarcate: 96.34%
tensor([[ 69.,  66.,  76.,  83.,  60.,  73.,  43., 118.,  65.,  73.],
        [ 76.,  81., 108.,  86.,  53.,  75.,  80.,  54.,  80.,  54.],
        [ 60., 103.,  86.,  68.,  71.,  60.,  68.,  73.,  71.,  52.],
        [105.,  68.,  80.,  62.,  60.,  70.,  82.,  75.,  67.,  79.],
        [ 69.,  76.,  68.,  57., 115.,  64.,  79.,  76.,  77.,  81.],
        [ 55., 106.,  71.,  70.,  72.,  56.,  63.,  79.,  67.,  62.],
        [ 41.,  78.,  55.,  77., 106.,  79.,  60.,  73.,  77.,  85.],
        [ 48.,  64.,  78.,  79.,  87.,  77.,  60.,  67.,  78., 108.],
        [ 75.,  72.,  78.,  44.,  80.,  91., 100.,  71.,  82.,  73.],
        [ 74.,  57.,  67.,  68.,  92.,  61.,  52.,  88.,  84., 107.],
        [119.,  69.,  86.,  77.,  68.,  82.,  82.,  69.,  79.,  77.],
        [ 69.,  81.,  91.,  61.,  88.,  67., 103.,  68.,  75.,  57.],
        [ 61.,  60.,  60.,  75.,  90.,  67.,  48.,  77.,  69., 109.],
        [107.,  55.,  78.,  75.,  62.,  73.,  64.,  70.,  86.,  69.],
        [ 47., 112.,  67.,  78.,  74.,  61.,  63.,  65.,  78.,  68.],
        [ 69.,  73.,  68.,  90.,  59., 107.,  68.,  75.,  82.,  78.],
        [ 65.,  62.,  62.,  68.,  89.,  62.,  54.,  84.,  78., 107.],
        [ 79.,  67.,  78.,  84.,  60.,  65.,  47., 107.,  51.,  70.],
        [ 64.,  76.,  84.,  94.,  66.,  79.,  69.,  79.,  74.,  70.],
        [ 51.,  67.,  68.,  63., 108.,  68.,  67.,  71.,  75.,  80.]],
       device='cuda:0')
Train accuarcate: 95.50%



iteration:
  245
    0  1083   bit_w:-1  loss: 0.12418
    1  1061   bit_w:-1  loss: 0.12399
    2   840   bit_w: 1  loss: 0.12394
    3   440   bit_w: 1  loss: 0.12391
    4   441   bit_w:-1  loss: 0.12392
   3790   1760   3074   3141   1879   2384   3021   2342   2048   1781
      1      1      0     -1      0      0      1      0     -1      1
Train accuarcate: 96.37%
tensor([[ 69.,  66.,  76.,  84.,  60.,  73.,  43., 118.,  66.,  73.],
        [ 76.,  81., 108.,  87.,  53.,  75.,  80.,  54.,  81.,  54.],
        [ 61., 104.,  86.,  68.,  71.,  60.,  69.,  73.,  71.,  53.],
        [105.,  68.,  80.,  63.,  60.,  70.,  82.,  75.,  68.,  79.],
        [ 69.,  76.,  68.,  58., 115.,  64.,  79.,  76.,  78.,  81.],
        [ 55., 106.,  71.,  71.,  72.,  56.,  63.,  79.,  68.,  62.],
        [ 41.,  78.,  55.,  78., 106.,  79.,  60.,  73.,  78.,  85.],
        [ 48.,  64.,  78.,  80.,  87.,  77.,  60.,  67.,  79., 108.],
        [ 75.,  72.,  78.,  45.,  80.,  91., 100.,  71.,  83.,  73.],
        [ 74.,  57.,  67.,  69.,  92.,  61.,  52.,  88.,  85., 107.],
        [119.,  69.,  86.,  78.,  68.,  82.,  82.,  69.,  80.,  77.],
        [ 69.,  81.,  91.,  62.,  88.,  67., 103.,  68.,  76.,  57.],
        [ 61.,  60.,  60.,  76.,  90.,  67.,  48.,  77.,  70., 109.],
        [108.,  56.,  78.,  75.,  62.,  73.,  65.,  70.,  86.,  70.],
        [ 47., 112.,  67.,  79.,  74.,  61.,  63.,  65.,  79.,  68.],
        [ 70.,  74.,  68.,  90.,  59., 107.,  69.,  75.,  82.,  79.],
        [ 65.,  62.,  62.,  69.,  89.,  62.,  54.,  84.,  79., 107.],
        [ 80.,  68.,  78.,  84.,  60.,  65.,  48., 107.,  51.,  71.],
        [ 65.,  77.,  84.,  94.,  66.,  79.,  70.,  79.,  74.,  71.],
        [ 51.,  67.,  68.,  64., 108.,  68.,  67.,  71.,  76.,  80.]],
       device='cuda:0')
Train accuarcate: 95.48%



iteration:
  246
    0  1044   bit_w:-1  loss: 0.12370
    1   296   bit_w:-1  loss: 0.12356
    2  1054   bit_w: 1  loss: 0.12352
    3   174   bit_w:-1  loss: 0.12349
    4  1179   bit_w:-1  loss: 0.12344
    776   2154   2184    610   1375   2351   3774     90   2421   1327
      0      0      1      0      0      1      1      0      0      0
Train accuarcate: 96.38%
tensor([[ 69.,  66.,  76.,  84.,  60.,  73.,  43., 118.,  66.,  73.],
        [ 76.,  81., 109.,  87.,  53.,  76.,  81.,  54.,  81.,  54.],
        [ 61., 104.,  86.,  68.,  71.,  60.,  69.,  73.,  71.,  53.],
        [105.,  68.,  80.,  63.,  60.,  70.,  82.,  75.,  68.,  79.],
        [ 69.,  76.,  69.,  58., 115.,  65.,  80.,  76.,  78.,  81.],
        [ 55., 106.,  71.,  71.,  72.,  56.,  63.,  79.,  68.,  62.],
        [ 41.,  78.,  55.,  78., 106.,  79.,  60.,  73.,  78.,  85.],
        [ 48.,  64.,  78.,  80.,  87.,  77.,  60.,  67.,  79., 108.],
        [ 75.,  72.,  79.,  45.,  80.,  92., 101.,  71.,  83.,  73.],
        [ 74.,  57.,  67.,  69.,  92.,  61.,  52.,  88.,  85., 107.],
        [119.,  69.,  86.,  78.,  68.,  82.,  82.,  69.,  80.,  77.],
        [ 69.,  81.,  91.,  62.,  88.,  67., 103.,  68.,  76.,  57.],
        [ 61.,  60.,  61.,  76.,  90.,  68.,  49.,  77.,  70., 109.],
        [108.,  56.,  79.,  75.,  62.,  74.,  66.,  70.,  86.,  70.],
        [ 47., 112.,  68.,  79.,  74.,  62.,  64.,  65.,  79.,  68.],
        [ 70.,  74.,  69.,  90.,  59., 108.,  70.,  75.,  82.,  79.],
        [ 65.,  62.,  62.,  69.,  89.,  62.,  54.,  84.,  79., 107.],
        [ 80.,  68.,  78.,  84.,  60.,  65.,  48., 107.,  51.,  71.],
        [ 65.,  77.,  84.,  94.,  66.,  79.,  70.,  79.,  74.,  71.],
        [ 51.,  67.,  68.,  64., 108.,  68.,  67.,  71.,  76.,  80.]],
       device='cuda:0')
Train accuarcate: 95.56%



iteration:
  247
    0  1130   bit_w:-1  loss: 0.12331
    1   876   bit_w:-1  loss: 0.12321
    2   269   bit_w: 1  loss: 0.12324
    3   498   bit_w:-1  loss: 0.12313
    4   327   bit_w: 1  loss: 0.12311
   2386    468   3555   3181   1887    978    815   3678   2482   2834
      0      0      1      1     -1      0      0      0      0      0
Train accuarcate: 96.36%
tensor([[ 69.,  66.,  77.,  85.,  60.,  73.,  43., 118.,  66.,  73.],
        [ 76.,  81., 110.,  88.,  53.,  76.,  81.,  54.,  81.,  54.],
        [ 61., 104.,  86.,  68.,  72.,  60.,  69.,  73.,  71.,  53.],
        [105.,  68.,  81.,  64.,  60.,  70.,  82.,  75.,  68.,  79.],
        [ 69.,  76.,  70.,  59., 115.,  65.,  80.,  76.,  78.,  81.],
        [ 55., 106.,  71.,  71.,  73.,  56.,  63.,  79.,  68.,  62.],
        [ 41.,  78.,  55.,  78., 107.,  79.,  60.,  73.,  78.,  85.],
        [ 48.,  64.,  79.,  81.,  87.,  77.,  60.,  67.,  79., 108.],
        [ 75.,  72.,  79.,  45.,  81.,  92., 101.,  71.,  83.,  73.],
        [ 74.,  57.,  67.,  69.,  93.,  61.,  52.,  88.,  85., 107.],
        [119.,  69.,  86.,  78.,  69.,  82.,  82.,  69.,  80.,  77.],
        [ 69.,  81.,  92.,  63.,  88.,  67., 103.,  68.,  76.,  57.],
        [ 61.,  60.,  61.,  76.,  91.,  68.,  49.,  77.,  70., 109.],
        [108.,  56.,  80.,  76.,  62.,  74.,  66.,  70.,  86.,  70.],
        [ 47., 112.,  68.,  79.,  75.,  62.,  64.,  65.,  79.,  68.],
        [ 70.,  74.,  69.,  90.,  60., 108.,  70.,  75.,  82.,  79.],
        [ 65.,  62.,  63.,  70.,  89.,  62.,  54.,  84.,  79., 107.],
        [ 80.,  68.,  79.,  85.,  60.,  65.,  48., 107.,  51.,  71.],
        [ 65.,  77.,  84.,  94.,  67.,  79.,  70.,  79.,  74.,  71.],
        [ 51.,  67.,  68.,  64., 109.,  68.,  67.,  71.,  76.,  80.]],
       device='cuda:0')
Train accuarcate: 95.57%



iteration:
  248
    0   968   bit_w:-1  loss: 0.12299
    1  1013   bit_w: 1  loss: 0.12286
    2   890   bit_w:-1  loss: 0.12286
    3   414   bit_w:-1  loss: 0.12273
    4  1176   bit_w:-1  loss: 0.12281
    817   3866   2962   1196   2273   3461   1673   3032   1986   2014
      0      0      1      0      0      1      0      0      1      0
Train accuarcate: 96.38%
tensor([[ 69.,  66.,  78.,  85.,  60.,  74.,  43., 118.,  67.,  73.],
        [ 76.,  81., 111.,  88.,  53.,  77.,  81.,  54.,  82.,  54.],
        [ 61., 104.,  87.,  68.,  72.,  61.,  69.,  73.,  72.,  53.],
        [105.,  68.,  81.,  64.,  60.,  70.,  82.,  75.,  68.,  79.],
        [ 69.,  76.,  70.,  59., 115.,  65.,  80.,  76.,  78.,  81.],
        [ 55., 106.,  72.,  71.,  73.,  57.,  63.,  79.,  69.,  62.],
        [ 41.,  78.,  55.,  78., 107.,  79.,  60.,  73.,  78.,  85.],
        [ 48.,  64.,  80.,  81.,  87.,  78.,  60.,  67.,  80., 108.],
        [ 75.,  72.,  80.,  45.,  81.,  93., 101.,  71.,  84.,  73.],
        [ 74.,  57.,  68.,  69.,  93.,  62.,  52.,  88.,  86., 107.],
        [119.,  69.,  86.,  78.,  69.,  82.,  82.,  69.,  80.,  77.],
        [ 69.,  81.,  92.,  63.,  88.,  67., 103.,  68.,  76.,  57.],
        [ 61.,  60.,  61.,  76.,  91.,  68.,  49.,  77.,  70., 109.],
        [108.,  56.,  80.,  76.,  62.,  74.,  66.,  70.,  86.,  70.],
        [ 47., 112.,  69.,  79.,  75.,  63.,  64.,  65.,  80.,  68.],
        [ 70.,  74.,  69.,  90.,  60., 108.,  70.,  75.,  82.,  79.],
        [ 65.,  62.,  63.,  70.,  89.,  62.,  54.,  84.,  79., 107.],
        [ 80.,  68.,  80.,  85.,  60.,  66.,  48., 107.,  52.,  71.],
        [ 65.,  77.,  84.,  94.,  67.,  79.,  70.,  79.,  74.,  71.],
        [ 51.,  67.,  68.,  64., 109.,  68.,  67.,  71.,  76.,  80.]],
       device='cuda:0')
Train accuarcate: 95.57%



iteration:
  249
    0  1169   bit_w:-1  loss: 0.12266
    1  1149   bit_w: 1  loss: 0.12257
    2  1124   bit_w: 1  loss: 0.12261
    3   885   bit_w:-1  loss: 0.12239
    4  1159   bit_w:-1  loss: 0.12250
   3590   2773   5351   2130   3489   3179   5625   3164   4495   2066
      0      0      0      0      0      0      0     -1      0     -1
Train accuarcate: 96.42%
tensor([[ 69.,  66.,  78.,  85.,  60.,  74.,  43., 119.,  67.,  74.],
        [ 76.,  81., 111.,  88.,  53.,  77.,  81.,  54.,  82.,  54.],
        [ 61., 104.,  87.,  68.,  72.,  61.,  69.,  74.,  72.,  54.],
        [105.,  68.,  81.,  64.,  60.,  70.,  82.,  76.,  68.,  80.],
        [ 69.,  76.,  70.,  59., 115.,  65.,  80.,  76.,  78.,  81.],
        [ 55., 106.,  72.,  71.,  73.,  57.,  63.,  80.,  69.,  63.],
        [ 41.,  78.,  55.,  78., 107.,  79.,  60.,  74.,  78.,  86.],
        [ 48.,  64.,  80.,  81.,  87.,  78.,  60.,  68.,  80., 109.],
        [ 75.,  72.,  80.,  45.,  81.,  93., 101.,  71.,  84.,  73.],
        [ 74.,  57.,  68.,  69.,  93.,  62.,  52.,  88.,  86., 107.],
        [119.,  69.,  86.,  78.,  69.,  82.,  82.,  70.,  80.,  78.],
        [ 69.,  81.,  92.,  63.,  88.,  67., 103.,  69.,  76.,  58.],
        [ 61.,  60.,  61.,  76.,  91.,  68.,  49.,  78.,  70., 110.],
        [108.,  56.,  80.,  76.,  62.,  74.,  66.,  71.,  86.,  71.],
        [ 47., 112.,  69.,  79.,  75.,  63.,  64.,  66.,  80.,  69.],
        [ 70.,  74.,  69.,  90.,  60., 108.,  70.,  76.,  82.,  80.],
        [ 65.,  62.,  63.,  70.,  89.,  62.,  54.,  84.,  79., 107.],
        [ 80.,  68.,  80.,  85.,  60.,  66.,  48., 108.,  52.,  72.],
        [ 65.,  77.,  84.,  94.,  67.,  79.,  70.,  79.,  74.,  71.],
        [ 51.,  67.,  68.,  64., 109.,  68.,  67.,  71.,  76.,  80.]],
       device='cuda:0')
Train accuarcate: 95.58%



iteration:
  250
    0  1169   bit_w:-1  loss: 0.12235
    1   536   bit_w:-1  loss: 0.12229
    2  1077   bit_w:-1  loss: 0.12229
    3   982   bit_w: 1  loss: 0.12213
    4   526   bit_w: 1  loss: 0.12223
   1420   1246   2814   2783    649   1555   2292    174   2028    606
      0      1      0      1      0      0      0      0      1      0
Train accuarcate: 96.43%
tensor([[ 69.,  66.,  78.,  85.,  60.,  74.,  43., 119.,  67.,  74.],
        [ 76.,  81., 111.,  88.,  53.,  77.,  81.,  54.,  82.,  54.],
        [ 61., 104.,  87.,  68.,  72.,  61.,  69.,  74.,  72.,  54.],
        [105.,  68.,  81.,  64.,  60.,  70.,  82.,  76.,  68.,  80.],
        [ 69.,  76.,  70.,  59., 115.,  65.,  80.,  76.,  78.,  81.],
        [ 55., 106.,  72.,  71.,  73.,  57.,  63.,  80.,  69.,  63.],
        [ 41.,  78.,  55.,  78., 107.,  79.,  60.,  74.,  78.,  86.],
        [ 48.,  65.,  80.,  82.,  87.,  78.,  60.,  68.,  81., 109.],
        [ 75.,  72.,  80.,  45.,  81.,  93., 101.,  71.,  84.,  73.],
        [ 74.,  57.,  68.,  69.,  93.,  62.,  52.,  88.,  86., 107.],
        [119.,  69.,  86.,  78.,  69.,  82.,  82.,  70.,  80.,  78.],
        [ 69.,  81.,  92.,  63.,  88.,  67., 103.,  69.,  76.,  58.],
        [ 61.,  60.,  61.,  76.,  91.,  68.,  49.,  78.,  70., 110.],
        [108.,  56.,  80.,  76.,  62.,  74.,  66.,  71.,  86.,  71.],
        [ 47., 112.,  69.,  79.,  75.,  63.,  64.,  66.,  80.,  69.],
        [ 70.,  75.,  69.,  91.,  60., 108.,  70.,  76.,  83.,  80.],
        [ 65.,  62.,  63.,  70.,  89.,  62.,  54.,  84.,  79., 107.],
        [ 80.,  68.,  80.,  85.,  60.,  66.,  48., 108.,  52.,  72.],
        [ 65.,  78.,  84.,  95.,  67.,  79.,  70.,  79.,  75.,  71.],
        [ 51.,  67.,  68.,  64., 109.,  68.,  67.,  71.,  76.,  80.]],
       device='cuda:0')
Train accuarcate: 95.59%



iteration:
  251
    0  1182   bit_w:-1  loss: 0.12207
    1  1105   bit_w: 1  loss: 0.12197
    2  1039   bit_w:-1  loss: 0.12200
    3   691   bit_w:-1  loss: 0.12189
    4  1048   bit_w:-1  loss: 0.12192
   3509    955   2547   2112    665   2190   2468   2306   2057    940
      1      1      0      0      0      1      1      0      0      0
Train accuarcate: 96.44%
tensor([[ 69.,  66.,  78.,  85.,  60.,  74.,  43., 119.,  67.,  74.],
        [ 77.,  82., 111.,  88.,  53.,  78.,  82.,  54.,  82.,  54.],
        [ 61., 104.,  87.,  68.,  72.,  61.,  69.,  74.,  72.,  54.],
        [106.,  69.,  81.,  64.,  60.,  71.,  83.,  76.,  68.,  80.],
        [ 69.,  76.,  70.,  59., 115.,  65.,  80.,  76.,  78.,  81.],
        [ 55., 106.,  72.,  71.,  73.,  57.,  63.,  80.,  69.,  63.],
        [ 41.,  78.,  55.,  78., 107.,  79.,  60.,  74.,  78.,  86.],
        [ 48.,  65.,  80.,  82.,  87.,  78.,  60.,  68.,  81., 109.],
        [ 75.,  72.,  80.,  45.,  81.,  93., 101.,  71.,  84.,  73.],
        [ 74.,  57.,  68.,  69.,  93.,  62.,  52.,  88.,  86., 107.],
        [120.,  70.,  86.,  78.,  69.,  83.,  83.,  70.,  80.,  78.],
        [ 69.,  81.,  92.,  63.,  88.,  67., 103.,  69.,  76.,  58.],
        [ 61.,  60.,  61.,  76.,  91.,  68.,  49.,  78.,  70., 110.],
        [109.,  57.,  80.,  76.,  62.,  75.,  67.,  71.,  86.,  71.],
        [ 47., 112.,  69.,  79.,  75.,  63.,  64.,  66.,  80.,  69.],
        [ 71.,  76.,  69.,  91.,  60., 109.,  71.,  76.,  83.,  80.],
        [ 65.,  62.,  63.,  70.,  89.,  62.,  54.,  84.,  79., 107.],
        [ 80.,  68.,  80.,  85.,  60.,  66.,  48., 108.,  52.,  72.],
        [ 66.,  79.,  84.,  95.,  67.,  80.,  71.,  79.,  75.,  71.],
        [ 51.,  67.,  68.,  64., 109.,  68.,  67.,  71.,  76.,  80.]],
       device='cuda:0')
Train accuarcate: 95.55%



iteration:
  252
    0  1105   bit_w:-1  loss: 0.12182
    1  1107   bit_w: 1  loss: 0.12170
    2  1067   bit_w: 1  loss: 0.12171
    3  1121   bit_w:-1  loss: 0.12155
    4   923   bit_w:-1  loss: 0.12161
   3916   6695   3111   4019   4672   4119   4527   2303   4984   5146
      0      0     -1     -1      0      0      0     -1      0      0
Train accuarcate: 96.45%
tensor([[ 69.,  66.,  79.,  86.,  60.,  74.,  43., 120.,  67.,  74.],
        [ 77.,  82., 112.,  89.,  53.,  78.,  82.,  55.,  82.,  54.],
        [ 61., 104.,  87.,  68.,  72.,  61.,  69.,  74.,  72.,  54.],
        [106.,  69.,  81.,  64.,  60.,  71.,  83.,  76.,  68.,  80.],
        [ 69.,  76.,  70.,  59., 115.,  65.,  80.,  76.,  78.,  81.],
        [ 55., 106.,  72.,  71.,  73.,  57.,  63.,  80.,  69.,  63.],
        [ 41.,  78.,  56.,  79., 107.,  79.,  60.,  75.,  78.,  86.],
        [ 48.,  65.,  80.,  82.,  87.,  78.,  60.,  68.,  81., 109.],
        [ 75.,  72.,  80.,  45.,  81.,  93., 101.,  71.,  84.,  73.],
        [ 74.,  57.,  68.,  69.,  93.,  62.,  52.,  88.,  86., 107.],
        [120.,  70.,  86.,  78.,  69.,  83.,  83.,  70.,  80.,  78.],
        [ 69.,  81.,  93.,  64.,  88.,  67., 103.,  70.,  76.,  58.],
        [ 61.,  60.,  61.,  76.,  91.,  68.,  49.,  78.,  70., 110.],
        [109.,  57.,  81.,  77.,  62.,  75.,  67.,  72.,  86.,  71.],
        [ 47., 112.,  69.,  79.,  75.,  63.,  64.,  66.,  80.,  69.],
        [ 71.,  76.,  70.,  92.,  60., 109.,  71.,  77.,  83.,  80.],
        [ 65.,  62.,  63.,  70.,  89.,  62.,  54.,  84.,  79., 107.],
        [ 80.,  68.,  81.,  86.,  60.,  66.,  48., 109.,  52.,  72.],
        [ 66.,  79.,  85.,  96.,  67.,  80.,  71.,  80.,  75.,  71.],
        [ 51.,  67.,  68.,  64., 109.,  68.,  67.,  71.,  76.,  80.]],
       device='cuda:0')
Train accuarcate: 95.57%



iteration:
  253
    0  1091   bit_w:-1  loss: 0.12150
    1   469   bit_w:-1  loss: 0.12138
    2  1181   bit_w: 1  loss: 0.12143
    3  1118   bit_w: 1  loss: 0.12128
    4  1134   bit_w:-1  loss: 0.12137
    302   2688   1272   2489    965    939    239    818   1083   1245
      0      0      1      0      0      0      0      0      1      1
Train accuarcate: 96.47%
tensor([[ 69.,  66.,  79.,  86.,  60.,  74.,  43., 120.,  67.,  74.],
        [ 77.,  82., 113.,  89.,  53.,  78.,  82.,  55.,  83.,  55.],
        [ 61., 104.,  88.,  68.,  72.,  61.,  69.,  74.,  73.,  55.],
        [106.,  69.,  81.,  64.,  60.,  71.,  83.,  76.,  68.,  80.],
        [ 69.,  76.,  70.,  59., 115.,  65.,  80.,  76.,  78.,  81.],
        [ 55., 106.,  73.,  71.,  73.,  57.,  63.,  80.,  70.,  64.],
        [ 41.,  78.,  56.,  79., 107.,  79.,  60.,  75.,  78.,  86.],
        [ 48.,  65.,  81.,  82.,  87.,  78.,  60.,  68.,  82., 110.],
        [ 75.,  72.,  80.,  45.,  81.,  93., 101.,  71.,  84.,  73.],
        [ 74.,  57.,  68.,  69.,  93.,  62.,  52.,  88.,  86., 107.],
        [120.,  70.,  86.,  78.,  69.,  83.,  83.,  70.,  80.,  78.],
        [ 69.,  81.,  93.,  64.,  88.,  67., 103.,  70.,  76.,  58.],
        [ 61.,  60.,  61.,  76.,  91.,  68.,  49.,  78.,  70., 110.],
        [109.,  57.,  81.,  77.,  62.,  75.,  67.,  72.,  86.,  71.],
        [ 47., 112.,  69.,  79.,  75.,  63.,  64.,  66.,  80.,  69.],
        [ 71.,  76.,  70.,  92.,  60., 109.,  71.,  77.,  83.,  80.],
        [ 65.,  62.,  63.,  70.,  89.,  62.,  54.,  84.,  79., 107.],
        [ 80.,  68.,  81.,  86.,  60.,  66.,  48., 109.,  52.,  72.],
        [ 66.,  79.,  85.,  96.,  67.,  80.,  71.,  80.,  75.,  71.],
        [ 51.,  67.,  68.,  64., 109.,  68.,  67.,  71.,  76.,  80.]],
       device='cuda:0')
Train accuarcate: 95.53%



iteration:
  254
    0  1042   bit_w:-1  loss: 0.12125
    1  1127   bit_w:-1  loss: 0.12112
    2  1175   bit_w:-1  loss: 0.12117
    3  1172   bit_w: 1  loss: 0.12102
    4  1063   bit_w:-1  loss: 0.12110
   4009   5260   3975   4786   5023   2506   4303   3282   3674   4419
     -1      0     -1      0      1     -1      1      0      0      0
Train accuarcate: 96.46%
tensor([[ 69.,  66.,  79.,  86.,  61.,  74.,  44., 120.,  67.,  74.],
        [ 77.,  82., 113.,  89.,  54.,  78.,  83.,  55.,  83.,  55.],
        [ 61., 104.,  88.,  68.,  73.,  61.,  70.,  74.,  73.,  55.],
        [107.,  69.,  82.,  64.,  60.,  72.,  83.,  76.,  68.,  80.],
        [ 70.,  76.,  71.,  59., 115.,  66.,  80.,  76.,  78.,  81.],
        [ 55., 106.,  73.,  71.,  74.,  57.,  64.,  80.,  70.,  64.],
        [ 41.,  78.,  56.,  79., 108.,  79.,  61.,  75.,  78.,  86.],
        [ 49.,  65.,  82.,  82.,  87.,  79.,  60.,  68.,  82., 110.],
        [ 76.,  72.,  81.,  45.,  81.,  94., 101.,  71.,  84.,  73.],
        [ 74.,  57.,  68.,  69.,  94.,  62.,  53.,  88.,  86., 107.],
        [121.,  70.,  87.,  78.,  69.,  84.,  83.,  70.,  80.,  78.],
        [ 69.,  81.,  93.,  64.,  89.,  67., 104.,  70.,  76.,  58.],
        [ 61.,  60.,  61.,  76.,  92.,  68.,  50.,  78.,  70., 110.],
        [109.,  57.,  81.,  77.,  63.,  75.,  68.,  72.,  86.,  71.],
        [ 47., 112.,  69.,  79.,  76.,  63.,  65.,  66.,  80.,  69.],
        [ 71.,  76.,  70.,  92.,  61., 109.,  72.,  77.,  83.,  80.],
        [ 66.,  62.,  64.,  70.,  89.,  63.,  54.,  84.,  79., 107.],
        [ 80.,  68.,  81.,  86.,  61.,  66.,  49., 109.,  52.,  72.],
        [ 66.,  79.,  85.,  96.,  68.,  80.,  72.,  80.,  75.,  71.],
        [ 51.,  67.,  68.,  64., 110.,  68.,  68.,  71.,  76.,  80.]],
       device='cuda:0')
Train accuarcate: 95.53%



iteration:
  255
    0   882   bit_w:-1  loss: 0.12093
    1  1145   bit_w:-1  loss: 0.12077
    2  1041   bit_w: 1  loss: 0.12077
    3   966   bit_w:-1  loss: 0.12063
    4   894   bit_w: 1  loss: 0.12053
   2181    458    535    813   2836   2259   2765    921   4232   3300
      1     -1      0     -1      0      0      0     -1      1      1
Train accuarcate: 96.47%
tensor([[ 69.,  67.,  79.,  87.,  61.,  74.,  44., 121.,  67.,  74.],
        [ 77.,  83., 113.,  90.,  54.,  78.,  83.,  56.,  83.,  55.],
        [ 61., 105.,  88.,  69.,  73.,  61.,  70.,  75.,  73.,  55.],
        [107.,  70.,  82.,  65.,  60.,  72.,  83.,  77.,  68.,  80.],
        [ 71.,  76.,  71.,  59., 115.,  66.,  80.,  76.,  79.,  82.],
        [ 55., 107.,  73.,  72.,  74.,  57.,  64.,  81.,  70.,  64.],
        [ 41.,  79.,  56.,  80., 108.,  79.,  61.,  76.,  78.,  86.],
        [ 50.,  65.,  82.,  82.,  87.,  79.,  60.,  68.,  83., 111.],
        [ 77.,  72.,  81.,  45.,  81.,  94., 101.,  71.,  85.,  74.],
        [ 74.,  58.,  68.,  70.,  94.,  62.,  53.,  89.,  86., 107.],
        [122.,  70.,  87.,  78.,  69.,  84.,  83.,  70.,  81.,  79.],
        [ 70.,  81.,  93.,  64.,  89.,  67., 104.,  70.,  77.,  59.],
        [ 61.,  61.,  61.,  77.,  92.,  68.,  50.,  79.,  70., 110.],
        [110.,  57.,  81.,  77.,  63.,  75.,  68.,  72.,  87.,  72.],
        [ 47., 113.,  69.,  80.,  76.,  63.,  65.,  67.,  80.,  69.],
        [ 72.,  76.,  70.,  92.,  61., 109.,  72.,  77.,  84.,  81.],
        [ 67.,  62.,  64.,  70.,  89.,  63.,  54.,  84.,  80., 108.],
        [ 80.,  69.,  81.,  87.,  61.,  66.,  49., 110.,  52.,  72.],
        [ 66.,  80.,  85.,  97.,  68.,  80.,  72.,  81.,  75.,  71.],
        [ 51.,  68.,  68.,  65., 110.,  68.,  68.,  72.,  76.,  80.]],
       device='cuda:0')
Train accuarcate: 95.51%



iteration:
  256
    0   901   bit_w:-1  loss: 0.12041
    1  1131   bit_w: 1  loss: 0.12030
    2   959   bit_w:-1  loss: 0.12028
    3   840   bit_w: 1  loss: 0.12015
    4  1110   bit_w: 1  loss: 0.12018
   4780   4651   3836   5410   3491   4736   1973   6140   4020   5561
     -1      0     -1      0     -1      1     -1      0     -1      0
Train accuarcate: 96.48%
tensor([[ 69.,  67.,  79.,  87.,  61.,  75.,  44., 121.,  67.,  74.],
        [ 77.,  83., 113.,  90.,  54.,  79.,  83.,  56.,  83.,  55.],
        [ 61., 105.,  88.,  69.,  73.,  62.,  70.,  75.,  73.,  55.],
        [107.,  70.,  82.,  65.,  60.,  73.,  83.,  77.,  68.,  80.],
        [ 72.,  76.,  72.,  59., 116.,  66.,  81.,  76.,  80.,  82.],
        [ 55., 107.,  73.,  72.,  74.,  58.,  64.,  81.,  70.,  64.],
        [ 42.,  79.,  57.,  80., 109.,  79.,  62.,  76.,  79.,  86.],
        [ 50.,  65.,  82.,  82.,  87.,  80.,  60.,  68.,  83., 111.],
        [ 78.,  72.,  82.,  45.,  82.,  94., 102.,  71.,  86.,  74.],
        [ 74.,  58.,  68.,  70.,  94.,  63.,  53.,  89.,  86., 107.],
        [122.,  70.,  87.,  78.,  69.,  85.,  83.,  70.,  81.,  79.],
        [ 70.,  81.,  93.,  64.,  89.,  68., 104.,  70.,  77.,  59.],
        [ 61.,  61.,  61.,  77.,  92.,  69.,  50.,  79.,  70., 110.],
        [110.,  57.,  81.,  77.,  63.,  76.,  68.,  72.,  87.,  72.],
        [ 48., 113.,  70.,  80.,  77.,  63.,  66.,  67.,  81.,  69.],
        [ 72.,  76.,  70.,  92.,  61., 110.,  72.,  77.,  84.,  81.],
        [ 67.,  62.,  64.,  70.,  89.,  64.,  54.,  84.,  80., 108.],
        [ 80.,  69.,  81.,  87.,  61.,  67.,  49., 110.,  52.,  72.],
        [ 66.,  80.,  85.,  97.,  68.,  81.,  72.,  81.,  75.,  71.],
        [ 51.,  68.,  68.,  65., 110.,  69.,  68.,  72.,  76.,  80.]],
       device='cuda:0')
Train accuarcate: 95.49%



iteration:
  257
    0  1110   bit_w:-1  loss: 0.12008
    1  1038   bit_w: 1  loss: 0.11999
    2  1125   bit_w:-1  loss: 0.12000
    3  1167   bit_w: 1  loss: 0.11983
    4   101   bit_w: 1  loss: 0.11993
   1129     99   1134   1295    531   1210   1930    455    927    640
      1      0      0      1      0      1      0      0      0      0
Train accuarcate: 96.48%
tensor([[ 69.,  67.,  79.,  87.,  61.,  75.,  44., 121.,  67.,  74.],
        [ 77.,  83., 113.,  90.,  54.,  79.,  83.,  56.,  83.,  55.],
        [ 61., 105.,  88.,  69.,  73.,  62.,  70.,  75.,  73.,  55.],
        [107.,  70.,  82.,  65.,  60.,  73.,  83.,  77.,  68.,  80.],
        [ 72.,  76.,  72.,  59., 116.,  66.,  81.,  76.,  80.,  82.],
        [ 55., 107.,  73.,  72.,  74.,  58.,  64.,  81.,  70.,  64.],
        [ 42.,  79.,  57.,  80., 109.,  79.,  62.,  76.,  79.,  86.],
        [ 50.,  65.,  82.,  82.,  87.,  80.,  60.,  68.,  83., 111.],
        [ 78.,  72.,  82.,  45.,  82.,  94., 102.,  71.,  86.,  74.],
        [ 74.,  58.,  68.,  70.,  94.,  63.,  53.,  89.,  86., 107.],
        [122.,  70.,  87.,  78.,  69.,  85.,  83.,  70.,  81.,  79.],
        [ 70.,  81.,  93.,  64.,  89.,  68., 104.,  70.,  77.,  59.],
        [ 61.,  61.,  61.,  77.,  92.,  69.,  50.,  79.,  70., 110.],
        [110.,  57.,  81.,  77.,  63.,  76.,  68.,  72.,  87.,  72.],
        [ 48., 113.,  70.,  80.,  77.,  63.,  66.,  67.,  81.,  69.],
        [ 72.,  76.,  70.,  92.,  61., 110.,  72.,  77.,  84.,  81.],
        [ 67.,  62.,  64.,  70.,  89.,  64.,  54.,  84.,  80., 108.],
        [ 80.,  69.,  81.,  87.,  61.,  67.,  49., 110.,  52.,  72.],
        [ 66.,  80.,  85.,  97.,  68.,  81.,  72.,  81.,  75.,  71.],
        [ 51.,  68.,  68.,  65., 110.,  69.,  68.,  72.,  76.,  80.]],
       device='cuda:0')
Train accuarcate: 95.48%



iteration:
  258
    0   595   bit_w:-1  loss: 0.11982
    1   787   bit_w:-1  loss: 0.11971
    2   884   bit_w: 1  loss: 0.11972
    3  1057   bit_w:-1  loss: 0.11951
    4  1015   bit_w: 1  loss: 0.11965
   3624   4779   2543   2391   3485   3489   4351   3627   3688   4245
      0     -1     -1      0      0      0      0      0     -1      1
Train accuarcate: 96.50%
tensor([[ 69.,  67.,  79.,  87.,  61.,  75.,  44., 121.,  67.,  75.],
        [ 77.,  83., 113.,  90.,  54.,  79.,  83.,  56.,  83.,  56.],
        [ 61., 105.,  88.,  69.,  73.,  62.,  70.,  75.,  73.,  56.],
        [107.,  70.,  82.,  65.,  60.,  73.,  83.,  77.,  68.,  81.],
        [ 72.,  76.,  72.,  59., 116.,  66.,  81.,  76.,  80.,  83.],
        [ 55., 107.,  73.,  72.,  74.,  58.,  64.,  81.,  70.,  65.],
        [ 42.,  79.,  57.,  80., 109.,  79.,  62.,  76.,  79.,  87.],
        [ 50.,  65.,  82.,  82.,  87.,  80.,  60.,  68.,  83., 112.],
        [ 78.,  73.,  83.,  45.,  82.,  94., 102.,  71.,  87.,  74.],
        [ 74.,  59.,  69.,  70.,  94.,  63.,  53.,  89.,  87., 107.],
        [122.,  71.,  88.,  78.,  69.,  85.,  83.,  70.,  82.,  79.],
        [ 70.,  82.,  94.,  64.,  89.,  68., 104.,  70.,  78.,  59.],
        [ 61.,  61.,  61.,  77.,  92.,  69.,  50.,  79.,  70., 111.],
        [110.,  57.,  81.,  77.,  63.,  76.,  68.,  72.,  87.,  73.],
        [ 48., 113.,  70.,  80.,  77.,  63.,  66.,  67.,  81.,  70.],
        [ 72.,  76.,  70.,  92.,  61., 110.,  72.,  77.,  84.,  82.],
        [ 67.,  62.,  64.,  70.,  89.,  64.,  54.,  84.,  80., 109.],
        [ 80.,  70.,  82.,  87.,  61.,  67.,  49., 110.,  53.,  72.],
        [ 66.,  80.,  85.,  97.,  68.,  81.,  72.,  81.,  75.,  72.],
        [ 51.,  69.,  69.,  65., 110.,  69.,  68.,  72.,  77.,  80.]],
       device='cuda:0')
Train accuarcate: 95.49%



iteration:
  259
    0   978   bit_w:-1  loss: 0.11945
    1   796   bit_w:-1  loss: 0.11927
    2  1163   bit_w: 1  loss: 0.11916
    3   865   bit_w:-1  loss: 0.11905
    4   319   bit_w:-1  loss: 0.11913
   4263   5894   4110   2765   4970   3542   3676   1232   3498   4360
      0      0      0     -1      1      0      1     -1      0      0
Train accuarcate: 96.50%
tensor([[ 69.,  67.,  79.,  88.,  61.,  75.,  44., 122.,  67.,  75.],
        [ 77.,  83., 113.,  90.,  55.,  79.,  84.,  56.,  83.,  56.],
        [ 61., 105.,  88.,  69.,  74.,  62.,  71.,  75.,  73.,  56.],
        [107.,  70.,  82.,  66.,  60.,  73.,  83.,  78.,  68.,  81.],
        [ 72.,  76.,  72.,  59., 117.,  66.,  82.,  76.,  80.,  83.],
        [ 55., 107.,  73.,  72.,  75.,  58.,  65.,  81.,  70.,  65.],
        [ 42.,  79.,  57.,  80., 110.,  79.,  63.,  76.,  79.,  87.],
        [ 50.,  65.,  82.,  83.,  87.,  80.,  60.,  69.,  83., 112.],
        [ 78.,  73.,  83.,  45.,  83.,  94., 103.,  71.,  87.,  74.],
        [ 74.,  59.,  69.,  70.,  95.,  63.,  54.,  89.,  87., 107.],
        [122.,  71.,  88.,  78.,  70.,  85.,  84.,  70.,  82.,  79.],
        [ 70.,  82.,  94.,  64.,  90.,  68., 105.,  70.,  78.,  59.],
        [ 61.,  61.,  61.,  77.,  93.,  69.,  51.,  79.,  70., 111.],
        [110.,  57.,  81.,  78.,  63.,  76.,  68.,  73.,  87.,  73.],
        [ 48., 113.,  70.,  80.,  78.,  63.,  67.,  67.,  81.,  70.],
        [ 72.,  76.,  70.,  92.,  62., 110.,  73.,  77.,  84.,  82.],
        [ 67.,  62.,  64.,  70.,  90.,  64.,  55.,  84.,  80., 109.],
        [ 80.,  70.,  82.,  88.,  61.,  67.,  49., 111.,  53.,  72.],
        [ 66.,  80.,  85.,  97.,  69.,  81.,  73.,  81.,  75.,  72.],
        [ 51.,  69.,  69.,  65., 111.,  69.,  69.,  72.,  77.,  80.]],
       device='cuda:0')
Train accuarcate: 95.51%



iteration:
  260
    0  1142   bit_w:-1  loss: 0.11903
    1  1105   bit_w:-1  loss: 0.11892
    2  1001   bit_w: 1  loss: 0.11892
    3   956   bit_w: 1  loss: 0.11880
    4  1081   bit_w: 1  loss: 0.11880
   1501   3127   3180   5287   4436   4734   5037   4669   3583   5273
     -1     -1     -1      0      0      0      0     -1     -1      0
Train accuarcate: 96.50%
tensor([[ 69.,  67.,  79.,  88.,  61.,  75.,  44., 122.,  67.,  75.],
        [ 78.,  84., 114.,  90.,  55.,  79.,  84.,  57.,  84.,  56.],
        [ 61., 105.,  88.,  69.,  74.,  62.,  71.,  75.,  73.,  56.],
        [108.,  71.,  83.,  66.,  60.,  73.,  83.,  79.,  69.,  81.],
        [ 72.,  76.,  72.,  59., 117.,  66.,  82.,  76.,  80.,  83.],
        [ 56., 108.,  74.,  72.,  75.,  58.,  65.,  82.,  71.,  65.],
        [ 42.,  79.,  57.,  80., 110.,  79.,  63.,  76.,  79.,  87.],
        [ 51.,  66.,  83.,  83.,  87.,  80.,  60.,  70.,  84., 112.],
        [ 78.,  73.,  83.,  45.,  83.,  94., 103.,  71.,  87.,  74.],
        [ 74.,  59.,  69.,  70.,  95.,  63.,  54.,  89.,  87., 107.],
        [123.,  72.,  89.,  78.,  70.,  85.,  84.,  71.,  83.,  79.],
        [ 71.,  83.,  95.,  64.,  90.,  68., 105.,  71.,  79.,  59.],
        [ 61.,  61.,  61.,  77.,  93.,  69.,  51.,  79.,  70., 111.],
        [111.,  58.,  82.,  78.,  63.,  76.,  68.,  74.,  88.,  73.],
        [ 49., 114.,  71.,  80.,  78.,  63.,  67.,  68.,  82.,  70.],
        [ 72.,  76.,  70.,  92.,  62., 110.,  73.,  77.,  84.,  82.],
        [ 67.,  62.,  64.,  70.,  90.,  64.,  55.,  84.,  80., 109.],
        [ 80.,  70.,  82.,  88.,  61.,  67.,  49., 111.,  53.,  72.],
        [ 67.,  81.,  86.,  97.,  69.,  81.,  73.,  82.,  76.,  72.],
        [ 52.,  70.,  70.,  65., 111.,  69.,  69.,  73.,  78.,  80.]],
       device='cuda:0')
Train accuarcate: 95.50%



iteration:
  261
    0  1105   bit_w:-1  loss: 0.11870
    1   905   bit_w:-1  loss: 0.11862
    2  1166   bit_w: 1  loss: 0.11861
    3   621   bit_w:-1  loss: 0.11853
    4  1062   bit_w:-1  loss: 0.11854
     95    124    534   1546    940   1483     58    423   1066   1954
      0      0      0      1      0      1      0      0      0      1
Train accuarcate: 96.49%
tensor([[ 69.,  67.,  79.,  88.,  61.,  75.,  44., 122.,  67.,  75.],
        [ 78.,  84., 114.,  90.,  55.,  79.,  84.,  57.,  84.,  56.],
        [ 61., 105.,  88.,  69.,  74.,  62.,  71.,  75.,  73.,  56.],
        [108.,  71.,  83.,  66.,  60.,  73.,  83.,  79.,  69.,  81.],
        [ 72.,  76.,  72.,  59., 117.,  66.,  82.,  76.,  80.,  83.],
        [ 56., 108.,  74.,  72.,  75.,  58.,  65.,  82.,  71.,  65.],
        [ 42.,  79.,  57.,  80., 110.,  79.,  63.,  76.,  79.,  87.],
        [ 51.,  66.,  83.,  83.,  87.,  80.,  60.,  70.,  84., 112.],
        [ 78.,  73.,  83.,  45.,  83.,  94., 103.,  71.,  87.,  74.],
        [ 74.,  59.,  69.,  71.,  95.,  64.,  54.,  89.,  87., 108.],
        [123.,  72.,  89.,  78.,  70.,  85.,  84.,  71.,  83.,  79.],
        [ 71.,  83.,  95.,  64.,  90.,  68., 105.,  71.,  79.,  59.],
        [ 61.,  61.,  61.,  77.,  93.,  69.,  51.,  79.,  70., 111.],
        [111.,  58.,  82.,  78.,  63.,  76.,  68.,  74.,  88.,  73.],
        [ 49., 114.,  71.,  80.,  78.,  63.,  67.,  68.,  82.,  70.],
        [ 72.,  76.,  70.,  92.,  62., 110.,  73.,  77.,  84.,  82.],
        [ 67.,  62.,  64.,  70.,  90.,  64.,  55.,  84.,  80., 109.],
        [ 80.,  70.,  82.,  88.,  61.,  67.,  49., 111.,  53.,  72.],
        [ 67.,  81.,  86.,  97.,  69.,  81.,  73.,  82.,  76.,  72.],
        [ 52.,  70.,  70.,  65., 111.,  69.,  69.,  73.,  78.,  80.]],
       device='cuda:0')
Train accuarcate: 95.52%



iteration:
  262
    0  1105   bit_w:-1  loss: 0.11844
    1  1082   bit_w: 1  loss: 0.11835
    2   527   bit_w: 1  loss: 0.11835
    3  1008   bit_w: 1  loss: 0.11828
    4  1115   bit_w:-1  loss: 0.11829
    261     29   1012    814    527   1458    127    351    368    612
      0      0      0      1      1      1      0      0      1      0
Train accuarcate: 96.50%
tensor([[ 69.,  67.,  79.,  88.,  61.,  75.,  44., 122.,  67.,  75.],
        [ 78.,  84., 114.,  90.,  55.,  79.,  84.,  57.,  84.,  56.],
        [ 61., 105.,  88.,  69.,  74.,  62.,  71.,  75.,  73.,  56.],
        [108.,  71.,  83.,  66.,  60.,  73.,  83.,  79.,  69.,  81.],
        [ 72.,  76.,  72.,  60., 118.,  67.,  82.,  76.,  81.,  83.],
        [ 56., 108.,  74.,  72.,  75.,  58.,  65.,  82.,  71.,  65.],
        [ 42.,  79.,  57.,  80., 110.,  79.,  63.,  76.,  79.,  87.],
        [ 51.,  66.,  83.,  83.,  87.,  80.,  60.,  70.,  84., 112.],
        [ 78.,  73.,  83.,  45.,  83.,  94., 103.,  71.,  87.,  74.],
        [ 74.,  59.,  69.,  71.,  95.,  64.,  54.,  89.,  87., 108.],
        [123.,  72.,  89.,  78.,  70.,  85.,  84.,  71.,  83.,  79.],
        [ 71.,  83.,  95.,  64.,  90.,  68., 105.,  71.,  79.,  59.],
        [ 61.,  61.,  61.,  77.,  93.,  69.,  51.,  79.,  70., 111.],
        [111.,  58.,  82.,  78.,  63.,  76.,  68.,  74.,  88.,  73.],
        [ 49., 114.,  71.,  80.,  78.,  63.,  67.,  68.,  82.,  70.],
        [ 72.,  76.,  70.,  93.,  63., 111.,  73.,  77.,  85.,  82.],
        [ 67.,  62.,  64.,  70.,  90.,  64.,  55.,  84.,  80., 109.],
        [ 80.,  70.,  82.,  88.,  61.,  67.,  49., 111.,  53.,  72.],
        [ 67.,  81.,  86.,  98.,  70.,  82.,  73.,  82.,  77.,  72.],
        [ 52.,  70.,  70.,  65., 111.,  69.,  69.,  73.,  78.,  80.]],
       device='cuda:0')
Train accuarcate: 95.49%



iteration:
  263
    0  1175   bit_w:-1  loss: 0.11819
    1  1104   bit_w: 1  loss: 0.11810
    2   442   bit_w: 1  loss: 0.11812
    3  1180   bit_w: 1  loss: 0.11803
    4   191   bit_w: 1  loss: 0.11809
   2907    603    454   1587   1053   1634   2723    176    729    160
      1      1      0      0      1      0      1      0      0      0
Train accuarcate: 96.52%
tensor([[ 69.,  67.,  79.,  88.,  61.,  75.,  44., 122.,  67.,  75.],
        [ 78.,  84., 114.,  90.,  55.,  79.,  84.,  57.,  84.,  56.],
        [ 61., 105.,  88.,  69.,  74.,  62.,  71.,  75.,  73.,  56.],
        [108.,  71.,  83.,  66.,  60.,  73.,  83.,  79.,  69.,  81.],
        [ 72.,  76.,  72.,  60., 118.,  67.,  82.,  76.,  81.,  83.],
        [ 56., 108.,  74.,  72.,  75.,  58.,  65.,  82.,  71.,  65.],
        [ 42.,  79.,  57.,  80., 110.,  79.,  63.,  76.,  79.,  87.],
        [ 51.,  66.,  83.,  83.,  87.,  80.,  60.,  70.,  84., 112.],
        [ 79.,  74.,  83.,  45.,  84.,  94., 104.,  71.,  87.,  74.],
        [ 74.,  59.,  69.,  71.,  95.,  64.,  54.,  89.,  87., 108.],
        [124.,  73.,  89.,  78.,  71.,  85.,  85.,  71.,  83.,  79.],
        [ 72.,  84.,  95.,  64.,  91.,  68., 106.,  71.,  79.,  59.],
        [ 61.,  61.,  61.,  77.,  93.,  69.,  51.,  79.,  70., 111.],
        [111.,  58.,  82.,  78.,  63.,  76.,  68.,  74.,  88.,  73.],
        [ 49., 114.,  71.,  80.,  78.,  63.,  67.,  68.,  82.,  70.],
        [ 72.,  76.,  70.,  93.,  63., 111.,  73.,  77.,  85.,  82.],
        [ 67.,  62.,  64.,  70.,  90.,  64.,  55.,  84.,  80., 109.],
        [ 80.,  70.,  82.,  88.,  61.,  67.,  49., 111.,  53.,  72.],
        [ 68.,  82.,  86.,  98.,  71.,  82.,  74.,  82.,  77.,  72.],
        [ 52.,  70.,  70.,  65., 111.,  69.,  69.,  73.,  78.,  80.]],
       device='cuda:0')
Train accuarcate: 95.55%



iteration:
  264
    0  1117   bit_w:-1  loss: 0.11799
    1  1149   bit_w: 1  loss: 0.11792
    2   417   bit_w: 1  loss: 0.11795
    3  1064   bit_w: 1  loss: 0.11782
    4  1001   bit_w:-1  loss: 0.11788
   3800     19   1372    489    130    280    487     26   1835     64
      1      0      1      0      0      0      1      0      1      0
Train accuarcate: 96.54%
tensor([[ 69.,  67.,  79.,  88.,  61.,  75.,  44., 122.,  67.,  75.],
        [ 78.,  84., 114.,  90.,  55.,  79.,  84.,  57.,  84.,  56.],
        [ 61., 105.,  88.,  69.,  74.,  62.,  71.,  75.,  73.,  56.],
        [108.,  71.,  83.,  66.,  60.,  73.,  83.,  79.,  69.,  81.],
        [ 72.,  76.,  72.,  60., 118.,  67.,  82.,  76.,  81.,  83.],
        [ 56., 108.,  74.,  72.,  75.,  58.,  65.,  82.,  71.,  65.],
        [ 42.,  79.,  57.,  80., 110.,  79.,  63.,  76.,  79.,  87.],
        [ 51.,  66.,  83.,  83.,  87.,  80.,  60.,  70.,  84., 112.],
        [ 79.,  74.,  83.,  45.,  84.,  94., 104.,  71.,  87.,  74.],
        [ 74.,  59.,  69.,  71.,  95.,  64.,  54.,  89.,  87., 108.],
        [124.,  73.,  89.,  78.,  71.,  85.,  85.,  71.,  83.,  79.],
        [ 72.,  84.,  95.,  64.,  91.,  68., 106.,  71.,  79.,  59.],
        [ 61.,  61.,  61.,  77.,  93.,  69.,  51.,  79.,  70., 111.],
        [112.,  58.,  83.,  78.,  63.,  76.,  69.,  74.,  89.,  73.],
        [ 49., 114.,  71.,  80.,  78.,  63.,  67.,  68.,  82.,  70.],
        [ 72.,  76.,  70.,  93.,  63., 111.,  73.,  77.,  85.,  82.],
        [ 67.,  62.,  64.,  70.,  90.,  64.,  55.,  84.,  80., 109.],
        [ 80.,  70.,  82.,  88.,  61.,  67.,  49., 111.,  53.,  72.],
        [ 68.,  82.,  86.,  98.,  71.,  82.,  74.,  82.,  77.,  72.],
        [ 52.,  70.,  70.,  65., 111.,  69.,  69.,  73.,  78.,  80.]],
       device='cuda:0')
Train accuarcate: 95.54%



iteration:
  265
    0  1006   bit_w:-1  loss: 0.11779
    1   933   bit_w:-1  loss: 0.11764
    2  1159   bit_w: 1  loss: 0.11762
    3  1181   bit_w:-1  loss: 0.11755
    4  1033   bit_w:-1  loss: 0.11758
   1352   1386   2033   2677    442   2761   3765   2319   2567   2146
      0      0      0      0      0      1      0      1      0      1
Train accuarcate: 96.54%
tensor([[ 69.,  67.,  79.,  88.,  61.,  76.,  44., 123.,  67.,  76.],
        [ 78.,  84., 114.,  90.,  55.,  80.,  84.,  58.,  84.,  57.],
        [ 61., 105.,  88.,  69.,  74.,  62.,  71.,  75.,  73.,  56.],
        [108.,  71.,  83.,  66.,  60.,  73.,  83.,  79.,  69.,  81.],
        [ 72.,  76.,  72.,  60., 118.,  67.,  82.,  76.,  81.,  83.],
        [ 56., 108.,  74.,  72.,  75.,  58.,  65.,  82.,  71.,  65.],
        [ 42.,  79.,  57.,  80., 110.,  79.,  63.,  76.,  79.,  87.],
        [ 51.,  66.,  83.,  83.,  87.,  81.,  60.,  71.,  84., 113.],
        [ 79.,  74.,  83.,  45.,  84.,  95., 104.,  72.,  87.,  75.],
        [ 74.,  59.,  69.,  71.,  95.,  64.,  54.,  89.,  87., 108.],
        [124.,  73.,  89.,  78.,  71.,  86.,  85.,  72.,  83.,  80.],
        [ 72.,  84.,  95.,  64.,  91.,  68., 106.,  71.,  79.,  59.],
        [ 61.,  61.,  61.,  77.,  93.,  69.,  51.,  79.,  70., 111.],
        [112.,  58.,  83.,  78.,  63.,  76.,  69.,  74.,  89.,  73.],
        [ 49., 114.,  71.,  80.,  78.,  64.,  67.,  69.,  82.,  71.],
        [ 72.,  76.,  70.,  93.,  63., 111.,  73.,  77.,  85.,  82.],
        [ 67.,  62.,  64.,  70.,  90.,  64.,  55.,  84.,  80., 109.],
        [ 80.,  70.,  82.,  88.,  61.,  68.,  49., 112.,  53.,  73.],
        [ 68.,  82.,  86.,  98.,  71.,  82.,  74.,  82.,  77.,  72.],
        [ 52.,  70.,  70.,  65., 111.,  70.,  69.,  74.,  78.,  81.]],
       device='cuda:0')
Train accuarcate: 95.55%



iteration:
  266
    0  1152   bit_w:-1  loss: 0.11749
    1  1132   bit_w:-1  loss: 0.11737
    2  1112   bit_w:-1  loss: 0.11740
    3   399   bit_w:-1  loss: 0.11734
    4   991   bit_w:-1  loss: 0.11728
   1669    699   2157   2753    765   1654    628   1638   3083   1367
      0      0      1      1      0      0      0      0      1      0
Train accuarcate: 96.54%
tensor([[ 69.,  67.,  80.,  89.,  61.,  76.,  44., 123.,  68.,  76.],
        [ 78.,  84., 114.,  90.,  55.,  80.,  84.,  58.,  84.,  57.],
        [ 61., 105.,  88.,  69.,  74.,  62.,  71.,  75.,  73.,  56.],
        [108.,  71.,  83.,  66.,  60.,  73.,  83.,  79.,  69.,  81.],
        [ 72.,  76.,  72.,  60., 118.,  67.,  82.,  76.,  81.,  83.],
        [ 56., 108.,  74.,  72.,  75.,  58.,  65.,  82.,  71.,  65.],
        [ 42.,  79.,  57.,  80., 110.,  79.,  63.,  76.,  79.,  87.],
        [ 51.,  66.,  83.,  83.,  87.,  81.,  60.,  71.,  84., 113.],
        [ 79.,  74.,  83.,  45.,  84.,  95., 104.,  72.,  87.,  75.],
        [ 74.,  59.,  69.,  71.,  95.,  64.,  54.,  89.,  87., 108.],
        [124.,  73.,  90.,  79.,  71.,  86.,  85.,  72.,  84.,  80.],
        [ 72.,  84.,  95.,  64.,  91.,  68., 106.,  71.,  79.,  59.],
        [ 61.,  61.,  62.,  78.,  93.,  69.,  51.,  79.,  71., 111.],
        [112.,  58.,  84.,  79.,  63.,  76.,  69.,  74.,  90.,  73.],
        [ 49., 114.,  71.,  80.,  78.,  64.,  67.,  69.,  82.,  71.],
        [ 72.,  76.,  70.,  93.,  63., 111.,  73.,  77.,  85.,  82.],
        [ 67.,  62.,  64.,  70.,  90.,  64.,  55.,  84.,  80., 109.],
        [ 80.,  70.,  83.,  89.,  61.,  68.,  49., 112.,  54.,  73.],
        [ 68.,  82.,  86.,  98.,  71.,  82.,  74.,  82.,  77.,  72.],
        [ 52.,  70.,  71.,  66., 111.,  70.,  69.,  74.,  79.,  81.]],
       device='cuda:0')
Train accuarcate: 95.57%



iteration:
  267
    0  1169   bit_w:-1  loss: 0.11719
    1   804   bit_w: 1  loss: 0.11711
    2  1126   bit_w: 1  loss: 0.11710
    3  1084   bit_w: 1  loss: 0.11692
    4  1158   bit_w: 1  loss: 0.11702
   2561   5868   2472   2988   4414   4536   5028   2252   3677   3644
      0      0     -1      0      0      0      0     -1      0      0
Train accuarcate: 96.56%
tensor([[ 69.,  67.,  81.,  89.,  61.,  76.,  44., 124.,  68.,  76.],
        [ 78.,  84., 114.,  90.,  55.,  80.,  84.,  58.,  84.,  57.],
        [ 61., 105.,  88.,  69.,  74.,  62.,  71.,  75.,  73.,  56.],
        [108.,  71.,  84.,  66.,  60.,  73.,  83.,  80.,  69.,  81.],
        [ 72.,  76.,  72.,  60., 118.,  67.,  82.,  76.,  81.,  83.],
        [ 56., 108.,  74.,  72.,  75.,  58.,  65.,  82.,  71.,  65.],
        [ 42.,  79.,  58.,  80., 110.,  79.,  63.,  77.,  79.,  87.],
        [ 51.,  66.,  83.,  83.,  87.,  81.,  60.,  71.,  84., 113.],
        [ 79.,  74.,  84.,  45.,  84.,  95., 104.,  73.,  87.,  75.],
        [ 74.,  59.,  69.,  71.,  95.,  64.,  54.,  89.,  87., 108.],
        [124.,  73.,  91.,  79.,  71.,  86.,  85.,  73.,  84.,  80.],
        [ 72.,  84.,  96.,  64.,  91.,  68., 106.,  72.,  79.,  59.],
        [ 61.,  61.,  62.,  78.,  93.,  69.,  51.,  79.,  71., 111.],
        [112.,  58.,  84.,  79.,  63.,  76.,  69.,  74.,  90.,  73.],
        [ 49., 114.,  71.,  80.,  78.,  64.,  67.,  69.,  82.,  71.],
        [ 72.,  76.,  71.,  93.,  63., 111.,  73.,  78.,  85.,  82.],
        [ 67.,  62.,  65.,  70.,  90.,  64.,  55.,  85.,  80., 109.],
        [ 80.,  70.,  84.,  89.,  61.,  68.,  49., 113.,  54.,  73.],
        [ 68.,  82.,  87.,  98.,  71.,  82.,  74.,  83.,  77.,  72.],
        [ 52.,  70.,  71.,  66., 111.,  70.,  69.,  74.,  79.,  81.]],
       device='cuda:0')
Train accuarcate: 95.61%



iteration:
  268
    0   958   bit_w:-1  loss: 0.11690
    1  1111   bit_w: 1  loss: 0.11680
    2  1161   bit_w:-1  loss: 0.11681
    3   742   bit_w:-1  loss: 0.11670
    4  1154   bit_w:-1  loss: 0.11676
   2314    222   2371   1931    879   1746   1374    124    899    159
      1      0      0      1      0      1      1      0      0      0
Train accuarcate: 96.57%
tensor([[ 69.,  67.,  81.,  89.,  61.,  76.,  44., 124.,  68.,  76.],
        [ 78.,  84., 114.,  90.,  55.,  80.,  84.,  58.,  84.,  57.],
        [ 61., 105.,  88.,  69.,  74.,  62.,  71.,  75.,  73.,  56.],
        [108.,  71.,  84.,  66.,  60.,  73.,  83.,  80.,  69.,  81.],
        [ 72.,  76.,  72.,  60., 118.,  67.,  82.,  76.,  81.,  83.],
        [ 56., 108.,  74.,  72.,  75.,  58.,  65.,  82.,  71.,  65.],
        [ 42.,  79.,  58.,  80., 110.,  79.,  63.,  77.,  79.,  87.],
        [ 51.,  66.,  83.,  83.,  87.,  81.,  60.,  71.,  84., 113.],
        [ 79.,  74.,  84.,  45.,  84.,  95., 104.,  73.,  87.,  75.],
        [ 74.,  59.,  69.,  71.,  95.,  64.,  54.,  89.,  87., 108.],
        [124.,  73.,  91.,  79.,  71.,  86.,  85.,  73.,  84.,  80.],
        [ 73.,  84.,  96.,  65.,  91.,  69., 107.,  72.,  79.,  59.],
        [ 61.,  61.,  62.,  78.,  93.,  69.,  51.,  79.,  71., 111.],
        [112.,  58.,  84.,  79.,  63.,  76.,  69.,  74.,  90.,  73.],
        [ 49., 114.,  71.,  80.,  78.,  64.,  67.,  69.,  82.,  71.],
        [ 72.,  76.,  71.,  93.,  63., 111.,  73.,  78.,  85.,  82.],
        [ 67.,  62.,  65.,  70.,  90.,  64.,  55.,  85.,  80., 109.],
        [ 80.,  70.,  84.,  89.,  61.,  68.,  49., 113.,  54.,  73.],
        [ 68.,  82.,  87.,  98.,  71.,  82.,  74.,  83.,  77.,  72.],
        [ 52.,  70.,  71.,  66., 111.,  70.,  69.,  74.,  79.,  81.]],
       device='cuda:0')
Train accuarcate: 95.60%



iteration:
  269
    0   997   bit_w:-1  loss: 0.11666
    1   808   bit_w:-1  loss: 0.11647
    2   830   bit_w: 1  loss: 0.11655
    3   654   bit_w: 1  loss: 0.11647
    4   827   bit_w:-1  loss: 0.11642
    820   3167   1922   2634    226    811   1056   1671   3871    738
      1     -1      0      1      0      0      0      0      1      0
Train accuarcate: 96.54%
tensor([[ 70.,  67.,  81.,  90.,  61.,  76.,  44., 124.,  69.,  76.],
        [ 78.,  85., 114.,  90.,  55.,  80.,  84.,  58.,  84.,  57.],
        [ 61., 106.,  88.,  69.,  74.,  62.,  71.,  75.,  73.,  56.],
        [108.,  72.,  84.,  66.,  60.,  73.,  83.,  80.,  69.,  81.],
        [ 72.,  77.,  72.,  60., 118.,  67.,  82.,  76.,  81.,  83.],
        [ 57., 108.,  74.,  73.,  75.,  58.,  65.,  82.,  72.,  65.],
        [ 42.,  80.,  58.,  80., 110.,  79.,  63.,  77.,  79.,  87.],
        [ 51.,  67.,  83.,  83.,  87.,  81.,  60.,  71.,  84., 113.],
        [ 79.,  75.,  84.,  45.,  84.,  95., 104.,  73.,  87.,  75.],
        [ 74.,  60.,  69.,  71.,  95.,  64.,  54.,  89.,  87., 108.],
        [124.,  74.,  91.,  79.,  71.,  86.,  85.,  73.,  84.,  80.],
        [ 73.,  85.,  96.,  65.,  91.,  69., 107.,  72.,  79.,  59.],
        [ 61.,  62.,  62.,  78.,  93.,  69.,  51.,  79.,  71., 111.],
        [112.,  59.,  84.,  79.,  63.,  76.,  69.,  74.,  90.,  73.],
        [ 49., 115.,  71.,  80.,  78.,  64.,  67.,  69.,  82.,  71.],
        [ 72.,  77.,  71.,  93.,  63., 111.,  73.,  78.,  85.,  82.],
        [ 67.,  63.,  65.,  70.,  90.,  64.,  55.,  85.,  80., 109.],
        [ 80.,  71.,  84.,  89.,  61.,  68.,  49., 113.,  54.,  73.],
        [ 68.,  83.,  87.,  98.,  71.,  82.,  74.,  83.,  77.,  72.],
        [ 52.,  71.,  71.,  66., 111.,  70.,  69.,  74.,  79.,  81.]],
       device='cuda:0')
Train accuarcate: 95.63%



iteration:
  270
    0  1146   bit_w:-1  loss: 0.11632
    1   964   bit_w: 1  loss: 0.11620
    2  1149   bit_w: 1  loss: 0.11624
    3   161   bit_w: 1  loss: 0.11612
    4   538   bit_w:-1  loss: 0.11621
   2884   6331   4958   3711   4661   3209   5628   4637   4747   4210
      0      0      0      0     -1     -1      0      0      0     -1
Train accuarcate: 96.55%
tensor([[ 70.,  67.,  81.,  90.,  61.,  76.,  44., 124.,  69.,  76.],
        [ 78.,  85., 114.,  90.,  55.,  80.,  84.,  58.,  84.,  57.],
        [ 61., 106.,  88.,  69.,  74.,  62.,  71.,  75.,  73.,  56.],
        [108.,  72.,  84.,  66.,  60.,  73.,  83.,  80.,  69.,  81.],
        [ 72.,  77.,  72.,  60., 118.,  67.,  82.,  76.,  81.,  83.],
        [ 57., 108.,  74.,  73.,  75.,  58.,  65.,  82.,  72.,  65.],
        [ 42.,  80.,  58.,  80., 110.,  79.,  63.,  77.,  79.,  87.],
        [ 51.,  67.,  83.,  83.,  87.,  81.,  60.,  71.,  84., 113.],
        [ 79.,  75.,  84.,  45.,  84.,  95., 104.,  73.,  87.,  75.],
        [ 74.,  60.,  69.,  71.,  95.,  64.,  54.,  89.,  87., 108.],
        [124.,  74.,  91.,  79.,  72.,  87.,  85.,  73.,  84.,  81.],
        [ 73.,  85.,  96.,  65.,  91.,  69., 107.,  72.,  79.,  59.],
        [ 61.,  62.,  62.,  78.,  94.,  70.,  51.,  79.,  71., 112.],
        [112.,  59.,  84.,  79.,  63.,  76.,  69.,  74.,  90.,  73.],
        [ 49., 115.,  71.,  80.,  78.,  64.,  67.,  69.,  82.,  71.],
        [ 72.,  77.,  71.,  93.,  63., 111.,  73.,  78.,  85.,  82.],
        [ 67.,  63.,  65.,  70.,  90.,  64.,  55.,  85.,  80., 109.],
        [ 80.,  71.,  84.,  89.,  62.,  69.,  49., 113.,  54.,  74.],
        [ 68.,  83.,  87.,  98.,  71.,  82.,  74.,  83.,  77.,  72.],
        [ 52.,  71.,  71.,  66., 111.,  70.,  69.,  74.,  79.,  81.]],
       device='cuda:0')
Train accuarcate: 95.64%



iteration:
  271
    0  1038   bit_w:-1  loss: 0.11613
    1   150   bit_w:-1  loss: 0.11603
    2  1028   bit_w: 1  loss: 0.11601
    3  1142   bit_w:-1  loss: 0.11593
    4   229   bit_w: 1  loss: 0.11600
    392    140   1816    821    361    437    790   1075    324    132
      0      1      1      0      1      0      1      0      0      0
Train accuarcate: 96.56%
tensor([[ 70.,  67.,  81.,  90.,  61.,  76.,  44., 124.,  69.,  76.],
        [ 78.,  85., 114.,  90.,  55.,  80.,  84.,  58.,  84.,  57.],
        [ 61., 106.,  88.,  69.,  74.,  62.,  71.,  75.,  73.,  56.],
        [108.,  72.,  84.,  66.,  60.,  73.,  83.,  80.,  69.,  81.],
        [ 72.,  77.,  72.,  60., 118.,  67.,  82.,  76.,  81.,  83.],
        [ 57., 108.,  74.,  73.,  75.,  58.,  65.,  82.,  72.,  65.],
        [ 42.,  80.,  58.,  80., 110.,  79.,  63.,  77.,  79.,  87.],
        [ 51.,  68.,  84.,  83.,  88.,  81.,  61.,  71.,  84., 113.],
        [ 79.,  75.,  84.,  45.,  84.,  95., 104.,  73.,  87.,  75.],
        [ 74.,  60.,  69.,  71.,  95.,  64.,  54.,  89.,  87., 108.],
        [124.,  74.,  91.,  79.,  72.,  87.,  85.,  73.,  84.,  81.],
        [ 73.,  85.,  96.,  65.,  91.,  69., 107.,  72.,  79.,  59.],
        [ 61.,  62.,  62.,  78.,  94.,  70.,  51.,  79.,  71., 112.],
        [112.,  60.,  85.,  79.,  64.,  76.,  70.,  74.,  90.,  73.],
        [ 49., 115.,  71.,  80.,  78.,  64.,  67.,  69.,  82.,  71.],
        [ 72.,  77.,  71.,  93.,  63., 111.,  73.,  78.,  85.,  82.],
        [ 67.,  63.,  65.,  70.,  90.,  64.,  55.,  85.,  80., 109.],
        [ 80.,  72.,  85.,  89.,  63.,  69.,  50., 113.,  54.,  74.],
        [ 68.,  84.,  88.,  98.,  72.,  82.,  75.,  83.,  77.,  72.],
        [ 52.,  71.,  71.,  66., 111.,  70.,  69.,  74.,  79.,  81.]],
       device='cuda:0')
Train accuarcate: 95.65%



iteration:
  272
    0  1105   bit_w:-1  loss: 0.11592
    1  1073   bit_w: 1  loss: 0.11584
    2  1107   bit_w: 1  loss: 0.11586
    3  1111   bit_w:-1  loss: 0.11574
    4  1028   bit_w:-1  loss: 0.11581
   4931   6475   2920   2902   5514   4918   4319   3948   4955   5427
      0      0     -1     -1      0      0      0      0      0      0
Train accuarcate: 96.57%
tensor([[ 70.,  67.,  81.,  90.,  61.,  76.,  44., 124.,  69.,  76.],
        [ 78.,  85., 114.,  90.,  55.,  80.,  84.,  58.,  84.,  57.],
        [ 61., 106.,  88.,  69.,  74.,  62.,  71.,  75.,  73.,  56.],
        [108.,  72.,  84.,  66.,  60.,  73.,  83.,  80.,  69.,  81.],
        [ 72.,  77.,  72.,  60., 118.,  67.,  82.,  76.,  81.,  83.],
        [ 57., 108.,  74.,  73.,  75.,  58.,  65.,  82.,  72.,  65.],
        [ 42.,  80.,  58.,  80., 110.,  79.,  63.,  77.,  79.,  87.],
        [ 51.,  68.,  84.,  83.,  88.,  81.,  61.,  71.,  84., 113.],
        [ 79.,  75.,  84.,  45.,  84.,  95., 104.,  73.,  87.,  75.],
        [ 74.,  60.,  69.,  71.,  95.,  64.,  54.,  89.,  87., 108.],
        [124.,  74.,  91.,  79.,  72.,  87.,  85.,  73.,  84.,  81.],
        [ 73.,  85.,  96.,  65.,  91.,  69., 107.,  72.,  79.,  59.],
        [ 61.,  62.,  62.,  78.,  94.,  70.,  51.,  79.,  71., 112.],
        [112.,  60.,  85.,  79.,  64.,  76.,  70.,  74.,  90.,  73.],
        [ 49., 115.,  71.,  80.,  78.,  64.,  67.,  69.,  82.,  71.],
        [ 72.,  77.,  71.,  93.,  63., 111.,  73.,  78.,  85.,  82.],
        [ 67.,  63.,  65.,  70.,  90.,  64.,  55.,  85.,  80., 109.],
        [ 80.,  72.,  85.,  89.,  63.,  69.,  50., 113.,  54.,  74.],
        [ 68.,  84.,  88.,  98.,  72.,  82.,  75.,  83.,  77.,  72.],
        [ 52.,  71.,  71.,  66., 111.,  70.,  69.,  74.,  79.,  81.]],
       device='cuda:0')
Train accuarcate: 95.65%



iteration:
  273
    0   998   bit_w:-1  loss: 0.11571
    1  1098   bit_w:-1  loss: 0.11562
    2   838   bit_w: 1  loss: 0.11558
    3   889   bit_w: 1  loss: 0.11545
    4   329   bit_w:-1  loss: 0.11542
   4520   5459   5159   4820   2708   4593   4691   4839   3931   4833
      1      0      0      0     -1      0     -1     -1     -1      0
Train accuarcate: 96.58%
tensor([[ 71.,  67.,  81.,  90.,  61.,  76.,  44., 124.,  69.,  76.],
        [ 79.,  85., 114.,  90.,  55.,  80.,  84.,  58.,  84.,  57.],
        [ 62., 106.,  88.,  69.,  74.,  62.,  71.,  75.,  73.,  56.],
        [108.,  72.,  84.,  66.,  61.,  73.,  84.,  81.,  70.,  81.],
        [ 73.,  77.,  72.,  60., 118.,  67.,  82.,  76.,  81.,  83.],
        [ 58., 108.,  74.,  73.,  75.,  58.,  65.,  82.,  72.,  65.],
        [ 42.,  80.,  58.,  80., 111.,  79.,  64.,  78.,  80.,  87.],
        [ 52.,  68.,  84.,  83.,  88.,  81.,  61.,  71.,  84., 113.],
        [ 80.,  75.,  84.,  45.,  84.,  95., 104.,  73.,  87.,  75.],
        [ 74.,  60.,  69.,  71.,  96.,  64.,  55.,  90.,  88., 108.],
        [125.,  74.,  91.,  79.,  72.,  87.,  85.,  73.,  84.,  81.],
        [ 73.,  85.,  96.,  65.,  92.,  69., 108.,  73.,  80.,  59.],
        [ 62.,  62.,  62.,  78.,  94.,  70.,  51.,  79.,  71., 112.],
        [112.,  60.,  85.,  79.,  65.,  76.,  71.,  75.,  91.,  73.],
        [ 50., 115.,  71.,  80.,  78.,  64.,  67.,  69.,  82.,  71.],
        [ 73.,  77.,  71.,  93.,  63., 111.,  73.,  78.,  85.,  82.],
        [ 68.,  63.,  65.,  70.,  90.,  64.,  55.,  85.,  80., 109.],
        [ 81.,  72.,  85.,  89.,  63.,  69.,  50., 113.,  54.,  74.],
        [ 69.,  84.,  88.,  98.,  72.,  82.,  75.,  83.,  77.,  72.],
        [ 52.,  71.,  71.,  66., 112.,  70.,  70.,  75.,  80.,  81.]],
       device='cuda:0')
Train accuarcate: 95.62%



iteration:
  274
    0  1099   bit_w:-1  loss: 0.11532
    1   903   bit_w:-1  loss: 0.11521
    2   237   bit_w: 1  loss: 0.11523
    3  1075   bit_w:-1  loss: 0.11503
    4   345   bit_w:-1  loss: 0.11509
   3125   4606   4706   5219   2279   2951   3464   4042   5235   4939
      0     -1      0      0     -1     -1      0     -1      0      1
Train accuarcate: 96.58%
tensor([[ 71.,  67.,  81.,  90.,  61.,  76.,  44., 124.,  69.,  77.],
        [ 79.,  85., 114.,  90.,  55.,  80.,  84.,  58.,  84.,  58.],
        [ 62., 107.,  88.,  69.,  75.,  63.,  71.,  76.,  73.,  56.],
        [108.,  72.,  84.,  66.,  61.,  73.,  84.,  81.,  70.,  82.],
        [ 73.,  78.,  72.,  60., 119.,  68.,  82.,  77.,  81.,  83.],
        [ 58., 109.,  74.,  73.,  76.,  59.,  65.,  83.,  72.,  65.],
        [ 42.,  81.,  58.,  80., 112.,  80.,  64.,  79.,  80.,  87.],
        [ 52.,  68.,  84.,  83.,  88.,  81.,  61.,  71.,  84., 114.],
        [ 80.,  76.,  84.,  45.,  85.,  96., 104.,  74.,  87.,  75.],
        [ 74.,  60.,  69.,  71.,  96.,  64.,  55.,  90.,  88., 109.],
        [125.,  75.,  91.,  79.,  73.,  88.,  85.,  74.,  84.,  81.],
        [ 73.,  86.,  96.,  65.,  93.,  70., 108.,  74.,  80.,  59.],
        [ 62.,  62.,  62.,  78.,  94.,  70.,  51.,  79.,  71., 113.],
        [112.,  60.,  85.,  79.,  65.,  76.,  71.,  75.,  91.,  74.],
        [ 50., 115.,  71.,  80.,  78.,  64.,  67.,  69.,  82.,  72.],
        [ 73.,  78.,  71.,  93.,  64., 112.,  73.,  79.,  85.,  82.],
        [ 68.,  63.,  65.,  70.,  90.,  64.,  55.,  85.,  80., 110.],
        [ 81.,  72.,  85.,  89.,  63.,  69.,  50., 113.,  54.,  75.],
        [ 69.,  84.,  88.,  98.,  72.,  82.,  75.,  83.,  77.,  73.],
        [ 52.,  72.,  71.,  66., 113.,  71.,  70.,  76.,  80.,  81.]],
       device='cuda:0')
Train accuarcate: 95.60%



iteration:
  275
    0  1141   bit_w:-1  loss: 0.11499
    1  1171   bit_w: 1  loss: 0.11488
    2  1164   bit_w: 1  loss: 0.11491
    3   564   bit_w: 1  loss: 0.11477
    4  1079   bit_w:-1  loss: 0.11484
   5169   6215   3879   3010   3942   4442   5410   4053   4628   5103
      0      0      0     -1      0      0      0     -1      0      0
Train accuarcate: 96.58%
tensor([[ 71.,  67.,  81.,  91.,  61.,  76.,  44., 125.,  69.,  77.],
        [ 79.,  85., 114.,  91.,  55.,  80.,  84.,  59.,  84.,  58.],
        [ 62., 107.,  88.,  69.,  75.,  63.,  71.,  76.,  73.,  56.],
        [108.,  72.,  84.,  66.,  61.,  73.,  84.,  81.,  70.,  82.],
        [ 73.,  78.,  72.,  60., 119.,  68.,  82.,  77.,  81.,  83.],
        [ 58., 109.,  74.,  73.,  76.,  59.,  65.,  83.,  72.,  65.],
        [ 42.,  81.,  58.,  80., 112.,  80.,  64.,  79.,  80.,  87.],
        [ 52.,  68.,  84.,  83.,  88.,  81.,  61.,  71.,  84., 114.],
        [ 80.,  76.,  84.,  46.,  85.,  96., 104.,  75.,  87.,  75.],
        [ 74.,  60.,  69.,  71.,  96.,  64.,  55.,  90.,  88., 109.],
        [125.,  75.,  91.,  79.,  73.,  88.,  85.,  74.,  84.,  81.],
        [ 73.,  86.,  96.,  65.,  93.,  70., 108.,  74.,  80.,  59.],
        [ 62.,  62.,  62.,  78.,  94.,  70.,  51.,  79.,  71., 113.],
        [112.,  60.,  85.,  79.,  65.,  76.,  71.,  75.,  91.,  74.],
        [ 50., 115.,  71.,  80.,  78.,  64.,  67.,  69.,  82.,  72.],
        [ 73.,  78.,  71.,  94.,  64., 112.,  73.,  80.,  85.,  82.],
        [ 68.,  63.,  65.,  70.,  90.,  64.,  55.,  85.,  80., 110.],
        [ 81.,  72.,  85.,  89.,  63.,  69.,  50., 113.,  54.,  75.],
        [ 69.,  84.,  88.,  98.,  72.,  82.,  75.,  83.,  77.,  73.],
        [ 52.,  72.,  71.,  67., 113.,  71.,  70.,  77.,  80.,  81.]],
       device='cuda:0')
Train accuarcate: 95.61%



iteration:
  276
    0  1147   bit_w:-1  loss: 0.11473
    1  1051   bit_w:-1  loss: 0.11457
    2   962   bit_w: 1  loss: 0.11460
    3   624   bit_w: 1  loss: 0.11451
    4  1007   bit_w: 1  loss: 0.11452
   5007   5598   4258   4372   4384   3623   4610   5047   3172   4532
      0      0      0      0      0     -1     -1      0     -1      0
Train accuarcate: 96.59%
tensor([[ 71.,  67.,  81.,  91.,  61.,  76.,  44., 125.,  69.,  77.],
        [ 79.,  85., 114.,  91.,  55.,  81.,  85.,  59.,  85.,  58.],
        [ 62., 107.,  88.,  69.,  75.,  63.,  71.,  76.,  73.,  56.],
        [108.,  72.,  84.,  66.,  61.,  73.,  84.,  81.,  70.,  82.],
        [ 73.,  78.,  72.,  60., 119.,  68.,  82.,  77.,  81.,  83.],
        [ 58., 109.,  74.,  73.,  76.,  59.,  65.,  83.,  72.,  65.],
        [ 42.,  81.,  58.,  80., 112.,  81.,  65.,  79.,  81.,  87.],
        [ 52.,  68.,  84.,  83.,  88.,  81.,  61.,  71.,  84., 114.],
        [ 80.,  76.,  84.,  46.,  85.,  96., 104.,  75.,  87.,  75.],
        [ 74.,  60.,  69.,  71.,  96.,  64.,  55.,  90.,  88., 109.],
        [125.,  75.,  91.,  79.,  73.,  88.,  85.,  74.,  84.,  81.],
        [ 73.,  86.,  96.,  65.,  93.,  71., 109.,  74.,  81.,  59.],
        [ 62.,  62.,  62.,  78.,  94.,  71.,  52.,  79.,  72., 113.],
        [112.,  60.,  85.,  79.,  65.,  76.,  71.,  75.,  91.,  74.],
        [ 50., 115.,  71.,  80.,  78.,  64.,  67.,  69.,  82.,  72.],
        [ 73.,  78.,  71.,  94.,  64., 112.,  73.,  80.,  85.,  82.],
        [ 68.,  63.,  65.,  70.,  90.,  65.,  56.,  85.,  81., 110.],
        [ 81.,  72.,  85.,  89.,  63.,  69.,  50., 113.,  54.,  75.],
        [ 69.,  84.,  88.,  98.,  72.,  82.,  75.,  83.,  77.,  73.],
        [ 52.,  72.,  71.,  67., 113.,  71.,  70.,  77.,  80.,  81.]],
       device='cuda:0')
Train accuarcate: 95.59%



iteration:
  277
    0  1109   bit_w:-1  loss: 0.11440
    1   484   bit_w:-1  loss: 0.11431
    2  1117   bit_w:-1  loss: 0.11429
    3   742   bit_w:-1  loss: 0.11424
    4   121   bit_w: 1  loss: 0.11427
   2512     49   1375   1123    653    608    291    290    471    731
      1      0      1      0      0      0      1      0      1      1
Train accuarcate: 96.59%
tensor([[ 71.,  67.,  81.,  91.,  61.,  76.,  44., 125.,  69.,  77.],
        [ 79.,  85., 114.,  91.,  55.,  81.,  85.,  59.,  85.,  58.],
        [ 62., 107.,  88.,  69.,  75.,  63.,  71.,  76.,  73.,  56.],
        [108.,  72.,  84.,  66.,  61.,  73.,  84.,  81.,  70.,  82.],
        [ 73.,  78.,  72.,  60., 119.,  68.,  82.,  77.,  81.,  83.],
        [ 58., 109.,  74.,  73.,  76.,  59.,  65.,  83.,  72.,  65.],
        [ 42.,  81.,  58.,  80., 112.,  81.,  65.,  79.,  81.,  87.],
        [ 52.,  68.,  84.,  83.,  88.,  81.,  61.,  71.,  84., 114.],
        [ 80.,  76.,  84.,  46.,  85.,  96., 104.,  75.,  87.,  75.],
        [ 74.,  60.,  69.,  71.,  96.,  64.,  55.,  90.,  88., 109.],
        [125.,  75.,  91.,  79.,  73.,  88.,  85.,  74.,  84.,  81.],
        [ 73.,  86.,  96.,  65.,  93.,  71., 109.,  74.,  81.,  59.],
        [ 62.,  62.,  62.,  78.,  94.,  71.,  52.,  79.,  72., 113.],
        [112.,  60.,  85.,  79.,  65.,  76.,  71.,  75.,  91.,  74.],
        [ 50., 115.,  71.,  80.,  78.,  64.,  67.,  69.,  82.,  72.],
        [ 73.,  78.,  71.,  94.,  64., 112.,  73.,  80.,  85.,  82.],
        [ 68.,  63.,  65.,  70.,  90.,  65.,  56.,  85.,  81., 110.],
        [ 81.,  72.,  85.,  89.,  63.,  69.,  50., 113.,  54.,  75.],
        [ 70.,  84.,  89.,  98.,  72.,  82.,  76.,  83.,  78.,  74.],
        [ 52.,  72.,  71.,  67., 113.,  71.,  70.,  77.,  80.,  81.]],
       device='cuda:0')
Train accuarcate: 95.57%



iteration:
  278
    0   935   bit_w:-1  loss: 0.11417
    1   235   bit_w:-1  loss: 0.11403
    2  1179   bit_w:-1  loss: 0.11401
    3   204   bit_w:-1  loss: 0.11395
    4  1126   bit_w:-1  loss: 0.11393
   1917    529    954   1774   2084   1884   3253   1461   1274   1062
      0      0      1      1      1      0      1      1      0      0
Train accuarcate: 96.61%
tensor([[ 71.,  67.,  81.,  91.,  61.,  76.,  44., 125.,  69.,  77.],
        [ 79.,  85., 114.,  91.,  55.,  81.,  85.,  59.,  85.,  58.],
        [ 62., 107.,  88.,  69.,  75.,  63.,  71.,  76.,  73.,  56.],
        [108.,  72.,  84.,  66.,  61.,  73.,  84.,  81.,  70.,  82.],
        [ 73.,  78.,  72.,  60., 119.,  68.,  82.,  77.,  81.,  83.],
        [ 58., 109.,  74.,  73.,  76.,  59.,  65.,  83.,  72.,  65.],
        [ 42.,  81.,  58.,  80., 112.,  81.,  65.,  79.,  81.,  87.],
        [ 52.,  68.,  84.,  83.,  88.,  81.,  61.,  71.,  84., 114.],
        [ 80.,  76.,  85.,  47.,  86.,  96., 105.,  76.,  87.,  75.],
        [ 74.,  60.,  69.,  71.,  96.,  64.,  55.,  90.,  88., 109.],
        [125.,  75.,  92.,  80.,  74.,  88.,  86.,  75.,  84.,  81.],
        [ 73.,  86.,  97.,  66.,  94.,  71., 110.,  75.,  81.,  59.],
        [ 62.,  62.,  62.,  78.,  94.,  71.,  52.,  79.,  72., 113.],
        [112.,  60.,  85.,  79.,  65.,  76.,  71.,  75.,  91.,  74.],
        [ 50., 115.,  71.,  80.,  78.,  64.,  67.,  69.,  82.,  72.],
        [ 73.,  78.,  71.,  94.,  64., 112.,  73.,  80.,  85.,  82.],
        [ 68.,  63.,  65.,  70.,  90.,  65.,  56.,  85.,  81., 110.],
        [ 81.,  72.,  85.,  89.,  63.,  69.,  50., 113.,  54.,  75.],
        [ 70.,  84.,  89.,  98.,  72.,  82.,  76.,  83.,  78.,  74.],
        [ 52.,  72.,  71.,  67., 113.,  71.,  70.,  77.,  80.,  81.]],
       device='cuda:0')
Train accuarcate: 95.66%



iteration:
  279
    0  1045   bit_w:-1  loss: 0.11385
    1   494   bit_w:-1  loss: 0.11375
    2  1035   bit_w:-1  loss: 0.11373
    3  1136   bit_w: 1  loss: 0.11363
    4   291   bit_w: 1  loss: 0.11363
   2930    669    631    494   2116   2040   1045   2593   2534   3305
      1      0      0      0      0     -1      0      0      1      1
Train accuarcate: 96.61%
tensor([[ 71.,  67.,  81.,  91.,  61.,  77.,  44., 125.,  69.,  77.],
        [ 79.,  85., 114.,  91.,  55.,  82.,  85.,  59.,  85.,  58.],
        [ 62., 107.,  88.,  69.,  75.,  64.,  71.,  76.,  73.,  56.],
        [108.,  72.,  84.,  66.,  61.,  74.,  84.,  81.,  70.,  82.],
        [ 73.,  78.,  72.,  60., 119.,  69.,  82.,  77.,  81.,  83.],
        [ 58., 109.,  74.,  73.,  76.,  60.,  65.,  83.,  72.,  65.],
        [ 42.,  81.,  58.,  80., 112.,  82.,  65.,  79.,  81.,  87.],
        [ 53.,  68.,  84.,  83.,  88.,  81.,  61.,  71.,  85., 115.],
        [ 80.,  76.,  85.,  47.,  86.,  97., 105.,  76.,  87.,  75.],
        [ 75.,  60.,  69.,  71.,  96.,  64.,  55.,  90.,  89., 110.],
        [126.,  75.,  92.,  80.,  74.,  88.,  86.,  75.,  85.,  82.],
        [ 74.,  86.,  97.,  66.,  94.,  71., 110.,  75.,  82.,  60.],
        [ 63.,  62.,  62.,  78.,  94.,  71.,  52.,  79.,  73., 114.],
        [113.,  60.,  85.,  79.,  65.,  76.,  71.,  75.,  92.,  75.],
        [ 50., 115.,  71.,  80.,  78.,  65.,  67.,  69.,  82.,  72.],
        [ 73.,  78.,  71.,  94.,  64., 113.,  73.,  80.,  85.,  82.],
        [ 68.,  63.,  65.,  70.,  90.,  66.,  56.,  85.,  81., 110.],
        [ 81.,  72.,  85.,  89.,  63.,  70.,  50., 113.,  54.,  75.],
        [ 70.,  84.,  89.,  98.,  72.,  83.,  76.,  83.,  78.,  74.],
        [ 52.,  72.,  71.,  67., 113.,  72.,  70.,  77.,  80.,  81.]],
       device='cuda:0')
Train accuarcate: 95.57%



iteration:
  280
    0  1015   bit_w:-1  loss: 0.11354
    1   881   bit_w:-1  loss: 0.11340
    2   908   bit_w:-1  loss: 0.11340
    3   877   bit_w: 1  loss: 0.11333
    4  1118   bit_w:-1  loss: 0.11335
    117   4240   1749   2054   1889    649    370   2404   2037   1391
      0      1      0      0      1      1      0      1      0      0
Train accuarcate: 96.63%
tensor([[ 71.,  67.,  81.,  91.,  61.,  77.,  44., 125.,  69.,  77.],
        [ 79.,  85., 114.,  91.,  55.,  82.,  85.,  59.,  85.,  58.],
        [ 62., 107.,  88.,  69.,  75.,  64.,  71.,  76.,  73.,  56.],
        [108.,  72.,  84.,  66.,  61.,  74.,  84.,  81.,  70.,  82.],
        [ 73.,  78.,  72.,  60., 119.,  69.,  82.,  77.,  81.,  83.],
        [ 58., 110.,  74.,  73.,  77.,  61.,  65.,  84.,  72.,  65.],
        [ 42.,  81.,  58.,  80., 112.,  82.,  65.,  79.,  81.,  87.],
        [ 53.,  68.,  84.,  83.,  88.,  81.,  61.,  71.,  85., 115.],
        [ 80.,  76.,  85.,  47.,  86.,  97., 105.,  76.,  87.,  75.],
        [ 75.,  60.,  69.,  71.,  96.,  64.,  55.,  90.,  89., 110.],
        [126.,  75.,  92.,  80.,  74.,  88.,  86.,  75.,  85.,  82.],
        [ 74.,  86.,  97.,  66.,  94.,  71., 110.,  75.,  82.,  60.],
        [ 63.,  62.,  62.,  78.,  94.,  71.,  52.,  79.,  73., 114.],
        [113.,  60.,  85.,  79.,  65.,  76.,  71.,  75.,  92.,  75.],
        [ 50., 116.,  71.,  80.,  79.,  66.,  67.,  70.,  82.,  72.],
        [ 73.,  78.,  71.,  94.,  64., 113.,  73.,  80.,  85.,  82.],
        [ 68.,  63.,  65.,  70.,  90.,  66.,  56.,  85.,  81., 110.],
        [ 81.,  72.,  85.,  89.,  63.,  70.,  50., 113.,  54.,  75.],
        [ 70.,  84.,  89.,  98.,  72.,  83.,  76.,  83.,  78.,  74.],
        [ 52.,  73.,  71.,  67., 114.,  73.,  70.,  78.,  80.,  81.]],
       device='cuda:0')
Train accuarcate: 95.61%



iteration:
  281
    0   806   bit_w:-1  loss: 0.11321
    1   810   bit_w: 1  loss: 0.11306
    2  1025   bit_w: 1  loss: 0.11295
    3   968   bit_w:-1  loss: 0.11295
    4  1031   bit_w:-1  loss: 0.11292
   5510   6453   5011   2805   5018   3815   1652   4962   4812   4266
      0      0      1     -1      0      0     -1      0     -1      0
Train accuarcate: 96.64%
tensor([[ 71.,  67.,  82.,  91.,  61.,  77.,  44., 125.,  69.,  77.],
        [ 79.,  85., 115.,  91.,  55.,  82.,  85.,  59.,  85.,  58.],
        [ 62., 107.,  89.,  69.,  75.,  64.,  71.,  76.,  73.,  56.],
        [108.,  72.,  85.,  66.,  61.,  74.,  84.,  81.,  70.,  82.],
        [ 73.,  78.,  73.,  60., 119.,  69.,  82.,  77.,  81.,  83.],
        [ 58., 110.,  75.,  73.,  77.,  61.,  65.,  84.,  72.,  65.],
        [ 42.,  81.,  59.,  80., 112.,  82.,  65.,  79.,  81.,  87.],
        [ 53.,  68.,  85.,  83.,  88.,  81.,  61.,  71.,  85., 115.],
        [ 80.,  76.,  86.,  47.,  86.,  97., 105.,  76.,  87.,  75.],
        [ 75.,  60.,  69.,  72.,  96.,  64.,  56.,  90.,  90., 110.],
        [126.,  75.,  93.,  80.,  74.,  88.,  86.,  75.,  85.,  82.],
        [ 74.,  86.,  97.,  67.,  94.,  71., 111.,  75.,  83.,  60.],
        [ 63.,  62.,  63.,  78.,  94.,  71.,  52.,  79.,  73., 114.],
        [113.,  60.,  86.,  79.,  65.,  76.,  71.,  75.,  92.,  75.],
        [ 50., 116.,  72.,  80.,  79.,  66.,  67.,  70.,  82.,  72.],
        [ 73.,  78.,  71.,  95.,  64., 113.,  74.,  80.,  86.,  82.],
        [ 68.,  63.,  66.,  70.,  90.,  66.,  56.,  85.,  81., 110.],
        [ 81.,  72.,  86.,  89.,  63.,  70.,  50., 113.,  54.,  75.],
        [ 70.,  84.,  89.,  99.,  72.,  83.,  77.,  83.,  79.,  74.],
        [ 52.,  73.,  72.,  67., 114.,  73.,  70.,  78.,  80.,  81.]],
       device='cuda:0')
Train accuarcate: 95.67%



iteration:
  282
    0  1078   bit_w:-1  loss: 0.11283
    1   317   bit_w:-1  loss: 0.11269
    2  1175   bit_w: 1  loss: 0.11274
    3   905   bit_w: 1  loss: 0.11260
    4   984   bit_w: 1  loss: 0.11268
   5434   6343   5106   5454   2493   4024   3627   5758   3288   2768
     -1      0      0      0     -1      0      0      0      0     -1
Train accuarcate: 96.65%
tensor([[ 71.,  67.,  82.,  91.,  61.,  77.,  44., 125.,  69.,  77.],
        [ 79.,  85., 115.,  91.,  55.,  82.,  85.,  59.,  85.,  58.],
        [ 62., 107.,  89.,  69.,  75.,  64.,  71.,  76.,  73.,  56.],
        [108.,  72.,  85.,  66.,  61.,  74.,  84.,  81.,  70.,  82.],
        [ 73.,  78.,  73.,  60., 119.,  69.,  82.,  77.,  81.,  83.],
        [ 58., 110.,  75.,  73.,  77.,  61.,  65.,  84.,  72.,  65.],
        [ 43.,  81.,  59.,  80., 113.,  82.,  65.,  79.,  81.,  88.],
        [ 54.,  68.,  85.,  83.,  89.,  81.,  61.,  71.,  85., 116.],
        [ 81.,  76.,  86.,  47.,  87.,  97., 105.,  76.,  87.,  76.],
        [ 76.,  60.,  69.,  72.,  97.,  64.,  56.,  90.,  90., 111.],
        [126.,  75.,  93.,  80.,  74.,  88.,  86.,  75.,  85.,  82.],
        [ 75.,  86.,  97.,  67.,  95.,  71., 111.,  75.,  83.,  61.],
        [ 63.,  62.,  63.,  78.,  94.,  71.,  52.,  79.,  73., 114.],
        [113.,  60.,  86.,  79.,  65.,  76.,  71.,  75.,  92.,  75.],
        [ 50., 116.,  72.,  80.,  79.,  66.,  67.,  70.,  82.,  72.],
        [ 74.,  78.,  71.,  95.,  65., 113.,  74.,  80.,  86.,  83.],
        [ 69.,  63.,  66.,  70.,  91.,  66.,  56.,  85.,  81., 111.],
        [ 81.,  72.,  86.,  89.,  63.,  70.,  50., 113.,  54.,  75.],
        [ 71.,  84.,  89.,  99.,  73.,  83.,  77.,  83.,  79.,  75.],
        [ 53.,  73.,  72.,  67., 115.,  73.,  70.,  78.,  80.,  82.]],
       device='cuda:0')
Train accuarcate: 95.72%



iteration:
  283
    0  1169   bit_w:-1  loss: 0.11258
    1  1036   bit_w: 1  loss: 0.11251
    2   981   bit_w:-1  loss: 0.11253
    3  1018   bit_w:-1  loss: 0.11238
    4   444   bit_w: 1  loss: 0.11248
   2354   1084   1512    447   1600    354   2426    123    358   1007
      1      0      0      1      0      0      1      0      0      1
Train accuarcate: 96.66%
tensor([[ 71.,  67.,  82.,  91.,  61.,  77.,  44., 125.,  69.,  77.],
        [ 79.,  85., 115.,  91.,  55.,  82.,  85.,  59.,  85.,  58.],
        [ 62., 107.,  89.,  69.,  75.,  64.,  71.,  76.,  73.,  56.],
        [109.,  72.,  85.,  67.,  61.,  74.,  85.,  81.,  70.,  83.],
        [ 74.,  78.,  73.,  61., 119.,  69.,  83.,  77.,  81.,  84.],
        [ 58., 110.,  75.,  73.,  77.,  61.,  65.,  84.,  72.,  65.],
        [ 43.,  81.,  59.,  80., 113.,  82.,  65.,  79.,  81.,  88.],
        [ 54.,  68.,  85.,  83.,  89.,  81.,  61.,  71.,  85., 116.],
        [ 82.,  76.,  86.,  48.,  87.,  97., 106.,  76.,  87.,  77.],
        [ 76.,  60.,  69.,  72.,  97.,  64.,  56.,  90.,  90., 111.],
        [127.,  75.,  93.,  81.,  74.,  88.,  87.,  75.,  85.,  83.],
        [ 75.,  86.,  97.,  67.,  95.,  71., 111.,  75.,  83.,  61.],
        [ 63.,  62.,  63.,  78.,  94.,  71.,  52.,  79.,  73., 114.],
        [114.,  60.,  86.,  80.,  65.,  76.,  72.,  75.,  92.,  76.],
        [ 50., 116.,  72.,  80.,  79.,  66.,  67.,  70.,  82.,  72.],
        [ 74.,  78.,  71.,  95.,  65., 113.,  74.,  80.,  86.,  83.],
        [ 69.,  63.,  66.,  70.,  91.,  66.,  56.,  85.,  81., 111.],
        [ 81.,  72.,  86.,  89.,  63.,  70.,  50., 113.,  54.,  75.],
        [ 71.,  84.,  89.,  99.,  73.,  83.,  77.,  83.,  79.,  75.],
        [ 53.,  73.,  72.,  67., 115.,  73.,  70.,  78.,  80.,  82.]],
       device='cuda:0')
Train accuarcate: 95.74%



iteration:
  284
    0  1152   bit_w:-1  loss: 0.11238
    1  1004   bit_w:-1  loss: 0.11226
    2   901   bit_w:-1  loss: 0.11226
    3  1016   bit_w: 1  loss: 0.11221
    4  1051   bit_w:-1  loss: 0.11222
   1332    294   1149   2216    566   1531   1736   1626   1042    870
      0     -1      0      1      1      1      0      0      1      0
Train accuarcate: 96.67%
tensor([[ 71.,  67.,  82.,  92.,  62.,  78.,  44., 125.,  70.,  77.],
        [ 79.,  86., 115.,  91.,  55.,  82.,  85.,  59.,  85.,  58.],
        [ 62., 108.,  89.,  69.,  75.,  64.,  71.,  76.,  73.,  56.],
        [109.,  73.,  85.,  67.,  61.,  74.,  85.,  81.,  70.,  83.],
        [ 74.,  79.,  73.,  61., 119.,  69.,  83.,  77.,  81.,  84.],
        [ 58., 111.,  75.,  73.,  77.,  61.,  65.,  84.,  72.,  65.],
        [ 43.,  82.,  59.,  80., 113.,  82.,  65.,  79.,  81.,  88.],
        [ 54.,  69.,  85.,  83.,  89.,  81.,  61.,  71.,  85., 116.],
        [ 82.,  77.,  86.,  48.,  87.,  97., 106.,  76.,  87.,  77.],
        [ 76.,  61.,  69.,  72.,  97.,  64.,  56.,  90.,  90., 111.],
        [127.,  76.,  93.,  81.,  74.,  88.,  87.,  75.,  85.,  83.],
        [ 75.,  87.,  97.,  67.,  95.,  71., 111.,  75.,  83.,  61.],
        [ 63.,  63.,  63.,  78.,  94.,  71.,  52.,  79.,  73., 114.],
        [114.,  60.,  86.,  81.,  66.,  77.,  72.,  75.,  93.,  76.],
        [ 50., 117.,  72.,  80.,  79.,  66.,  67.,  70.,  82.,  72.],
        [ 74.,  78.,  71.,  96.,  66., 114.,  74.,  80.,  87.,  83.],
        [ 69.,  64.,  66.,  70.,  91.,  66.,  56.,  85.,  81., 111.],
        [ 81.,  73.,  86.,  89.,  63.,  70.,  50., 113.,  54.,  75.],
        [ 71.,  84.,  89., 100.,  74.,  84.,  77.,  83.,  80.,  75.],
        [ 53.,  74.,  72.,  67., 115.,  73.,  70.,  78.,  80.,  82.]],
       device='cuda:0')
Train accuarcate: 95.73%



iteration:
  285
    0  1041   bit_w:-1  loss: 0.11213
    1   964   bit_w:-1  loss: 0.11199
    2   489   bit_w:-1  loss: 0.11199
    3   603   bit_w:-1  loss: 0.11192
    4   834   bit_w: 1  loss: 0.11194
   5660   5066   3633   5248   3513   4496   2824   5087   2624   3993
      0      0     -1      0      0      0      0      1     -1      0
Train accuarcate: 96.69%
tensor([[ 71.,  67.,  82.,  92.,  62.,  78.,  44., 126.,  70.,  77.],
        [ 79.,  86., 115.,  91.,  55.,  82.,  85.,  60.,  85.,  58.],
        [ 62., 108.,  89.,  69.,  75.,  64.,  71.,  77.,  73.,  56.],
        [109.,  73.,  85.,  67.,  61.,  74.,  85.,  82.,  70.,  83.],
        [ 74.,  79.,  73.,  61., 119.,  69.,  83.,  78.,  81.,  84.],
        [ 58., 111.,  75.,  73.,  77.,  61.,  65.,  85.,  72.,  65.],
        [ 43.,  82.,  59.,  80., 113.,  82.,  65.,  80.,  81.,  88.],
        [ 54.,  69.,  85.,  83.,  89.,  81.,  61.,  72.,  85., 116.],
        [ 82.,  77.,  87.,  48.,  87.,  97., 106.,  76.,  88.,  77.],
        [ 76.,  61.,  69.,  72.,  97.,  64.,  56.,  91.,  90., 111.],
        [127.,  76.,  93.,  81.,  74.,  88.,  87.,  76.,  85.,  83.],
        [ 75.,  87.,  98.,  67.,  95.,  71., 111.,  75.,  84.,  61.],
        [ 63.,  63.,  63.,  78.,  94.,  71.,  52.,  80.,  73., 114.],
        [114.,  60.,  86.,  81.,  66.,  77.,  72.,  76.,  93.,  76.],
        [ 50., 117.,  73.,  80.,  79.,  66.,  67.,  70.,  83.,  72.],
        [ 74.,  78.,  71.,  96.,  66., 114.,  74.,  81.,  87.,  83.],
        [ 69.,  64.,  67.,  70.,  91.,  66.,  56.,  85.,  82., 111.],
        [ 81.,  73.,  86.,  89.,  63.,  70.,  50., 114.,  54.,  75.],
        [ 71.,  84.,  90., 100.,  74.,  84.,  77.,  83.,  81.,  75.],
        [ 53.,  74.,  72.,  67., 115.,  73.,  70.,  79.,  80.,  82.]],
       device='cuda:0')
Train accuarcate: 95.70%



iteration:
  286
    0  1130   bit_w:-1  loss: 0.11182
    1  1111   bit_w: 1  loss: 0.11174
    2  1049   bit_w:-1  loss: 0.11176
    3  1064   bit_w: 1  loss: 0.11167
    4  1024   bit_w:-1  loss: 0.11170
    714    306    276   1263    559   1357    368   3225    543   2356
      0      0      0      1      0      1      1      0      0      1
Train accuarcate: 96.70%
tensor([[ 71.,  67.,  82.,  92.,  62.,  78.,  44., 126.,  70.,  77.],
        [ 79.,  86., 115.,  92.,  55.,  83.,  86.,  60.,  85.,  59.],
        [ 62., 108.,  89.,  69.,  75.,  64.,  71.,  77.,  73.,  56.],
        [109.,  73.,  85.,  67.,  61.,  74.,  85.,  82.,  70.,  83.],
        [ 74.,  79.,  73.,  61., 119.,  69.,  83.,  78.,  81.,  84.],
        [ 58., 111.,  75.,  73.,  77.,  61.,  65.,  85.,  72.,  65.],
        [ 43.,  82.,  59.,  80., 113.,  82.,  65.,  80.,  81.,  88.],
        [ 54.,  69.,  85.,  84.,  89.,  82.,  62.,  72.,  85., 117.],
        [ 82.,  77.,  87.,  48.,  87.,  97., 106.,  76.,  88.,  77.],
        [ 76.,  61.,  69.,  72.,  97.,  64.,  56.,  91.,  90., 111.],
        [127.,  76.,  93.,  81.,  74.,  88.,  87.,  76.,  85.,  83.],
        [ 75.,  87.,  98.,  68.,  95.,  72., 112.,  75.,  84.,  62.],
        [ 63.,  63.,  63.,  78.,  94.,  71.,  52.,  80.,  73., 114.],
        [114.,  60.,  86.,  81.,  66.,  77.,  72.,  76.,  93.,  76.],
        [ 50., 117.,  73.,  80.,  79.,  66.,  67.,  70.,  83.,  72.],
        [ 74.,  78.,  71.,  97.,  66., 115.,  75.,  81.,  87.,  84.],
        [ 69.,  64.,  67.,  71.,  91.,  67.,  57.,  85.,  82., 112.],
        [ 81.,  73.,  86.,  90.,  63.,  71.,  51., 114.,  54.,  76.],
        [ 71.,  84.,  90., 100.,  74.,  84.,  77.,  83.,  81.,  75.],
        [ 53.,  74.,  72.,  67., 115.,  73.,  70.,  79.,  80.,  82.]],
       device='cuda:0')
Train accuarcate: 95.70%



iteration:
  287
    0  1137   bit_w:-1  loss: 0.11161
    1  1036   bit_w: 1  loss: 0.11151
    2   809   bit_w:-1  loss: 0.11150
    3   967   bit_w: 1  loss: 0.11140
    4   934   bit_w: 1  loss: 0.11140
   4393   5817   4654   4195   2438   3326   4849   1195   3766   1427
      1      0      0      0     -1      0     -1      0     -1      1
Train accuarcate: 96.70%
tensor([[ 71.,  67.,  82.,  92.,  63.,  78.,  45., 126.,  71.,  77.],
        [ 80.,  86., 115.,  92.,  55.,  83.,  86.,  60.,  85.,  60.],
        [ 63., 108.,  89.,  69.,  75.,  64.,  71.,  77.,  73.,  57.],
        [110.,  73.,  85.,  67.,  61.,  74.,  85.,  82.,  70.,  84.],
        [ 74.,  79.,  73.,  61., 120.,  69.,  84.,  78.,  82.,  84.],
        [ 59., 111.,  75.,  73.,  77.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  82.,  59.,  80., 114.,  82.,  66.,  80.,  82.,  88.],
        [ 55.,  69.,  85.,  84.,  89.,  82.,  62.,  72.,  85., 118.],
        [ 82.,  77.,  87.,  48.,  88.,  97., 107.,  76.,  89.,  77.],
        [ 76.,  61.,  69.,  72.,  98.,  64.,  57.,  91.,  91., 111.],
        [128.,  76.,  93.,  81.,  74.,  88.,  87.,  76.,  85.,  84.],
        [ 76.,  87.,  98.,  68.,  95.,  72., 112.,  75.,  84.,  63.],
        [ 63.,  63.,  63.,  78.,  95.,  71.,  53.,  80.,  74., 114.],
        [115.,  60.,  86.,  81.,  66.,  77.,  72.,  76.,  93.,  77.],
        [ 51., 117.,  73.,  80.,  79.,  66.,  67.,  70.,  83.,  73.],
        [ 75.,  78.,  71.,  97.,  66., 115.,  75.,  81.,  87.,  85.],
        [ 69.,  64.,  67.,  71.,  92.,  67.,  58.,  85.,  83., 112.],
        [ 81.,  73.,  86.,  90.,  64.,  71.,  52., 114.,  55.,  76.],
        [ 72.,  84.,  90., 100.,  74.,  84.,  77.,  83.,  81.,  76.],
        [ 54.,  74.,  72.,  67., 115.,  73.,  70.,  79.,  80.,  83.]],
       device='cuda:0')
Train accuarcate: 95.66%



iteration:
  288
    0   985   bit_w:-1  loss: 0.11130
    1   886   bit_w: 1  loss: 0.11118
    2   915   bit_w: 1  loss: 0.11116
    3  1040   bit_w:-1  loss: 0.11110
    4  1079   bit_w: 1  loss: 0.11112
   1793    218   1161   1862   3175   2723   2486   2063    824   2963
      0      0      0      1      0      1      0      1      0      0
Train accuarcate: 96.70%
tensor([[ 71.,  67.,  82.,  92.,  63.,  78.,  45., 126.,  71.,  77.],
        [ 80.,  86., 115.,  92.,  55.,  83.,  86.,  60.,  85.,  60.],
        [ 63., 108.,  89.,  69.,  75.,  64.,  71.,  77.,  73.,  57.],
        [110.,  73.,  85.,  67.,  61.,  74.,  85.,  82.,  70.,  84.],
        [ 74.,  79.,  73.,  61., 120.,  69.,  84.,  78.,  82.,  84.],
        [ 59., 111.,  75.,  73.,  77.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  82.,  59.,  80., 114.,  82.,  66.,  80.,  82.,  88.],
        [ 55.,  69.,  85.,  85.,  89.,  83.,  62.,  73.,  85., 118.],
        [ 82.,  77.,  87.,  49.,  88.,  98., 107.,  77.,  89.,  77.],
        [ 76.,  61.,  69.,  72.,  98.,  64.,  57.,  91.,  91., 111.],
        [128.,  76.,  93.,  81.,  74.,  88.,  87.,  76.,  85.,  84.],
        [ 76.,  87.,  98.,  68.,  95.,  72., 112.,  75.,  84.,  63.],
        [ 63.,  63.,  63.,  79.,  95.,  72.,  53.,  81.,  74., 114.],
        [115.,  60.,  86.,  81.,  66.,  77.,  72.,  76.,  93.,  77.],
        [ 51., 117.,  73.,  80.,  79.,  66.,  67.,  70.,  83.,  73.],
        [ 75.,  78.,  71.,  97.,  66., 115.,  75.,  81.,  87.,  85.],
        [ 69.,  64.,  67.,  71.,  92.,  67.,  58.,  85.,  83., 112.],
        [ 81.,  73.,  86.,  90.,  64.,  71.,  52., 114.,  55.,  76.],
        [ 72.,  84.,  90., 100.,  74.,  84.,  77.,  83.,  81.,  76.],
        [ 54.,  74.,  72.,  68., 115.,  74.,  70.,  80.,  80.,  83.]],
       device='cuda:0')
Train accuarcate: 95.70%



iteration:
  289
    0  1060   bit_w:-1  loss: 0.11103
    1   319   bit_w:-1  loss: 0.11094
    2  1019   bit_w: 1  loss: 0.11092
    3   987   bit_w: 1  loss: 0.11089
    4  1115   bit_w:-1  loss: 0.11088
   1430    120   2168   2554    884   1028    708    166   1658   1213
      0      0      1      0      0      0      0      0      1      0
Train accuarcate: 96.71%
tensor([[ 71.,  67.,  82.,  92.,  63.,  78.,  45., 126.,  71.,  77.],
        [ 80.,  86., 116.,  92.,  55.,  83.,  86.,  60.,  86.,  60.],
        [ 63., 108.,  89.,  69.,  75.,  64.,  71.,  77.,  73.,  57.],
        [110.,  73.,  85.,  67.,  61.,  74.,  85.,  82.,  70.,  84.],
        [ 74.,  79.,  73.,  61., 120.,  69.,  84.,  78.,  82.,  84.],
        [ 59., 111.,  75.,  73.,  77.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  82.,  60.,  80., 114.,  82.,  66.,  80.,  83.,  88.],
        [ 55.,  69.,  86.,  85.,  89.,  83.,  62.,  73.,  86., 118.],
        [ 82.,  77.,  87.,  49.,  88.,  98., 107.,  77.,  89.,  77.],
        [ 76.,  61.,  70.,  72.,  98.,  64.,  57.,  91.,  92., 111.],
        [128.,  76.,  93.,  81.,  74.,  88.,  87.,  76.,  85.,  84.],
        [ 76.,  87.,  98.,  68.,  95.,  72., 112.,  75.,  84.,  63.],
        [ 63.,  63.,  63.,  79.,  95.,  72.,  53.,  81.,  74., 114.],
        [115.,  60.,  86.,  81.,  66.,  77.,  72.,  76.,  93.,  77.],
        [ 51., 117.,  73.,  80.,  79.,  66.,  67.,  70.,  83.,  73.],
        [ 75.,  78.,  71.,  97.,  66., 115.,  75.,  81.,  87.,  85.],
        [ 69.,  64.,  67.,  71.,  92.,  67.,  58.,  85.,  83., 112.],
        [ 81.,  73.,  86.,  90.,  64.,  71.,  52., 114.,  55.,  76.],
        [ 72.,  84.,  91., 100.,  74.,  84.,  77.,  83.,  82.,  76.],
        [ 54.,  74.,  72.,  68., 115.,  74.,  70.,  80.,  80.,  83.]],
       device='cuda:0')
Train accuarcate: 95.66%



iteration:
  290
    0  1128   bit_w:-1  loss: 0.11079
    1   302   bit_w:-1  loss: 0.11072
    2  1144   bit_w:-1  loss: 0.11070
    3   824   bit_w: 1  loss: 0.11059
    4  1146   bit_w: 1  loss: 0.11068
    708   1036    376   1502   1194   2870   2090   1884    930   1862
      0      0      0      0      0      1      1      0      0      1
Train accuarcate: 96.73%
tensor([[ 71.,  67.,  82.,  92.,  63.,  78.,  45., 126.,  71.,  77.],
        [ 80.,  86., 116.,  92.,  55.,  83.,  86.,  60.,  86.,  60.],
        [ 63., 108.,  89.,  69.,  75.,  64.,  71.,  77.,  73.,  57.],
        [110.,  73.,  85.,  67.,  61.,  74.,  85.,  82.,  70.,  84.],
        [ 74.,  79.,  73.,  61., 120.,  69.,  84.,  78.,  82.,  84.],
        [ 59., 111.,  75.,  73.,  77.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  82.,  60.,  80., 114.,  82.,  66.,  80.,  83.,  88.],
        [ 55.,  69.,  86.,  85.,  89.,  83.,  62.,  73.,  86., 118.],
        [ 82.,  77.,  87.,  49.,  88.,  99., 108.,  77.,  89.,  78.],
        [ 76.,  61.,  70.,  72.,  98.,  64.,  57.,  91.,  92., 111.],
        [128.,  76.,  93.,  81.,  74.,  88.,  87.,  76.,  85.,  84.],
        [ 76.,  87.,  98.,  68.,  95.,  72., 112.,  75.,  84.,  63.],
        [ 63.,  63.,  63.,  79.,  95.,  73.,  54.,  81.,  74., 115.],
        [115.,  60.,  86.,  81.,  66.,  77.,  72.,  76.,  93.,  77.],
        [ 51., 117.,  73.,  80.,  79.,  66.,  67.,  70.,  83.,  73.],
        [ 75.,  78.,  71.,  97.,  66., 116.,  76.,  81.,  87.,  86.],
        [ 69.,  64.,  67.,  71.,  92.,  67.,  58.,  85.,  83., 112.],
        [ 81.,  73.,  86.,  90.,  64.,  72.,  53., 114.,  55.,  77.],
        [ 72.,  84.,  91., 100.,  74.,  84.,  77.,  83.,  82.,  76.],
        [ 54.,  74.,  72.,  68., 115.,  74.,  70.,  80.,  80.,  83.]],
       device='cuda:0')
Train accuarcate: 95.68%



iteration:
  291
    0   991   bit_w:-1  loss: 0.11058
    1   319   bit_w:-1  loss: 0.11045
    2   535   bit_w: 1  loss: 0.11047
    3   413   bit_w:-1  loss: 0.11040
    4  1175   bit_w:-1  loss: 0.11042
    371   1215   2246   2908    759   1004    744   1013   1186    877
      1      1      1      1      1      0      0      0      0      0
Train accuarcate: 96.73%
tensor([[ 72.,  68.,  83.,  93.,  64.,  78.,  45., 126.,  71.,  77.],
        [ 81.,  87., 117.,  93.,  56.,  83.,  86.,  60.,  86.,  60.],
        [ 63., 108.,  89.,  69.,  75.,  64.,  71.,  77.,  73.,  57.],
        [110.,  73.,  85.,  67.,  61.,  74.,  85.,  82.,  70.,  84.],
        [ 74.,  79.,  73.,  61., 120.,  69.,  84.,  78.,  82.,  84.],
        [ 59., 111.,  75.,  73.,  77.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  82.,  60.,  80., 114.,  82.,  66.,  80.,  83.,  88.],
        [ 55.,  69.,  86.,  85.,  89.,  83.,  62.,  73.,  86., 118.],
        [ 83.,  78.,  88.,  50.,  89.,  99., 108.,  77.,  89.,  78.],
        [ 76.,  61.,  70.,  72.,  98.,  64.,  57.,  91.,  92., 111.],
        [128.,  76.,  93.,  81.,  74.,  88.,  87.,  76.,  85.,  84.],
        [ 76.,  87.,  98.,  68.,  95.,  72., 112.,  75.,  84.,  63.],
        [ 63.,  63.,  63.,  79.,  95.,  73.,  54.,  81.,  74., 115.],
        [115.,  60.,  86.,  81.,  66.,  77.,  72.,  76.,  93.,  77.],
        [ 51., 117.,  73.,  80.,  79.,  66.,  67.,  70.,  83.,  73.],
        [ 75.,  78.,  71.,  97.,  66., 116.,  76.,  81.,  87.,  86.],
        [ 69.,  64.,  67.,  71.,  92.,  67.,  58.,  85.,  83., 112.],
        [ 82.,  74.,  87.,  91.,  65.,  72.,  53., 114.,  55.,  77.],
        [ 72.,  84.,  91., 100.,  74.,  84.,  77.,  83.,  82.,  76.],
        [ 55.,  75.,  73.,  69., 116.,  74.,  70.,  80.,  80.,  83.]],
       device='cuda:0')
Train accuarcate: 95.67%



iteration:
  292
    0  1078   bit_w:-1  loss: 0.11034
    1   629   bit_w:-1  loss: 0.11022
    2  1058   bit_w:-1  loss: 0.11020
    3  1139   bit_w:-1  loss: 0.11015
    4   918   bit_w:-1  loss: 0.11013
   1216    922   2958    917   1255    754   1019   2023    993   1177
      0      1      1      0      1      0      0      1      0      0
Train accuarcate: 96.73%
tensor([[ 72.,  68.,  83.,  93.,  64.,  78.,  45., 126.,  71.,  77.],
        [ 81.,  88., 118.,  93.,  57.,  83.,  86.,  61.,  86.,  60.],
        [ 63., 108.,  89.,  69.,  75.,  64.,  71.,  77.,  73.,  57.],
        [110.,  73.,  85.,  67.,  61.,  74.,  85.,  82.,  70.,  84.],
        [ 74.,  80.,  74.,  61., 121.,  69.,  84.,  79.,  82.,  84.],
        [ 59., 111.,  75.,  73.,  77.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  82.,  60.,  80., 114.,  82.,  66.,  80.,  83.,  88.],
        [ 55.,  69.,  86.,  85.,  89.,  83.,  62.,  73.,  86., 118.],
        [ 83.,  78.,  88.,  50.,  89.,  99., 108.,  77.,  89.,  78.],
        [ 76.,  61.,  70.,  72.,  98.,  64.,  57.,  91.,  92., 111.],
        [128.,  76.,  93.,  81.,  74.,  88.,  87.,  76.,  85.,  84.],
        [ 76.,  87.,  98.,  68.,  95.,  72., 112.,  75.,  84.,  63.],
        [ 63.,  64.,  64.,  79.,  96.,  73.,  54.,  82.,  74., 115.],
        [115.,  61.,  87.,  81.,  67.,  77.,  72.,  77.,  93.,  77.],
        [ 51., 117.,  73.,  80.,  79.,  66.,  67.,  70.,  83.,  73.],
        [ 75.,  78.,  71.,  97.,  66., 116.,  76.,  81.,  87.,  86.],
        [ 69.,  65.,  68.,  71.,  93.,  67.,  58.,  86.,  83., 112.],
        [ 82.,  74.,  87.,  91.,  65.,  72.,  53., 114.,  55.,  77.],
        [ 72.,  84.,  91., 100.,  74.,  84.,  77.,  83.,  82.,  76.],
        [ 55.,  75.,  73.,  69., 116.,  74.,  70.,  80.,  80.,  83.]],
       device='cuda:0')
Train accuarcate: 95.68%



iteration:
  293
    0  1111   bit_w:-1  loss: 0.11006
    1   401   bit_w:-1  loss: 0.10996
    2   925   bit_w:-1  loss: 0.10990
    3   976   bit_w:-1  loss: 0.10981
    4   855   bit_w: 1  loss: 0.10981
   2438    175   2260   3432    311   2177   1157   1014    787    356
      0      1      0      1      0      1      0      0      0      1
Train accuarcate: 96.75%
tensor([[ 72.,  68.,  83.,  93.,  64.,  78.,  45., 126.,  71.,  77.],
        [ 81.,  88., 118.,  93.,  57.,  83.,  86.,  61.,  86.,  60.],
        [ 63., 108.,  89.,  69.,  75.,  64.,  71.,  77.,  73.,  57.],
        [110.,  74.,  85.,  68.,  61.,  75.,  85.,  82.,  70.,  85.],
        [ 74.,  81.,  74.,  62., 121.,  70.,  84.,  79.,  82.,  85.],
        [ 59., 111.,  75.,  73.,  77.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  82.,  60.,  80., 114.,  82.,  66.,  80.,  83.,  88.],
        [ 55.,  69.,  86.,  85.,  89.,  83.,  62.,  73.,  86., 118.],
        [ 83.,  79.,  88.,  51.,  89., 100., 108.,  77.,  89.,  79.],
        [ 76.,  61.,  70.,  72.,  98.,  64.,  57.,  91.,  92., 111.],
        [128.,  77.,  93.,  82.,  74.,  89.,  87.,  76.,  85.,  85.],
        [ 76.,  87.,  98.,  68.,  95.,  72., 112.,  75.,  84.,  63.],
        [ 63.,  64.,  64.,  79.,  96.,  73.,  54.,  82.,  74., 115.],
        [115.,  61.,  87.,  81.,  67.,  77.,  72.,  77.,  93.,  77.],
        [ 51., 117.,  73.,  80.,  79.,  66.,  67.,  70.,  83.,  73.],
        [ 75.,  78.,  71.,  97.,  66., 116.,  76.,  81.,  87.,  86.],
        [ 69.,  65.,  68.,  71.,  93.,  67.,  58.,  86.,  83., 112.],
        [ 82.,  75.,  87.,  92.,  65.,  73.,  53., 114.,  55.,  78.],
        [ 72.,  85.,  91., 101.,  74.,  85.,  77.,  83.,  82.,  77.],
        [ 55.,  75.,  73.,  69., 116.,  74.,  70.,  80.,  80.,  83.]],
       device='cuda:0')
Train accuarcate: 95.65%



iteration:
  294
    0  1033   bit_w:-1  loss: 0.10972
    1  1170   bit_w: 1  loss: 0.10960
    2  1117   bit_w:-1  loss: 0.10960
    3   620   bit_w:-1  loss: 0.10950
    4  1162   bit_w:-1  loss: 0.10957
   4507   1354   2627   1222    863   1585   4023    323   2474   1634
      1      0      0      0      0      0      1      0      1      1
Train accuarcate: 96.75%
tensor([[ 72.,  68.,  83.,  93.,  64.,  78.,  45., 126.,  71.,  77.],
        [ 82.,  88., 118.,  93.,  57.,  83.,  87.,  61.,  87.,  61.],
        [ 63., 108.,  89.,  69.,  75.,  64.,  71.,  77.,  73.,  57.],
        [110.,  74.,  85.,  68.,  61.,  75.,  85.,  82.,  70.,  85.],
        [ 74.,  81.,  74.,  62., 121.,  70.,  84.,  79.,  82.,  85.],
        [ 59., 111.,  75.,  73.,  77.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  82.,  60.,  80., 114.,  82.,  66.,  80.,  83.,  88.],
        [ 55.,  69.,  86.,  85.,  89.,  83.,  62.,  73.,  86., 118.],
        [ 84.,  79.,  88.,  51.,  89., 100., 109.,  77.,  90.,  80.],
        [ 76.,  61.,  70.,  72.,  98.,  64.,  57.,  91.,  92., 111.],
        [128.,  77.,  93.,  82.,  74.,  89.,  87.,  76.,  85.,  85.],
        [ 76.,  87.,  98.,  68.,  95.,  72., 112.,  75.,  84.,  63.],
        [ 63.,  64.,  64.,  79.,  96.,  73.,  54.,  82.,  74., 115.],
        [116.,  61.,  87.,  81.,  67.,  77.,  73.,  77.,  94.,  78.],
        [ 52., 117.,  73.,  80.,  79.,  66.,  68.,  70.,  84.,  74.],
        [ 75.,  78.,  71.,  97.,  66., 116.,  76.,  81.,  87.,  86.],
        [ 69.,  65.,  68.,  71.,  93.,  67.,  58.,  86.,  83., 112.],
        [ 82.,  75.,  87.,  92.,  65.,  73.,  53., 114.,  55.,  78.],
        [ 72.,  85.,  91., 101.,  74.,  85.,  77.,  83.,  82.,  77.],
        [ 55.,  75.,  73.,  69., 116.,  74.,  70.,  80.,  80.,  83.]],
       device='cuda:0')
Train accuarcate: 95.69%



iteration:
  295
    0   962   bit_w:-1  loss: 0.10949
    1   319   bit_w:-1  loss: 0.10941
    2   360   bit_w: 1  loss: 0.10944
    3   320   bit_w:-1  loss: 0.10934
    4   377   bit_w: 1  loss: 0.10936
    639   3767   2226   3383    658    914   1205    115   1107    832
      0      0      1      1      0      0      1      0      0      0
Train accuarcate: 96.75%
tensor([[ 72.,  68.,  83.,  93.,  64.,  78.,  45., 126.,  71.,  77.],
        [ 82.,  88., 119.,  94.,  57.,  83.,  88.,  61.,  87.,  61.],
        [ 63., 108.,  89.,  69.,  75.,  64.,  71.,  77.,  73.,  57.],
        [110.,  74.,  85.,  68.,  61.,  75.,  85.,  82.,  70.,  85.],
        [ 74.,  81.,  74.,  62., 121.,  70.,  84.,  79.,  82.,  85.],
        [ 59., 111.,  75.,  73.,  77.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  82.,  61.,  81., 114.,  82.,  67.,  80.,  83.,  88.],
        [ 55.,  69.,  86.,  85.,  89.,  83.,  62.,  73.,  86., 118.],
        [ 84.,  79.,  88.,  51.,  89., 100., 109.,  77.,  90.,  80.],
        [ 76.,  61.,  71.,  73.,  98.,  64.,  58.,  91.,  92., 111.],
        [128.,  77.,  93.,  82.,  74.,  89.,  87.,  76.,  85.,  85.],
        [ 76.,  87.,  99.,  69.,  95.,  72., 113.,  75.,  84.,  63.],
        [ 63.,  64.,  64.,  79.,  96.,  73.,  54.,  82.,  74., 115.],
        [116.,  61.,  87.,  81.,  67.,  77.,  73.,  77.,  94.,  78.],
        [ 52., 117.,  74.,  81.,  79.,  66.,  69.,  70.,  84.,  74.],
        [ 75.,  78.,  71.,  97.,  66., 116.,  76.,  81.,  87.,  86.],
        [ 69.,  65.,  68.,  71.,  93.,  67.,  58.,  86.,  83., 112.],
        [ 82.,  75.,  87.,  92.,  65.,  73.,  53., 114.,  55.,  78.],
        [ 72.,  85.,  92., 102.,  74.,  85.,  78.,  83.,  82.,  77.],
        [ 55.,  75.,  73.,  69., 116.,  74.,  70.,  80.,  80.,  83.]],
       device='cuda:0')
Train accuarcate: 95.73%



iteration:
  296
    0  1122   bit_w:-1  loss: 0.10926
    1  1092   bit_w: 1  loss: 0.10916
    2   547   bit_w: 1  loss: 0.10916
    3   912   bit_w:-1  loss: 0.10899
    4  1118   bit_w:-1  loss: 0.10901
   2382   1640   1585    849    793   1085   1633   4222    462   1403
      1      1      0      0      0      1      0      1      0      0
Train accuarcate: 96.76%
tensor([[ 73.,  69.,  83.,  93.,  64.,  79.,  45., 127.,  71.,  77.],
        [ 82.,  88., 119.,  94.,  57.,  83.,  88.,  61.,  87.,  61.],
        [ 63., 108.,  89.,  69.,  75.,  64.,  71.,  77.,  73.,  57.],
        [111.,  75.,  85.,  68.,  61.,  76.,  85.,  83.,  70.,  85.],
        [ 74.,  81.,  74.,  62., 121.,  70.,  84.,  79.,  82.,  85.],
        [ 59., 111.,  75.,  73.,  77.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  82.,  61.,  81., 114.,  82.,  67.,  80.,  83.,  88.],
        [ 55.,  69.,  86.,  85.,  89.,  83.,  62.,  73.,  86., 118.],
        [ 84.,  79.,  88.,  51.,  89., 100., 109.,  77.,  90.,  80.],
        [ 77.,  62.,  71.,  73.,  98.,  65.,  58.,  92.,  92., 111.],
        [128.,  77.,  93.,  82.,  74.,  89.,  87.,  76.,  85.,  85.],
        [ 76.,  87.,  99.,  69.,  95.,  72., 113.,  75.,  84.,  63.],
        [ 63.,  64.,  64.,  79.,  96.,  73.,  54.,  82.,  74., 115.],
        [116.,  61.,  87.,  81.,  67.,  77.,  73.,  77.,  94.,  78.],
        [ 53., 118.,  74.,  81.,  79.,  67.,  69.,  71.,  84.,  74.],
        [ 75.,  78.,  71.,  97.,  66., 116.,  76.,  81.,  87.,  86.],
        [ 69.,  65.,  68.,  71.,  93.,  67.,  58.,  86.,  83., 112.],
        [ 83.,  76.,  87.,  92.,  65.,  74.,  53., 115.,  55.,  78.],
        [ 72.,  85.,  92., 102.,  74.,  85.,  78.,  83.,  82.,  77.],
        [ 55.,  75.,  73.,  69., 116.,  74.,  70.,  80.,  80.,  83.]],
       device='cuda:0')
Train accuarcate: 95.77%



iteration:
  297
    0   943   bit_w:-1  loss: 0.10892
    1  1040   bit_w:-1  loss: 0.10878
    2   930   bit_w: 1  loss: 0.10886
    3   524   bit_w: 1  loss: 0.10872
    4   831   bit_w:-1  loss: 0.10874
   3619   5469   2179   5221   3030   3973   4323   2087   4348   2905
      0      0     -1     -1      1      0      0      0      0      0
Train accuarcate: 96.77%
tensor([[ 73.,  69.,  83.,  93.,  65.,  79.,  45., 127.,  71.,  77.],
        [ 82.,  88., 120.,  95.,  57.,  83.,  88.,  61.,  87.,  61.],
        [ 63., 108.,  90.,  70.,  75.,  64.,  71.,  77.,  73.,  57.],
        [111.,  75.,  85.,  68.,  62.,  76.,  85.,  83.,  70.,  85.],
        [ 74.,  81.,  75.,  63., 121.,  70.,  84.,  79.,  82.,  85.],
        [ 59., 111.,  75.,  73.,  78.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  82.,  61.,  81., 115.,  82.,  67.,  80.,  83.,  88.],
        [ 55.,  69.,  87.,  86.,  89.,  83.,  62.,  73.,  86., 118.],
        [ 84.,  79.,  89.,  52.,  89., 100., 109.,  77.,  90.,  80.],
        [ 77.,  62.,  71.,  73.,  99.,  65.,  58.,  92.,  92., 111.],
        [128.,  77.,  93.,  82.,  75.,  89.,  87.,  76.,  85.,  85.],
        [ 76.,  87.,  99.,  69.,  96.,  72., 113.,  75.,  84.,  63.],
        [ 63.,  64.,  65.,  80.,  96.,  73.,  54.,  82.,  74., 115.],
        [116.,  61.,  87.,  81.,  68.,  77.,  73.,  77.,  94.,  78.],
        [ 53., 118.,  74.,  81.,  80.,  67.,  69.,  71.,  84.,  74.],
        [ 75.,  78.,  72.,  98.,  66., 116.,  76.,  81.,  87.,  86.],
        [ 69.,  65.,  69.,  72.,  93.,  67.,  58.,  86.,  83., 112.],
        [ 83.,  76.,  87.,  92.,  66.,  74.,  53., 115.,  55.,  78.],
        [ 72.,  85.,  92., 102.,  75.,  85.,  78.,  83.,  82.,  77.],
        [ 55.,  75.,  74.,  70., 116.,  74.,  70.,  80.,  80.,  83.]],
       device='cuda:0')
Train accuarcate: 95.76%



iteration:
  298
    0  1171   bit_w:-1  loss: 0.10865
    1   550   bit_w:-1  loss: 0.10858
    2  1116   bit_w: 1  loss: 0.10853
    3  1155   bit_w:-1  loss: 0.10849
    4  1097   bit_w:-1  loss: 0.10845
   1099   1925   1086   1563   1156    721    483    273   2168    434
      0      1      0      0      0      0      0      1      1      0
Train accuarcate: 96.79%
tensor([[ 73.,  69.,  83.,  93.,  65.,  79.,  45., 127.,  71.,  77.],
        [ 82.,  89., 120.,  95.,  57.,  83.,  88.,  62.,  88.,  61.],
        [ 63., 108.,  90.,  70.,  75.,  64.,  71.,  77.,  73.,  57.],
        [111.,  75.,  85.,  68.,  62.,  76.,  85.,  83.,  70.,  85.],
        [ 74.,  81.,  75.,  63., 121.,  70.,  84.,  79.,  82.,  85.],
        [ 59., 111.,  75.,  73.,  78.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  83.,  61.,  81., 115.,  82.,  67.,  81.,  84.,  88.],
        [ 55.,  69.,  87.,  86.,  89.,  83.,  62.,  73.,  86., 118.],
        [ 84.,  79.,  89.,  52.,  89., 100., 109.,  77.,  90.,  80.],
        [ 77.,  62.,  71.,  73.,  99.,  65.,  58.,  92.,  92., 111.],
        [128.,  77.,  93.,  82.,  75.,  89.,  87.,  76.,  85.,  85.],
        [ 76.,  87.,  99.,  69.,  96.,  72., 113.,  75.,  84.,  63.],
        [ 63.,  64.,  65.,  80.,  96.,  73.,  54.,  82.,  74., 115.],
        [116.,  61.,  87.,  81.,  68.,  77.,  73.,  77.,  94.,  78.],
        [ 53., 119.,  74.,  81.,  80.,  67.,  69.,  72.,  85.,  74.],
        [ 75.,  78.,  72.,  98.,  66., 116.,  76.,  81.,  87.,  86.],
        [ 69.,  65.,  69.,  72.,  93.,  67.,  58.,  86.,  83., 112.],
        [ 83.,  76.,  87.,  92.,  66.,  74.,  53., 115.,  55.,  78.],
        [ 72.,  85.,  92., 102.,  75.,  85.,  78.,  83.,  82.,  77.],
        [ 55.,  76.,  74.,  70., 116.,  74.,  70.,  81.,  81.,  83.]],
       device='cuda:0')
Train accuarcate: 95.75%



iteration:
  299
    0  1027   bit_w:-1  loss: 0.10838
    1   905   bit_w:-1  loss: 0.10829
    2  1137   bit_w:-1  loss: 0.10827
    3   219   bit_w:-1  loss: 0.10820
    4   687   bit_w: 1  loss: 0.10822
    184    343    296   2139   1372   1417     15   1170   1780   3599
      0      0      0      1      0      1      0      0      0      1
Train accuarcate: 96.79%
tensor([[ 73.,  69.,  83.,  93.,  65.,  79.,  45., 127.,  71.,  77.],
        [ 82.,  89., 120.,  95.,  57.,  83.,  88.,  62.,  88.,  61.],
        [ 63., 108.,  90.,  70.,  75.,  64.,  71.,  77.,  73.,  57.],
        [111.,  75.,  85.,  68.,  62.,  76.,  85.,  83.,  70.,  85.],
        [ 74.,  81.,  75.,  63., 121.,  70.,  84.,  79.,  82.,  85.],
        [ 59., 111.,  75.,  73.,  78.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  83.,  61.,  81., 115.,  82.,  67.,  81.,  84.,  88.],
        [ 55.,  69.,  87.,  86.,  89.,  83.,  62.,  73.,  86., 118.],
        [ 84.,  79.,  89.,  52.,  89., 100., 109.,  77.,  90.,  80.],
        [ 77.,  62.,  71.,  74.,  99.,  66.,  58.,  92.,  92., 112.],
        [128.,  77.,  93.,  82.,  75.,  89.,  87.,  76.,  85.,  85.],
        [ 76.,  87.,  99.,  70.,  96.,  73., 113.,  75.,  84.,  64.],
        [ 63.,  64.,  65.,  80.,  96.,  73.,  54.,  82.,  74., 115.],
        [116.,  61.,  87.,  81.,  68.,  77.,  73.,  77.,  94.,  78.],
        [ 53., 119.,  74.,  81.,  80.,  67.,  69.,  72.,  85.,  74.],
        [ 75.,  78.,  72.,  98.,  66., 116.,  76.,  81.,  87.,  86.],
        [ 69.,  65.,  69.,  73.,  93.,  68.,  58.,  86.,  83., 113.],
        [ 83.,  76.,  87.,  92.,  66.,  74.,  53., 115.,  55.,  78.],
        [ 72.,  85.,  92., 102.,  75.,  85.,  78.,  83.,  82.,  77.],
        [ 55.,  76.,  74.,  70., 116.,  74.,  70.,  81.,  81.,  83.]],
       device='cuda:0')
Train accuarcate: 95.77%



iteration:
  300
    0  1111   bit_w:-1  loss: 0.10815
    1   302   bit_w:-1  loss: 0.10807
    2   273   bit_w: 1  loss: 0.10809
    3   851   bit_w: 1  loss: 0.10801
    4   866   bit_w:-1  loss: 0.10807
    843   2281   2397   3340   3498   2503    578   2343   3611   1293
      0      1      0      0      1      0      0      0      1      0
Train accuarcate: 96.78%
tensor([[ 73.,  70.,  83.,  93.,  66.,  79.,  45., 127.,  72.,  77.],
        [ 82.,  89., 120.,  95.,  57.,  83.,  88.,  62.,  88.,  61.],
        [ 63., 108.,  90.,  70.,  75.,  64.,  71.,  77.,  73.,  57.],
        [111.,  75.,  85.,  68.,  62.,  76.,  85.,  83.,  70.,  85.],
        [ 74.,  82.,  75.,  63., 122.,  70.,  84.,  79.,  83.,  85.],
        [ 59., 111.,  75.,  73.,  78.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  84.,  61.,  81., 116.,  82.,  67.,  81.,  85.,  88.],
        [ 55.,  69.,  87.,  86.,  89.,  83.,  62.,  73.,  86., 118.],
        [ 84.,  80.,  89.,  52.,  90., 100., 109.,  77.,  91.,  80.],
        [ 77.,  62.,  71.,  74.,  99.,  66.,  58.,  92.,  92., 112.],
        [128.,  77.,  93.,  82.,  75.,  89.,  87.,  76.,  85.,  85.],
        [ 76.,  87.,  99.,  70.,  96.,  73., 113.,  75.,  84.,  64.],
        [ 63.,  64.,  65.,  80.,  96.,  73.,  54.,  82.,  74., 115.],
        [116.,  61.,  87.,  81.,  68.,  77.,  73.,  77.,  94.,  78.],
        [ 53., 119.,  74.,  81.,  80.,  67.,  69.,  72.,  85.,  74.],
        [ 75.,  79.,  72.,  98.,  67., 116.,  76.,  81.,  88.,  86.],
        [ 69.,  65.,  69.,  73.,  93.,  68.,  58.,  86.,  83., 113.],
        [ 83.,  76.,  87.,  92.,  66.,  74.,  53., 115.,  55.,  78.],
        [ 72.,  85.,  92., 102.,  75.,  85.,  78.,  83.,  82.,  77.],
        [ 55.,  77.,  74.,  70., 117.,  74.,  70.,  81.,  82.,  83.]],
       device='cuda:0')
Train accuarcate: 95.75%



iteration:
  301
    0   947   bit_w:-1  loss: 0.10797
    1   322   bit_w:-1  loss: 0.10785
    2   742   bit_w: 1  loss: 0.10783
    3   609   bit_w:-1  loss: 0.10781
    4   745   bit_w: 1  loss: 0.10778
    137   1188    949    765    980    167   1205   1590   1336   1216
      0      0      0      1      0      0      1      1      1      1
Train accuarcate: 96.80%
tensor([[ 73.,  70.,  83.,  93.,  66.,  79.,  45., 127.,  72.,  77.],
        [ 82.,  89., 120.,  95.,  57.,  83.,  88.,  62.,  88.,  61.],
        [ 63., 108.,  90.,  71.,  75.,  64.,  72.,  78.,  74.,  58.],
        [111.,  75.,  85.,  68.,  62.,  76.,  85.,  83.,  70.,  85.],
        [ 74.,  82.,  75.,  63., 122.,  70.,  84.,  79.,  83.,  85.],
        [ 59., 111.,  75.,  73.,  78.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  84.,  61.,  81., 116.,  82.,  67.,  81.,  85.,  88.],
        [ 55.,  69.,  87.,  86.,  89.,  83.,  62.,  73.,  86., 118.],
        [ 84.,  80.,  89.,  52.,  90., 100., 109.,  77.,  91.,  80.],
        [ 77.,  62.,  71.,  74.,  99.,  66.,  58.,  92.,  92., 112.],
        [128.,  77.,  93.,  82.,  75.,  89.,  87.,  76.,  85.,  85.],
        [ 76.,  87.,  99.,  71.,  96.,  73., 114.,  76.,  85.,  65.],
        [ 63.,  64.,  65.,  81.,  96.,  73.,  55.,  83.,  75., 116.],
        [116.,  61.,  87.,  81.,  68.,  77.,  73.,  77.,  94.,  78.],
        [ 53., 119.,  74.,  81.,  80.,  67.,  69.,  72.,  85.,  74.],
        [ 75.,  79.,  72.,  98.,  67., 116.,  76.,  81.,  88.,  86.],
        [ 69.,  65.,  69.,  73.,  93.,  68.,  58.,  86.,  83., 113.],
        [ 83.,  76.,  87.,  92.,  66.,  74.,  53., 115.,  55.,  78.],
        [ 72.,  85.,  92., 102.,  75.,  85.,  78.,  83.,  82.,  77.],
        [ 55.,  77.,  74.,  70., 117.,  74.,  70.,  81.,  82.,  83.]],
       device='cuda:0')
Train accuarcate: 95.81%



iteration:
  302
    0  1181   bit_w:-1  loss: 0.10771
    1  1177   bit_w:-1  loss: 0.10761
    2  1056   bit_w:-1  loss: 0.10764
    3  1111   bit_w:-1  loss: 0.10757
    4   583   bit_w:-1  loss: 0.10758
   5492   6686   4146   5849   5054   4916   4860   5952   5514   5460
      0      0     -1      0      0     -1      0      0      0      0
Train accuarcate: 96.82%
tensor([[ 73.,  70.,  83.,  93.,  66.,  79.,  45., 127.,  72.,  77.],
        [ 82.,  89., 121.,  95.,  57.,  84.,  88.,  62.,  88.,  61.],
        [ 63., 108.,  90.,  71.,  75.,  64.,  72.,  78.,  74.,  58.],
        [111.,  75.,  85.,  68.,  62.,  76.,  85.,  83.,  70.,  85.],
        [ 74.,  82.,  75.,  63., 122.,  70.,  84.,  79.,  83.,  85.],
        [ 59., 111.,  75.,  73.,  78.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  84.,  61.,  81., 116.,  82.,  67.,  81.,  85.,  88.],
        [ 55.,  69.,  87.,  86.,  89.,  83.,  62.,  73.,  86., 118.],
        [ 84.,  80.,  89.,  52.,  90., 100., 109.,  77.,  91.,  80.],
        [ 77.,  62.,  71.,  74.,  99.,  66.,  58.,  92.,  92., 112.],
        [128.,  77.,  93.,  82.,  75.,  89.,  87.,  76.,  85.,  85.],
        [ 76.,  87., 100.,  71.,  96.,  74., 114.,  76.,  85.,  65.],
        [ 63.,  64.,  65.,  81.,  96.,  73.,  55.,  83.,  75., 116.],
        [116.,  61.,  88.,  81.,  68.,  78.,  73.,  77.,  94.,  78.],
        [ 53., 119.,  74.,  81.,  80.,  67.,  69.,  72.,  85.,  74.],
        [ 75.,  79.,  72.,  98.,  67., 116.,  76.,  81.,  88.,  86.],
        [ 69.,  65.,  69.,  73.,  93.,  68.,  58.,  86.,  83., 113.],
        [ 83.,  76.,  87.,  92.,  66.,  74.,  53., 115.,  55.,  78.],
        [ 72.,  85.,  93., 102.,  75.,  86.,  78.,  83.,  82.,  77.],
        [ 55.,  77.,  74.,  70., 117.,  74.,  70.,  81.,  82.,  83.]],
       device='cuda:0')
Train accuarcate: 95.81%



iteration:
  303
    0  1139   bit_w:-1  loss: 0.10751
    1  1157   bit_w: 1  loss: 0.10743
    2  1142   bit_w:-1  loss: 0.10744
    3   975   bit_w:-1  loss: 0.10737
    4   681   bit_w:-1  loss: 0.10740
   3123   6463   5253   5358   3796   4723   4763   5019   5181   4994
     -1      0      0      0      0      0     -1     -1      0      0
Train accuarcate: 96.82%
tensor([[ 73.,  70.,  83.,  93.,  66.,  79.,  45., 127.,  72.,  77.],
        [ 82.,  89., 121.,  95.,  57.,  84.,  88.,  62.,  88.,  61.],
        [ 63., 108.,  90.,  71.,  75.,  64.,  72.,  78.,  74.,  58.],
        [111.,  75.,  85.,  68.,  62.,  76.,  85.,  83.,  70.,  85.],
        [ 74.,  82.,  75.,  63., 122.,  70.,  84.,  79.,  83.,  85.],
        [ 59., 111.,  75.,  73.,  78.,  61.,  65.,  85.,  72.,  66.],
        [ 43.,  84.,  61.,  81., 116.,  82.,  67.,  81.,  85.,  88.],
        [ 55.,  69.,  87.,  86.,  89.,  83.,  62.,  73.,  86., 118.],
        [ 85.,  80.,  89.,  52.,  90., 100., 110.,  78.,  91.,  80.],
        [ 78.,  62.,  71.,  74.,  99.,  66.,  59.,  93.,  92., 112.],
        [128.,  77.,  93.,  82.,  75.,  89.,  87.,  76.,  85.,  85.],
        [ 77.,  87., 100.,  71.,  96.,  74., 115.,  77.,  85.,  65.],
        [ 63.,  64.,  65.,  81.,  96.,  73.,  55.,  83.,  75., 116.],
        [116.,  61.,  88.,  81.,  68.,  78.,  73.,  77.,  94.,  78.],
        [ 53., 119.,  74.,  81.,  80.,  67.,  69.,  72.,  85.,  74.],
        [ 76.,  79.,  72.,  98.,  67., 116.,  77.,  82.,  88.,  86.],
        [ 69.,  65.,  69.,  73.,  93.,  68.,  58.,  86.,  83., 113.],
        [ 83.,  76.,  87.,  92.,  66.,  74.,  53., 115.,  55.,  78.],
        [ 72.,  85.,  93., 102.,  75.,  86.,  78.,  83.,  82.,  77.],
        [ 56.,  77.,  74.,  70., 117.,  74.,  71.,  82.,  82.,  83.]],
       device='cuda:0')
Train accuarcate: 95.82%



iteration:
  304
    0  1172   bit_w:-1  loss: 0.10733
    1   600   bit_w:-1  loss: 0.10722
    2  1112   bit_w:-1  loss: 0.10725
    3  1076   bit_w: 1  loss: 0.10713
    4   788   bit_w: 1  loss: 0.10720
   3029   3436   1681   2929    446   2062    428   1988   1846   1089
      0      0      1      0      0     -1      0      0      0      1
Train accuarcate: 96.85%
tensor([[ 73.,  70.,  83.,  93.,  66.,  80.,  45., 127.,  72.,  77.],
        [ 82.,  89., 121.,  95.,  57.,  85.,  88.,  62.,  88.,  61.],
        [ 63., 108.,  90.,  71.,  75.,  65.,  72.,  78.,  74.,  58.],
        [111.,  75.,  85.,  68.,  62.,  77.,  85.,  83.,  70.,  85.],
        [ 74.,  82.,  75.,  63., 122.,  71.,  84.,  79.,  83.,  85.],
        [ 59., 111.,  75.,  73.,  78.,  62.,  65.,  85.,  72.,  66.],
        [ 43.,  84.,  61.,  81., 116.,  83.,  67.,  81.,  85.,  88.],
        [ 55.,  69.,  88.,  86.,  89.,  83.,  62.,  73.,  86., 119.],
        [ 85.,  80.,  89.,  52.,  90., 101., 110.,  78.,  91.,  80.],
        [ 78.,  62.,  71.,  74.,  99.,  67.,  59.,  93.,  92., 112.],
        [128.,  77.,  94.,  82.,  75.,  89.,  87.,  76.,  85.,  86.],
        [ 77.,  87., 100.,  71.,  96.,  75., 115.,  77.,  85.,  65.],
        [ 63.,  64.,  65.,  81.,  96.,  74.,  55.,  83.,  75., 116.],
        [116.,  61.,  89.,  81.,  68.,  78.,  73.,  77.,  94.,  79.],
        [ 53., 119.,  74.,  81.,  80.,  68.,  69.,  72.,  85.,  74.],
        [ 76.,  79.,  73.,  98.,  67., 116.,  77.,  82.,  88.,  87.],
        [ 69.,  65.,  69.,  73.,  93.,  69.,  58.,  86.,  83., 113.],
        [ 83.,  76.,  88.,  92.,  66.,  74.,  53., 115.,  55.,  79.],
        [ 72.,  85.,  94., 102.,  75.,  86.,  78.,  83.,  82.,  78.],
        [ 56.,  77.,  74.,  70., 117.,  75.,  71.,  82.,  82.,  83.]],
       device='cuda:0')
Train accuarcate: 95.78%



iteration:
  305
    0  1140   bit_w:-1  loss: 0.10711
    1  1137   bit_w:-1  loss: 0.10705
    2  1051   bit_w: 1  loss: 0.10703
    3  1057   bit_w:-1  loss: 0.10690
    4  1034   bit_w: 1  loss: 0.10693
   3031   3287   4043   3902   4569   3632   2156   3338   3822   4607
      1      0      0     -1      0      0     -1     -1      0      0
Train accuarcate: 96.86%
tensor([[ 73.,  70.,  83.,  94.,  66.,  80.,  46., 128.,  72.,  77.],
        [ 83.,  89., 121.,  95.,  57.,  85.,  88.,  62.,  88.,  61.],
        [ 64., 108.,  90.,  71.,  75.,  65.,  72.,  78.,  74.,  58.],
        [111.,  75.,  85.,  69.,  62.,  77.,  86.,  84.,  70.,  85.],
        [ 75.,  82.,  75.,  63., 122.,  71.,  84.,  79.,  83.,  85.],
        [ 59., 111.,  75.,  74.,  78.,  62.,  66.,  86.,  72.,  66.],
        [ 44.,  84.,  61.,  81., 116.,  83.,  67.,  81.,  85.,  88.],
        [ 56.,  69.,  88.,  86.,  89.,  83.,  62.,  73.,  86., 119.],
        [ 85.,  80.,  89.,  53.,  90., 101., 111.,  79.,  91.,  80.],
        [ 79.,  62.,  71.,  74.,  99.,  67.,  59.,  93.,  92., 112.],
        [129.,  77.,  94.,  82.,  75.,  89.,  87.,  76.,  85.,  86.],
        [ 78.,  87., 100.,  71.,  96.,  75., 115.,  77.,  85.,  65.],
        [ 64.,  64.,  65.,  81.,  96.,  74.,  55.,  83.,  75., 116.],
        [116.,  61.,  89.,  82.,  68.,  78.,  74.,  78.,  94.,  79.],
        [ 54., 119.,  74.,  81.,  80.,  68.,  69.,  72.,  85.,  74.],
        [ 77.,  79.,  73.,  98.,  67., 116.,  77.,  82.,  88.,  87.],
        [ 70.,  65.,  69.,  73.,  93.,  69.,  58.,  86.,  83., 113.],
        [ 83.,  76.,  88.,  93.,  66.,  74.,  54., 116.,  55.,  79.],
        [ 72.,  85.,  94., 103.,  75.,  86.,  79.,  84.,  82.,  78.],
        [ 57.,  77.,  74.,  70., 117.,  75.,  71.,  82.,  82.,  83.]],
       device='cuda:0')
Train accuarcate: 95.81%



iteration:
  306
    0  1134   bit_w:-1  loss: 0.10683
    1   838   bit_w:-1  loss: 0.10677
    2   592   bit_w: 1  loss: 0.10675
    3  1037   bit_w: 1  loss: 0.10671
    4   149   bit_w: 1  loss: 0.10670
    343   1938    924   1809    706    366    101    108    314    195
      1      1      0      0      1      0      0      0      1      0
Train accuarcate: 96.86%
tensor([[ 73.,  70.,  83.,  94.,  66.,  80.,  46., 128.,  72.,  77.],
        [ 83.,  89., 121.,  95.,  57.,  85.,  88.,  62.,  88.,  61.],
        [ 65., 109.,  90.,  71.,  76.,  65.,  72.,  78.,  75.,  58.],
        [111.,  75.,  85.,  69.,  62.,  77.,  86.,  84.,  70.,  85.],
        [ 75.,  82.,  75.,  63., 122.,  71.,  84.,  79.,  83.,  85.],
        [ 60., 112.,  75.,  74.,  79.,  62.,  66.,  86.,  73.,  66.],
        [ 44.,  84.,  61.,  81., 116.,  83.,  67.,  81.,  85.,  88.],
        [ 56.,  69.,  88.,  86.,  89.,  83.,  62.,  73.,  86., 119.],
        [ 85.,  80.,  89.,  53.,  90., 101., 111.,  79.,  91.,  80.],
        [ 79.,  62.,  71.,  74.,  99.,  67.,  59.,  93.,  92., 112.],
        [129.,  77.,  94.,  82.,  75.,  89.,  87.,  76.,  85.,  86.],
        [ 78.,  87., 100.,  71.,  96.,  75., 115.,  77.,  85.,  65.],
        [ 64.,  64.,  65.,  81.,  96.,  74.,  55.,  83.,  75., 116.],
        [116.,  61.,  89.,  82.,  68.,  78.,  74.,  78.,  94.,  79.],
        [ 54., 119.,  74.,  81.,  80.,  68.,  69.,  72.,  85.,  74.],
        [ 78.,  80.,  73.,  98.,  68., 116.,  77.,  82.,  89.,  87.],
        [ 70.,  65.,  69.,  73.,  93.,  69.,  58.,  86.,  83., 113.],
        [ 83.,  76.,  88.,  93.,  66.,  74.,  54., 116.,  55.,  79.],
        [ 72.,  85.,  94., 103.,  75.,  86.,  79.,  84.,  82.,  78.],
        [ 57.,  77.,  74.,  70., 117.,  75.,  71.,  82.,  82.,  83.]],
       device='cuda:0')
Train accuarcate: 95.79%



iteration:
  307
    0   319   bit_w:-1  loss: 0.10661
    1   789   bit_w:-1  loss: 0.10641
    2  1057   bit_w:-1  loss: 0.10636
    3   370   bit_w:-1  loss: 0.10632
    4   100   bit_w: 1  loss: 0.10624
   2372    259   1534   1492   2283   1946   2504    868   1934   3253
      0      0     -1      0     -1      0      0      0      1      1
Train accuarcate: 96.88%
tensor([[ 73.,  70.,  84.,  94.,  67.,  80.,  46., 128.,  72.,  77.],
        [ 83.,  89., 122.,  95.,  58.,  85.,  88.,  62.,  88.,  61.],
        [ 65., 109.,  91.,  71.,  77.,  65.,  72.,  78.,  75.,  58.],
        [111.,  75.,  86.,  69.,  63.,  77.,  86.,  84.,  70.,  85.],
        [ 75.,  82.,  75.,  63., 122.,  71.,  84.,  79.,  84.,  86.],
        [ 60., 112.,  76.,  74.,  80.,  62.,  66.,  86.,  73.,  66.],
        [ 44.,  84.,  61.,  81., 116.,  83.,  67.,  81.,  86.,  89.],
        [ 56.,  69.,  88.,  86.,  89.,  83.,  62.,  73.,  87., 120.],
        [ 85.,  80.,  90.,  53.,  91., 101., 111.,  79.,  91.,  80.],
        [ 79.,  62.,  71.,  74.,  99.,  67.,  59.,  93.,  93., 113.],
        [129.,  77.,  94.,  82.,  75.,  89.,  87.,  76.,  86.,  87.],
        [ 78.,  87., 100.,  71.,  96.,  75., 115.,  77.,  86.,  66.],
        [ 64.,  64.,  65.,  81.,  96.,  74.,  55.,  83.,  76., 117.],
        [116.,  61.,  90.,  82.,  69.,  78.,  74.,  78.,  94.,  79.],
        [ 54., 119.,  75.,  81.,  81.,  68.,  69.,  72.,  85.,  74.],
        [ 78.,  80.,  74.,  98.,  69., 116.,  77.,  82.,  89.,  87.],
        [ 70.,  65.,  69.,  73.,  93.,  69.,  58.,  86.,  84., 114.],
        [ 83.,  76.,  89.,  93.,  67.,  74.,  54., 116.,  55.,  79.],
        [ 72.,  85.,  95., 103.,  76.,  86.,  79.,  84.,  82.,  78.],
        [ 57.,  77.,  74.,  70., 117.,  75.,  71.,  82.,  83.,  84.]],
       device='cuda:0')
Train accuarcate: 95.87%



iteration:
  308
    0  1100   bit_w:-1  loss: 0.10614
    1   466   bit_w: 1  loss: 0.10601
    2   941   bit_w: 1  loss: 0.10604
    3   826   bit_w:-1  loss: 0.10597
    4   967   bit_w:-1  loss: 0.10596
   1039   2354   3577   2023   4652   1569   4659   2098   2559   3772
      0     -1      0      1      0      0      0      1      0      0
Train accuarcate: 96.89%
tensor([[ 73.,  71.,  84.,  94.,  67.,  80.,  46., 128.,  72.,  77.],
        [ 83.,  90., 122.,  95.,  58.,  85.,  88.,  62.,  88.,  61.],
        [ 65., 109.,  91.,  72.,  77.,  65.,  72.,  79.,  75.,  58.],
        [111.,  76.,  86.,  69.,  63.,  77.,  86.,  84.,  70.,  85.],
        [ 75.,  82.,  75.,  64., 122.,  71.,  84.,  80.,  84.,  86.],
        [ 60., 112.,  76.,  75.,  80.,  62.,  66.,  87.,  73.,  66.],
        [ 44.,  84.,  61.,  82., 116.,  83.,  67.,  82.,  86.,  89.],
        [ 56.,  69.,  88.,  87.,  89.,  83.,  62.,  74.,  87., 120.],
        [ 85.,  80.,  90.,  54.,  91., 101., 111.,  80.,  91.,  80.],
        [ 79.,  63.,  71.,  74.,  99.,  67.,  59.,  93.,  93., 113.],
        [129.,  78.,  94.,  82.,  75.,  89.,  87.,  76.,  86.,  87.],
        [ 78.,  88., 100.,  71.,  96.,  75., 115.,  77.,  86.,  66.],
        [ 64.,  64.,  65.,  82.,  96.,  74.,  55.,  84.,  76., 117.],
        [116.,  62.,  90.,  82.,  69.,  78.,  74.,  78.,  94.,  79.],
        [ 54., 120.,  75.,  81.,  81.,  68.,  69.,  72.,  85.,  74.],
        [ 78.,  81.,  74.,  98.,  69., 116.,  77.,  82.,  89.,  87.],
        [ 70.,  65.,  69.,  74.,  93.,  69.,  58.,  87.,  84., 114.],
        [ 83.,  76.,  89.,  94.,  67.,  74.,  54., 117.,  55.,  79.],
        [ 72.,  85.,  95., 104.,  76.,  86.,  79.,  85.,  82.,  78.],
        [ 57.,  77.,  74.,  71., 117.,  75.,  71.,  83.,  83.,  84.]],
       device='cuda:0')
Train accuarcate: 95.90%



iteration:
  309
    0  1165   bit_w:-1  loss: 0.10587
    1  1179   bit_w: 1  loss: 0.10581
    2  1101   bit_w:-1  loss: 0.10581
    3  1135   bit_w: 1  loss: 0.10570
    4  1121   bit_w:-1  loss: 0.10568
   4113    728   2777   3136   1937   2710   2160   1971   2026   2613
      1      0      0      0      0      1     -1      0      0      1
Train accuarcate: 96.91%
tensor([[ 74.,  71.,  84.,  94.,  67.,  81.,  46., 128.,  72.,  78.],
        [ 84.,  90., 122.,  95.,  58.,  86.,  88.,  62.,  88.,  62.],
        [ 65., 109.,  91.,  72.,  77.,  65.,  73.,  79.,  75.,  58.],
        [112.,  76.,  86.,  69.,  63.,  78.,  86.,  84.,  70.,  86.],
        [ 76.,  82.,  75.,  64., 122.,  72.,  84.,  80.,  84.,  87.],
        [ 60., 112.,  76.,  75.,  80.,  62.,  67.,  87.,  73.,  66.],
        [ 45.,  84.,  61.,  82., 116.,  84.,  67.,  82.,  86.,  90.],
        [ 56.,  69.,  88.,  87.,  89.,  83.,  63.,  74.,  87., 120.],
        [ 86.,  80.,  90.,  54.,  91., 102., 111.,  80.,  91.,  81.],
        [ 80.,  63.,  71.,  74.,  99.,  68.,  59.,  93.,  93., 114.],
        [130.,  78.,  94.,  82.,  75.,  90.,  87.,  76.,  86.,  88.],
        [ 79.,  88., 100.,  71.,  96.,  76., 115.,  77.,  86.,  67.],
        [ 65.,  64.,  65.,  82.,  96.,  75.,  55.,  84.,  76., 118.],
        [116.,  62.,  90.,  82.,  69.,  78.,  75.,  78.,  94.,  79.],
        [ 54., 120.,  75.,  81.,  81.,  68.,  70.,  72.,  85.,  74.],
        [ 79.,  81.,  74.,  98.,  69., 117.,  77.,  82.,  89.,  88.],
        [ 71.,  65.,  69.,  74.,  93.,  70.,  58.,  87.,  84., 115.],
        [ 83.,  76.,  89.,  94.,  67.,  74.,  55., 117.,  55.,  79.],
        [ 73.,  85.,  95., 104.,  76.,  87.,  79.,  85.,  82.,  79.],
        [ 57.,  77.,  74.,  71., 117.,  75.,  72.,  83.,  83.,  84.]],
       device='cuda:0')
Train accuarcate: 95.93%



iteration:
  310
    0  1092   bit_w:-1  loss: 0.10558
    1   862   bit_w:-1  loss: 0.10548
    2   483   bit_w: 1  loss: 0.10543
    3  1110   bit_w: 1  loss: 0.10538
    4  1131   bit_w:-1  loss: 0.10538
   1333    938   2495   2657   3596   1009   1672    666   2741   1710
      0      0      0      1      1      0      0      0      1      0
Train accuarcate: 96.93%
tensor([[ 74.,  71.,  84.,  94.,  67.,  81.,  46., 128.,  72.,  78.],
        [ 84.,  90., 122.,  95.,  58.,  86.,  88.,  62.,  88.,  62.],
        [ 65., 109.,  91.,  72.,  77.,  65.,  73.,  79.,  75.,  58.],
        [112.,  76.,  86.,  69.,  63.,  78.,  86.,  84.,  70.,  86.],
        [ 76.,  82.,  75.,  65., 123.,  72.,  84.,  80.,  85.,  87.],
        [ 60., 112.,  76.,  75.,  80.,  62.,  67.,  87.,  73.,  66.],
        [ 45.,  84.,  61.,  83., 117.,  84.,  67.,  82.,  87.,  90.],
        [ 56.,  69.,  88.,  88.,  90.,  83.,  63.,  74.,  88., 120.],
        [ 86.,  80.,  90.,  55.,  92., 102., 111.,  80.,  92.,  81.],
        [ 80.,  63.,  71.,  74.,  99.,  68.,  59.,  93.,  93., 114.],
        [130.,  78.,  94.,  83.,  76.,  90.,  87.,  76.,  87.,  88.],
        [ 79.,  88., 100.,  72.,  97.,  76., 115.,  77.,  87.,  67.],
        [ 65.,  64.,  65.,  82.,  96.,  75.,  55.,  84.,  76., 118.],
        [116.,  62.,  90.,  82.,  69.,  78.,  75.,  78.,  94.,  79.],
        [ 54., 120.,  75.,  81.,  81.,  68.,  70.,  72.,  85.,  74.],
        [ 79.,  81.,  74.,  99.,  70., 117.,  77.,  82.,  90.,  88.],
        [ 71.,  65.,  69.,  75.,  94.,  70.,  58.,  87.,  85., 115.],
        [ 83.,  76.,  89.,  94.,  67.,  74.,  55., 117.,  55.,  79.],
        [ 73.,  85.,  95., 105.,  77.,  87.,  79.,  85.,  83.,  79.],
        [ 57.,  77.,  74.,  71., 117.,  75.,  72.,  83.,  83.,  84.]],
       device='cuda:0')
Train accuarcate: 95.90%



iteration:
  311
    0   126   bit_w:-1  loss: 0.10531
    1  1070   bit_w:-1  loss: 0.10523
    2   622   bit_w: 1  loss: 0.10523
    3  1176   bit_w: 1  loss: 0.10515
    4  1086   bit_w: 1  loss: 0.10520
   2901    189    804   2382    184   1768    411    231   1053    121
      1      0      0      1      0      1      0      1      0      0
Train accuarcate: 96.93%
tensor([[ 74.,  71.,  84.,  94.,  67.,  81.,  46., 128.,  72.,  78.],
        [ 84.,  90., 122.,  95.,  58.,  86.,  88.,  62.,  88.,  62.],
        [ 65., 109.,  91.,  72.,  77.,  65.,  73.,  79.,  75.,  58.],
        [112.,  76.,  86.,  69.,  63.,  78.,  86.,  84.,  70.,  86.],
        [ 76.,  82.,  75.,  65., 123.,  72.,  84.,  80.,  85.,  87.],
        [ 60., 112.,  76.,  75.,  80.,  62.,  67.,  87.,  73.,  66.],
        [ 45.,  84.,  61.,  83., 117.,  84.,  67.,  82.,  87.,  90.],
        [ 56.,  69.,  88.,  88.,  90.,  83.,  63.,  74.,  88., 120.],
        [ 86.,  80.,  90.,  55.,  92., 102., 111.,  80.,  92.,  81.],
        [ 80.,  63.,  71.,  74.,  99.,  68.,  59.,  93.,  93., 114.],
        [131.,  78.,  94.,  84.,  76.,  91.,  87.,  77.,  87.,  88.],
        [ 79.,  88., 100.,  72.,  97.,  76., 115.,  77.,  87.,  67.],
        [ 65.,  64.,  65.,  82.,  96.,  75.,  55.,  84.,  76., 118.],
        [117.,  62.,  90.,  83.,  69.,  79.,  75.,  79.,  94.,  79.],
        [ 54., 120.,  75.,  81.,  81.,  68.,  70.,  72.,  85.,  74.],
        [ 79.,  81.,  74.,  99.,  70., 117.,  77.,  82.,  90.,  88.],
        [ 71.,  65.,  69.,  75.,  94.,  70.,  58.,  87.,  85., 115.],
        [ 83.,  76.,  89.,  94.,  67.,  74.,  55., 117.,  55.,  79.],
        [ 74.,  85.,  95., 106.,  77.,  88.,  79.,  86.,  83.,  79.],
        [ 57.,  77.,  74.,  71., 117.,  75.,  72.,  83.,  83.,  84.]],
       device='cuda:0')
Train accuarcate: 95.88%



iteration:
  312
    0  1077   bit_w:-1  loss: 0.10510
    1   579   bit_w: 1  loss: 0.10504
    2  1177   bit_w:-1  loss: 0.10500
    3   470   bit_w:-1  loss: 0.10498
    4  1082   bit_w:-1  loss: 0.10495
   2015     33   2371   1081    405    453    441    128    792    379
      0      1      1      0      1      0      0      0      0      1
Train accuarcate: 96.94%
tensor([[ 74.,  71.,  84.,  94.,  67.,  81.,  46., 128.,  72.,  78.],
        [ 84.,  90., 122.,  95.,  58.,  86.,  88.,  62.,  88.,  62.],
        [ 65., 109.,  91.,  72.,  77.,  65.,  73.,  79.,  75.,  58.],
        [112.,  76.,  86.,  69.,  63.,  78.,  86.,  84.,  70.,  86.],
        [ 76.,  82.,  75.,  65., 123.,  72.,  84.,  80.,  85.,  87.],
        [ 60., 112.,  76.,  75.,  80.,  62.,  67.,  87.,  73.,  66.],
        [ 45.,  84.,  61.,  83., 117.,  84.,  67.,  82.,  87.,  90.],
        [ 56.,  70.,  89.,  88.,  91.,  83.,  63.,  74.,  88., 121.],
        [ 86.,  80.,  90.,  55.,  92., 102., 111.,  80.,  92.,  81.],
        [ 80.,  63.,  71.,  74.,  99.,  68.,  59.,  93.,  93., 114.],
        [131.,  78.,  94.,  84.,  76.,  91.,  87.,  77.,  87.,  88.],
        [ 79.,  88., 100.,  72.,  97.,  76., 115.,  77.,  87.,  67.],
        [ 65.,  64.,  65.,  82.,  96.,  75.,  55.,  84.,  76., 118.],
        [117.,  62.,  90.,  83.,  69.,  79.,  75.,  79.,  94.,  79.],
        [ 54., 120.,  75.,  81.,  81.,  68.,  70.,  72.,  85.,  74.],
        [ 79.,  81.,  74.,  99.,  70., 117.,  77.,  82.,  90.,  88.],
        [ 71.,  65.,  69.,  75.,  94.,  70.,  58.,  87.,  85., 115.],
        [ 83.,  76.,  89.,  94.,  67.,  74.,  55., 117.,  55.,  79.],
        [ 74.,  85.,  95., 106.,  77.,  88.,  79.,  86.,  83.,  79.],
        [ 57.,  77.,  74.,  71., 117.,  75.,  72.,  83.,  83.,  84.]],
       device='cuda:0')
Train accuarcate: 95.85%



iteration:
  313
    0   286   bit_w:-1  loss: 0.10487
    1  1089   bit_w:-1  loss: 0.10481
    2   841   bit_w:-1  loss: 0.10483
    3  1165   bit_w:-1  loss: 0.10472
    4   464   bit_w: 1  loss: 0.10475
    890    690   2626    997   4452   2001   3779   2061   2382   4474
      0      0      1      0      0      0      0     -1     -1      0
Train accuarcate: 96.93%
tensor([[ 74.,  71.,  84.,  94.,  67.,  81.,  46., 129.,  73.,  78.],
        [ 84.,  90., 122.,  95.,  58.,  86.,  88.,  63.,  89.,  62.],
        [ 65., 109.,  91.,  72.,  77.,  65.,  73.,  80.,  76.,  58.],
        [112.,  76.,  86.,  69.,  63.,  78.,  86.,  85.,  71.,  86.],
        [ 76.,  82.,  76.,  65., 123.,  72.,  84.,  80.,  85.,  87.],
        [ 60., 112.,  76.,  75.,  80.,  62.,  67.,  88.,  74.,  66.],
        [ 45.,  84.,  61.,  83., 117.,  84.,  67.,  83.,  88.,  90.],
        [ 56.,  70.,  90.,  88.,  91.,  83.,  63.,  74.,  88., 121.],
        [ 86.,  80.,  91.,  55.,  92., 102., 111.,  80.,  92.,  81.],
        [ 80.,  63.,  72.,  74.,  99.,  68.,  59.,  93.,  93., 114.],
        [131.,  78.,  94.,  84.,  76.,  91.,  87.,  78.,  88.,  88.],
        [ 79.,  88., 101.,  72.,  97.,  76., 115.,  77.,  87.,  67.],
        [ 65.,  64.,  66.,  82.,  96.,  75.,  55.,  84.,  76., 118.],
        [117.,  62.,  90.,  83.,  69.,  79.,  75.,  80.,  95.,  79.],
        [ 54., 120.,  75.,  81.,  81.,  68.,  70.,  73.,  86.,  74.],
        [ 79.,  81.,  74.,  99.,  70., 117.,  77.,  83.,  91.,  88.],
        [ 71.,  65.,  70.,  75.,  94.,  70.,  58.,  87.,  85., 115.],
        [ 83.,  76.,  89.,  94.,  67.,  74.,  55., 118.,  56.,  79.],
        [ 74.,  85.,  95., 106.,  77.,  88.,  79.,  87.,  84.,  79.],
        [ 57.,  77.,  75.,  71., 117.,  75.,  72.,  83.,  83.,  84.]],
       device='cuda:0')
Train accuarcate: 95.84%



iteration:
  314
    0   934   bit_w:-1  loss: 0.10465
    1   437   bit_w: 1  loss: 0.10443
    2   248   bit_w: 1  loss: 0.10455
    3  1105   bit_w: 1  loss: 0.10438
    4  1175   bit_w:-1  loss: 0.10449
    837     76    820   2623   1735   1340   1198   2947    870   2043
      1     -1      0      0      1      0      1      0      0      1
Train accuarcate: 96.95%
tensor([[ 75.,  71.,  84.,  94.,  68.,  81.,  47., 129.,  73.,  79.],
        [ 84.,  91., 122.,  95.,  58.,  86.,  88.,  63.,  89.,  62.],
        [ 65., 110.,  91.,  72.,  77.,  65.,  73.,  80.,  76.,  58.],
        [112.,  77.,  86.,  69.,  63.,  78.,  86.,  85.,  71.,  86.],
        [ 76.,  83.,  76.,  65., 123.,  72.,  84.,  80.,  85.,  87.],
        [ 60., 113.,  76.,  75.,  80.,  62.,  67.,  88.,  74.,  66.],
        [ 45.,  85.,  61.,  83., 117.,  84.,  67.,  83.,  88.,  90.],
        [ 57.,  70.,  90.,  88.,  92.,  83.,  64.,  74.,  88., 122.],
        [ 86.,  81.,  91.,  55.,  92., 102., 111.,  80.,  92.,  81.],
        [ 81.,  63.,  72.,  74., 100.,  68.,  60.,  93.,  93., 115.],
        [131.,  79.,  94.,  84.,  76.,  91.,  87.,  78.,  88.,  88.],
        [ 79.,  89., 101.,  72.,  97.,  76., 115.,  77.,  87.,  67.],
        [ 65.,  65.,  66.,  82.,  96.,  75.,  55.,  84.,  76., 118.],
        [117.,  63.,  90.,  83.,  69.,  79.,  75.,  80.,  95.,  79.],
        [ 54., 121.,  75.,  81.,  81.,  68.,  70.,  73.,  86.,  74.],
        [ 79.,  82.,  74.,  99.,  70., 117.,  77.,  83.,  91.,  88.],
        [ 71.,  66.,  70.,  75.,  94.,  70.,  58.,  87.,  85., 115.],
        [ 83.,  77.,  89.,  94.,  67.,  74.,  55., 118.,  56.,  79.],
        [ 74.,  86.,  95., 106.,  77.,  88.,  79.,  87.,  84.,  79.],
        [ 58.,  77.,  75.,  71., 118.,  75.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.88%



iteration:
  315
    0  1152   bit_w:-1  loss: 0.10440
    1  1029   bit_w:-1  loss: 0.10434
    2   977   bit_w:-1  loss: 0.10433
    3   542   bit_w:-1  loss: 0.10421
    4  1115   bit_w:-1  loss: 0.10426
   3168   3839   1524   3897   1496   3546    846   2798   1614   2149
      0      0      0      1      0      1      0      0      0      0
Train accuarcate: 96.95%
tensor([[ 75.,  71.,  84.,  94.,  68.,  81.,  47., 129.,  73.,  79.],
        [ 84.,  91., 122.,  95.,  58.,  86.,  88.,  63.,  89.,  62.],
        [ 65., 110.,  91.,  72.,  77.,  65.,  73.,  80.,  76.,  58.],
        [112.,  77.,  86.,  70.,  63.,  79.,  86.,  85.,  71.,  86.],
        [ 76.,  83.,  76.,  66., 123.,  73.,  84.,  80.,  85.,  87.],
        [ 60., 113.,  76.,  76.,  80.,  63.,  67.,  88.,  74.,  66.],
        [ 45.,  85.,  61.,  83., 117.,  84.,  67.,  83.,  88.,  90.],
        [ 57.,  70.,  90.,  88.,  92.,  83.,  64.,  74.,  88., 122.],
        [ 86.,  81.,  91.,  56.,  92., 103., 111.,  80.,  92.,  81.],
        [ 81.,  63.,  72.,  74., 100.,  68.,  60.,  93.,  93., 115.],
        [131.,  79.,  94.,  85.,  76.,  92.,  87.,  78.,  88.,  88.],
        [ 79.,  89., 101.,  72.,  97.,  76., 115.,  77.,  87.,  67.],
        [ 65.,  65.,  66.,  83.,  96.,  76.,  55.,  84.,  76., 118.],
        [117.,  63.,  90.,  83.,  69.,  79.,  75.,  80.,  95.,  79.],
        [ 54., 121.,  75.,  82.,  81.,  69.,  70.,  73.,  86.,  74.],
        [ 79.,  82.,  74., 100.,  70., 118.,  77.,  83.,  91.,  88.],
        [ 71.,  66.,  70.,  75.,  94.,  70.,  58.,  87.,  85., 115.],
        [ 83.,  77.,  89.,  94.,  67.,  74.,  55., 118.,  56.,  79.],
        [ 74.,  86.,  95., 106.,  77.,  88.,  79.,  87.,  84.,  79.],
        [ 58.,  77.,  75.,  72., 118.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.87%



iteration:
  316
    0  1119   bit_w:-1  loss: 0.10418
    1  1099   bit_w: 1  loss: 0.10413
    2  1101   bit_w:-1  loss: 0.10413
    3   691   bit_w:-1  loss: 0.10406
    4  1161   bit_w:-1  loss: 0.10409
   1878    308   1505    457   1059   1123   2303   1562   1289    955
      1      0      1      0      0      0      1      0      1      0
Train accuarcate: 96.97%
tensor([[ 76.,  71.,  85.,  94.,  68.,  81.,  48., 129.,  74.,  79.],
        [ 84.,  91., 122.,  95.,  58.,  86.,  88.,  63.,  89.,  62.],
        [ 65., 110.,  91.,  72.,  77.,  65.,  73.,  80.,  76.,  58.],
        [112.,  77.,  86.,  70.,  63.,  79.,  86.,  85.,  71.,  86.],
        [ 77.,  83.,  77.,  66., 123.,  73.,  85.,  80.,  86.,  87.],
        [ 60., 113.,  76.,  76.,  80.,  63.,  67.,  88.,  74.,  66.],
        [ 46.,  85.,  62.,  83., 117.,  84.,  68.,  83.,  89.,  90.],
        [ 57.,  70.,  90.,  88.,  92.,  83.,  64.,  74.,  88., 122.],
        [ 87.,  81.,  92.,  56.,  92., 103., 112.,  80.,  93.,  81.],
        [ 82.,  63.,  73.,  74., 100.,  68.,  61.,  93.,  94., 115.],
        [131.,  79.,  94.,  85.,  76.,  92.,  87.,  78.,  88.,  88.],
        [ 80.,  89., 102.,  72.,  97.,  76., 116.,  77.,  88.,  67.],
        [ 66.,  65.,  67.,  83.,  96.,  76.,  56.,  84.,  77., 118.],
        [117.,  63.,  90.,  83.,  69.,  79.,  75.,  80.,  95.,  79.],
        [ 54., 121.,  75.,  82.,  81.,  69.,  70.,  73.,  86.,  74.],
        [ 79.,  82.,  74., 100.,  70., 118.,  77.,  83.,  91.,  88.],
        [ 71.,  66.,  70.,  75.,  94.,  70.,  58.,  87.,  85., 115.],
        [ 83.,  77.,  89.,  94.,  67.,  74.,  55., 118.,  56.,  79.],
        [ 74.,  86.,  95., 106.,  77.,  88.,  79.,  87.,  84.,  79.],
        [ 58.,  77.,  75.,  72., 118.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.87%



iteration:
  317
    0   981   bit_w:-1  loss: 0.10402
    1   975   bit_w: 1  loss: 0.10393
    2  1165   bit_w:-1  loss: 0.10395
    3  1172   bit_w: 1  loss: 0.10389
    4   359   bit_w: 1  loss: 0.10389
   2402     19   1328    207   2102    380   1653    243    295   1400
      0      0      0      0      1      1      0      0      0      1
Train accuarcate: 96.97%
tensor([[ 76.,  71.,  85.,  94.,  68.,  81.,  48., 129.,  74.,  79.],
        [ 84.,  91., 122.,  95.,  59.,  87.,  88.,  63.,  89.,  63.],
        [ 65., 110.,  91.,  72.,  77.,  65.,  73.,  80.,  76.,  58.],
        [112.,  77.,  86.,  70.,  63.,  79.,  86.,  85.,  71.,  86.],
        [ 77.,  83.,  77.,  66., 124.,  74.,  85.,  80.,  86.,  88.],
        [ 60., 113.,  76.,  76.,  80.,  63.,  67.,  88.,  74.,  66.],
        [ 46.,  85.,  62.,  83., 118.,  85.,  68.,  83.,  89.,  91.],
        [ 57.,  70.,  90.,  88.,  92.,  83.,  64.,  74.,  88., 122.],
        [ 87.,  81.,  92.,  56.,  93., 104., 112.,  80.,  93.,  82.],
        [ 82.,  63.,  73.,  74., 100.,  68.,  61.,  93.,  94., 115.],
        [131.,  79.,  94.,  85.,  76.,  92.,  87.,  78.,  88.,  88.],
        [ 80.,  89., 102.,  72.,  98.,  77., 116.,  77.,  88.,  68.],
        [ 66.,  65.,  67.,  83.,  96.,  76.,  56.,  84.,  77., 118.],
        [117.,  63.,  90.,  83.,  70.,  80.,  75.,  80.,  95.,  80.],
        [ 54., 121.,  75.,  82.,  81.,  69.,  70.,  73.,  86.,  74.],
        [ 79.,  82.,  74., 100.,  71., 119.,  77.,  83.,  91.,  89.],
        [ 71.,  66.,  70.,  75.,  95.,  71.,  58.,  87.,  85., 116.],
        [ 83.,  77.,  89.,  94.,  67.,  74.,  55., 118.,  56.,  79.],
        [ 74.,  86.,  95., 106.,  77.,  88.,  79.,  87.,  84.,  79.],
        [ 58.,  77.,  75.,  72., 118.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.88%



iteration:
  318
    0  1089   bit_w:-1  loss: 0.10383
    1   992   bit_w: 1  loss: 0.10378
    2   890   bit_w:-1  loss: 0.10377
    3   665   bit_w:-1  loss: 0.10365
    4  1161   bit_w:-1  loss: 0.10371
   1395    620   1372    816   1579   2715   3875    157    647    580
      0      0      0      1      0      1      1      0      0      0
Train accuarcate: 96.97%
tensor([[ 76.,  71.,  85.,  94.,  68.,  81.,  48., 129.,  74.,  79.],
        [ 84.,  91., 122.,  95.,  59.,  87.,  88.,  63.,  89.,  63.],
        [ 65., 110.,  91.,  72.,  77.,  65.,  73.,  80.,  76.,  58.],
        [112.,  77.,  86.,  70.,  63.,  79.,  86.,  85.,  71.,  86.],
        [ 77.,  83.,  77.,  66., 124.,  74.,  85.,  80.,  86.,  88.],
        [ 60., 113.,  76.,  76.,  80.,  63.,  67.,  88.,  74.,  66.],
        [ 46.,  85.,  62.,  83., 118.,  85.,  68.,  83.,  89.,  91.],
        [ 57.,  70.,  90.,  88.,  92.,  83.,  64.,  74.,  88., 122.],
        [ 87.,  81.,  92.,  57.,  93., 105., 113.,  80.,  93.,  82.],
        [ 82.,  63.,  73.,  74., 100.,  68.,  61.,  93.,  94., 115.],
        [131.,  79.,  94.,  86.,  76.,  93.,  88.,  78.,  88.,  88.],
        [ 80.,  89., 102.,  73.,  98.,  78., 117.,  77.,  88.,  68.],
        [ 66.,  65.,  67.,  83.,  96.,  76.,  56.,  84.,  77., 118.],
        [117.,  63.,  90.,  83.,  70.,  80.,  75.,  80.,  95.,  80.],
        [ 54., 121.,  75.,  82.,  81.,  69.,  70.,  73.,  86.,  74.],
        [ 79.,  82.,  74., 100.,  71., 119.,  77.,  83.,  91.,  89.],
        [ 71.,  66.,  70.,  75.,  95.,  71.,  58.,  87.,  85., 116.],
        [ 83.,  77.,  89.,  94.,  67.,  74.,  55., 118.,  56.,  79.],
        [ 74.,  86.,  95., 106.,  77.,  88.,  79.,  87.,  84.,  79.],
        [ 58.,  77.,  75.,  72., 118.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.88%



iteration:
  319
    0  1109   bit_w:-1  loss: 0.10364
    1   524   bit_w:-1  loss: 0.10357
    2   540   bit_w: 1  loss: 0.10354
    3   981   bit_w: 1  loss: 0.10348
    4   508   bit_w: 1  loss: 0.10352
   2137    313   2387    893    817   1284    727    292   2066    620
      1      0      1      0      0      0      0      0      1      0
Train accuarcate: 96.98%
tensor([[ 76.,  71.,  85.,  94.,  68.,  81.,  48., 129.,  74.,  79.],
        [ 85.,  91., 123.,  95.,  59.,  87.,  88.,  63.,  90.,  63.],
        [ 65., 110.,  91.,  72.,  77.,  65.,  73.,  80.,  76.,  58.],
        [112.,  77.,  86.,  70.,  63.,  79.,  86.,  85.,  71.,  86.],
        [ 77.,  83.,  77.,  66., 124.,  74.,  85.,  80.,  86.,  88.],
        [ 60., 113.,  76.,  76.,  80.,  63.,  67.,  88.,  74.,  66.],
        [ 46.,  85.,  62.,  83., 118.,  85.,  68.,  83.,  89.,  91.],
        [ 57.,  70.,  90.,  88.,  92.,  83.,  64.,  74.,  88., 122.],
        [ 87.,  81.,  92.,  57.,  93., 105., 113.,  80.,  93.,  82.],
        [ 82.,  63.,  73.,  74., 100.,  68.,  61.,  93.,  94., 115.],
        [131.,  79.,  94.,  86.,  76.,  93.,  88.,  78.,  88.,  88.],
        [ 80.,  89., 102.,  73.,  98.,  78., 117.,  77.,  88.,  68.],
        [ 66.,  65.,  67.,  83.,  96.,  76.,  56.,  84.,  77., 118.],
        [117.,  63.,  90.,  83.,  70.,  80.,  75.,  80.,  95.,  80.],
        [ 54., 121.,  75.,  82.,  81.,  69.,  70.,  73.,  86.,  74.],
        [ 79.,  82.,  74., 100.,  71., 119.,  77.,  83.,  91.,  89.],
        [ 71.,  66.,  70.,  75.,  95.,  71.,  58.,  87.,  85., 116.],
        [ 83.,  77.,  89.,  94.,  67.,  74.,  55., 118.,  56.,  79.],
        [ 74.,  86.,  95., 106.,  77.,  88.,  79.,  87.,  84.,  79.],
        [ 58.,  77.,  75.,  72., 118.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.89%



iteration:
  320
    0  1111   bit_w:-1  loss: 0.10345
    1  1066   bit_w: 1  loss: 0.10337
    2    98   bit_w:-1  loss: 0.10341
    3  1142   bit_w: 1  loss: 0.10330
    4  1134   bit_w: 1  loss: 0.10333
   4158   4030   4148   3868   3589   4374   3445   5346   5229   3266
     -1      0      0      0     -1      0      0      0      0     -1
Train accuarcate: 96.98%
tensor([[ 76.,  71.,  85.,  94.,  68.,  81.,  48., 129.,  74.,  79.],
        [ 86.,  91., 123.,  95.,  60.,  87.,  88.,  63.,  90.,  64.],
        [ 66., 110.,  91.,  72.,  78.,  65.,  73.,  80.,  76.,  59.],
        [112.,  77.,  86.,  70.,  63.,  79.,  86.,  85.,  71.,  86.],
        [ 77.,  83.,  77.,  66., 124.,  74.,  85.,  80.,  86.,  88.],
        [ 61., 113.,  76.,  76.,  81.,  63.,  67.,  88.,  74.,  67.],
        [ 46.,  85.,  62.,  83., 118.,  85.,  68.,  83.,  89.,  91.],
        [ 58.,  70.,  90.,  88.,  93.,  83.,  64.,  74.,  88., 123.],
        [ 87.,  81.,  92.,  57.,  93., 105., 113.,  80.,  93.,  82.],
        [ 83.,  63.,  73.,  74., 101.,  68.,  61.,  93.,  94., 116.],
        [131.,  79.,  94.,  86.,  76.,  93.,  88.,  78.,  88.,  88.],
        [ 80.,  89., 102.,  73.,  98.,  78., 117.,  77.,  88.,  68.],
        [ 67.,  65.,  67.,  83.,  97.,  76.,  56.,  84.,  77., 119.],
        [118.,  63.,  90.,  83.,  71.,  80.,  75.,  80.,  95.,  81.],
        [ 54., 121.,  75.,  82.,  81.,  69.,  70.,  73.,  86.,  74.],
        [ 80.,  82.,  74., 100.,  72., 119.,  77.,  83.,  91.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  87.,  85., 117.],
        [ 83.,  77.,  89.,  94.,  67.,  74.,  55., 118.,  56.,  79.],
        [ 75.,  86.,  95., 106.,  78.,  88.,  79.,  87.,  84.,  80.],
        [ 58.,  77.,  75.,  72., 118.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.92%



iteration:
  321
    0  1135   bit_w:-1  loss: 0.10326
    1  1183   bit_w: 1  loss: 0.10316
    2  1027   bit_w:-1  loss: 0.10312
    3   177   bit_w:-1  loss: 0.10310
    4   256   bit_w: 1  loss: 0.10307
    668     30    254    552    651   1069    221   2759    885   2417
      0      0      0      1      0      1      1      1      0      0
Train accuarcate: 96.98%
tensor([[ 76.,  71.,  85.,  95.,  68.,  82.,  49., 130.,  74.,  79.],
        [ 86.,  91., 123.,  95.,  60.,  87.,  88.,  63.,  90.,  64.],
        [ 66., 110.,  91.,  72.,  78.,  65.,  73.,  80.,  76.,  59.],
        [112.,  77.,  86.,  70.,  63.,  79.,  86.,  85.,  71.,  86.],
        [ 77.,  83.,  77.,  66., 124.,  74.,  85.,  80.,  86.,  88.],
        [ 61., 113.,  76.,  76.,  81.,  63.,  67.,  88.,  74.,  67.],
        [ 46.,  85.,  62.,  83., 118.,  85.,  68.,  83.,  89.,  91.],
        [ 58.,  70.,  90.,  89.,  93.,  84.,  65.,  75.,  88., 123.],
        [ 87.,  81.,  92.,  58.,  93., 106., 114.,  81.,  93.,  82.],
        [ 83.,  63.,  73.,  74., 101.,  68.,  61.,  93.,  94., 116.],
        [131.,  79.,  94.,  86.,  76.,  93.,  88.,  78.,  88.,  88.],
        [ 80.,  89., 102.,  73.,  98.,  78., 117.,  77.,  88.,  68.],
        [ 67.,  65.,  67.,  83.,  97.,  76.,  56.,  84.,  77., 119.],
        [118.,  63.,  90.,  84.,  71.,  81.,  76.,  81.,  95.,  81.],
        [ 54., 121.,  75.,  82.,  81.,  69.,  70.,  73.,  86.,  74.],
        [ 80.,  82.,  74., 100.,  72., 119.,  77.,  83.,  91.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  87.,  85., 117.],
        [ 83.,  77.,  89.,  95.,  67.,  75.,  56., 119.,  56.,  79.],
        [ 75.,  86.,  95., 106.,  78.,  88.,  79.,  87.,  84.,  80.],
        [ 58.,  77.,  75.,  72., 118.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.91%



iteration:
  322
    0  1111   bit_w:-1  loss: 0.10299
    1  1028   bit_w:-1  loss: 0.10294
    2   713   bit_w: 1  loss: 0.10296
    3  1181   bit_w:-1  loss: 0.10288
    4  1097   bit_w:-1  loss: 0.10294
    365   1365   1435   2214    613    758   1177   1707   1330   1497
      0      1      0      0      0      0      0      0      1      1
Train accuarcate: 96.98%
tensor([[ 76.,  72.,  85.,  95.,  68.,  82.,  49., 130.,  75.,  80.],
        [ 86.,  92., 123.,  95.,  60.,  87.,  88.,  63.,  91.,  65.],
        [ 66., 110.,  91.,  72.,  78.,  65.,  73.,  80.,  76.,  59.],
        [112.,  78.,  86.,  70.,  63.,  79.,  86.,  85.,  72.,  87.],
        [ 77.,  84.,  77.,  66., 124.,  74.,  85.,  80.,  87.,  89.],
        [ 61., 113.,  76.,  76.,  81.,  63.,  67.,  88.,  74.,  67.],
        [ 46.,  85.,  62.,  83., 118.,  85.,  68.,  83.,  89.,  91.],
        [ 58.,  70.,  90.,  89.,  93.,  84.,  65.,  75.,  88., 123.],
        [ 87.,  82.,  92.,  58.,  93., 106., 114.,  81.,  94.,  83.],
        [ 83.,  63.,  73.,  74., 101.,  68.,  61.,  93.,  94., 116.],
        [131.,  79.,  94.,  86.,  76.,  93.,  88.,  78.,  88.,  88.],
        [ 80.,  89., 102.,  73.,  98.,  78., 117.,  77.,  88.,  68.],
        [ 67.,  66.,  67.,  83.,  97.,  76.,  56.,  84.,  78., 120.],
        [118.,  63.,  90.,  84.,  71.,  81.,  76.,  81.,  95.,  81.],
        [ 54., 122.,  75.,  82.,  81.,  69.,  70.,  73.,  87.,  75.],
        [ 80.,  82.,  74., 100.,  72., 119.,  77.,  83.,  91.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  87.,  85., 117.],
        [ 83.,  78.,  89.,  95.,  67.,  75.,  56., 119.,  57.,  80.],
        [ 75.,  86.,  95., 106.,  78.,  88.,  79.,  87.,  84.,  80.],
        [ 58.,  77.,  75.,  72., 118.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.93%



iteration:
  323
    0  1110   bit_w:-1  loss: 0.10288
    1   842   bit_w: 1  loss: 0.10281
    2   523   bit_w: 1  loss: 0.10280
    3  1038   bit_w: 1  loss: 0.10275
    4  1039   bit_w:-1  loss: 0.10278
   1908     49   2316   2076    269   1052    833    595    865    421
      0      0      1      1      0      1      0      0      0      0
Train accuarcate: 96.97%
tensor([[ 76.,  72.,  85.,  95.,  68.,  82.,  49., 130.,  75.,  80.],
        [ 86.,  92., 123.,  95.,  60.,  87.,  88.,  63.,  91.,  65.],
        [ 66., 110.,  91.,  72.,  78.,  65.,  73.,  80.,  76.,  59.],
        [112.,  78.,  86.,  70.,  63.,  79.,  86.,  85.,  72.,  87.],
        [ 77.,  84.,  77.,  66., 124.,  74.,  85.,  80.,  87.,  89.],
        [ 61., 113.,  76.,  76.,  81.,  63.,  67.,  88.,  74.,  67.],
        [ 46.,  85.,  62.,  83., 118.,  85.,  68.,  83.,  89.,  91.],
        [ 58.,  70.,  90.,  89.,  93.,  84.,  65.,  75.,  88., 123.],
        [ 87.,  82.,  92.,  58.,  93., 106., 114.,  81.,  94.,  83.],
        [ 83.,  63.,  73.,  74., 101.,  68.,  61.,  93.,  94., 116.],
        [131.,  79.,  95.,  87.,  76.,  94.,  88.,  78.,  88.,  88.],
        [ 80.,  89., 102.,  73.,  98.,  78., 117.,  77.,  88.,  68.],
        [ 67.,  66.,  67.,  83.,  97.,  76.,  56.,  84.,  78., 120.],
        [118.,  63.,  90.,  84.,  71.,  81.,  76.,  81.,  95.,  81.],
        [ 54., 122.,  75.,  82.,  81.,  69.,  70.,  73.,  87.,  75.],
        [ 80.,  82.,  74., 100.,  72., 119.,  77.,  83.,  91.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  87.,  85., 117.],
        [ 83.,  78.,  89.,  95.,  67.,  75.,  56., 119.,  57.,  80.],
        [ 75.,  86.,  95., 106.,  78.,  88.,  79.,  87.,  84.,  80.],
        [ 58.,  77.,  75.,  72., 118.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.95%



iteration:
  324
    0  1141   bit_w:-1  loss: 0.10272
    1  1148   bit_w: 1  loss: 0.10265
    2  1088   bit_w:-1  loss: 0.10267
    3    99   bit_w:-1  loss: 0.10260
    4  1031   bit_w: 1  loss: 0.10264
    549     58    985    426    874    677   2211   1646    538    799
      0      0      0      0      0      1      1      1      1      0
Train accuarcate: 96.98%
tensor([[ 76.,  72.,  85.,  95.,  68.,  83.,  50., 131.,  76.,  80.],
        [ 86.,  92., 123.,  95.,  60.,  87.,  88.,  63.,  91.,  65.],
        [ 66., 110.,  91.,  72.,  78.,  65.,  73.,  80.,  76.,  59.],
        [112.,  78.,  86.,  70.,  63.,  79.,  86.,  85.,  72.,  87.],
        [ 77.,  84.,  77.,  66., 124.,  74.,  85.,  80.,  87.,  89.],
        [ 61., 113.,  76.,  76.,  81.,  63.,  67.,  88.,  74.,  67.],
        [ 46.,  85.,  62.,  83., 118.,  86.,  69.,  84.,  90.,  91.],
        [ 58.,  70.,  90.,  89.,  93.,  84.,  65.,  75.,  88., 123.],
        [ 87.,  82.,  92.,  58.,  93., 106., 114.,  81.,  94.,  83.],
        [ 83.,  63.,  73.,  74., 101.,  68.,  61.,  93.,  94., 116.],
        [131.,  79.,  95.,  87.,  76.,  95.,  89.,  79.,  89.,  88.],
        [ 80.,  89., 102.,  73.,  98.,  79., 118.,  78.,  89.,  68.],
        [ 67.,  66.,  67.,  83.,  97.,  76.,  56.,  84.,  78., 120.],
        [118.,  63.,  90.,  84.,  71.,  81.,  76.,  81.,  95.,  81.],
        [ 54., 122.,  75.,  82.,  81.,  69.,  70.,  73.,  87.,  75.],
        [ 80.,  82.,  74., 100.,  72., 119.,  77.,  83.,  91.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  87.,  85., 117.],
        [ 83.,  78.,  89.,  95.,  67.,  76.,  57., 120.,  58.,  80.],
        [ 75.,  86.,  95., 106.,  78.,  88.,  79.,  87.,  84.,  80.],
        [ 58.,  77.,  75.,  72., 118.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.95%



iteration:
  325
    0  1145   bit_w:-1  loss: 0.10258
    1   489   bit_w: 1  loss: 0.10249
    2   623   bit_w:-1  loss: 0.10248
    3  1168   bit_w:-1  loss: 0.10243
    4   713   bit_w:-1  loss: 0.10247
   3310   6205   4637   3270   4246   3536   5508   3900   5019   3747
      0     -1      0      0     -1      0      0      0      0      0
Train accuarcate: 96.99%
tensor([[ 76.,  73.,  85.,  95.,  69.,  83.,  50., 131.,  76.,  80.],
        [ 86.,  92., 123.,  95.,  60.,  87.,  88.,  63.,  91.,  65.],
        [ 66., 110.,  91.,  72.,  78.,  65.,  73.,  80.,  76.,  59.],
        [112.,  78.,  86.,  70.,  63.,  79.,  86.,  85.,  72.,  87.],
        [ 77.,  84.,  77.,  66., 124.,  74.,  85.,  80.,  87.,  89.],
        [ 61., 113.,  76.,  76.,  81.,  63.,  67.,  88.,  74.,  67.],
        [ 46.,  85.,  62.,  83., 118.,  86.,  69.,  84.,  90.,  91.],
        [ 58.,  70.,  90.,  89.,  93.,  84.,  65.,  75.,  88., 123.],
        [ 87.,  82.,  92.,  58.,  93., 106., 114.,  81.,  94.,  83.],
        [ 83.,  63.,  73.,  74., 101.,  68.,  61.,  93.,  94., 116.],
        [131.,  79.,  95.,  87.,  76.,  95.,  89.,  79.,  89.,  88.],
        [ 80.,  89., 102.,  73.,  98.,  79., 118.,  78.,  89.,  68.],
        [ 67.,  67.,  67.,  83.,  98.,  76.,  56.,  84.,  78., 120.],
        [118.,  63.,  90.,  84.,  71.,  81.,  76.,  81.,  95.,  81.],
        [ 54., 122.,  75.,  82.,  81.,  69.,  70.,  73.,  87.,  75.],
        [ 80.,  82.,  74., 100.,  72., 119.,  77.,  83.,  91.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  87.,  85., 117.],
        [ 83.,  79.,  89.,  95.,  68.,  76.,  57., 120.,  58.,  80.],
        [ 75.,  86.,  95., 106.,  78.,  88.,  79.,  87.,  84.,  80.],
        [ 58.,  78.,  75.,  72., 119.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.96%



iteration:
  326
    0  1150   bit_w:-1  loss: 0.10241
    1   657   bit_w:-1  loss: 0.10233
    2   984   bit_w:-1  loss: 0.10228
    3   911   bit_w: 1  loss: 0.10224
    4   256   bit_w: 1  loss: 0.10222
    144    117    185    257    554    167    291   2314    278   1324
      0      0      0      0      0      0      1      1      0      1
Train accuarcate: 97.01%
tensor([[ 76.,  73.,  85.,  95.,  69.,  83.,  50., 131.,  76.,  80.],
        [ 86.,  92., 123.,  95.,  60.,  87.,  88.,  63.,  91.,  65.],
        [ 66., 110.,  91.,  72.,  78.,  65.,  73.,  80.,  76.,  59.],
        [112.,  78.,  86.,  70.,  63.,  79.,  86.,  85.,  72.,  87.],
        [ 77.,  84.,  77.,  66., 124.,  74.,  85.,  80.,  87.,  89.],
        [ 61., 113.,  76.,  76.,  81.,  63.,  67.,  88.,  74.,  67.],
        [ 46.,  85.,  62.,  83., 118.,  86.,  69.,  84.,  90.,  91.],
        [ 58.,  70.,  90.,  89.,  93.,  84.,  65.,  75.,  88., 123.],
        [ 87.,  82.,  92.,  58.,  93., 106., 115.,  82.,  94.,  84.],
        [ 83.,  63.,  73.,  74., 101.,  68.,  62.,  94.,  94., 117.],
        [131.,  79.,  95.,  87.,  76.,  95.,  89.,  79.,  89.,  88.],
        [ 80.,  89., 102.,  73.,  98.,  79., 119.,  79.,  89.,  69.],
        [ 67.,  67.,  67.,  83.,  98.,  76.,  56.,  84.,  78., 120.],
        [118.,  63.,  90.,  84.,  71.,  81.,  76.,  81.,  95.,  81.],
        [ 54., 122.,  75.,  82.,  81.,  69.,  70.,  73.,  87.,  75.],
        [ 80.,  82.,  74., 100.,  72., 119.,  77.,  83.,  91.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  87.,  85., 117.],
        [ 83.,  79.,  89.,  95.,  68.,  76.,  57., 120.,  58.,  80.],
        [ 75.,  86.,  95., 106.,  78.,  88.,  79.,  87.,  84.,  80.],
        [ 58.,  78.,  75.,  72., 119.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.95%



iteration:
  327
    0  1110   bit_w:-1  loss: 0.10217
    1  1133   bit_w: 1  loss: 0.10209
    2   737   bit_w:-1  loss: 0.10210
    3   480   bit_w: 1  loss: 0.10204
    4   740   bit_w:-1  loss: 0.10208
   5845   6714   5811   5904   5322   5218   5893   2785   5545   3575
      0      0      0      0      0      0      0     -1     -1     -1
Train accuarcate: 97.01%
tensor([[ 76.,  73.,  85.,  95.,  69.,  83.,  50., 132.,  77.,  81.],
        [ 86.,  92., 123.,  95.,  60.,  87.,  88.,  63.,  91.,  65.],
        [ 66., 110.,  91.,  72.,  78.,  65.,  73.,  80.,  76.,  59.],
        [112.,  78.,  86.,  70.,  63.,  79.,  86.,  85.,  72.,  87.],
        [ 77.,  84.,  77.,  66., 124.,  74.,  85.,  80.,  87.,  89.],
        [ 61., 113.,  76.,  76.,  81.,  63.,  67.,  88.,  74.,  67.],
        [ 46.,  85.,  62.,  83., 118.,  86.,  69.,  84.,  90.,  91.],
        [ 58.,  70.,  90.,  89.,  93.,  84.,  65.,  75.,  88., 123.],
        [ 87.,  82.,  92.,  58.,  93., 106., 115.,  82.,  94.,  84.],
        [ 83.,  63.,  73.,  74., 101.,  68.,  62.,  94.,  94., 117.],
        [131.,  79.,  95.,  87.,  76.,  95.,  89.,  79.,  89.,  88.],
        [ 80.,  89., 102.,  73.,  98.,  79., 119.,  79.,  89.,  69.],
        [ 67.,  67.,  67.,  83.,  98.,  76.,  56.,  85.,  79., 121.],
        [118.,  63.,  90.,  84.,  71.,  81.,  76.,  81.,  95.,  81.],
        [ 54., 122.,  75.,  82.,  81.,  69.,  70.,  73.,  87.,  75.],
        [ 80.,  82.,  74., 100.,  72., 119.,  77.,  83.,  91.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  88.,  86., 118.],
        [ 83.,  79.,  89.,  95.,  68.,  76.,  57., 121.,  59.,  81.],
        [ 75.,  86.,  95., 106.,  78.,  88.,  79.,  88.,  85.,  81.],
        [ 58.,  78.,  75.,  72., 119.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.95%



iteration:
  328
    0   425   bit_w:-1  loss: 0.10203
    1   372   bit_w:-1  loss: 0.10197
    2   832   bit_w:-1  loss: 0.10193
    3  1159   bit_w: 1  loss: 0.10188
    4   190   bit_w:-1  loss: 0.10189
   3902   6574   5572   5901   2137   3912   4018   5649   5279   4864
     -1      0      0      0     -1      0     -1      0      0      0
Train accuarcate: 97.01%
tensor([[ 76.,  73.,  85.,  95.,  69.,  83.,  50., 132.,  77.,  81.],
        [ 86.,  92., 123.,  95.,  60.,  87.,  88.,  63.,  91.,  65.],
        [ 66., 110.,  91.,  72.,  78.,  65.,  73.,  80.,  76.,  59.],
        [112.,  78.,  86.,  70.,  63.,  79.,  86.,  85.,  72.,  87.],
        [ 78.,  84.,  77.,  66., 125.,  74.,  86.,  80.,  87.,  89.],
        [ 61., 113.,  76.,  76.,  81.,  63.,  67.,  88.,  74.,  67.],
        [ 47.,  85.,  62.,  83., 119.,  86.,  70.,  84.,  90.,  91.],
        [ 59.,  70.,  90.,  89.,  94.,  84.,  66.,  75.,  88., 123.],
        [ 88.,  82.,  92.,  58.,  94., 106., 116.,  82.,  94.,  84.],
        [ 84.,  63.,  73.,  74., 102.,  68.,  63.,  94.,  94., 117.],
        [132.,  79.,  95.,  87.,  77.,  95.,  90.,  79.,  89.,  88.],
        [ 81.,  89., 102.,  73.,  99.,  79., 120.,  79.,  89.,  69.],
        [ 68.,  67.,  67.,  83.,  99.,  76.,  57.,  85.,  79., 121.],
        [118.,  63.,  90.,  84.,  71.,  81.,  76.,  81.,  95.,  81.],
        [ 54., 122.,  75.,  82.,  81.,  69.,  70.,  73.,  87.,  75.],
        [ 80.,  82.,  74., 100.,  72., 119.,  77.,  83.,  91.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  88.,  86., 118.],
        [ 83.,  79.,  89.,  95.,  68.,  76.,  57., 121.,  59.,  81.],
        [ 75.,  86.,  95., 106.,  78.,  88.,  79.,  88.,  85.,  81.],
        [ 58.,  78.,  75.,  72., 119.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.97%



iteration:
  329
    0   622   bit_w:-1  loss: 0.10182
    1   711   bit_w: 1  loss: 0.10177
    2   123   bit_w:-1  loss: 0.10177
    3   992   bit_w:-1  loss: 0.10169
    4   962   bit_w: 1  loss: 0.10171
   4897   6406   3760   3819   5651   4639   4743   6196   5266   5929
     -1     -1     -1     -1      0      0      0      0      0      0
Train accuarcate: 97.00%
tensor([[ 76.,  73.,  85.,  95.,  69.,  83.,  50., 132.,  77.,  81.],
        [ 87.,  93., 124.,  96.,  60.,  87.,  88.,  63.,  91.,  65.],
        [ 66., 110.,  91.,  72.,  78.,  65.,  73.,  80.,  76.,  59.],
        [112.,  78.,  86.,  70.,  63.,  79.,  86.,  85.,  72.,  87.],
        [ 78.,  84.,  77.,  66., 125.,  74.,  86.,  80.,  87.,  89.],
        [ 61., 113.,  76.,  76.,  81.,  63.,  67.,  88.,  74.,  67.],
        [ 47.,  85.,  62.,  83., 119.,  86.,  70.,  84.,  90.,  91.],
        [ 59.,  70.,  90.,  89.,  94.,  84.,  66.,  75.,  88., 123.],
        [ 88.,  82.,  92.,  58.,  94., 106., 116.,  82.,  94.,  84.],
        [ 84.,  63.,  73.,  74., 102.,  68.,  63.,  94.,  94., 117.],
        [132.,  79.,  95.,  87.,  77.,  95.,  90.,  79.,  89.,  88.],
        [ 82.,  90., 103.,  74.,  99.,  79., 120.,  79.,  89.,  69.],
        [ 68.,  67.,  67.,  83.,  99.,  76.,  57.,  85.,  79., 121.],
        [118.,  63.,  90.,  84.,  71.,  81.,  76.,  81.,  95.,  81.],
        [ 54., 122.,  75.,  82.,  81.,  69.,  70.,  73.,  87.,  75.],
        [ 80.,  82.,  74., 100.,  72., 119.,  77.,  83.,  91.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  88.,  86., 118.],
        [ 83.,  79.,  89.,  95.,  68.,  76.,  57., 121.,  59.,  81.],
        [ 76.,  87.,  96., 107.,  78.,  88.,  79.,  88.,  85.,  81.],
        [ 58.,  78.,  75.,  72., 119.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.97%



iteration:
  330
    0  1180   bit_w:-1  loss: 0.10166
    1   992   bit_w: 1  loss: 0.10161
    2   957   bit_w:-1  loss: 0.10160
    3  1179   bit_w:-1  loss: 0.10154
    4   693   bit_w:-1  loss: 0.10156
   4123   6008   4061   5532   4783   3410   4416   6185   4840   5783
      0      0     -1      0     -1     -1      0      0     -1      0
Train accuarcate: 97.01%
tensor([[ 76.,  73.,  85.,  95.,  69.,  83.,  50., 132.,  77.,  81.],
        [ 87.,  93., 124.,  96.,  60.,  87.,  88.,  63.,  91.,  65.],
        [ 66., 110.,  91.,  72.,  78.,  65.,  73.,  80.,  76.,  59.],
        [112.,  78.,  86.,  70.,  63.,  79.,  86.,  85.,  72.,  87.],
        [ 78.,  84.,  77.,  66., 125.,  74.,  86.,  80.,  87.,  89.],
        [ 61., 113.,  76.,  76.,  81.,  63.,  67.,  88.,  74.,  67.],
        [ 47.,  85.,  62.,  83., 119.,  86.,  70.,  84.,  90.,  91.],
        [ 59.,  70.,  90.,  89.,  94.,  84.,  66.,  75.,  88., 123.],
        [ 88.,  82.,  93.,  58.,  95., 107., 116.,  82.,  95.,  84.],
        [ 84.,  63.,  73.,  74., 102.,  68.,  63.,  94.,  94., 117.],
        [132.,  79.,  95.,  87.,  77.,  95.,  90.,  79.,  89.,  88.],
        [ 82.,  90., 103.,  74.,  99.,  79., 120.,  79.,  89.,  69.],
        [ 68.,  67.,  67.,  83.,  99.,  76.,  57.,  85.,  79., 121.],
        [118.,  63.,  90.,  84.,  71.,  81.,  76.,  81.,  95.,  81.],
        [ 54., 122.,  75.,  82.,  81.,  69.,  70.,  73.,  87.,  75.],
        [ 80.,  82.,  75., 100.,  73., 120.,  77.,  83.,  92.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  88.,  86., 118.],
        [ 83.,  79.,  89.,  95.,  68.,  76.,  57., 121.,  59.,  81.],
        [ 76.,  87.,  96., 107.,  78.,  88.,  79.,  88.,  85.,  81.],
        [ 58.,  78.,  75.,  72., 119.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.98%



iteration:
  331
    0  1108   bit_w:-1  loss: 0.10150
    1   982   bit_w: 1  loss: 0.10146
    2   371   bit_w: 1  loss: 0.10147
    3  1022   bit_w: 1  loss: 0.10139
    4   711   bit_w:-1  loss: 0.10143
   3951   6660   3657   4358   5459   3990   4992   3521   4875   4348
      0      0      0     -1      0     -1      0      0      0     -1
Train accuarcate: 97.01%
tensor([[ 76.,  73.,  85.,  96.,  69.,  84.,  50., 132.,  77.,  82.],
        [ 87.,  93., 124.,  96.,  60.,  87.,  88.,  63.,  91.,  65.],
        [ 66., 110.,  91.,  72.,  78.,  65.,  73.,  80.,  76.,  59.],
        [112.,  78.,  86.,  71.,  63.,  80.,  86.,  85.,  72.,  88.],
        [ 78.,  84.,  77.,  66., 125.,  74.,  86.,  80.,  87.,  89.],
        [ 61., 113.,  76.,  76.,  81.,  63.,  67.,  88.,  74.,  67.],
        [ 47.,  85.,  62.,  83., 119.,  86.,  70.,  84.,  90.,  91.],
        [ 59.,  70.,  90.,  89.,  94.,  84.,  66.,  75.,  88., 123.],
        [ 88.,  82.,  93.,  58.,  95., 107., 116.,  82.,  95.,  84.],
        [ 84.,  63.,  73.,  74., 102.,  68.,  63.,  94.,  94., 117.],
        [132.,  79.,  95.,  87.,  77.,  95.,  90.,  79.,  89.,  88.],
        [ 82.,  90., 103.,  74.,  99.,  79., 120.,  79.,  89.,  69.],
        [ 68.,  67.,  67.,  83.,  99.,  76.,  57.,  85.,  79., 121.],
        [118.,  63.,  90.,  85.,  71.,  82.,  76.,  81.,  95.,  82.],
        [ 54., 122.,  75.,  82.,  81.,  69.,  70.,  73.,  87.,  75.],
        [ 80.,  82.,  75., 100.,  73., 120.,  77.,  83.,  92.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  88.,  86., 118.],
        [ 83.,  79.,  89.,  96.,  68.,  77.,  57., 121.,  59.,  82.],
        [ 76.,  87.,  96., 107.,  78.,  88.,  79.,  88.,  85.,  81.],
        [ 58.,  78.,  75.,  72., 119.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.97%



iteration:
  332
    0   161   bit_w:-1  loss: 0.10135
    1   982   bit_w:-1  loss: 0.10130
    2   984   bit_w: 1  loss: 0.10129
    3   149   bit_w: 1  loss: 0.10120
    4  1091   bit_w: 1  loss: 0.10122
   5331   6316   4962   4573   4945   3719   5274   5794   4326   5489
      0      0     -1      0      0      0     -1      0     -1     -1
Train accuarcate: 97.02%
tensor([[ 76.,  73.,  85.,  96.,  69.,  84.,  50., 132.,  77.,  82.],
        [ 87.,  93., 124.,  96.,  60.,  87.,  88.,  63.,  91.,  65.],
        [ 66., 110.,  91.,  72.,  78.,  65.,  73.,  80.,  76.,  59.],
        [112.,  78.,  86.,  71.,  63.,  80.,  86.,  85.,  72.,  88.],
        [ 78.,  84.,  77.,  66., 125.,  74.,  86.,  80.,  87.,  89.],
        [ 61., 113.,  76.,  76.,  81.,  63.,  67.,  88.,  74.,  67.],
        [ 47.,  85.,  62.,  83., 119.,  86.,  70.,  84.,  90.,  91.],
        [ 59.,  70.,  90.,  89.,  94.,  84.,  66.,  75.,  88., 123.],
        [ 88.,  82.,  94.,  58.,  95., 107., 117.,  82.,  96.,  85.],
        [ 84.,  63.,  73.,  74., 102.,  68.,  63.,  94.,  94., 117.],
        [132.,  79.,  95.,  87.,  77.,  95.,  90.,  79.,  89.,  88.],
        [ 82.,  90., 103.,  74.,  99.,  79., 120.,  79.,  89.,  69.],
        [ 68.,  67.,  67.,  83.,  99.,  76.,  57.,  85.,  79., 121.],
        [118.,  63.,  90.,  85.,  71.,  82.,  76.,  81.,  95.,  82.],
        [ 54., 122.,  75.,  82.,  81.,  69.,  70.,  73.,  87.,  75.],
        [ 80.,  82.,  75., 100.,  73., 120.,  77.,  83.,  92.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  88.,  86., 118.],
        [ 83.,  79.,  89.,  96.,  68.,  77.,  57., 121.,  59.,  82.],
        [ 76.,  87.,  96., 107.,  78.,  88.,  79.,  88.,  85.,  81.],
        [ 58.,  78.,  75.,  72., 119.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.99%



iteration:
  333
    0   982   bit_w:-1  loss: 0.10116
    1   485   bit_w:-1  loss: 0.10107
    2  1179   bit_w:-1  loss: 0.10106
    3   125   bit_w:-1  loss: 0.10102
    4  1149   bit_w:-1  loss: 0.10103
   2146     44    325    421    409    903    792    986    165    369
      1      0      0      0      0      0      1      1      0      0
Train accuarcate: 97.03%
tensor([[ 76.,  73.,  85.,  96.,  69.,  84.,  50., 132.,  77.,  82.],
        [ 87.,  93., 124.,  96.,  60.,  87.,  88.,  63.,  91.,  65.],
        [ 66., 110.,  91.,  72.,  78.,  65.,  73.,  80.,  76.,  59.],
        [112.,  78.,  86.,  71.,  63.,  80.,  86.,  85.,  72.,  88.],
        [ 78.,  84.,  77.,  66., 125.,  74.,  86.,  80.,  87.,  89.],
        [ 61., 113.,  76.,  76.,  81.,  63.,  67.,  88.,  74.,  67.],
        [ 48.,  85.,  62.,  83., 119.,  86.,  71.,  85.,  90.,  91.],
        [ 59.,  70.,  90.,  89.,  94.,  84.,  66.,  75.,  88., 123.],
        [ 88.,  82.,  94.,  58.,  95., 107., 117.,  82.,  96.,  85.],
        [ 84.,  63.,  73.,  74., 102.,  68.,  63.,  94.,  94., 117.],
        [133.,  79.,  95.,  87.,  77.,  95.,  91.,  80.,  89.,  88.],
        [ 83.,  90., 103.,  74.,  99.,  79., 121.,  80.,  89.,  69.],
        [ 68.,  67.,  67.,  83.,  99.,  76.,  57.,  85.,  79., 121.],
        [118.,  63.,  90.,  85.,  71.,  82.,  76.,  81.,  95.,  82.],
        [ 54., 122.,  75.,  82.,  81.,  69.,  70.,  73.,  87.,  75.],
        [ 80.,  82.,  75., 100.,  73., 120.,  77.,  83.,  92.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  88.,  86., 118.],
        [ 83.,  79.,  89.,  96.,  68.,  77.,  57., 121.,  59.,  82.],
        [ 76.,  87.,  96., 107.,  78.,  88.,  79.,  88.,  85.,  81.],
        [ 58.,  78.,  75.,  72., 119.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.98%



iteration:
  334
    0  1180   bit_w:-1  loss: 0.10097
    1  1142   bit_w:-1  loss: 0.10093
    2  1160   bit_w: 1  loss: 0.10093
    3   149   bit_w:-1  loss: 0.10089
    4   361   bit_w: 1  loss: 0.10090
    124     11    456    119    218    131     18   1102    112   1209
      0      1      1      1      0      1      0      0      0      1
Train accuarcate: 97.03%
tensor([[ 76.,  73.,  85.,  96.,  69.,  84.,  50., 132.,  77.,  82.],
        [ 87.,  93., 124.,  96.,  60.,  87.,  88.,  63.,  91.,  65.],
        [ 66., 110.,  91.,  72.,  78.,  65.,  73.,  80.,  76.,  59.],
        [112.,  78.,  86.,  71.,  63.,  80.,  86.,  85.,  72.,  88.],
        [ 78.,  84.,  77.,  66., 125.,  74.,  86.,  80.,  87.,  89.],
        [ 61., 113.,  76.,  76.,  81.,  63.,  67.,  88.,  74.,  67.],
        [ 48.,  85.,  62.,  83., 119.,  86.,  71.,  85.,  90.,  91.],
        [ 59.,  71.,  91.,  90.,  94.,  85.,  66.,  75.,  88., 124.],
        [ 88.,  82.,  94.,  58.,  95., 107., 117.,  82.,  96.,  85.],
        [ 84.,  63.,  73.,  74., 102.,  68.,  63.,  94.,  94., 117.],
        [133.,  79.,  95.,  87.,  77.,  95.,  91.,  80.,  89.,  88.],
        [ 83.,  90., 103.,  74.,  99.,  79., 121.,  80.,  89.,  69.],
        [ 68.,  68.,  68.,  84.,  99.,  77.,  57.,  85.,  79., 122.],
        [118.,  63.,  90.,  85.,  71.,  82.,  76.,  81.,  95.,  82.],
        [ 54., 122.,  75.,  82.,  81.,  69.,  70.,  73.,  87.,  75.],
        [ 80.,  82.,  75., 100.,  73., 120.,  77.,  83.,  92.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  88.,  86., 118.],
        [ 83.,  79.,  89.,  96.,  68.,  77.,  57., 121.,  59.,  82.],
        [ 76.,  87.,  96., 107.,  78.,  88.,  79.,  88.,  85.,  81.],
        [ 58.,  78.,  75.,  72., 119.,  76.,  73.,  83.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.98%



iteration:
  335
    0  1064   bit_w:-1  loss: 0.10084
    1  1165   bit_w: 1  loss: 0.10077
    2  1171   bit_w:-1  loss: 0.10080
    3  1168   bit_w: 1  loss: 0.10069
    4  1097   bit_w:-1  loss: 0.10069
    666   3243   1369   2818   1994    724    545   1244   1852    843
      0      1      0      1      1      0      0      1      0      0
Train accuarcate: 97.03%
tensor([[ 76.,  73.,  85.,  96.,  69.,  84.,  50., 132.,  77.,  82.],
        [ 87.,  93., 124.,  96.,  60.,  87.,  88.,  63.,  91.,  65.],
        [ 66., 111.,  91.,  73.,  79.,  65.,  73.,  81.,  76.,  59.],
        [112.,  79.,  86.,  72.,  64.,  80.,  86.,  86.,  72.,  88.],
        [ 78.,  84.,  77.,  66., 125.,  74.,  86.,  80.,  87.,  89.],
        [ 61., 114.,  76.,  77.,  82.,  63.,  67.,  89.,  74.,  67.],
        [ 48.,  85.,  62.,  83., 119.,  86.,  71.,  85.,  90.,  91.],
        [ 59.,  71.,  91.,  90.,  94.,  85.,  66.,  75.,  88., 124.],
        [ 88.,  82.,  94.,  58.,  95., 107., 117.,  82.,  96.,  85.],
        [ 84.,  64.,  73.,  75., 103.,  68.,  63.,  95.,  94., 117.],
        [133.,  79.,  95.,  87.,  77.,  95.,  91.,  80.,  89.,  88.],
        [ 83.,  90., 103.,  74.,  99.,  79., 121.,  80.,  89.,  69.],
        [ 68.,  68.,  68.,  84.,  99.,  77.,  57.,  85.,  79., 122.],
        [118.,  63.,  90.,  85.,  71.,  82.,  76.,  81.,  95.,  82.],
        [ 54., 123.,  75.,  83.,  82.,  69.,  70.,  74.,  87.,  75.],
        [ 80.,  82.,  75., 100.,  73., 120.,  77.,  83.,  92.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  88.,  86., 118.],
        [ 83.,  79.,  89.,  96.,  68.,  77.,  57., 121.,  59.,  82.],
        [ 76.,  87.,  96., 107.,  78.,  88.,  79.,  88.,  85.,  81.],
        [ 58.,  79.,  75.,  73., 120.,  76.,  73.,  84.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.97%



iteration:
  336
    0  1178   bit_w:-1  loss: 0.10064
    1   594   bit_w:-1  loss: 0.10058
    2  1060   bit_w:-1  loss: 0.10059
    3   322   bit_w:-1  loss: 0.10051
    4   123   bit_w: 1  loss: 0.10053
   1229     62   1696    752    579    673   1852    128   1057    585
      1      0      1      0      0      1      1      0      0      0
Train accuarcate: 97.04%
tensor([[ 76.,  73.,  85.,  96.,  69.,  84.,  50., 132.,  77.,  82.],
        [ 88.,  93., 125.,  96.,  60.,  88.,  89.,  63.,  91.,  65.],
        [ 66., 111.,  91.,  73.,  79.,  65.,  73.,  81.,  76.,  59.],
        [112.,  79.,  86.,  72.,  64.,  80.,  86.,  86.,  72.,  88.],
        [ 78.,  84.,  77.,  66., 125.,  74.,  86.,  80.,  87.,  89.],
        [ 61., 114.,  76.,  77.,  82.,  63.,  67.,  89.,  74.,  67.],
        [ 48.,  85.,  62.,  83., 119.,  86.,  71.,  85.,  90.,  91.],
        [ 59.,  71.,  91.,  90.,  94.,  85.,  66.,  75.,  88., 124.],
        [ 88.,  82.,  94.,  58.,  95., 107., 117.,  82.,  96.,  85.],
        [ 84.,  64.,  73.,  75., 103.,  68.,  63.,  95.,  94., 117.],
        [133.,  79.,  95.,  87.,  77.,  95.,  91.,  80.,  89.,  88.],
        [ 84.,  90., 104.,  74.,  99.,  80., 122.,  80.,  89.,  69.],
        [ 68.,  68.,  68.,  84.,  99.,  77.,  57.,  85.,  79., 122.],
        [118.,  63.,  90.,  85.,  71.,  82.,  76.,  81.,  95.,  82.],
        [ 54., 123.,  75.,  83.,  82.,  69.,  70.,  74.,  87.,  75.],
        [ 80.,  82.,  75., 100.,  73., 120.,  77.,  83.,  92.,  90.],
        [ 72.,  66.,  70.,  75.,  96.,  71.,  58.,  88.,  86., 118.],
        [ 83.,  79.,  89.,  96.,  68.,  77.,  57., 121.,  59.,  82.],
        [ 76.,  87.,  96., 107.,  78.,  88.,  79.,  88.,  85.,  81.],
        [ 58.,  79.,  75.,  73., 120.,  76.,  73.,  84.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.96%



iteration:
  337
    0   924   bit_w:-1  loss: 0.10047
    1   525   bit_w:-1  loss: 0.10041
    2  1151   bit_w: 1  loss: 0.10041
    3   415   bit_w:-1  loss: 0.10035
    4  1177   bit_w:-1  loss: 0.10038
   1832     13    980    256   1557    918    430   2519    900   1924
      0      0      1      0      0      0      0      0      1      0
Train accuarcate: 97.06%
tensor([[ 76.,  73.,  86.,  96.,  69.,  84.,  50., 132.,  78.,  82.],
        [ 88.,  93., 125.,  96.,  60.,  88.,  89.,  63.,  91.,  65.],
        [ 66., 111.,  91.,  73.,  79.,  65.,  73.,  81.,  76.,  59.],
        [112.,  79.,  86.,  72.,  64.,  80.,  86.,  86.,  72.,  88.],
        [ 78.,  84.,  77.,  66., 125.,  74.,  86.,  80.,  87.,  89.],
        [ 61., 114.,  76.,  77.,  82.,  63.,  67.,  89.,  74.,  67.],
        [ 48.,  85.,  63.,  83., 119.,  86.,  71.,  85.,  91.,  91.],
        [ 59.,  71.,  91.,  90.,  94.,  85.,  66.,  75.,  88., 124.],
        [ 88.,  82.,  95.,  58.,  95., 107., 117.,  82.,  97.,  85.],
        [ 84.,  64.,  74.,  75., 103.,  68.,  63.,  95.,  95., 117.],
        [133.,  79.,  96.,  87.,  77.,  95.,  91.,  80.,  90.,  88.],
        [ 84.,  90., 105.,  74.,  99.,  80., 122.,  80.,  90.,  69.],
        [ 68.,  68.,  68.,  84.,  99.,  77.,  57.,  85.,  79., 122.],
        [118.,  63.,  90.,  85.,  71.,  82.,  76.,  81.,  95.,  82.],
        [ 54., 123.,  75.,  83.,  82.,  69.,  70.,  74.,  87.,  75.],
        [ 80.,  82.,  75., 100.,  73., 120.,  77.,  83.,  92.,  90.],
        [ 72.,  66.,  71.,  75.,  96.,  71.,  58.,  88.,  87., 118.],
        [ 83.,  79.,  90.,  96.,  68.,  77.,  57., 121.,  60.,  82.],
        [ 76.,  87.,  96., 107.,  78.,  88.,  79.,  88.,  85.,  81.],
        [ 58.,  79.,  75.,  73., 120.,  76.,  73.,  84.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.94%



iteration:
  338
    0   302   bit_w:-1  loss: 0.10032
    1   231   bit_w: 1  loss: 0.10026
    2   176   bit_w:-1  loss: 0.10025
    3  1111   bit_w:-1  loss: 0.10020
    4  1079   bit_w:-1  loss: 0.10021
   3403   6712   4908   4717   5306   4863   5695   5199   4892   5479
     -1      0      0     -1      0      0      0     -1      0      0
Train accuarcate: 97.05%
tensor([[ 76.,  73.,  86.,  96.,  69.,  84.,  50., 132.,  78.,  82.],
        [ 89.,  93., 125.,  97.,  60.,  88.,  89.,  64.,  91.,  65.],
        [ 66., 111.,  91.,  73.,  79.,  65.,  73.,  81.,  76.,  59.],
        [112.,  79.,  86.,  72.,  64.,  80.,  86.,  86.,  72.,  88.],
        [ 78.,  84.,  77.,  66., 125.,  74.,  86.,  80.,  87.,  89.],
        [ 61., 114.,  76.,  77.,  82.,  63.,  67.,  89.,  74.,  67.],
        [ 48.,  85.,  63.,  83., 119.,  86.,  71.,  85.,  91.,  91.],
        [ 59.,  71.,  91.,  90.,  94.,  85.,  66.,  75.,  88., 124.],
        [ 88.,  82.,  95.,  58.,  95., 107., 117.,  82.,  97.,  85.],
        [ 85.,  64.,  74.,  76., 103.,  68.,  63.,  96.,  95., 117.],
        [134.,  79.,  96.,  88.,  77.,  95.,  91.,  81.,  90.,  88.],
        [ 84.,  90., 105.,  74.,  99.,  80., 122.,  80.,  90.,  69.],
        [ 68.,  68.,  68.,  84.,  99.,  77.,  57.,  85.,  79., 122.],
        [118.,  63.,  90.,  85.,  71.,  82.,  76.,  81.,  95.,  82.],
        [ 54., 123.,  75.,  83.,  82.,  69.,  70.,  74.,  87.,  75.],
        [ 81.,  82.,  75., 101.,  73., 120.,  77.,  84.,  92.,  90.],
        [ 72.,  66.,  71.,  75.,  96.,  71.,  58.,  88.,  87., 118.],
        [ 83.,  79.,  90.,  96.,  68.,  77.,  57., 121.,  60.,  82.],
        [ 76.,  87.,  96., 107.,  78.,  88.,  79.,  88.,  85.,  81.],
        [ 58.,  79.,  75.,  73., 120.,  76.,  73.,  84.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.93%



iteration:
  339
    0   682   bit_w:-1  loss: 0.10015
    1   794   bit_w:-1  loss: 0.10008
    2   717   bit_w:-1  loss: 0.10008
    3   230   bit_w: 1  loss: 0.10004
    4  1082   bit_w: 1  loss: 0.10005
   5641   6273   5434   4696   5553   4576   5733   6006   4176   4761
      0      0     -1      0     -1     -1      0      0     -1     -1
Train accuarcate: 97.06%
tensor([[ 76.,  73.,  86.,  96.,  69.,  84.,  50., 132.,  78.,  82.],
        [ 89.,  93., 125.,  97.,  60.,  88.,  89.,  64.,  91.,  65.],
        [ 66., 111.,  91.,  73.,  79.,  65.,  73.,  81.,  76.,  59.],
        [112.,  79.,  86.,  72.,  64.,  80.,  86.,  86.,  72.,  88.],
        [ 78.,  84.,  77.,  66., 125.,  74.,  86.,  80.,  87.,  89.],
        [ 61., 114.,  76.,  77.,  82.,  63.,  67.,  89.,  74.,  67.],
        [ 48.,  85.,  63.,  83., 119.,  86.,  71.,  85.,  91.,  91.],
        [ 59.,  71.,  91.,  90.,  94.,  85.,  66.,  75.,  88., 124.],
        [ 88.,  82.,  95.,  58.,  95., 107., 117.,  82.,  97.,  85.],
        [ 85.,  64.,  75.,  76., 104.,  69.,  63.,  96.,  96., 118.],
        [134.,  79.,  96.,  88.,  77.,  95.,  91.,  81.,  90.,  88.],
        [ 84.,  90., 105.,  74.,  99.,  80., 122.,  80.,  90.,  69.],
        [ 68.,  68.,  68.,  84.,  99.,  77.,  57.,  85.,  79., 122.],
        [118.,  63.,  90.,  85.,  71.,  82.,  76.,  81.,  95.,  82.],
        [ 54., 123.,  75.,  83.,  82.,  69.,  70.,  74.,  87.,  75.],
        [ 81.,  82.,  75., 101.,  73., 120.,  77.,  84.,  92.,  90.],
        [ 72.,  66.,  71.,  75.,  96.,  71.,  58.,  88.,  87., 118.],
        [ 83.,  79.,  90.,  96.,  68.,  77.,  57., 121.,  60.,  82.],
        [ 76.,  87.,  96., 107.,  78.,  88.,  79.,  88.,  85.,  81.],
        [ 58.,  79.,  75.,  73., 120.,  76.,  73.,  84.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.95%



iteration:
  340
    0  1108   bit_w:-1  loss: 0.10000
    1  1118   bit_w: 1  loss: 0.09995
    2   706   bit_w: 1  loss: 0.09996
    3  1179   bit_w: 1  loss: 0.09989
    4  1143   bit_w:-1  loss: 0.09993
   1194    109   1200    439    607    627   1251    269    164    514
      0      0      0      1      1      0      0      0      0      1
Train accuarcate: 97.07%
tensor([[ 76.,  73.,  86.,  96.,  69.,  84.,  50., 132.,  78.,  82.],
        [ 89.,  93., 125.,  97.,  60.,  88.,  89.,  64.,  91.,  65.],
        [ 66., 111.,  91.,  73.,  79.,  65.,  73.,  81.,  76.,  59.],
        [112.,  79.,  86.,  73.,  65.,  80.,  86.,  86.,  72.,  89.],
        [ 78.,  84.,  77.,  66., 125.,  74.,  86.,  80.,  87.,  89.],
        [ 61., 114.,  76.,  77.,  82.,  63.,  67.,  89.,  74.,  67.],
        [ 48.,  85.,  63.,  83., 119.,  86.,  71.,  85.,  91.,  91.],
        [ 59.,  71.,  91.,  90.,  94.,  85.,  66.,  75.,  88., 124.],
        [ 88.,  82.,  95.,  59.,  96., 107., 117.,  82.,  97.,  86.],
        [ 85.,  64.,  75.,  76., 104.,  69.,  63.,  96.,  96., 118.],
        [134.,  79.,  96.,  88.,  77.,  95.,  91.,  81.,  90.,  88.],
        [ 84.,  90., 105.,  74.,  99.,  80., 122.,  80.,  90.,  69.],
        [ 68.,  68.,  68.,  84.,  99.,  77.,  57.,  85.,  79., 122.],
        [118.,  63.,  90.,  85.,  71.,  82.,  76.,  81.,  95.,  82.],
        [ 54., 123.,  75.,  83.,  82.,  69.,  70.,  74.,  87.,  75.],
        [ 81.,  82.,  75., 101.,  73., 120.,  77.,  84.,  92.,  90.],
        [ 72.,  66.,  71.,  75.,  96.,  71.,  58.,  88.,  87., 118.],
        [ 83.,  79.,  90.,  96.,  68.,  77.,  57., 121.,  60.,  82.],
        [ 76.,  87.,  96., 108.,  79.,  88.,  79.,  88.,  85.,  82.],
        [ 58.,  79.,  75.,  73., 120.,  76.,  73.,  84.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.97%



iteration:
  341
    0  1155   bit_w:-1  loss: 0.09988
    1   157   bit_w: 1  loss: 0.09982
    2   846   bit_w: 1  loss: 0.09980
    3   246   bit_w: 1  loss: 0.09972
    4    69   bit_w:-1  loss: 0.09970
   4749   5724   5481   5703   3734   3577   3507   4798   4739   4768
      0     -1      0      0     -1     -1     -1      0     -1      0
Train accuarcate: 97.07%
tensor([[ 76.,  74.,  86.,  96.,  70.,  85.,  51., 132.,  79.,  82.],
        [ 89.,  94., 125.,  97.,  61.,  89.,  90.,  64.,  92.,  65.],
        [ 66., 111.,  91.,  73.,  79.,  65.,  73.,  81.,  76.,  59.],
        [112.,  79.,  86.,  73.,  65.,  80.,  86.,  86.,  72.,  89.],
        [ 78.,  85.,  77.,  66., 126.,  75.,  87.,  80.,  88.,  89.],
        [ 61., 114.,  76.,  77.,  82.,  63.,  67.,  89.,  74.,  67.],
        [ 48.,  85.,  63.,  83., 119.,  86.,  71.,  85.,  91.,  91.],
        [ 59.,  71.,  91.,  90.,  94.,  85.,  66.,  75.,  88., 124.],
        [ 88.,  82.,  95.,  59.,  96., 107., 117.,  82.,  97.,  86.],
        [ 85.,  65.,  75.,  76., 105.,  70.,  64.,  96.,  97., 118.],
        [134.,  79.,  96.,  88.,  77.,  95.,  91.,  81.,  90.,  88.],
        [ 84.,  91., 105.,  74., 100.,  81., 123.,  80.,  91.,  69.],
        [ 68.,  68.,  68.,  84.,  99.,  77.,  57.,  85.,  79., 122.],
        [118.,  64.,  90.,  85.,  72.,  83.,  77.,  81.,  96.,  82.],
        [ 54., 123.,  75.,  83.,  82.,  69.,  70.,  74.,  87.,  75.],
        [ 81.,  82.,  75., 101.,  73., 120.,  77.,  84.,  92.,  90.],
        [ 72.,  66.,  71.,  75.,  96.,  71.,  58.,  88.,  87., 118.],
        [ 83.,  79.,  90.,  96.,  68.,  77.,  57., 121.,  60.,  82.],
        [ 76.,  87.,  96., 108.,  79.,  88.,  79.,  88.,  85.,  82.],
        [ 58.,  79.,  75.,  73., 120.,  76.,  73.,  84.,  83.,  85.]],
       device='cuda:0')
Train accuarcate: 95.97%



iteration:
  342
    0  1142   bit_w:-1  loss: 0.09965
    1   458   bit_w: 1  loss: 0.09956
    2   487   bit_w:-1  loss: 0.09954
    3   485   bit_w: 1  loss: 0.09941
    4  1119   bit_w: 1  loss: 0.09937
   3502   4913   4494   5768   5257   5026   4781   5699   3105   5787
     -1      0     -1      0      0      0     -1     -1     -1      0
Train accuarcate: 97.06%
tensor([[ 76.,  74.,  86.,  96.,  70.,  85.,  51., 132.,  79.,  82.],
        [ 89.,  94., 125.,  97.,  61.,  89.,  90.,  64.,  92.,  65.],
        [ 66., 111.,  91.,  73.,  79.,  65.,  73.,  81.,  76.,  59.],
        [112.,  79.,  86.,  73.,  65.,  80.,  86.,  86.,  72.,  89.],
        [ 78.,  85.,  77.,  66., 126.,  75.,  87.,  80.,  88.,  89.],
        [ 61., 114.,  76.,  77.,  82.,  63.,  67.,  89.,  74.,  67.],
        [ 48.,  85.,  63.,  83., 119.,  86.,  71.,  85.,  91.,  91.],
        [ 59.,  71.,  91.,  90.,  94.,  85.,  66.,  75.,  88., 124.],
        [ 89.,  82.,  96.,  59.,  96., 107., 118.,  83.,  98.,  86.],
        [ 85.,  65.,  75.,  76., 105.,  70.,  64.,  96.,  97., 118.],
        [135.,  79.,  97.,  88.,  77.,  95.,  92.,  82.,  91.,  88.],
        [ 85.,  91., 106.,  74., 100.,  81., 124.,  81.,  92.,  69.],
        [ 68.,  68.,  68.,  84.,  99.,  77.,  57.,  85.,  79., 122.],
        [118.,  64.,  90.,  85.,  72.,  83.,  77.,  81.,  96.,  82.],
        [ 54., 123.,  75.,  83.,  82.,  69.,  70.,  74.,  87.,  75.],
        [ 81.,  82.,  75., 101.,  73., 120.,  77.,  84.,  92.,  90.],
        [ 72.,  66.,  71.,  75.,  96.,  71.,  58.,  88.,  87., 118.],
        [ 83.,  79.,  90.,  96.,  68.,  77.,  57., 121.,  60.,  82.],
        [ 76.,  87.,  96., 108.,  79.,  88.,  79.,  88.,  85.,  82.],
        [ 59.,  79.,  76.,  73., 120.,  76.,  74.,  85.,  84.,  85.]],
       device='cuda:0')
Train accuarcate: 96.03%



iteration:
  343
    0  1128   bit_w:-1  loss: 0.09932
    1  1104   bit_w: 1  loss: 0.09925
    2  1182   bit_w:-1  loss: 0.09926
    3   719   bit_w:-1  loss: 0.09918
    4    66   bit_w: 1  loss: 0.09925
   1978    689    496    918    305   1505    441   1375   1111    751
      1      0      0      0      0      1      1      0      0      1
Train accuarcate: 97.08%
tensor([[ 76.,  74.,  86.,  96.,  70.,  85.,  51., 132.,  79.,  82.],
        [ 89.,  94., 125.,  97.,  61.,  89.,  90.,  64.,  92.,  65.],
        [ 66., 111.,  91.,  73.,  79.,  65.,  73.,  81.,  76.,  59.],
        [112.,  79.,  86.,  73.,  65.,  80.,  86.,  86.,  72.,  89.],
        [ 78.,  85.,  77.,  66., 126.,  75.,  87.,  80.,  88.,  89.],
        [ 61., 114.,  76.,  77.,  82.,  63.,  67.,  89.,  74.,  67.],
        [ 48.,  85.,  63.,  83., 119.,  86.,  71.,  85.,  91.,  91.],
        [ 59.,  71.,  91.,  90.,  94.,  85.,  66.,  75.,  88., 124.],
        [ 89.,  82.,  96.,  59.,  96., 107., 118.,  83.,  98.,  86.],
        [ 85.,  65.,  75.,  76., 105.,  70.,  64.,  96.,  97., 118.],
        [135.,  79.,  97.,  88.,  77.,  95.,  92.,  82.,  91.,  88.],
        [ 85.,  91., 106.,  74., 100.,  81., 124.,  81.,  92.,  69.],
        [ 68.,  68.,  68.,  84.,  99.,  77.,  57.,  85.,  79., 122.],
        [118.,  64.,  90.,  85.,  72.,  83.,  77.,  81.,  96.,  82.],
        [ 54., 123.,  75.,  83.,  82.,  69.,  70.,  74.,  87.,  75.],
        [ 81.,  82.,  75., 101.,  73., 120.,  77.,  84.,  92.,  90.],
        [ 72.,  66.,  71.,  75.,  96.,  71.,  58.,  88.,  87., 118.],
        [ 83.,  79.,  90.,  96.,  68.,  77.,  57., 121.,  60.,  82.],
        [ 76.,  87.,  96., 108.,  79.,  88.,  79.,  88.,  85.,  82.],
        [ 59.,  79.,  76.,  73., 120.,  76.,  74.,  85.,  84.,  85.]],
       device='cuda:0')
Train accuarcate: 96.01%



iteration:
  344
    0  1137   bit_w:-1  loss: 0.09920
    1   317   bit_w:-1  loss: 0.09910
    2  1030   bit_w: 1  loss: 0.09909
    3   264   bit_w:-1  loss: 0.09902
    4   949   bit_w: 1  loss: 0.09903
   1122     32   2274   3991    284   1070    367    703    618    338
      0      0      1      1      0      0      0      0      1      1
Train accuarcate: 97.08%
tensor([[ 76.,  74.,  86.,  96.,  70.,  85.,  51., 132.,  79.,  82.],
        [ 89.,  94., 125.,  97.,  61.,  89.,  90.,  64.,  92.,  65.],
        [ 66., 111.,  91.,  73.,  79.,  65.,  73.,  81.,  76.,  59.],
        [112.,  79.,  86.,  73.,  65.,  80.,  86.,  86.,  72.,  89.],
        [ 78.,  85.,  77.,  66., 126.,  75.,  87.,  80.,  88.,  89.],
        [ 61., 114.,  76.,  77.,  82.,  63.,  67.,  89.,  74.,  67.],
        [ 48.,  85.,  63.,  83., 119.,  86.,  71.,  85.,  91.,  91.],
        [ 59.,  71.,  91.,  90.,  94.,  85.,  66.,  75.,  88., 124.],
        [ 89.,  82.,  96.,  59.,  96., 107., 118.,  83.,  98.,  86.],
        [ 85.,  65.,  75.,  76., 105.,  70.,  64.,  96.,  97., 118.],
        [135.,  79.,  98.,  89.,  77.,  95.,  92.,  82.,  92.,  89.],
        [ 85.,  91., 107.,  75., 100.,  81., 124.,  81.,  93.,  70.],
        [ 68.,  68.,  68.,  84.,  99.,  77.,  57.,  85.,  79., 122.],
        [118.,  64.,  90.,  85.,  72.,  83.,  77.,  81.,  96.,  82.],
        [ 54., 123.,  75.,  83.,  82.,  69.,  70.,  74.,  87.,  75.],
        [ 81.,  82.,  76., 102.,  73., 120.,  77.,  84.,  93.,  91.],
        [ 72.,  66.,  71.,  75.,  96.,  71.,  58.,  88.,  87., 118.],
        [ 83.,  79.,  90.,  96.,  68.,  77.,  57., 121.,  60.,  82.],
        [ 76.,  87.,  97., 109.,  79.,  88.,  79.,  88.,  86.,  83.],
        [ 59.,  79.,  76.,  73., 120.,  76.,  74.,  85.,  84.,  85.]],
       device='cuda:0')
Train accuarcate: 96.01%



iteration:
  345
    0  1016   bit_w:-1  loss: 0.09897
    1   182   bit_w:-1  loss: 0.09884
    2   231   bit_w: 1  loss: 0.09881
    3   808   bit_w: 1  loss: 0.09874
    4   712   bit_w: 1  loss: 0.09873
    837   1227   1589    579   2732   1042   1474   3249    556   1062
      0      1      0      0      1      0      0      1      0      0
Train accuarcate: 97.07%
tensor([[ 76.,  75.,  86.,  96.,  71.,  85.,  51., 133.,  79.,  82.],
        [ 89.,  95., 125.,  97.,  62.,  89.,  90.,  65.,  92.,  65.],
        [ 66., 111.,  91.,  73.,  79.,  65.,  73.,  81.,  76.,  59.],
        [112.,  79.,  86.,  73.,  65.,  80.,  86.,  86.,  72.,  89.],
        [ 78.,  86.,  77.,  66., 127.,  75.,  87.,  81.,  88.,  89.],
        [ 61., 114.,  76.,  77.,  82.,  63.,  67.,  89.,  74.,  67.],
        [ 48.,  86.,  63.,  83., 120.,  86.,  71.,  86.,  91.,  91.],
        [ 59.,  71.,  91.,  90.,  94.,  85.,  66.,  75.,  88., 124.],
        [ 89.,  82.,  96.,  59.,  96., 107., 118.,  83.,  98.,  86.],
        [ 85.,  65.,  75.,  76., 105.,  70.,  64.,  96.,  97., 118.],
        [135.,  79.,  98.,  89.,  77.,  95.,  92.,  82.,  92.,  89.],
        [ 85.,  92., 107.,  75., 101.,  81., 124.,  82.,  93.,  70.],
        [ 68.,  69.,  68.,  84., 100.,  77.,  57.,  86.,  79., 122.],
        [118.,  64.,  90.,  85.,  72.,  83.,  77.,  81.,  96.,  82.],
        [ 54., 123.,  75.,  83.,  82.,  69.,  70.,  74.,  87.,  75.],
        [ 81.,  82.,  76., 102.,  73., 120.,  77.,  84.,  93.,  91.],
        [ 72.,  66.,  71.,  75.,  96.,  71.,  58.,  88.,  87., 118.],
        [ 83.,  80.,  90.,  96.,  69.,  77.,  57., 122.,  60.,  82.],
        [ 76.,  88.,  97., 109.,  80.,  88.,  79.,  89.,  86.,  83.],
        [ 59.,  79.,  76.,  73., 120.,  76.,  74.,  85.,  84.,  85.]],
       device='cuda:0')
Train accuarcate: 96.00%



iteration:
  346
    0  1118   bit_w:-1  loss: 0.09867
    1  1002   bit_w: 1  loss: 0.09862
    2   329   bit_w: 1  loss: 0.09861
    3  1003   bit_w: 1  loss: 0.09856
    4   746   bit_w:-1  loss: 0.09861
   2425   6490   3995   4641   5642   5174   5673   5718   3647   4955
      0      0     -1     -1      0      0      0      0      0     -1
Train accuarcate: 97.08%
tensor([[ 76.,  75.,  86.,  96.,  71.,  85.,  51., 133.,  79.,  82.],
        [ 89.,  95., 125.,  97.,  62.,  89.,  90.,  65.,  92.,  65.],
        [ 66., 111.,  91.,  73.,  79.,  65.,  73.,  81.,  76.,  59.],
        [112.,  79.,  86.,  73.,  65.,  80.,  86.,  86.,  72.,  89.],
        [ 78.,  86.,  77.,  66., 127.,  75.,  87.,  81.,  88.,  89.],
        [ 61., 114.,  76.,  77.,  82.,  63.,  67.,  89.,  74.,  67.],
        [ 48.,  86.,  63.,  83., 120.,  86.,  71.,  86.,  91.,  91.],
        [ 59.,  71.,  91.,  90.,  94.,  85.,  66.,  75.,  88., 124.],
        [ 89.,  82.,  96.,  59.,  96., 107., 118.,  83.,  98.,  86.],
        [ 85.,  65.,  75.,  76., 105.,  70.,  64.,  96.,  97., 118.],
        [135.,  79.,  99.,  90.,  77.,  95.,  92.,  82.,  92.,  90.],
        [ 85.,  92., 107.,  75., 101.,  81., 124.,  82.,  93.,  70.],
        [ 68.,  69.,  68.,  84., 100.,  77.,  57.,  86.,  79., 122.],
        [118.,  64.,  91.,  86.,  72.,  83.,  77.,  81.,  96.,  83.],
        [ 54., 123.,  75.,  83.,  82.,  69.,  70.,  74.,  87.,  75.],
        [ 81.,  82.,  76., 102.,  73., 120.,  77.,  84.,  93.,  91.],
        [ 72.,  66.,  71.,  75.,  96.,  71.,  58.,  88.,  87., 118.],
        [ 83.,  80.,  90.,  96.,  69.,  77.,  57., 122.,  60.,  82.],
        [ 76.,  88.,  97., 109.,  80.,  88.,  79.,  89.,  86.,  83.],
        [ 59.,  79.,  76.,  73., 120.,  76.,  74.,  85.,  84.,  85.]],
       device='cuda:0')
Train accuarcate: 96.02%



iteration:
  347
    0  1118   bit_w:-1  loss: 0.09855
    1  1070   bit_w: 1  loss: 0.09850
    2    73   bit_w: 1  loss: 0.09851
    3  1037   bit_w: 1  loss: 0.09846
    4  1010   bit_w:-1  loss: 0.09848
    567    685   1281    354    375    414   1409    361    310    148
      0      1      0      0      0      1      1      1      0      0
Train accuarcate: 97.08%
tensor([[ 76.,  75.,  86.,  96.,  71.,  85.,  51., 133.,  79.,  82.],
        [ 89.,  95., 125.,  97.,  62.,  89.,  90.,  65.,  92.,  65.],
        [ 66., 111.,  91.,  73.,  79.,  65.,  73.,  81.,  76.,  59.],
        [112.,  79.,  86.,  73.,  65.,  80.,  86.,  86.,  72.,  89.],
        [ 78.,  86.,  77.,  66., 127.,  75.,  87.,  81.,  88.,  89.],
        [ 61., 114.,  76.,  77.,  82.,  63.,  67.,  89.,  74.,  67.],
        [ 48.,  86.,  63.,  83., 120.,  86.,  71.,  86.,  91.,  91.],
        [ 59.,  72.,  91.,  90.,  94.,  86.,  67.,  76.,  88., 124.],
        [ 89.,  82.,  96.,  59.,  96., 107., 118.,  83.,  98.,  86.],
        [ 85.,  65.,  75.,  76., 105.,  70.,  64.,  96.,  97., 118.],
        [135.,  79.,  99.,  90.,  77.,  95.,  92.,  82.,  92.,  90.],
        [ 85.,  92., 107.,  75., 101.,  81., 124.,  82.,  93.,  70.],
        [ 68.,  69.,  68.,  84., 100.,  77.,  57.,  86.,  79., 122.],
        [118.,  64.,  91.,  86.,  72.,  83.,  77.,  81.,  96.,  83.],
        [ 54., 123.,  75.,  83.,  82.,  69.,  70.,  74.,  87.,  75.],
        [ 81.,  82.,  76., 102.,  73., 120.,  77.,  84.,  93.,  91.],
        [ 72.,  66.,  71.,  75.,  96.,  71.,  58.,  88.,  87., 118.],
        [ 83.,  80.,  90.,  96.,  69.,  77.,  57., 122.,  60.,  82.],
        [ 76.,  88.,  97., 109.,  80.,  88.,  79.,  89.,  86.,  83.],
        [ 59.,  79.,  76.,  73., 120.,  76.,  74.,  85.,  84.,  85.]],
       device='cuda:0')
Train accuarcate: 96.01%



iteration:
  348
    0  1069   bit_w:-1  loss: 0.09843
    1  1067   bit_w: 1  loss: 0.09836
    2  1045   bit_w:-1  loss: 0.09836
    3   287   bit_w:-1  loss: 0.09828
    4   847   bit_w:-1  loss: 0.09833
   4421   6517   3321   2117   3478   3049   2757   3016   4002   3982
      0      0      0      0      0      0      0     -1      1      1
Train accuarcate: 97.10%
tensor([[ 76.,  75.,  86.,  96.,  71.,  85.,  51., 133.,  80.,  83.],
        [ 89.,  95., 125.,  97.,  62.,  89.,  90.,  66.,  92.,  65.],
        [ 66., 111.,  91.,  73.,  79.,  65.,  73.,  81.,  77.,  60.],
        [112.,  79.,  86.,  73.,  65.,  80.,  86.,  87.,  72.,  89.],
        [ 78.,  86.,  77.,  66., 127.,  75.,  87.,  81.,  89.,  90.],
        [ 61., 114.,  76.,  77.,  82.,  63.,  67.,  89.,  75.,  68.],
        [ 48.,  86.,  63.,  83., 120.,  86.,  71.,  87.,  91.,  91.],
        [ 59.,  72.,  91.,  90.,  94.,  86.,  67.,  76.,  89., 125.],
        [ 89.,  82.,  96.,  59.,  96., 107., 118.,  83.,  99.,  87.],
        [ 85.,  65.,  75.,  76., 105.,  70.,  64.,  96.,  98., 119.],
        [135.,  79.,  99.,  90.,  77.,  95.,  92.,  82.,  93.,  91.],
        [ 85.,  92., 107.,  75., 101.,  81., 124.,  82.,  94.,  71.],
        [ 68.,  69.,  68.,  84., 100.,  77.,  57.,  86.,  80., 123.],
        [118.,  64.,  91.,  86.,  72.,  83.,  77.,  82.,  96.,  83.],
        [ 54., 123.,  75.,  83.,  82.,  69.,  70.,  74.,  88.,  76.],
        [ 81.,  82.,  76., 102.,  73., 120.,  77.,  85.,  93.,  91.],
        [ 72.,  66.,  71.,  75.,  96.,  71.,  58.,  88.,  88., 119.],
        [ 83.,  80.,  90.,  96.,  69.,  77.,  57., 122.,  61.,  83.],
        [ 76.,  88.,  97., 109.,  80.,  88.,  79.,  90.,  86.,  83.],
        [ 59.,  79.,  76.,  73., 120.,  76.,  74.,  85.,  85.,  86.]],
       device='cuda:0')
Train accuarcate: 96.03%



iteration:
  349
    0   403   bit_w:-1  loss: 0.09822
    1  1138   bit_w:-1  loss: 0.09813
    2   319   bit_w: 1  loss: 0.09813
    3   659   bit_w:-1  loss: 0.09802
    4  1065   bit_w: 1  loss: 0.09807
   4097   3154   3770   1796   2791   2440   3872   4770   2187   3477
     -1      0      0     -1      1     -1      0      0      0      0
Train accuarcate: 97.10%
tensor([[ 76.,  75.,  86.,  96.,  72.,  85.,  51., 133.,  80.,  83.],
        [ 89.,  95., 125.,  97.,  63.,  89.,  90.,  66.,  92.,  65.],
        [ 66., 111.,  91.,  73.,  80.,  65.,  73.,  81.,  77.,  60.],
        [112.,  79.,  86.,  73.,  66.,  80.,  86.,  87.,  72.,  89.],
        [ 78.,  86.,  77.,  66., 128.,  75.,  87.,  81.,  89.,  90.],
        [ 61., 114.,  76.,  77.,  83.,  63.,  67.,  89.,  75.,  68.],
        [ 49.,  86.,  63.,  84., 120.,  87.,  71.,  87.,  91.,  91.],
        [ 59.,  72.,  91.,  90.,  95.,  86.,  67.,  76.,  89., 125.],
        [ 90.,  82.,  96.,  60.,  96., 108., 118.,  83.,  99.,  87.],
        [ 86.,  65.,  75.,  77., 105.,  71.,  64.,  96.,  98., 119.],
        [135.,  79.,  99.,  90.,  78.,  95.,  92.,  82.,  93.,  91.],
        [ 85.,  92., 107.,  75., 102.,  81., 124.,  82.,  94.,  71.],
        [ 68.,  69.,  68.,  84., 101.,  77.,  57.,  86.,  80., 123.],
        [118.,  64.,  91.,  86.,  73.,  83.,  77.,  82.,  96.,  83.],
        [ 55., 123.,  75.,  84.,  82.,  70.,  70.,  74.,  88.,  76.],
        [ 82.,  82.,  76., 103.,  73., 121.,  77.,  85.,  93.,  91.],
        [ 73.,  66.,  71.,  76.,  96.,  72.,  58.,  88.,  88., 119.],
        [ 83.,  80.,  90.,  96.,  70.,  77.,  57., 122.,  61.,  83.],
        [ 77.,  88.,  97., 110.,  80.,  89.,  79.,  90.,  86.,  83.],
        [ 60.,  79.,  76.,  74., 120.,  77.,  74.,  85.,  85.,  86.]],
       device='cuda:0')
Train accuarcate: 95.97%



iteration:
  350
    0   934   bit_w:-1  loss: 0.09797
    1   952   bit_w:-1  loss: 0.09785
    2  1111   bit_w: 1  loss: 0.09786
    3  1172   bit_w:-1  loss: 0.09773
    4   787   bit_w: 1  loss: 0.09776
   1039   1937   1734   4411   3757   2699   1554   5576   2034   4483
      1     -1      1      0      0      0     -1      0      0     -1
Train accuarcate: 97.14%
tensor([[ 77.,  75.,  87.,  96.,  72.,  85.,  51., 133.,  80.,  83.],
        [ 89.,  96., 125.,  97.,  63.,  89.,  91.,  66.,  92.,  66.],
        [ 66., 112.,  91.,  73.,  80.,  65.,  74.,  81.,  77.,  61.],
        [112.,  80.,  86.,  73.,  66.,  80.,  87.,  87.,  72.,  90.],
        [ 78.,  87.,  77.,  66., 128.,  75.,  88.,  81.,  89.,  91.],
        [ 61., 115.,  76.,  77.,  83.,  63.,  68.,  89.,  75.,  69.],
        [ 49.,  87.,  63.,  84., 120.,  87.,  72.,  87.,  91.,  92.],
        [ 60.,  72.,  92.,  90.,  95.,  86.,  67.,  76.,  89., 125.],
        [ 90.,  83.,  96.,  60.,  96., 108., 119.,  83.,  99.,  88.],
        [ 87.,  65.,  76.,  77., 105.,  71.,  64.,  96.,  98., 119.],
        [135.,  80.,  99.,  90.,  78.,  95.,  93.,  82.,  93.,  92.],
        [ 86.,  92., 108.,  75., 102.,  81., 124.,  82.,  94.,  71.],
        [ 69.,  69.,  69.,  84., 101.,  77.,  57.,  86.,  80., 123.],
        [118.,  65.,  91.,  86.,  73.,  83.,  78.,  82.,  96.,  84.],
        [ 55., 124.,  75.,  84.,  82.,  70.,  71.,  74.,  88.,  77.],
        [ 83.,  82.,  77., 103.,  73., 121.,  77.,  85.,  93.,  91.],
        [ 74.,  66.,  72.,  76.,  96.,  72.,  58.,  88.,  88., 119.],
        [ 84.,  80.,  91.,  96.,  70.,  77.,  57., 122.,  61.,  83.],
        [ 78.,  88.,  98., 110.,  80.,  89.,  79.,  90.,  86.,  83.],
        [ 61.,  79.,  77.,  74., 120.,  77.,  74.,  85.,  85.,  86.]],
       device='cuda:0')
Train accuarcate: 95.98%



iteration:
  351
    0   491   bit_w:-1  loss: 0.09769
    1   794   bit_w: 1  loss: 0.09754
    2   439   bit_w:-1  loss: 0.09750
    3  1116   bit_w: 1  loss: 0.09742
    4  1071   bit_w: 1  loss: 0.09745
   3803   5424   2676   5047   1812   4730   2996   1436   5460   3777
      0     -1     -1      0      0      0      0     -1      0      0
Train accuarcate: 97.17%
tensor([[ 77.,  75.,  87.,  96.,  72.,  85.,  51., 133.,  80.,  83.],
        [ 89.,  97., 126.,  97.,  63.,  89.,  91.,  67.,  92.,  66.],
        [ 66., 112.,  91.,  73.,  80.,  65.,  74.,  81.,  77.,  61.],
        [112.,  81.,  87.,  73.,  66.,  80.,  87.,  88.,  72.,  90.],
        [ 78.,  88.,  78.,  66., 128.,  75.,  88.,  82.,  89.,  91.],
        [ 61., 115.,  76.,  77.,  83.,  63.,  68.,  89.,  75.,  69.],
        [ 49.,  87.,  63.,  84., 120.,  87.,  72.,  87.,  91.,  92.],
        [ 60.,  72.,  92.,  90.,  95.,  86.,  67.,  76.,  89., 125.],
        [ 90.,  84.,  97.,  60.,  96., 108., 119.,  84.,  99.,  88.],
        [ 87.,  66.,  77.,  77., 105.,  71.,  64.,  97.,  98., 119.],
        [135.,  80.,  99.,  90.,  78.,  95.,  93.,  82.,  93.,  92.],
        [ 86.,  92., 108.,  75., 102.,  81., 124.,  82.,  94.,  71.],
        [ 69.,  70.,  70.,  84., 101.,  77.,  57.,  87.,  80., 123.],
        [118.,  65.,  91.,  86.,  73.,  83.,  78.,  82.,  96.,  84.],
        [ 55., 125.,  76.,  84.,  82.,  70.,  71.,  75.,  88.,  77.],
        [ 83.,  82.,  77., 103.,  73., 121.,  77.,  85.,  93.,  91.],
        [ 74.,  66.,  72.,  76.,  96.,  72.,  58.,  88.,  88., 119.],
        [ 84.,  81.,  92.,  96.,  70.,  77.,  57., 123.,  61.,  83.],
        [ 78.,  88.,  98., 110.,  80.,  89.,  79.,  90.,  86.,  83.],
        [ 61.,  79.,  77.,  74., 120.,  77.,  74.,  85.,  85.,  86.]],
       device='cuda:0')
Train accuarcate: 96.00%



iteration:
  352
    0  1000   bit_w:-1  loss: 0.09734
    1   909   bit_w: 1  loss: 0.09721
    2   814   bit_w:-1  loss: 0.09721
    3  1017   bit_w: 1  loss: 0.09719
    4  1116   bit_w: 1  loss: 0.09716
   4381   1142   1780   3394   1288   3761   2311    376   3097    749
      1      0      0     -1      0      1     -1      0      1      0
Train accuarcate: 97.16%
tensor([[ 77.,  75.,  87.,  97.,  72.,  85.,  52., 133.,  80.,  83.],
        [ 90.,  97., 126.,  97.,  63.,  90.,  91.,  67.,  93.,  66.],
        [ 66., 112.,  91.,  74.,  80.,  65.,  75.,  81.,  77.,  61.],
        [113.,  81.,  87.,  73.,  66.,  81.,  87.,  88.,  73.,  90.],
        [ 78.,  88.,  78.,  67., 128.,  75.,  89.,  82.,  89.,  91.],
        [ 61., 115.,  76.,  78.,  83.,  63.,  69.,  89.,  75.,  69.],
        [ 49.,  87.,  63.,  85., 120.,  87.,  73.,  87.,  91.,  92.],
        [ 60.,  72.,  92.,  91.,  95.,  86.,  68.,  76.,  89., 125.],
        [ 90.,  84.,  97.,  61.,  96., 108., 120.,  84.,  99.,  88.],
        [ 87.,  66.,  77.,  78., 105.,  71.,  65.,  97.,  98., 119.],
        [136.,  80.,  99.,  90.,  78.,  96.,  93.,  82.,  94.,  92.],
        [ 86.,  92., 108.,  76., 102.,  81., 125.,  82.,  94.,  71.],
        [ 69.,  70.,  70.,  85., 101.,  77.,  58.,  87.,  80., 123.],
        [119.,  65.,  91.,  86.,  73.,  84.,  78.,  82.,  97.,  84.],
        [ 55., 125.,  76.,  85.,  82.,  70.,  72.,  75.,  88.,  77.],
        [ 83.,  82.,  77., 104.,  73., 121.,  78.,  85.,  93.,  91.],
        [ 74.,  66.,  72.,  77.,  96.,  72.,  59.,  88.,  88., 119.],
        [ 84.,  81.,  92.,  97.,  70.,  77.,  58., 123.,  61.,  83.],
        [ 78.,  88.,  98., 111.,  80.,  89.,  80.,  90.,  86.,  83.],
        [ 61.,  79.,  77.,  75., 120.,  77.,  75.,  85.,  85.,  86.]],
       device='cuda:0')
Train accuarcate: 95.93%



iteration:
  353
    0   160   bit_w:-1  loss: 0.09709
    1   186   bit_w: 1  loss: 0.09702
    2  1131   bit_w: 1  loss: 0.09703
    3  1007   bit_w:-1  loss: 0.09697
    4   965   bit_w: 1  loss: 0.09699
   5551   6025   4252   5499   3738   4873   5745   6058   4709   5843
     -1     -1     -1      0     -1      0      0      0     -1      0
Train accuarcate: 97.15%
tensor([[ 77.,  75.,  87.,  97.,  72.,  85.,  52., 133.,  80.,  83.],
        [ 91.,  98., 127.,  97.,  64.,  90.,  91.,  67.,  94.,  66.],
        [ 66., 112.,  91.,  74.,  80.,  65.,  75.,  81.,  77.,  61.],
        [113.,  81.,  87.,  73.,  66.,  81.,  87.,  88.,  73.,  90.],
        [ 79.,  89.,  79.,  67., 129.,  75.,  89.,  82.,  90.,  91.],
        [ 61., 115.,  76.,  78.,  83.,  63.,  69.,  89.,  75.,  69.],
        [ 50.,  88.,  64.,  85., 121.,  87.,  73.,  87.,  92.,  92.],
        [ 60.,  72.,  92.,  91.,  95.,  86.,  68.,  76.,  89., 125.],
        [ 91.,  85.,  98.,  61.,  97., 108., 120.,  84., 100.,  88.],
        [ 87.,  66.,  77.,  78., 105.,  71.,  65.,  97.,  98., 119.],
        [136.,  80.,  99.,  90.,  78.,  96.,  93.,  82.,  94.,  92.],
        [ 86.,  92., 108.,  76., 102.,  81., 125.,  82.,  94.,  71.],
        [ 69.,  70.,  70.,  85., 101.,  77.,  58.,  87.,  80., 123.],
        [119.,  65.,  91.,  86.,  73.,  84.,  78.,  82.,  97.,  84.],
        [ 55., 125.,  76.,  85.,  82.,  70.,  72.,  75.,  88.,  77.],
        [ 83.,  82.,  77., 104.,  73., 121.,  78.,  85.,  93.,  91.],
        [ 74.,  66.,  72.,  77.,  96.,  72.,  59.,  88.,  88., 119.],
        [ 84.,  81.,  92.,  97.,  70.,  77.,  58., 123.,  61.,  83.],
        [ 79.,  89.,  99., 111.,  81.,  89.,  80.,  90.,  87.,  83.],
        [ 61.,  79.,  77.,  75., 120.,  77.,  75.,  85.,  85.,  86.]],
       device='cuda:0')
Train accuarcate: 95.93%



iteration:
  354
    0  1006   bit_w:-1  loss: 0.09692
    1   933   bit_w:-1  loss: 0.09682
    2  1024   bit_w:-1  loss: 0.09682
    3   685   bit_w:-1  loss: 0.09675
    4  1168   bit_w:-1  loss: 0.09674
    793     91   1041    557    681   1018   3515   2193    873   2102
      0      0      0      0      0      1      0      1      0      1
Train accuarcate: 97.16%
tensor([[ 77.,  75.,  87.,  97.,  72.,  85.,  52., 133.,  80.,  83.],
        [ 91.,  98., 127.,  97.,  64.,  91.,  91.,  68.,  94.,  67.],
        [ 66., 112.,  91.,  74.,  80.,  65.,  75.,  81.,  77.,  61.],
        [113.,  81.,  87.,  73.,  66.,  82.,  87.,  89.,  73.,  91.],
        [ 79.,  89.,  79.,  67., 129.,  75.,  89.,  82.,  90.,  91.],
        [ 61., 115.,  76.,  78.,  83.,  63.,  69.,  89.,  75.,  69.],
        [ 50.,  88.,  64.,  85., 121.,  87.,  73.,  87.,  92.,  92.],
        [ 60.,  72.,  92.,  91.,  95.,  87.,  68.,  77.,  89., 126.],
        [ 91.,  85.,  98.,  61.,  97., 108., 120.,  84., 100.,  88.],
        [ 87.,  66.,  77.,  78., 105.,  72.,  65.,  98.,  98., 120.],
        [136.,  80.,  99.,  90.,  78.,  97.,  93.,  83.,  94.,  93.],
        [ 86.,  92., 108.,  76., 102.,  82., 125.,  83.,  94.,  72.],
        [ 69.,  70.,  70.,  85., 101.,  77.,  58.,  87.,  80., 123.],
        [119.,  65.,  91.,  86.,  73.,  84.,  78.,  82.,  97.,  84.],
        [ 55., 125.,  76.,  85.,  82.,  70.,  72.,  75.,  88.,  77.],
        [ 83.,  82.,  77., 104.,  73., 121.,  78.,  85.,  93.,  91.],
        [ 74.,  66.,  72.,  77.,  96.,  72.,  59.,  88.,  88., 119.],
        [ 84.,  81.,  92.,  97.,  70.,  77.,  58., 123.,  61.,  83.],
        [ 79.,  89.,  99., 111.,  81.,  89.,  80.,  90.,  87.,  83.],
        [ 61.,  79.,  77.,  75., 120.,  78.,  75.,  86.,  85.,  87.]],
       device='cuda:0')
Train accuarcate: 95.92%



iteration:
  355
    0    99   bit_w:-1  loss: 0.09669
    1  1051   bit_w:-1  loss: 0.09664
    2   266   bit_w:-1  loss: 0.09663
    3   994   bit_w:-1  loss: 0.09653
    4  1024   bit_w:-1  loss: 0.09661
   2468   1089   1972   1994   1309   1816   1193   3327   1927   3581
      0      0      0      0      1      0      0      0      1      0
Train accuarcate: 97.16%
tensor([[ 77.,  75.,  87.,  97.,  73.,  85.,  52., 133.,  81.,  83.],
        [ 91.,  98., 127.,  97.,  64.,  91.,  91.,  68.,  94.,  67.],
        [ 66., 112.,  91.,  74.,  80.,  65.,  75.,  81.,  77.,  61.],
        [113.,  81.,  87.,  73.,  66.,  82.,  87.,  89.,  73.,  91.],
        [ 79.,  89.,  79.,  67., 129.,  75.,  89.,  82.,  90.,  91.],
        [ 61., 115.,  76.,  78.,  83.,  63.,  69.,  89.,  75.,  69.],
        [ 50.,  88.,  64.,  85., 121.,  87.,  73.,  87.,  92.,  92.],
        [ 60.,  72.,  92.,  91.,  95.,  87.,  68.,  77.,  89., 126.],
        [ 91.,  85.,  98.,  61.,  98., 108., 120.,  84., 101.,  88.],
        [ 87.,  66.,  77.,  78., 106.,  72.,  65.,  98.,  99., 120.],
        [136.,  80.,  99.,  90.,  78.,  97.,  93.,  83.,  94.,  93.],
        [ 86.,  92., 108.,  76., 102.,  82., 125.,  83.,  94.,  72.],
        [ 69.,  70.,  70.,  85., 102.,  77.,  58.,  87.,  81., 123.],
        [119.,  65.,  91.,  86.,  74.,  84.,  78.,  82.,  98.,  84.],
        [ 55., 125.,  76.,  85.,  82.,  70.,  72.,  75.,  88.,  77.],
        [ 83.,  82.,  77., 104.,  73., 121.,  78.,  85.,  93.,  91.],
        [ 74.,  66.,  72.,  77.,  97.,  72.,  59.,  88.,  89., 119.],
        [ 84.,  81.,  92.,  97.,  70.,  77.,  58., 123.,  61.,  83.],
        [ 79.,  89.,  99., 111.,  82.,  89.,  80.,  90.,  88.,  83.],
        [ 61.,  79.,  77.,  75., 120.,  78.,  75.,  86.,  85.,  87.]],
       device='cuda:0')
Train accuarcate: 95.98%



iteration:
  356
    0  1029   bit_w:-1  loss: 0.09656
    1  1162   bit_w:-1  loss: 0.09651
    2  1040   bit_w:-1  loss: 0.09652
    3   373   bit_w: 1  loss: 0.09644
    4   925   bit_w: 1  loss: 0.09645
   4954   6033   2420   4503   5433   4185   4989   3941   4729   5437
      0      0     -1     -1      0     -1      0      0      0      0
Train accuarcate: 97.16%
tensor([[ 77.,  75.,  87.,  97.,  73.,  85.,  52., 133.,  81.,  83.],
        [ 91.,  98., 128.,  98.,  64.,  92.,  91.,  68.,  94.,  67.],
        [ 66., 112.,  91.,  74.,  80.,  65.,  75.,  81.,  77.,  61.],
        [113.,  81.,  87.,  73.,  66.,  82.,  87.,  89.,  73.,  91.],
        [ 79.,  89.,  79.,  67., 129.,  75.,  89.,  82.,  90.,  91.],
        [ 61., 115.,  76.,  78.,  83.,  63.,  69.,  89.,  75.,  69.],
        [ 50.,  88.,  65.,  86., 121.,  88.,  73.,  87.,  92.,  92.],
        [ 60.,  72.,  92.,  91.,  95.,  87.,  68.,  77.,  89., 126.],
        [ 91.,  85.,  99.,  62.,  98., 109., 120.,  84., 101.,  88.],
        [ 87.,  66.,  77.,  78., 106.,  72.,  65.,  98.,  99., 120.],
        [136.,  80., 100.,  91.,  78.,  98.,  93.,  83.,  94.,  93.],
        [ 86.,  92., 109.,  77., 102.,  83., 125.,  83.,  94.,  72.],
        [ 69.,  70.,  70.,  85., 102.,  77.,  58.,  87.,  81., 123.],
        [119.,  65.,  91.,  86.,  74.,  84.,  78.,  82.,  98.,  84.],
        [ 55., 125.,  76.,  85.,  82.,  70.,  72.,  75.,  88.,  77.],
        [ 83.,  82.,  77., 104.,  73., 121.,  78.,  85.,  93.,  91.],
        [ 74.,  66.,  72.,  77.,  97.,  72.,  59.,  88.,  89., 119.],
        [ 84.,  81.,  92.,  97.,  70.,  77.,  58., 123.,  61.,  83.],
        [ 79.,  89., 100., 112.,  82.,  90.,  80.,  90.,  88.,  83.],
        [ 61.,  79.,  77.,  75., 120.,  78.,  75.,  86.,  85.,  87.]],
       device='cuda:0')
Train accuarcate: 96.02%



iteration:
  357
    0  1072   bit_w:-1  loss: 0.09638
    1   185   bit_w:-1  loss: 0.09629
    2   187   bit_w: 1  loss: 0.09630
    3  1064   bit_w: 1  loss: 0.09623
    4  1161   bit_w:-1  loss: 0.09627
    697   1167   1334    663   1433    888   3163    125    681    231
      1      1      0      0      1      0      1      0      1      0
Train accuarcate: 97.17%
tensor([[ 77.,  75.,  87.,  97.,  73.,  85.,  52., 133.,  81.,  83.],
        [ 91.,  98., 128.,  98.,  64.,  92.,  91.,  68.,  94.,  67.],
        [ 66., 112.,  91.,  74.,  80.,  65.,  75.,  81.,  77.,  61.],
        [113.,  81.,  87.,  73.,  66.,  82.,  87.,  89.,  73.,  91.],
        [ 80.,  90.,  79.,  67., 130.,  75.,  90.,  82.,  91.,  91.],
        [ 61., 115.,  76.,  78.,  83.,  63.,  69.,  89.,  75.,  69.],
        [ 50.,  88.,  65.,  86., 121.,  88.,  73.,  87.,  92.,  92.],
        [ 60.,  72.,  92.,  91.,  95.,  87.,  68.,  77.,  89., 126.],
        [ 91.,  85.,  99.,  62.,  98., 109., 120.,  84., 101.,  88.],
        [ 87.,  66.,  77.,  78., 106.,  72.,  65.,  98.,  99., 120.],
        [136.,  80., 100.,  91.,  78.,  98.,  93.,  83.,  94.,  93.],
        [ 87.,  93., 109.,  77., 103.,  83., 126.,  83.,  95.,  72.],
        [ 69.,  70.,  70.,  85., 102.,  77.,  58.,  87.,  81., 123.],
        [119.,  65.,  91.,  86.,  74.,  84.,  78.,  82.,  98.,  84.],
        [ 55., 125.,  76.,  85.,  82.,  70.,  72.,  75.,  88.,  77.],
        [ 83.,  82.,  77., 104.,  73., 121.,  78.,  85.,  93.,  91.],
        [ 74.,  66.,  72.,  77.,  97.,  72.,  59.,  88.,  89., 119.],
        [ 84.,  81.,  92.,  97.,  70.,  77.,  58., 123.,  61.,  83.],
        [ 79.,  89., 100., 112.,  82.,  90.,  80.,  90.,  88.,  83.],
        [ 61.,  79.,  77.,  75., 120.,  78.,  75.,  86.,  85.,  87.]],
       device='cuda:0')
Train accuarcate: 96.01%



iteration:
  358
    0  1041   bit_w:-1  loss: 0.09620
    1   867   bit_w:-1  loss: 0.09607
    2   454   bit_w:-1  loss: 0.09608
    3   149   bit_w: 1  loss: 0.09600
    4  1035   bit_w: 1  loss: 0.09603
   1623   5922   4611   4386   3219   2602   2729   4051   2196   2545
      0      0      0      0      0      0      0      1      0     -1
Train accuarcate: 97.17%
tensor([[ 77.,  75.,  87.,  97.,  73.,  85.,  52., 134.,  81.,  83.],
        [ 91.,  98., 128.,  98.,  64.,  92.,  91.,  69.,  94.,  67.],
        [ 66., 112.,  91.,  74.,  80.,  65.,  75.,  82.,  77.,  61.],
        [113.,  81.,  87.,  73.,  66.,  82.,  87.,  89.,  73.,  92.],
        [ 80.,  90.,  79.,  67., 130.,  75.,  90.,  83.,  91.,  91.],
        [ 61., 115.,  76.,  78.,  83.,  63.,  69.,  90.,  75.,  69.],
        [ 50.,  88.,  65.,  86., 121.,  88.,  73.,  88.,  92.,  92.],
        [ 60.,  72.,  92.,  91.,  95.,  87.,  68.,  77.,  89., 127.],
        [ 91.,  85.,  99.,  62.,  98., 109., 120.,  85., 101.,  88.],
        [ 87.,  66.,  77.,  78., 106.,  72.,  65.,  99.,  99., 120.],
        [136.,  80., 100.,  91.,  78.,  98.,  93.,  84.,  94.,  93.],
        [ 87.,  93., 109.,  77., 103.,  83., 126.,  84.,  95.,  72.],
        [ 69.,  70.,  70.,  85., 102.,  77.,  58.,  87.,  81., 124.],
        [119.,  65.,  91.,  86.,  74.,  84.,  78.,  82.,  98.,  85.],
        [ 55., 125.,  76.,  85.,  82.,  70.,  72.,  76.,  88.,  77.],
        [ 83.,  82.,  77., 104.,  73., 121.,  78.,  86.,  93.,  91.],
        [ 74.,  66.,  72.,  77.,  97.,  72.,  59.,  89.,  89., 119.],
        [ 84.,  81.,  92.,  97.,  70.,  77.,  58., 124.,  61.,  83.],
        [ 79.,  89., 100., 112.,  82.,  90.,  80.,  90.,  88.,  84.],
        [ 61.,  79.,  77.,  75., 120.,  78.,  75.,  86.,  85.,  88.]],
       device='cuda:0')
Train accuarcate: 96.01%



iteration:
  359
    0  1125   bit_w:-1  loss: 0.09595
    1   989   bit_w: 1  loss: 0.09589
    2   425   bit_w: 1  loss: 0.09586
    3   944   bit_w: 1  loss: 0.09584
    4   359   bit_w: 1  loss: 0.09583
   1079     42    369   1258    701    779    346    221    262    528
      0      0      0      1      1      1      0      0      0      0
Train accuarcate: 97.18%
tensor([[ 77.,  75.,  87.,  97.,  73.,  85.,  52., 134.,  81.,  83.],
        [ 91.,  98., 128.,  99.,  65.,  93.,  91.,  69.,  94.,  67.],
        [ 66., 112.,  91.,  74.,  80.,  65.,  75.,  82.,  77.,  61.],
        [113.,  81.,  87.,  73.,  66.,  82.,  87.,  89.,  73.,  92.],
        [ 80.,  90.,  79.,  67., 130.,  75.,  90.,  83.,  91.,  91.],
        [ 61., 115.,  76.,  78.,  83.,  63.,  69.,  90.,  75.,  69.],
        [ 50.,  88.,  65.,  86., 121.,  88.,  73.,  88.,  92.,  92.],
        [ 60.,  72.,  92.,  92.,  96.,  88.,  68.,  77.,  89., 127.],
        [ 91.,  85.,  99.,  62.,  98., 109., 120.,  85., 101.,  88.],
        [ 87.,  66.,  77.,  78., 106.,  72.,  65.,  99.,  99., 120.],
        [136.,  80., 100.,  91.,  78.,  98.,  93.,  84.,  94.,  93.],
        [ 87.,  93., 109.,  77., 103.,  83., 126.,  84.,  95.,  72.],
        [ 69.,  70.,  70.,  85., 102.,  77.,  58.,  87.,  81., 124.],
        [119.,  65.,  91.,  86.,  74.,  84.,  78.,  82.,  98.,  85.],
        [ 55., 125.,  76.,  85.,  82.,  70.,  72.,  76.,  88.,  77.],
        [ 83.,  82.,  77., 104.,  73., 121.,  78.,  86.,  93.,  91.],
        [ 74.,  66.,  72.,  77.,  97.,  72.,  59.,  89.,  89., 119.],
        [ 84.,  81.,  92.,  97.,  70.,  77.,  58., 124.,  61.,  83.],
        [ 79.,  89., 100., 113.,  83.,  91.,  80.,  90.,  88.,  84.],
        [ 61.,  79.,  77.,  75., 120.,  78.,  75.,  86.,  85.,  88.]],
       device='cuda:0')
Train accuarcate: 96.01%



iteration:
  360
    0   951   bit_w:-1  loss: 0.09576
    1   435   bit_w:-1  loss: 0.09561
    2   540   bit_w:-1  loss: 0.09567
    3   463   bit_w:-1  loss: 0.09560
    4  1023   bit_w: 1  loss: 0.09562
   5361   3509   3051   5560   3443   4657   3701   5066   3513   4393
      1     -1     -1      0     -1      0      0      0      0      0
Train accuarcate: 97.18%
tensor([[ 78.,  75.,  87.,  97.,  73.,  85.,  52., 134.,  81.,  83.],
        [ 92.,  98., 128.,  99.,  65.,  93.,  91.,  69.,  94.,  67.],
        [ 67., 112.,  91.,  74.,  80.,  65.,  75.,  82.,  77.,  61.],
        [114.,  81.,  87.,  73.,  66.,  82.,  87.,  89.,  73.,  92.],
        [ 81.,  90.,  79.,  67., 130.,  75.,  90.,  83.,  91.,  91.],
        [ 61., 116.,  77.,  78.,  84.,  63.,  69.,  90.,  75.,  69.],
        [ 51.,  88.,  65.,  86., 121.,  88.,  73.,  88.,  92.,  92.],
        [ 61.,  72.,  92.,  92.,  96.,  88.,  68.,  77.,  89., 127.],
        [ 92.,  85.,  99.,  62.,  98., 109., 120.,  85., 101.,  88.],
        [ 88.,  66.,  77.,  78., 106.,  72.,  65.,  99.,  99., 120.],
        [137.,  80., 100.,  91.,  78.,  98.,  93.,  84.,  94.,  93.],
        [ 87.,  94., 110.,  77., 104.,  83., 126.,  84.,  95.,  72.],
        [ 70.,  70.,  70.,  85., 102.,  77.,  58.,  87.,  81., 124.],
        [120.,  65.,  91.,  86.,  74.,  84.,  78.,  82.,  98.,  85.],
        [ 55., 126.,  77.,  85.,  83.,  70.,  72.,  76.,  88.,  77.],
        [ 84.,  82.,  77., 104.,  73., 121.,  78.,  86.,  93.,  91.],
        [ 75.,  66.,  72.,  77.,  97.,  72.,  59.,  89.,  89., 119.],
        [ 85.,  81.,  92.,  97.,  70.,  77.,  58., 124.,  61.,  83.],
        [ 80.,  89., 100., 113.,  83.,  91.,  80.,  90.,  88.,  84.],
        [ 62.,  79.,  77.,  75., 120.,  78.,  75.,  86.,  85.,  88.]],
       device='cuda:0')
Train accuarcate: 96.02%



iteration:
  361
    0   636   bit_w:-1  loss: 0.09557
    1   578   bit_w: 1  loss: 0.09549
    2   667   bit_w:-1  loss: 0.09550
    3  1144   bit_w:-1  loss: 0.09545
    4   856   bit_w:-1  loss: 0.09545
   4198   3969   4308   5287   4775   3652   5045   3852   4820   5236
      0     -1      0      0      0     -1      0      0     -1      0
Train accuarcate: 97.17%
tensor([[ 78.,  76.,  87.,  97.,  73.,  86.,  52., 134.,  82.,  83.],
        [ 92.,  98., 128.,  99.,  65.,  93.,  91.,  69.,  94.,  67.],
        [ 67., 113.,  91.,  74.,  80.,  66.,  75.,  82.,  78.,  61.],
        [114.,  81.,  87.,  73.,  66.,  82.,  87.,  89.,  73.,  92.],
        [ 81.,  90.,  79.,  67., 130.,  75.,  90.,  83.,  91.,  91.],
        [ 61., 116.,  77.,  78.,  84.,  63.,  69.,  90.,  75.,  69.],
        [ 51.,  88.,  65.,  86., 121.,  88.,  73.,  88.,  92.,  92.],
        [ 61.,  73.,  92.,  92.,  96.,  89.,  68.,  77.,  90., 127.],
        [ 92.,  85.,  99.,  62.,  98., 109., 120.,  85., 101.,  88.],
        [ 88.,  66.,  77.,  78., 106.,  72.,  65.,  99.,  99., 120.],
        [137.,  80., 100.,  91.,  78.,  98.,  93.,  84.,  94.,  93.],
        [ 87.,  94., 110.,  77., 104.,  83., 126.,  84.,  95.,  72.],
        [ 70.,  70.,  70.,  85., 102.,  77.,  58.,  87.,  81., 124.],
        [120.,  65.,  91.,  86.,  74.,  84.,  78.,  82.,  98.,  85.],
        [ 55., 126.,  77.,  85.,  83.,  70.,  72.,  76.,  88.,  77.],
        [ 84.,  82.,  77., 104.,  73., 121.,  78.,  86.,  93.,  91.],
        [ 75.,  67.,  72.,  77.,  97.,  73.,  59.,  89.,  90., 119.],
        [ 85.,  82.,  92.,  97.,  70.,  78.,  58., 124.,  62.,  83.],
        [ 80.,  90., 100., 113.,  83.,  92.,  80.,  90.,  89.,  84.],
        [ 62.,  79.,  77.,  75., 120.,  78.,  75.,  86.,  85.,  88.]],
       device='cuda:0')
Train accuarcate: 96.03%



iteration:
  362
    0   842   bit_w:-1  loss: 0.09536
    1   805   bit_w: 1  loss: 0.09524
    2  1174   bit_w:-1  loss: 0.09531
    3   717   bit_w:-1  loss: 0.09522
    4  1021   bit_w:-1  loss: 0.09526
   2781    592   1012   3832   2643   4007   3281   3356   2357   2148
      0      0      0      1      0      0      1      0      0      0
Train accuarcate: 97.18%
tensor([[ 78.,  76.,  87.,  98.,  73.,  86.,  53., 134.,  82.,  83.],
        [ 92.,  98., 128.,  99.,  65.,  93.,  91.,  69.,  94.,  67.],
        [ 67., 113.,  91.,  74.,  80.,  66.,  75.,  82.,  78.,  61.],
        [114.,  81.,  87.,  73.,  66.,  82.,  87.,  89.,  73.,  92.],
        [ 81.,  90.,  79.,  67., 130.,  75.,  90.,  83.,  91.,  91.],
        [ 61., 116.,  77.,  78.,  84.,  63.,  69.,  90.,  75.,  69.],
        [ 51.,  88.,  65.,  87., 121.,  88.,  74.,  88.,  92.,  92.],
        [ 61.,  73.,  92.,  93.,  96.,  89.,  69.,  77.,  90., 127.],
        [ 92.,  85.,  99.,  62.,  98., 109., 120.,  85., 101.,  88.],
        [ 88.,  66.,  77.,  79., 106.,  72.,  66.,  99.,  99., 120.],
        [137.,  80., 100.,  92.,  78.,  98.,  94.,  84.,  94.,  93.],
        [ 87.,  94., 110.,  78., 104.,  83., 127.,  84.,  95.,  72.],
        [ 70.,  70.,  70.,  85., 102.,  77.,  58.,  87.,  81., 124.],
        [120.,  65.,  91.,  86.,  74.,  84.,  78.,  82.,  98.,  85.],
        [ 55., 126.,  77.,  85.,  83.,  70.,  72.,  76.,  88.,  77.],
        [ 84.,  82.,  77., 104.,  73., 121.,  78.,  86.,  93.,  91.],
        [ 75.,  67.,  72.,  78.,  97.,  73.,  60.,  89.,  90., 119.],
        [ 85.,  82.,  92.,  97.,  70.,  78.,  58., 124.,  62.,  83.],
        [ 80.,  90., 100., 114.,  83.,  92.,  81.,  90.,  89.,  84.],
        [ 62.,  79.,  77.,  75., 120.,  78.,  75.,  86.,  85.,  88.]],
       device='cuda:0')
Train accuarcate: 96.06%



iteration:
  363
    0  1056   bit_w:-1  loss: 0.09521
    1  1003   bit_w:-1  loss: 0.09516
    2  1095   bit_w: 1  loss: 0.09516
    3  1122   bit_w:-1  loss: 0.09508
    4  1103   bit_w:-1  loss: 0.09505
   4786   1061   3643   4775   5395   3935   4797   4996   4561   4211
      0      0     -1      0      0      0      0      1      0     -1
Train accuarcate: 97.20%
tensor([[ 78.,  76.,  87.,  98.,  73.,  86.,  53., 135.,  82.,  83.],
        [ 92.,  98., 129.,  99.,  65.,  93.,  91.,  69.,  94.,  68.],
        [ 67., 113.,  92.,  74.,  80.,  66.,  75.,  82.,  78.,  62.],
        [114.,  81.,  88.,  73.,  66.,  82.,  87.,  89.,  73.,  93.],
        [ 81.,  90.,  79.,  67., 130.,  75.,  90.,  84.,  91.,  91.],
        [ 61., 116.,  78.,  78.,  84.,  63.,  69.,  90.,  75.,  70.],
        [ 51.,  88.,  65.,  87., 121.,  88.,  74.,  89.,  92.,  92.],
        [ 61.,  73.,  92.,  93.,  96.,  89.,  69.,  78.,  90., 127.],
        [ 92.,  85.,  99.,  62.,  98., 109., 120.,  86., 101.,  88.],
        [ 88.,  66.,  77.,  79., 106.,  72.,  66., 100.,  99., 120.],
        [137.,  80., 100.,  92.,  78.,  98.,  94.,  85.,  94.,  93.],
        [ 87.,  94., 111.,  78., 104.,  83., 127.,  84.,  95.,  73.],
        [ 70.,  70.,  71.,  85., 102.,  77.,  58.,  87.,  81., 125.],
        [120.,  65.,  91.,  86.,  74.,  84.,  78.,  83.,  98.,  85.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 84.,  82.,  78., 104.,  73., 121.,  78.,  86.,  93.,  92.],
        [ 75.,  67.,  72.,  78.,  97.,  73.,  60.,  90.,  90., 119.],
        [ 85.,  82.,  93.,  97.,  70.,  78.,  58., 124.,  62.,  84.],
        [ 80.,  90., 101., 114.,  83.,  92.,  81.,  90.,  89.,  85.],
        [ 62.,  79.,  77.,  75., 120.,  78.,  75.,  87.,  85.,  88.]],
       device='cuda:0')
Train accuarcate: 96.15%



iteration:
  364
    0   204   bit_w:-1  loss: 0.09497
    1   236   bit_w: 1  loss: 0.09490
    2  1080   bit_w: 1  loss: 0.09487
    3   621   bit_w: 1  loss: 0.09485
    4   136   bit_w:-1  loss: 0.09485
   5556   6646   4863   4841   4918   4611   4918   6048   5220   5809
      0      0      0      0     -1     -1     -1      0     -1     -1
Train accuarcate: 97.20%
tensor([[ 78.,  76.,  87.,  98.,  73.,  86.,  53., 135.,  82.,  83.],
        [ 92.,  98., 129.,  99.,  66.,  94.,  92.,  69.,  95.,  69.],
        [ 67., 113.,  92.,  74.,  80.,  66.,  75.,  82.,  78.,  62.],
        [114.,  81.,  88.,  73.,  66.,  82.,  87.,  89.,  73.,  93.],
        [ 81.,  90.,  79.,  67., 130.,  75.,  90.,  84.,  91.,  91.],
        [ 61., 116.,  78.,  78.,  84.,  63.,  69.,  90.,  75.,  70.],
        [ 51.,  88.,  65.,  87., 122.,  89.,  75.,  89.,  93.,  93.],
        [ 61.,  73.,  92.,  93.,  96.,  89.,  69.,  78.,  90., 127.],
        [ 92.,  85.,  99.,  62.,  99., 110., 121.,  86., 102.,  89.],
        [ 88.,  66.,  77.,  79., 106.,  72.,  66., 100.,  99., 120.],
        [137.,  80., 100.,  92.,  78.,  98.,  94.,  85.,  94.,  93.],
        [ 87.,  94., 111.,  78., 104.,  83., 127.,  84.,  95.,  73.],
        [ 70.,  70.,  71.,  85., 102.,  77.,  58.,  87.,  81., 125.],
        [120.,  65.,  91.,  86.,  74.,  84.,  78.,  83.,  98.,  85.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 84.,  82.,  78., 104.,  74., 122.,  79.,  86.,  94.,  93.],
        [ 75.,  67.,  72.,  78.,  97.,  73.,  60.,  90.,  90., 119.],
        [ 85.,  82.,  93.,  97.,  70.,  78.,  58., 124.,  62.,  84.],
        [ 80.,  90., 101., 114.,  83.,  92.,  81.,  90.,  89.,  85.],
        [ 62.,  79.,  77.,  75., 120.,  78.,  75.,  87.,  85.,  88.]],
       device='cuda:0')
Train accuarcate: 96.12%



iteration:
  365
    0  1055   bit_w:-1  loss: 0.09479
    1   820   bit_w:-1  loss: 0.09468
    2   277   bit_w: 1  loss: 0.09467
    3   187   bit_w:-1  loss: 0.09463
    4  1105   bit_w:-1  loss: 0.09462
    267    946    381    495    492   1471   1485    815   1022    677
      0      0      0      0      1      1      0      0      1      0
Train accuarcate: 97.21%
tensor([[ 78.,  76.,  87.,  98.,  74.,  87.,  53., 135.,  83.,  83.],
        [ 92.,  98., 129.,  99.,  66.,  94.,  92.,  69.,  95.,  69.],
        [ 67., 113.,  92.,  74.,  81.,  67.,  75.,  82.,  79.,  62.],
        [114.,  81.,  88.,  73.,  66.,  82.,  87.,  89.,  73.,  93.],
        [ 81.,  90.,  79.,  67., 130.,  75.,  90.,  84.,  91.,  91.],
        [ 61., 116.,  78.,  78.,  84.,  63.,  69.,  90.,  75.,  70.],
        [ 51.,  88.,  65.,  87., 123.,  90.,  75.,  89.,  94.,  93.],
        [ 61.,  73.,  92.,  93.,  96.,  89.,  69.,  78.,  90., 127.],
        [ 92.,  85.,  99.,  62.,  99., 110., 121.,  86., 102.,  89.],
        [ 88.,  66.,  77.,  79., 107.,  73.,  66., 100., 100., 120.],
        [137.,  80., 100.,  92.,  78.,  98.,  94.,  85.,  94.,  93.],
        [ 87.,  94., 111.,  78., 104.,  83., 127.,  84.,  95.,  73.],
        [ 70.,  70.,  71.,  85., 102.,  77.,  58.,  87.,  81., 125.],
        [120.,  65.,  91.,  86.,  74.,  84.,  78.,  83.,  98.,  85.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 84.,  82.,  78., 104.,  75., 123.,  79.,  86.,  95.,  93.],
        [ 75.,  67.,  72.,  78.,  97.,  73.,  60.,  90.,  90., 119.],
        [ 85.,  82.,  93.,  97.,  70.,  78.,  58., 124.,  62.,  84.],
        [ 80.,  90., 101., 114.,  83.,  92.,  81.,  90.,  89.,  85.],
        [ 62.,  79.,  77.,  75., 120.,  78.,  75.,  87.,  85.,  88.]],
       device='cuda:0')
Train accuarcate: 96.12%



iteration:
  366
    0   621   bit_w:-1  loss: 0.09457
    1  1112   bit_w:-1  loss: 0.09451
    2  1039   bit_w: 1  loss: 0.09452
    3   689   bit_w: 1  loss: 0.09445
    4   612   bit_w:-1  loss: 0.09450
   4937   6596   4011   5078   5568   5001   5313   6192   5469   5707
     -1     -1      0      0      0     -1      0      0      0      0
Train accuarcate: 97.22%
tensor([[ 78.,  76.,  87.,  98.,  74.,  87.,  53., 135.,  83.,  83.],
        [ 93.,  99., 129.,  99.,  66.,  95.,  92.,  69.,  95.,  69.],
        [ 67., 113.,  92.,  74.,  81.,  67.,  75.,  82.,  79.,  62.],
        [114.,  81.,  88.,  73.,  66.,  82.,  87.,  89.,  73.,  93.],
        [ 81.,  90.,  79.,  67., 130.,  75.,  90.,  84.,  91.,  91.],
        [ 61., 116.,  78.,  78.,  84.,  63.,  69.,  90.,  75.,  70.],
        [ 51.,  88.,  65.,  87., 123.,  90.,  75.,  89.,  94.,  93.],
        [ 61.,  73.,  92.,  93.,  96.,  89.,  69.,  78.,  90., 127.],
        [ 92.,  85.,  99.,  62.,  99., 110., 121.,  86., 102.,  89.],
        [ 88.,  66.,  77.,  79., 107.,  73.,  66., 100., 100., 120.],
        [137.,  80., 100.,  92.,  78.,  98.,  94.,  85.,  94.,  93.],
        [ 87.,  94., 111.,  78., 104.,  83., 127.,  84.,  95.,  73.],
        [ 70.,  70.,  71.,  85., 102.,  77.,  58.,  87.,  81., 125.],
        [120.,  65.,  91.,  86.,  74.,  84.,  78.,  83.,  98.,  85.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 84.,  82.,  78., 104.,  75., 123.,  79.,  86.,  95.,  93.],
        [ 75.,  67.,  72.,  78.,  97.,  73.,  60.,  90.,  90., 119.],
        [ 85.,  82.,  93.,  97.,  70.,  78.,  58., 124.,  62.,  84.],
        [ 80.,  90., 101., 114.,  83.,  92.,  81.,  90.,  89.,  85.],
        [ 62.,  79.,  77.,  75., 120.,  78.,  75.,  87.,  85.,  88.]],
       device='cuda:0')
Train accuarcate: 96.11%



iteration:
  367
    0   825   bit_w:-1  loss: 0.09444
    1   831   bit_w: 1  loss: 0.09431
    2   395   bit_w:-1  loss: 0.09435
    3   275   bit_w: 1  loss: 0.09428
    4   172   bit_w:-1  loss: 0.09432
   5829   5339   5657   3877   5706   4745   5867   5871   5366   4965
     -1      0      0     -1      0      0      0      0      0     -1
Train accuarcate: 97.23%
tensor([[ 78.,  76.,  87.,  98.,  74.,  87.,  53., 135.,  83.,  83.],
        [ 93.,  99., 129.,  99.,  66.,  95.,  92.,  69.,  95.,  69.],
        [ 67., 113.,  92.,  74.,  81.,  67.,  75.,  82.,  79.,  62.],
        [114.,  81.,  88.,  73.,  66.,  82.,  87.,  89.,  73.,  93.],
        [ 81.,  90.,  79.,  67., 130.,  75.,  90.,  84.,  91.,  91.],
        [ 62., 116.,  78.,  79.,  84.,  63.,  69.,  90.,  75.,  71.],
        [ 51.,  88.,  65.,  87., 123.,  90.,  75.,  89.,  94.,  93.],
        [ 61.,  73.,  92.,  93.,  96.,  89.,  69.,  78.,  90., 127.],
        [ 92.,  85.,  99.,  62.,  99., 110., 121.,  86., 102.,  89.],
        [ 88.,  66.,  77.,  79., 107.,  73.,  66., 100., 100., 120.],
        [137.,  80., 100.,  92.,  78.,  98.,  94.,  85.,  94.,  93.],
        [ 87.,  94., 111.,  78., 104.,  83., 127.,  84.,  95.,  73.],
        [ 70.,  70.,  71.,  85., 102.,  77.,  58.,  87.,  81., 125.],
        [120.,  65.,  91.,  86.,  74.,  84.,  78.,  83.,  98.,  85.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 84.,  82.,  78., 104.,  75., 123.,  79.,  86.,  95.,  93.],
        [ 75.,  67.,  72.,  78.,  97.,  73.,  60.,  90.,  90., 119.],
        [ 85.,  82.,  93.,  97.,  70.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  90., 101., 115.,  83.,  92.,  81.,  90.,  89.,  86.],
        [ 62.,  79.,  77.,  75., 120.,  78.,  75.,  87.,  85.,  88.]],
       device='cuda:0')
Train accuarcate: 96.10%



iteration:
  368
    0  1060   bit_w:-1  loss: 0.09426
    1  1014   bit_w: 1  loss: 0.09419
    2   621   bit_w: 1  loss: 0.09418
    3   424   bit_w:-1  loss: 0.09414
    4  1134   bit_w:-1  loss: 0.09416
   2129   2577   1999   2505    398    790    776    282   1359    529
      0      1      1      0      0      0      0      0      1      0
Train accuarcate: 97.23%
tensor([[ 78.,  76.,  87.,  98.,  74.,  87.,  53., 135.,  83.,  83.],
        [ 93., 100., 130.,  99.,  66.,  95.,  92.,  69.,  96.,  69.],
        [ 67., 114.,  93.,  74.,  81.,  67.,  75.,  82.,  80.,  62.],
        [114.,  81.,  88.,  73.,  66.,  82.,  87.,  89.,  73.,  93.],
        [ 81.,  90.,  79.,  67., 130.,  75.,  90.,  84.,  91.,  91.],
        [ 62., 117.,  79.,  79.,  84.,  63.,  69.,  90.,  76.,  71.],
        [ 51.,  88.,  65.,  87., 123.,  90.,  75.,  89.,  94.,  93.],
        [ 61.,  74.,  93.,  93.,  96.,  89.,  69.,  78.,  91., 127.],
        [ 92.,  85.,  99.,  62.,  99., 110., 121.,  86., 102.,  89.],
        [ 88.,  66.,  77.,  79., 107.,  73.,  66., 100., 100., 120.],
        [137.,  80., 100.,  92.,  78.,  98.,  94.,  85.,  94.,  93.],
        [ 87.,  94., 111.,  78., 104.,  83., 127.,  84.,  95.,  73.],
        [ 70.,  70.,  71.,  85., 102.,  77.,  58.,  87.,  81., 125.],
        [120.,  65.,  91.,  86.,  74.,  84.,  78.,  83.,  98.,  85.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 84.,  82.,  78., 104.,  75., 123.,  79.,  86.,  95.,  93.],
        [ 75.,  67.,  72.,  78.,  97.,  73.,  60.,  90.,  90., 119.],
        [ 85.,  82.,  93.,  97.,  70.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  91., 102., 115.,  83.,  92.,  81.,  90.,  90.,  86.],
        [ 62.,  79.,  77.,  75., 120.,  78.,  75.,  87.,  85.,  88.]],
       device='cuda:0')
Train accuarcate: 96.09%



iteration:
  369
    0   511   bit_w:-1  loss: 0.09411
    1  1062   bit_w:-1  loss: 0.09401
    2   738   bit_w: 1  loss: 0.09398
    3   513   bit_w:-1  loss: 0.09389
    4   457   bit_w: 1  loss: 0.09387
   1103    171    784   3891   2939   3025    516   1983    531   2758
      0      1      0      1      0      1      0      0      0      1
Train accuarcate: 97.25%
tensor([[ 78.,  76.,  87.,  98.,  74.,  87.,  53., 135.,  83.,  83.],
        [ 93., 100., 130.,  99.,  66.,  95.,  92.,  69.,  96.,  69.],
        [ 67., 114.,  93.,  74.,  81.,  67.,  75.,  82.,  80.,  62.],
        [114.,  81.,  88.,  73.,  66.,  82.,  87.,  89.,  73.,  93.],
        [ 81.,  91.,  79.,  68., 130.,  76.,  90.,  84.,  91.,  92.],
        [ 62., 117.,  79.,  79.,  84.,  63.,  69.,  90.,  76.,  71.],
        [ 51.,  88.,  65.,  87., 123.,  90.,  75.,  89.,  94.,  93.],
        [ 61.,  74.,  93.,  93.,  96.,  89.,  69.,  78.,  91., 127.],
        [ 92.,  86.,  99.,  63.,  99., 111., 121.,  86., 102.,  90.],
        [ 88.,  67.,  77.,  80., 107.,  74.,  66., 100., 100., 121.],
        [137.,  80., 100.,  92.,  78.,  98.,  94.,  85.,  94.,  93.],
        [ 87.,  94., 111.,  78., 104.,  83., 127.,  84.,  95.,  73.],
        [ 70.,  71.,  71.,  86., 102.,  78.,  58.,  87.,  81., 126.],
        [120.,  65.,  91.,  86.,  74.,  84.,  78.,  83.,  98.,  85.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 84.,  83.,  78., 105.,  75., 124.,  79.,  86.,  95.,  94.],
        [ 75.,  68.,  72.,  79.,  97.,  74.,  60.,  90.,  90., 120.],
        [ 85.,  82.,  93.,  97.,  70.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  91., 102., 115.,  83.,  92.,  81.,  90.,  90.,  86.],
        [ 62.,  80.,  77.,  76., 120.,  79.,  75.,  87.,  85.,  89.]],
       device='cuda:0')
Train accuarcate: 96.10%



iteration:
  370
    0   844   bit_w:-1  loss: 0.09381
    1   355   bit_w:-1  loss: 0.09367
    2   664   bit_w:-1  loss: 0.09371
    3   359   bit_w: 1  loss: 0.09365
    4   535   bit_w:-1  loss: 0.09369
   5458   6719   4619   5326   5124   5077   5757   5237   4033   3993
      0     -1     -1     -1     -1      0      0      0     -1      0
Train accuarcate: 97.26%
tensor([[ 78.,  76.,  87.,  98.,  74.,  87.,  53., 135.,  83.,  83.],
        [ 93., 100., 130.,  99.,  66.,  95.,  92.,  69.,  96.,  69.],
        [ 67., 114.,  93.,  74.,  81.,  67.,  75.,  82.,  80.,  62.],
        [114.,  81.,  88.,  73.,  66.,  82.,  87.,  89.,  73.,  93.],
        [ 81.,  91.,  79.,  68., 130.,  76.,  90.,  84.,  91.,  92.],
        [ 62., 117.,  79.,  79.,  84.,  63.,  69.,  90.,  76.,  71.],
        [ 51.,  88.,  65.,  87., 123.,  90.,  75.,  89.,  94.,  93.],
        [ 61.,  74.,  93.,  93.,  96.,  89.,  69.,  78.,  91., 127.],
        [ 92.,  86.,  99.,  63.,  99., 111., 121.,  86., 102.,  90.],
        [ 88.,  67.,  77.,  80., 107.,  74.,  66., 100., 100., 121.],
        [137.,  80., 100.,  92.,  78.,  98.,  94.,  85.,  94.,  93.],
        [ 87.,  94., 111.,  78., 104.,  83., 127.,  84.,  95.,  73.],
        [ 70.,  72.,  72.,  87., 103.,  78.,  58.,  87.,  82., 126.],
        [120.,  65.,  91.,  86.,  74.,  84.,  78.,  83.,  98.,  85.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 84.,  83.,  78., 105.,  75., 124.,  79.,  86.,  95.,  94.],
        [ 75.,  69.,  73.,  80.,  98.,  74.,  60.,  90.,  91., 120.],
        [ 85.,  82.,  93.,  97.,  70.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  91., 102., 115.,  83.,  92.,  81.,  90.,  90.,  86.],
        [ 62.,  80.,  77.,  76., 120.,  79.,  75.,  87.,  85.,  89.]],
       device='cuda:0')
Train accuarcate: 96.09%



iteration:
  371
    0  1156   bit_w:-1  loss: 0.09363
    1   844   bit_w: 1  loss: 0.09356
    2   877   bit_w:-1  loss: 0.09356
    3   201   bit_w:-1  loss: 0.09343
    4   535   bit_w: 1  loss: 0.09354
   2459    833   2058   1851    476   2699    831    949   2089    617
      1      0      1      0      0      0      1      1      0      0
Train accuarcate: 97.26%
tensor([[ 78.,  76.,  87.,  98.,  74.,  87.,  53., 135.,  83.,  83.],
        [ 94., 100., 131.,  99.,  66.,  95.,  93.,  70.,  96.,  69.],
        [ 67., 114.,  93.,  74.,  81.,  67.,  75.,  82.,  80.,  62.],
        [114.,  81.,  88.,  73.,  66.,  82.,  87.,  89.,  73.,  93.],
        [ 81.,  91.,  79.,  68., 130.,  76.,  90.,  84.,  91.,  92.],
        [ 62., 117.,  79.,  79.,  84.,  63.,  69.,  90.,  76.,  71.],
        [ 51.,  88.,  65.,  87., 123.,  90.,  75.,  89.,  94.,  93.],
        [ 61.,  74.,  93.,  93.,  96.,  89.,  69.,  78.,  91., 127.],
        [ 93.,  86., 100.,  63.,  99., 111., 122.,  87., 102.,  90.],
        [ 88.,  67.,  77.,  80., 107.,  74.,  66., 100., 100., 121.],
        [137.,  80., 100.,  92.,  78.,  98.,  94.,  85.,  94.,  93.],
        [ 87.,  94., 111.,  78., 104.,  83., 127.,  84.,  95.,  73.],
        [ 70.,  72.,  72.,  87., 103.,  78.,  58.,  87.,  82., 126.],
        [121.,  65.,  92.,  86.,  74.,  84.,  79.,  84.,  98.,  85.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 85.,  83.,  79., 105.,  75., 124.,  80.,  87.,  95.,  94.],
        [ 75.,  69.,  73.,  80.,  98.,  74.,  60.,  90.,  91., 120.],
        [ 85.,  82.,  93.,  97.,  70.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  91., 102., 115.,  83.,  92.,  81.,  90.,  90.,  86.],
        [ 62.,  80.,  77.,  76., 120.,  79.,  75.,  87.,  85.,  89.]],
       device='cuda:0')
Train accuarcate: 96.08%



iteration:
  372
    0   844   bit_w:-1  loss: 0.09348
    1   212   bit_w: 1  loss: 0.09334
    2   866   bit_w:-1  loss: 0.09337
    3   300   bit_w:-1  loss: 0.09323
    4   480   bit_w: 1  loss: 0.09328
   2200   3386   1646   3299   2970   1845   1378   1796   1783   1252
      0      0      0      1      1      0      0      0      0      0
Train accuarcate: 97.27%
tensor([[ 78.,  76.,  87.,  98.,  74.,  87.,  53., 135.,  83.,  83.],
        [ 94., 100., 131.,  99.,  66.,  95.,  93.,  70.,  96.,  69.],
        [ 67., 114.,  93.,  75.,  82.,  67.,  75.,  82.,  80.,  62.],
        [114.,  81.,  88.,  74.,  67.,  82.,  87.,  89.,  73.,  93.],
        [ 81.,  91.,  79.,  68., 130.,  76.,  90.,  84.,  91.,  92.],
        [ 62., 117.,  79.,  80.,  85.,  63.,  69.,  90.,  76.,  71.],
        [ 51.,  88.,  65.,  87., 123.,  90.,  75.,  89.,  94.,  93.],
        [ 61.,  74.,  93.,  93.,  96.,  89.,  69.,  78.,  91., 127.],
        [ 93.,  86., 100.,  63.,  99., 111., 122.,  87., 102.,  90.],
        [ 88.,  67.,  77.,  80., 107.,  74.,  66., 100., 100., 121.],
        [137.,  80., 100.,  92.,  78.,  98.,  94.,  85.,  94.,  93.],
        [ 87.,  94., 111.,  78., 104.,  83., 127.,  84.,  95.,  73.],
        [ 70.,  72.,  72.,  87., 103.,  78.,  58.,  87.,  82., 126.],
        [121.,  65.,  92.,  86.,  74.,  84.,  79.,  84.,  98.,  85.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 85.,  83.,  79., 105.,  75., 124.,  80.,  87.,  95.,  94.],
        [ 75.,  69.,  73.,  80.,  98.,  74.,  60.,  90.,  91., 120.],
        [ 85.,  82.,  93.,  97.,  70.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  91., 102., 115.,  83.,  92.,  81.,  90.,  90.,  86.],
        [ 62.,  80.,  77.,  77., 121.,  79.,  75.,  87.,  85.,  89.]],
       device='cuda:0')
Train accuarcate: 96.09%



iteration:
  373
    0   684   bit_w:-1  loss: 0.09320
    1   574   bit_w: 1  loss: 0.09312
    2  1119   bit_w: 1  loss: 0.09309
    3   132   bit_w: 1  loss: 0.09307
    4   565   bit_w:-1  loss: 0.09306
   4827   6399   5099   4037   5721   3948   5774   5911   3527   5729
     -1      0      0      0      0     -1      0      0     -1      0
Train accuarcate: 97.26%
tensor([[ 78.,  76.,  87.,  98.,  74.,  87.,  53., 135.,  83.,  83.],
        [ 94., 100., 131.,  99.,  66.,  95.,  93.,  70.,  96.,  69.],
        [ 67., 114.,  93.,  75.,  82.,  67.,  75.,  82.,  80.,  62.],
        [114.,  81.,  88.,  74.,  67.,  82.,  87.,  89.,  73.,  93.],
        [ 81.,  91.,  79.,  68., 130.,  76.,  90.,  84.,  91.,  92.],
        [ 63., 117.,  79.,  80.,  85.,  64.,  69.,  90.,  77.,  71.],
        [ 51.,  88.,  65.,  87., 123.,  90.,  75.,  89.,  94.,  93.],
        [ 61.,  74.,  93.,  93.,  96.,  89.,  69.,  78.,  91., 127.],
        [ 93.,  86., 100.,  63.,  99., 111., 122.,  87., 102.,  90.],
        [ 88.,  67.,  77.,  80., 107.,  74.,  66., 100., 100., 121.],
        [137.,  80., 100.,  92.,  78.,  98.,  94.,  85.,  94.,  93.],
        [ 87.,  94., 111.,  78., 104.,  83., 127.,  84.,  95.,  73.],
        [ 70.,  72.,  72.,  87., 103.,  78.,  58.,  87.,  82., 126.],
        [121.,  65.,  92.,  86.,  74.,  84.,  79.,  84.,  98.,  85.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 85.,  83.,  79., 105.,  75., 124.,  80.,  87.,  95.,  94.],
        [ 75.,  69.,  73.,  80.,  98.,  74.,  60.,  90.,  91., 120.],
        [ 85.,  82.,  93.,  97.,  70.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  91., 102., 115.,  83.,  92.,  81.,  90.,  90.,  86.],
        [ 62.,  80.,  77.,  77., 121.,  79.,  75.,  87.,  85.,  89.]],
       device='cuda:0')
Train accuarcate: 96.12%



iteration:
  374
    0  1169   bit_w:-1  loss: 0.09302
    1  1100   bit_w: 1  loss: 0.09295
    2   903   bit_w: 1  loss: 0.09295
    3  1182   bit_w: 1  loss: 0.09288
    4  1162   bit_w:-1  loss: 0.09291
   1919    106    807    436    898   1842   1869     78    265    248
      1      1      0      0      0      1      1      0      0      0
Train accuarcate: 97.27%
tensor([[ 78.,  76.,  87.,  98.,  74.,  87.,  53., 135.,  83.,  83.],
        [ 94., 100., 131.,  99.,  66.,  95.,  93.,  70.,  96.,  69.],
        [ 67., 114.,  93.,  75.,  82.,  67.,  75.,  82.,  80.,  62.],
        [114.,  81.,  88.,  74.,  67.,  82.,  87.,  89.,  73.,  93.],
        [ 81.,  91.,  79.,  68., 130.,  76.,  90.,  84.,  91.,  92.],
        [ 63., 117.,  79.,  80.,  85.,  64.,  69.,  90.,  77.,  71.],
        [ 52.,  89.,  65.,  87., 123.,  91.,  76.,  89.,  94.,  93.],
        [ 61.,  74.,  93.,  93.,  96.,  89.,  69.,  78.,  91., 127.],
        [ 94.,  87., 100.,  63.,  99., 112., 123.,  87., 102.,  90.],
        [ 88.,  67.,  77.,  80., 107.,  74.,  66., 100., 100., 121.],
        [137.,  80., 100.,  92.,  78.,  98.,  94.,  85.,  94.,  93.],
        [ 87.,  94., 111.,  78., 104.,  83., 127.,  84.,  95.,  73.],
        [ 70.,  72.,  72.,  87., 103.,  78.,  58.,  87.,  82., 126.],
        [121.,  65.,  92.,  86.,  74.,  84.,  79.,  84.,  98.,  85.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 85.,  83.,  79., 105.,  75., 124.,  80.,  87.,  95.,  94.],
        [ 75.,  69.,  73.,  80.,  98.,  74.,  60.,  90.,  91., 120.],
        [ 85.,  82.,  93.,  97.,  70.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  91., 102., 115.,  83.,  92.,  81.,  90.,  90.,  86.],
        [ 62.,  80.,  77.,  77., 121.,  79.,  75.,  87.,  85.,  89.]],
       device='cuda:0')
Train accuarcate: 96.12%



iteration:
  375
    0  1131   bit_w:-1  loss: 0.09287
    1   189   bit_w:-1  loss: 0.09279
    2  1162   bit_w: 1  loss: 0.09280
    3  1141   bit_w:-1  loss: 0.09273
    4   710   bit_w:-1  loss: 0.09276
   4397   6495   5381   5482   5541   3755   5614   4614   5049   4950
      0      0      0      0      0     -1      0     -1     -1      0
Train accuarcate: 97.28%
tensor([[ 78.,  76.,  87.,  98.,  74.,  87.,  53., 135.,  83.,  83.],
        [ 94., 100., 131.,  99.,  66.,  95.,  93.,  70.,  96.,  69.],
        [ 67., 114.,  93.,  75.,  82.,  67.,  75.,  82.,  80.,  62.],
        [114.,  81.,  88.,  74.,  67.,  82.,  87.,  89.,  73.,  93.],
        [ 81.,  91.,  79.,  68., 130.,  76.,  90.,  84.,  91.,  92.],
        [ 63., 117.,  79.,  80.,  85.,  64.,  69.,  90.,  77.,  71.],
        [ 52.,  89.,  65.,  87., 123.,  91.,  76.,  89.,  94.,  93.],
        [ 61.,  74.,  93.,  93.,  96.,  89.,  69.,  78.,  91., 127.],
        [ 94.,  87., 100.,  63.,  99., 112., 123.,  87., 102.,  90.],
        [ 88.,  67.,  77.,  80., 107.,  75.,  66., 101., 101., 121.],
        [137.,  80., 100.,  92.,  78.,  98.,  94.,  85.,  94.,  93.],
        [ 87.,  94., 111.,  78., 104.,  83., 127.,  84.,  95.,  73.],
        [ 70.,  72.,  72.,  87., 103.,  78.,  58.,  87.,  82., 126.],
        [121.,  65.,  92.,  86.,  74.,  84.,  79.,  84.,  98.,  85.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 85.,  83.,  79., 105.,  75., 124.,  80.,  87.,  95.,  94.],
        [ 75.,  69.,  73.,  80.,  98.,  74.,  60.,  90.,  91., 120.],
        [ 85.,  82.,  93.,  97.,  70.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  91., 102., 115.,  83.,  92.,  81.,  90.,  90.,  86.],
        [ 62.,  80.,  77.,  77., 121.,  79.,  75.,  87.,  85.,  89.]],
       device='cuda:0')
Train accuarcate: 96.10%



iteration:
  376
    0   948   bit_w:-1  loss: 0.09270
    1   349   bit_w:-1  loss: 0.09256
    2   890   bit_w:-1  loss: 0.09258
    3  1115   bit_w: 1  loss: 0.09248
    4   453   bit_w: 1  loss: 0.09255
   3853    446   1097    827   4472   2461   3133    592   1777   3529
      0      0      0      0      0      0      1      0      0      1
Train accuarcate: 97.28%
tensor([[ 78.,  76.,  87.,  98.,  74.,  87.,  53., 135.,  83.,  83.],
        [ 94., 100., 131.,  99.,  66.,  95.,  93.,  70.,  96.,  69.],
        [ 67., 114.,  93.,  75.,  82.,  67.,  75.,  82.,  80.,  62.],
        [114.,  81.,  88.,  74.,  67.,  82.,  88.,  89.,  73.,  94.],
        [ 81.,  91.,  79.,  68., 130.,  76.,  91.,  84.,  91.,  93.],
        [ 63., 117.,  79.,  80.,  85.,  64.,  69.,  90.,  77.,  71.],
        [ 52.,  89.,  65.,  87., 123.,  91.,  77.,  89.,  94.,  94.],
        [ 61.,  74.,  93.,  93.,  96.,  89.,  69.,  78.,  91., 127.],
        [ 94.,  87., 100.,  63.,  99., 112., 124.,  87., 102.,  91.],
        [ 88.,  67.,  77.,  80., 107.,  75.,  67., 101., 101., 122.],
        [137.,  80., 100.,  92.,  78.,  98.,  95.,  85.,  94.,  94.],
        [ 87.,  94., 111.,  78., 104.,  83., 128.,  84.,  95.,  74.],
        [ 70.,  72.,  72.,  87., 103.,  78.,  58.,  87.,  82., 126.],
        [121.,  65.,  92.,  86.,  74.,  84.,  80.,  84.,  98.,  86.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 85.,  83.,  79., 105.,  75., 124.,  80.,  87.,  95.,  94.],
        [ 75.,  69.,  73.,  80.,  98.,  74.,  60.,  90.,  91., 120.],
        [ 85.,  82.,  93.,  97.,  70.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  91., 102., 115.,  83.,  92.,  81.,  90.,  90.,  86.],
        [ 62.,  80.,  77.,  77., 121.,  79.,  76.,  87.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.10%



iteration:
  377
    0  1087   bit_w:-1  loss: 0.09248
    1   289   bit_w: 1  loss: 0.09237
    2   400   bit_w:-1  loss: 0.09240
    3   214   bit_w: 1  loss: 0.09230
    4  1018   bit_w:-1  loss: 0.09232
   3870   6682   3804   5388   2841   4763   2667   4950   5295   4618
      0      0     -1      0     -1      0      0      0      0      0
Train accuarcate: 97.29%
tensor([[ 78.,  76.,  88.,  98.,  75.,  87.,  53., 135.,  83.,  83.],
        [ 94., 100., 131.,  99.,  66.,  95.,  93.,  70.,  96.,  69.],
        [ 67., 114.,  93.,  75.,  82.,  67.,  75.,  82.,  80.,  62.],
        [114.,  81.,  88.,  74.,  67.,  82.,  88.,  89.,  73.,  94.],
        [ 81.,  91.,  80.,  68., 131.,  76.,  91.,  84.,  91.,  93.],
        [ 63., 117.,  79.,  80.,  85.,  64.,  69.,  90.,  77.,  71.],
        [ 52.,  89.,  65.,  87., 123.,  91.,  77.,  89.,  94.,  94.],
        [ 61.,  74.,  93.,  93.,  96.,  89.,  69.,  78.,  91., 127.],
        [ 94.,  87., 100.,  63.,  99., 112., 124.,  87., 102.,  91.],
        [ 88.,  67.,  78.,  80., 108.,  75.,  67., 101., 101., 122.],
        [137.,  80., 100.,  92.,  78.,  98.,  95.,  85.,  94.,  94.],
        [ 87.,  94., 112.,  78., 105.,  83., 128.,  84.,  95.,  74.],
        [ 70.,  72.,  73.,  87., 104.,  78.,  58.,  87.,  82., 126.],
        [121.,  65.,  92.,  86.,  74.,  84.,  80.,  84.,  98.,  86.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 85.,  83.,  80., 105.,  76., 124.,  80.,  87.,  95.,  94.],
        [ 75.,  69.,  74.,  80.,  99.,  74.,  60.,  90.,  91., 120.],
        [ 85.,  82.,  94.,  97.,  71.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  91., 102., 115.,  83.,  92.,  81.,  90.,  90.,  86.],
        [ 62.,  80.,  77.,  77., 121.,  79.,  76.,  87.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.09%



iteration:
  378
    0  1023   bit_w:-1  loss: 0.09225
    1  1044   bit_w: 1  loss: 0.09218
    2   517   bit_w: 1  loss: 0.09216
    3   875   bit_w:-1  loss: 0.09209
    4  1168   bit_w:-1  loss: 0.09211
   2906    502   2152    390   1915    504   1505   2806   1476   1499
      1      0      0      0      0      0      0      1      1      0
Train accuarcate: 97.30%
tensor([[ 78.,  76.,  88.,  98.,  75.,  87.,  53., 135.,  83.,  83.],
        [ 94., 100., 131.,  99.,  66.,  95.,  93.,  70.,  96.,  69.],
        [ 67., 114.,  93.,  75.,  82.,  67.,  75.,  82.,  80.,  62.],
        [115.,  81.,  88.,  74.,  67.,  82.,  88.,  90.,  74.,  94.],
        [ 81.,  91.,  80.,  68., 131.,  76.,  91.,  84.,  91.,  93.],
        [ 63., 117.,  79.,  80.,  85.,  64.,  69.,  90.,  77.,  71.],
        [ 52.,  89.,  65.,  87., 123.,  91.,  77.,  89.,  94.,  94.],
        [ 61.,  74.,  93.,  93.,  96.,  89.,  69.,  78.,  91., 127.],
        [ 94.,  87., 100.,  63.,  99., 112., 124.,  87., 102.,  91.],
        [ 89.,  67.,  78.,  80., 108.,  75.,  67., 102., 102., 122.],
        [138.,  80., 100.,  92.,  78.,  98.,  95.,  86.,  95.,  94.],
        [ 88.,  94., 112.,  78., 105.,  83., 128.,  85.,  96.,  74.],
        [ 70.,  72.,  73.,  87., 104.,  78.,  58.,  87.,  82., 126.],
        [122.,  65.,  92.,  86.,  74.,  84.,  80.,  85.,  99.,  86.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 85.,  83.,  80., 105.,  76., 124.,  80.,  87.,  95.,  94.],
        [ 75.,  69.,  74.,  80.,  99.,  74.,  60.,  90.,  91., 120.],
        [ 85.,  82.,  94.,  97.,  71.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  91., 102., 115.,  83.,  92.,  81.,  90.,  90.,  86.],
        [ 62.,  80.,  77.,  77., 121.,  79.,  76.,  87.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.10%



iteration:
  379
    0   216   bit_w:-1  loss: 0.09206
    1   859   bit_w:-1  loss: 0.09194
    2   286   bit_w:-1  loss: 0.09191
    3   106   bit_w: 1  loss: 0.09188
    4   608   bit_w:-1  loss: 0.09188
   3347   6190   4132   4620   3849   2594   5440   5385   4551   5162
      0     -1      0      0      0     -1      0      0      0     -1
Train accuarcate: 97.29%
tensor([[ 78.,  76.,  88.,  98.,  75.,  87.,  53., 135.,  83.,  83.],
        [ 94., 101., 131.,  99.,  66.,  96.,  93.,  70.,  96.,  70.],
        [ 67., 114.,  93.,  75.,  82.,  67.,  75.,  82.,  80.,  62.],
        [115.,  81.,  88.,  74.,  67.,  82.,  88.,  90.,  74.,  94.],
        [ 81.,  92.,  80.,  68., 131.,  77.,  91.,  84.,  91.,  94.],
        [ 63., 117.,  79.,  80.,  85.,  64.,  69.,  90.,  77.,  71.],
        [ 52.,  90.,  65.,  87., 123.,  92.,  77.,  89.,  94.,  95.],
        [ 61.,  75.,  93.,  93.,  96.,  90.,  69.,  78.,  91., 128.],
        [ 94.,  88., 100.,  63.,  99., 113., 124.,  87., 102.,  92.],
        [ 89.,  67.,  78.,  80., 108.,  75.,  67., 102., 102., 122.],
        [138.,  81., 100.,  92.,  78.,  99.,  95.,  86.,  95.,  95.],
        [ 88.,  94., 112.,  78., 105.,  83., 128.,  85.,  96.,  74.],
        [ 70.,  72.,  73.,  87., 104.,  78.,  58.,  87.,  82., 126.],
        [122.,  65.,  92.,  86.,  74.,  84.,  80.,  85.,  99.,  86.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 85.,  84.,  80., 105.,  76., 125.,  80.,  87.,  95.,  95.],
        [ 75.,  69.,  74.,  80.,  99.,  74.,  60.,  90.,  91., 120.],
        [ 85.,  82.,  94.,  97.,  71.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  92., 102., 115.,  83.,  93.,  81.,  90.,  90.,  87.],
        [ 62.,  80.,  77.,  77., 121.,  79.,  76.,  87.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.10%



iteration:
  380
    0  1178   bit_w:-1  loss: 0.09182
    1  1145   bit_w:-1  loss: 0.09177
    2   841   bit_w: 1  loss: 0.09175
    3   125   bit_w:-1  loss: 0.09170
    4   962   bit_w:-1  loss: 0.09172
    692     77   1771   3108    348    866    970   2019    967    390
      0      0      1      1      0      0      0      0      0      0
Train accuarcate: 97.31%
tensor([[ 78.,  76.,  89.,  99.,  75.,  87.,  53., 135.,  83.,  83.],
        [ 94., 101., 132., 100.,  66.,  96.,  93.,  70.,  96.,  70.],
        [ 67., 114.,  93.,  75.,  82.,  67.,  75.,  82.,  80.,  62.],
        [115.,  81.,  88.,  74.,  67.,  82.,  88.,  90.,  74.,  94.],
        [ 81.,  92.,  80.,  68., 131.,  77.,  91.,  84.,  91.,  94.],
        [ 63., 117.,  79.,  80.,  85.,  64.,  69.,  90.,  77.,  71.],
        [ 52.,  90.,  66.,  88., 123.,  92.,  77.,  89.,  94.,  95.],
        [ 61.,  75.,  93.,  93.,  96.,  90.,  69.,  78.,  91., 128.],
        [ 94.,  88., 100.,  63.,  99., 113., 124.,  87., 102.,  92.],
        [ 89.,  67.,  78.,  80., 108.,  75.,  67., 102., 102., 122.],
        [138.,  81., 101.,  93.,  78.,  99.,  95.,  86.,  95.,  95.],
        [ 88.,  94., 113.,  79., 105.,  83., 128.,  85.,  96.,  74.],
        [ 70.,  72.,  73.,  87., 104.,  78.,  58.,  87.,  82., 126.],
        [122.,  65.,  92.,  86.,  74.,  84.,  80.,  85.,  99.,  86.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 85.,  84.,  80., 105.,  76., 125.,  80.,  87.,  95.,  95.],
        [ 75.,  69.,  74.,  80.,  99.,  74.,  60.,  90.,  91., 120.],
        [ 85.,  82.,  95.,  98.,  71.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  92., 103., 116.,  83.,  93.,  81.,  90.,  90.,  87.],
        [ 62.,  80.,  77.,  77., 121.,  79.,  76.,  87.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.14%



iteration:
  381
    0  1110   bit_w:-1  loss: 0.09168
    1  1078   bit_w: 1  loss: 0.09162
    2   287   bit_w: 1  loss: 0.09163
    3   203   bit_w:-1  loss: 0.09156
    4   705   bit_w: 1  loss: 0.09159
    885      5    890    332    905    484    313   1212    606   1125
      1      0      0      1      1      0      0      0      0      1
Train accuarcate: 97.32%
tensor([[ 78.,  76.,  89.,  99.,  75.,  87.,  53., 135.,  83.,  83.],
        [ 94., 101., 132., 100.,  66.,  96.,  93.,  70.,  96.,  70.],
        [ 67., 114.,  93.,  75.,  82.,  67.,  75.,  82.,  80.,  62.],
        [115.,  81.,  88.,  74.,  67.,  82.,  88.,  90.,  74.,  94.],
        [ 81.,  92.,  80.,  68., 131.,  77.,  91.,  84.,  91.,  94.],
        [ 63., 117.,  79.,  80.,  85.,  64.,  69.,  90.,  77.,  71.],
        [ 53.,  90.,  66.,  89., 124.,  92.,  77.,  89.,  94.,  96.],
        [ 61.,  75.,  93.,  93.,  96.,  90.,  69.,  78.,  91., 128.],
        [ 95.,  88., 100.,  64., 100., 113., 124.,  87., 102.,  93.],
        [ 89.,  67.,  78.,  80., 108.,  75.,  67., 102., 102., 122.],
        [138.,  81., 101.,  93.,  78.,  99.,  95.,  86.,  95.,  95.],
        [ 88.,  94., 113.,  79., 105.,  83., 128.,  85.,  96.,  74.],
        [ 70.,  72.,  73.,  87., 104.,  78.,  58.,  87.,  82., 126.],
        [122.,  65.,  92.,  86.,  74.,  84.,  80.,  85.,  99.,  86.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 85.,  84.,  80., 105.,  76., 125.,  80.,  87.,  95.,  95.],
        [ 75.,  69.,  74.,  80.,  99.,  74.,  60.,  90.,  91., 120.],
        [ 85.,  82.,  95.,  98.,  71.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  92., 103., 116.,  83.,  93.,  81.,  90.,  90.,  87.],
        [ 62.,  80.,  77.,  77., 121.,  79.,  76.,  87.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.13%



iteration:
  382
    0   972   bit_w:-1  loss: 0.09154
    1   265   bit_w:-1  loss: 0.09148
    2   935   bit_w:-1  loss: 0.09143
    3   375   bit_w:-1  loss: 0.09140
    4    72   bit_w: 1  loss: 0.09139
    211    147   1491    944    880    536    613   1024   1081    858
      0      0      1      0      0      0      0      0      1      1
Train accuarcate: 97.31%
tensor([[ 78.,  76.,  89.,  99.,  75.,  87.,  53., 135.,  83.,  83.],
        [ 94., 101., 132., 100.,  66.,  96.,  93.,  70.,  96.,  70.],
        [ 67., 114.,  93.,  75.,  82.,  67.,  75.,  82.,  80.,  62.],
        [115.,  81.,  88.,  74.,  67.,  82.,  88.,  90.,  74.,  94.],
        [ 81.,  92.,  80.,  68., 131.,  77.,  91.,  84.,  91.,  94.],
        [ 63., 117.,  79.,  80.,  85.,  64.,  69.,  90.,  77.,  71.],
        [ 53.,  90.,  66.,  89., 124.,  92.,  77.,  89.,  94.,  96.],
        [ 61.,  75.,  93.,  93.,  96.,  90.,  69.,  78.,  91., 128.],
        [ 95.,  88., 101.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  78.,  80., 108.,  75.,  67., 102., 102., 122.],
        [138.,  81., 101.,  93.,  78.,  99.,  95.,  86.,  95.,  95.],
        [ 88.,  94., 113.,  79., 105.,  83., 128.,  85.,  96.,  74.],
        [ 70.,  72.,  73.,  87., 104.,  78.,  58.,  87.,  82., 126.],
        [122.,  65.,  92.,  86.,  74.,  84.,  80.,  85.,  99.,  86.],
        [ 55., 126.,  78.,  85.,  83.,  70.,  72.,  76.,  88.,  78.],
        [ 85.,  84.,  80., 105.,  76., 125.,  80.,  87.,  95.,  95.],
        [ 75.,  69.,  74.,  80.,  99.,  74.,  60.,  90.,  91., 120.],
        [ 85.,  82.,  95.,  98.,  71.,  78.,  58., 124.,  62.,  84.],
        [ 81.,  92., 103., 116.,  83.,  93.,  81.,  90.,  90.,  87.],
        [ 62.,  80.,  77.,  77., 121.,  79.,  76.,  87.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.16%



iteration:
  383
    0   813   bit_w:-1  loss: 0.09134
    1   156   bit_w:-1  loss: 0.09122
    2  1149   bit_w:-1  loss: 0.09118
    3   890   bit_w: 1  loss: 0.09114
    4  1165   bit_w:-1  loss: 0.09112
    582   3264   1720    783   3647    627   2051   1343   1661   1522
      1      1      0      0      1      0      1      1      0      0
Train accuarcate: 97.32%
tensor([[ 78.,  76.,  89.,  99.,  75.,  87.,  53., 135.,  83.,  83.],
        [ 94., 101., 132., 100.,  66.,  96.,  93.,  70.,  96.,  70.],
        [ 68., 115.,  93.,  75.,  83.,  67.,  76.,  83.,  80.,  62.],
        [115.,  81.,  88.,  74.,  67.,  82.,  88.,  90.,  74.,  94.],
        [ 82.,  93.,  80.,  68., 132.,  77.,  92.,  85.,  91.,  94.],
        [ 64., 118.,  79.,  80.,  86.,  64.,  70.,  91.,  77.,  71.],
        [ 54.,  91.,  66.,  89., 125.,  92.,  78.,  90.,  94.,  96.],
        [ 62.,  76.,  93.,  93.,  97.,  90.,  70.,  79.,  91., 128.],
        [ 95.,  88., 101.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  78.,  80., 108.,  75.,  67., 102., 102., 122.],
        [138.,  81., 101.,  93.,  78.,  99.,  95.,  86.,  95.,  95.],
        [ 89.,  95., 113.,  79., 106.,  83., 129.,  86.,  96.,  74.],
        [ 70.,  72.,  73.,  87., 104.,  78.,  58.,  87.,  82., 126.],
        [122.,  65.,  92.,  86.,  74.,  84.,  80.,  85.,  99.,  86.],
        [ 56., 127.,  78.,  85.,  84.,  70.,  73.,  77.,  88.,  78.],
        [ 85.,  84.,  80., 105.,  76., 125.,  80.,  87.,  95.,  95.],
        [ 76.,  70.,  74.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  95.,  98.,  71.,  78.,  58., 124.,  62.,  84.],
        [ 82.,  93., 103., 116.,  84.,  93.,  82.,  91.,  90.,  87.],
        [ 63.,  81.,  77.,  77., 122.,  79.,  77.,  88.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.18%



iteration:
  384
    0   294   bit_w:-1  loss: 0.09108
    1   292   bit_w: 1  loss: 0.09097
    2    66   bit_w:-1  loss: 0.09095
    3   810   bit_w: 1  loss: 0.09093
    4  1177   bit_w: 1  loss: 0.09090
   5757   6152   5410   4732   5384   5218   5185   5450   5255   5527
      0      0      0      0     -1      0     -1      0     -1     -1
Train accuarcate: 97.32%
tensor([[ 78.,  76.,  89.,  99.,  76.,  87.,  54., 135.,  84.,  84.],
        [ 94., 101., 132., 100.,  66.,  96.,  93.,  70.,  96.,  70.],
        [ 68., 115.,  93.,  75.,  83.,  67.,  76.,  83.,  80.,  62.],
        [115.,  81.,  88.,  74.,  67.,  82.,  88.,  90.,  74.,  94.],
        [ 82.,  93.,  80.,  68., 132.,  77.,  92.,  85.,  91.,  94.],
        [ 64., 118.,  79.,  80.,  86.,  64.,  70.,  91.,  77.,  71.],
        [ 54.,  91.,  66.,  89., 125.,  92.,  78.,  90.,  94.,  96.],
        [ 62.,  76.,  93.,  93.,  97.,  90.,  70.,  79.,  91., 128.],
        [ 95.,  88., 101.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  78.,  80., 108.,  75.,  67., 102., 102., 122.],
        [138.,  81., 101.,  93.,  78.,  99.,  95.,  86.,  95.,  95.],
        [ 89.,  95., 113.,  79., 106.,  83., 129.,  86.,  96.,  74.],
        [ 70.,  72.,  73.,  87., 104.,  78.,  58.,  87.,  82., 126.],
        [122.,  65.,  92.,  86.,  74.,  84.,  80.,  85.,  99.,  86.],
        [ 56., 127.,  78.,  85.,  84.,  70.,  73.,  77.,  88.,  78.],
        [ 85.,  84.,  80., 105.,  76., 125.,  80.,  87.,  95.,  95.],
        [ 76.,  70.,  74.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  95.,  98.,  71.,  78.,  58., 124.,  62.,  84.],
        [ 82.,  93., 103., 116.,  85.,  93.,  83.,  91.,  91.,  88.],
        [ 63.,  81.,  77.,  77., 122.,  79.,  77.,  88.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.19%



iteration:
  385
    0   962   bit_w:-1  loss: 0.09085
    1   521   bit_w:-1  loss: 0.09080
    2   862   bit_w: 1  loss: 0.09073
    3   185   bit_w:-1  loss: 0.09065
    4   637   bit_w: 1  loss: 0.09064
   1073   1670   1268    779    507   1330   1547    550    516    406
      0      1      0      1      0      1      0      0      1      0
Train accuarcate: 97.33%
tensor([[ 78.,  77.,  89., 100.,  76.,  88.,  54., 135.,  85.,  84.],
        [ 94., 102., 132., 101.,  66.,  97.,  93.,  70.,  97.,  70.],
        [ 68., 115.,  93.,  75.,  83.,  67.,  76.,  83.,  80.,  62.],
        [115.,  81.,  88.,  74.,  67.,  82.,  88.,  90.,  74.,  94.],
        [ 82.,  93.,  80.,  68., 132.,  77.,  92.,  85.,  91.,  94.],
        [ 64., 118.,  79.,  80.,  86.,  64.,  70.,  91.,  77.,  71.],
        [ 54.,  91.,  66.,  89., 125.,  92.,  78.,  90.,  94.,  96.],
        [ 62.,  77.,  93.,  94.,  97.,  91.,  70.,  79.,  92., 128.],
        [ 95.,  88., 101.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  78.,  80., 108.,  75.,  67., 102., 102., 122.],
        [138.,  81., 101.,  93.,  78.,  99.,  95.,  86.,  95.,  95.],
        [ 89.,  96., 113.,  80., 106.,  84., 129.,  86.,  97.,  74.],
        [ 70.,  72.,  73.,  87., 104.,  78.,  58.,  87.,  82., 126.],
        [122.,  65.,  92.,  86.,  74.,  84.,  80.,  85.,  99.,  86.],
        [ 56., 127.,  78.,  85.,  84.,  70.,  73.,  77.,  88.,  78.],
        [ 85.,  84.,  80., 105.,  76., 125.,  80.,  87.,  95.,  95.],
        [ 76.,  70.,  74.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  95.,  98.,  71.,  78.,  58., 124.,  62.,  84.],
        [ 82.,  94., 103., 117.,  85.,  94.,  83.,  91.,  92.,  88.],
        [ 63.,  81.,  77.,  77., 122.,  79.,  77.,  88.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.21%



iteration:
  386
    0  1105   bit_w:-1  loss: 0.09060
    1   794   bit_w: 1  loss: 0.09056
    2   149   bit_w: 1  loss: 0.09053
    3  1047   bit_w: 1  loss: 0.09049
    4   988   bit_w:-1  loss: 0.09049
     75     48    835   1647    326    244    286    410   1110    706
      1      0      0      1      0      0      0      1      1      0
Train accuarcate: 97.33%
tensor([[ 78.,  77.,  89., 100.,  76.,  88.,  54., 135.,  85.,  84.],
        [ 94., 102., 132., 101.,  66.,  97.,  93.,  70.,  97.,  70.],
        [ 68., 115.,  93.,  75.,  83.,  67.,  76.,  83.,  80.,  62.],
        [115.,  81.,  88.,  74.,  67.,  82.,  88.,  90.,  74.,  94.],
        [ 82.,  93.,  80.,  68., 132.,  77.,  92.,  85.,  91.,  94.],
        [ 64., 118.,  79.,  80.,  86.,  64.,  70.,  91.,  77.,  71.],
        [ 54.,  91.,  66.,  89., 125.,  92.,  78.,  90.,  94.,  96.],
        [ 62.,  77.,  93.,  94.,  97.,  91.,  70.,  79.,  92., 128.],
        [ 95.,  88., 101.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  78.,  80., 108.,  75.,  67., 102., 102., 122.],
        [138.,  81., 101.,  93.,  78.,  99.,  95.,  86.,  95.,  95.],
        [ 89.,  96., 113.,  80., 106.,  84., 129.,  86.,  97.,  74.],
        [ 70.,  72.,  73.,  87., 104.,  78.,  58.,  87.,  82., 126.],
        [122.,  65.,  92.,  86.,  74.,  84.,  80.,  85.,  99.,  86.],
        [ 56., 127.,  78.,  85.,  84.,  70.,  73.,  77.,  88.,  78.],
        [ 86.,  84.,  80., 106.,  76., 125.,  80.,  88.,  96.,  95.],
        [ 76.,  70.,  74.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  95.,  98.,  71.,  78.,  58., 124.,  62.,  84.],
        [ 83.,  94., 103., 118.,  85.,  94.,  83.,  92.,  93.,  88.],
        [ 63.,  81.,  77.,  77., 122.,  79.,  77.,  88.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.18%



iteration:
  387
    0  1179   bit_w:-1  loss: 0.09045
    1   710   bit_w:-1  loss: 0.09042
    2  1178   bit_w:-1  loss: 0.09042
    3   312   bit_w:-1  loss: 0.09037
    4   536   bit_w: 1  loss: 0.09040
    641     98   1601   1035    120    642   1319    113    389    183
      0      0      1      0      0      0      1      0      0      0
Train accuarcate: 97.34%
tensor([[ 78.,  77.,  89., 100.,  76.,  88.,  54., 135.,  85.,  84.],
        [ 94., 102., 133., 101.,  66.,  97.,  94.,  70.,  97.,  70.],
        [ 68., 115.,  93.,  75.,  83.,  67.,  76.,  83.,  80.,  62.],
        [115.,  81.,  88.,  74.,  67.,  82.,  88.,  90.,  74.,  94.],
        [ 82.,  93.,  80.,  68., 132.,  77.,  92.,  85.,  91.,  94.],
        [ 64., 118.,  79.,  80.,  86.,  64.,  70.,  91.,  77.,  71.],
        [ 54.,  91.,  66.,  89., 125.,  92.,  78.,  90.,  94.,  96.],
        [ 62.,  77.,  93.,  94.,  97.,  91.,  70.,  79.,  92., 128.],
        [ 95.,  88., 101.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  78.,  80., 108.,  75.,  67., 102., 102., 122.],
        [138.,  81., 101.,  93.,  78.,  99.,  95.,  86.,  95.,  95.],
        [ 89.,  96., 113.,  80., 106.,  84., 129.,  86.,  97.,  74.],
        [ 70.,  72.,  73.,  87., 104.,  78.,  58.,  87.,  82., 126.],
        [122.,  65.,  92.,  86.,  74.,  84.,  80.,  85.,  99.,  86.],
        [ 56., 127.,  78.,  85.,  84.,  70.,  73.,  77.,  88.,  78.],
        [ 86.,  84.,  80., 106.,  76., 125.,  80.,  88.,  96.,  95.],
        [ 76.,  70.,  74.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  95.,  98.,  71.,  78.,  58., 124.,  62.,  84.],
        [ 83.,  94., 103., 118.,  85.,  94.,  83.,  92.,  93.,  88.],
        [ 63.,  81.,  77.,  77., 122.,  79.,  77.,  88.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.20%



iteration:
  388
    0   302   bit_w:-1  loss: 0.09036
    1   408   bit_w: 1  loss: 0.09029
    2  1060   bit_w: 1  loss: 0.09026
    3   947   bit_w:-1  loss: 0.09022
    4   310   bit_w:-1  loss: 0.09021
   2056   6706   5244   5823   5597   4865   5433   5814   5310   5803
     -1      0     -1      0      0      0      0     -1      0      0
Train accuarcate: 97.35%
tensor([[ 78.,  77.,  89., 100.,  76.,  88.,  54., 135.,  85.,  84.],
        [ 95., 102., 134., 101.,  66.,  97.,  94.,  71.,  97.,  70.],
        [ 68., 115.,  93.,  75.,  83.,  67.,  76.,  83.,  80.,  62.],
        [115.,  81.,  88.,  74.,  67.,  82.,  88.,  90.,  74.,  94.],
        [ 82.,  93.,  80.,  68., 132.,  77.,  92.,  85.,  91.,  94.],
        [ 64., 118.,  79.,  80.,  86.,  64.,  70.,  91.,  77.,  71.],
        [ 54.,  91.,  66.,  89., 125.,  92.,  78.,  90.,  94.,  96.],
        [ 62.,  77.,  93.,  94.,  97.,  91.,  70.,  79.,  92., 128.],
        [ 95.,  88., 101.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  78.,  80., 108.,  75.,  67., 102., 102., 122.],
        [139.,  81., 102.,  93.,  78.,  99.,  95.,  87.,  95.,  95.],
        [ 89.,  96., 113.,  80., 106.,  84., 129.,  86.,  97.,  74.],
        [ 70.,  72.,  73.,  87., 104.,  78.,  58.,  87.,  82., 126.],
        [122.,  65.,  92.,  86.,  74.,  84.,  80.,  85.,  99.,  86.],
        [ 56., 127.,  78.,  85.,  84.,  70.,  73.,  77.,  88.,  78.],
        [ 86.,  84.,  80., 106.,  76., 125.,  80.,  88.,  96.,  95.],
        [ 76.,  70.,  74.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  95.,  98.,  71.,  78.,  58., 124.,  62.,  84.],
        [ 83.,  94., 103., 118.,  85.,  94.,  83.,  92.,  93.,  88.],
        [ 63.,  81.,  77.,  77., 122.,  79.,  77.,  88.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.19%



iteration:
  389
    0  1007   bit_w:-1  loss: 0.09017
    1   303   bit_w:-1  loss: 0.09011
    2   986   bit_w: 1  loss: 0.09011
    3   710   bit_w:-1  loss: 0.09006
    4  1001   bit_w:-1  loss: 0.09009
   2699     80   1576    280    411   1473    776    165   2286    102
      0      1      0      0      0      1      1      1      0      0
Train accuarcate: 97.36%
tensor([[ 78.,  77.,  89., 100.,  76.,  88.,  54., 135.,  85.,  84.],
        [ 95., 103., 134., 101.,  66.,  98.,  95.,  72.,  97.,  70.],
        [ 68., 115.,  93.,  75.,  83.,  67.,  76.,  83.,  80.,  62.],
        [115.,  82.,  88.,  74.,  67.,  83.,  89.,  91.,  74.,  94.],
        [ 82.,  93.,  80.,  68., 132.,  77.,  92.,  85.,  91.,  94.],
        [ 64., 118.,  79.,  80.,  86.,  64.,  70.,  91.,  77.,  71.],
        [ 54.,  91.,  66.,  89., 125.,  92.,  78.,  90.,  94.,  96.],
        [ 62.,  77.,  93.,  94.,  97.,  91.,  70.,  79.,  92., 128.],
        [ 95.,  88., 101.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  78.,  80., 108.,  75.,  67., 102., 102., 122.],
        [139.,  82., 102.,  93.,  78., 100.,  96.,  88.,  95.,  95.],
        [ 89.,  97., 113.,  80., 106.,  85., 130.,  87.,  97.,  74.],
        [ 70.,  72.,  73.,  87., 104.,  78.,  58.,  87.,  82., 126.],
        [122.,  66.,  92.,  86.,  74.,  85.,  81.,  86.,  99.,  86.],
        [ 56., 127.,  78.,  85.,  84.,  70.,  73.,  77.,  88.,  78.],
        [ 86.,  84.,  80., 106.,  76., 125.,  80.,  88.,  96.,  95.],
        [ 76.,  70.,  74.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  95.,  98.,  71.,  78.,  58., 124.,  62.,  84.],
        [ 83.,  95., 103., 118.,  85.,  95.,  84.,  93.,  93.,  88.],
        [ 63.,  81.,  77.,  77., 122.,  79.,  77.,  88.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.20%



iteration:
  390
    0  1169   bit_w:-1  loss: 0.09005
    1   184   bit_w:-1  loss: 0.09000
    2   824   bit_w:-1  loss: 0.08996
    3  1110   bit_w: 1  loss: 0.08991
    4   718   bit_w: 1  loss: 0.08990
   1233    763   1446   1021    926   1616   1370    618    935    681
      0      1      0      1      0      0      1      0      1      0
Train accuarcate: 97.38%
tensor([[ 78.,  77.,  89., 100.,  76.,  88.,  54., 135.,  85.,  84.],
        [ 95., 103., 134., 101.,  66.,  98.,  95.,  72.,  97.,  70.],
        [ 68., 115.,  93.,  75.,  83.,  67.,  76.,  83.,  80.,  62.],
        [115.,  82.,  88.,  74.,  67.,  83.,  89.,  91.,  74.,  94.],
        [ 82.,  94.,  80.,  69., 132.,  77.,  93.,  85.,  92.,  94.],
        [ 64., 118.,  79.,  80.,  86.,  64.,  70.,  91.,  77.,  71.],
        [ 54.,  92.,  66.,  90., 125.,  92.,  79.,  90.,  95.,  96.],
        [ 62.,  77.,  93.,  94.,  97.,  91.,  70.,  79.,  92., 128.],
        [ 95.,  88., 101.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  78.,  80., 108.,  75.,  67., 102., 102., 122.],
        [139.,  82., 102.,  93.,  78., 100.,  96.,  88.,  95.,  95.],
        [ 89.,  97., 113.,  80., 106.,  85., 130.,  87.,  97.,  74.],
        [ 70.,  72.,  73.,  87., 104.,  78.,  58.,  87.,  82., 126.],
        [122.,  66.,  92.,  86.,  74.,  85.,  81.,  86.,  99.,  86.],
        [ 56., 127.,  78.,  85.,  84.,  70.,  73.,  77.,  88.,  78.],
        [ 86.,  84.,  80., 106.,  76., 125.,  80.,  88.,  96.,  95.],
        [ 76.,  70.,  74.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  95.,  98.,  71.,  78.,  58., 124.,  62.,  84.],
        [ 83.,  95., 103., 118.,  85.,  95.,  84.,  93.,  93.,  88.],
        [ 63.,  81.,  77.,  77., 122.,  79.,  77.,  88.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.21%



iteration:
  391
    0   816   bit_w:-1  loss: 0.08985
    1  1093   bit_w: 1  loss: 0.08976
    2  1143   bit_w:-1  loss: 0.08980
    3   983   bit_w: 1  loss: 0.08970
    4   276   bit_w: 1  loss: 0.08976
   1619   1652   2131   2694    647   1527   2547    924    909   2295
      1      0      0      0      1      1      0      0      0      0
Train accuarcate: 97.40%
tensor([[ 78.,  77.,  89., 100.,  76.,  88.,  54., 135.,  85.,  84.],
        [ 96., 103., 134., 101.,  67.,  99.,  95.,  72.,  97.,  70.],
        [ 68., 115.,  93.,  75.,  83.,  67.,  76.,  83.,  80.,  62.],
        [116.,  82.,  88.,  74.,  68.,  84.,  89.,  91.,  74.,  94.],
        [ 82.,  94.,  80.,  69., 132.,  77.,  93.,  85.,  92.,  94.],
        [ 64., 118.,  79.,  80.,  86.,  64.,  70.,  91.,  77.,  71.],
        [ 54.,  92.,  66.,  90., 125.,  92.,  79.,  90.,  95.,  96.],
        [ 62.,  77.,  93.,  94.,  97.,  91.,  70.,  79.,  92., 128.],
        [ 95.,  88., 101.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  78.,  80., 108.,  75.,  67., 102., 102., 122.],
        [139.,  82., 102.,  93.,  78., 100.,  96.,  88.,  95.,  95.],
        [ 90.,  97., 113.,  80., 107.,  86., 130.,  87.,  97.,  74.],
        [ 71.,  72.,  73.,  87., 105.,  79.,  58.,  87.,  82., 126.],
        [122.,  66.,  92.,  86.,  74.,  85.,  81.,  86.,  99.,  86.],
        [ 57., 127.,  78.,  85.,  85.,  71.,  73.,  77.,  88.,  78.],
        [ 87.,  84.,  80., 106.,  77., 126.,  80.,  88.,  96.,  95.],
        [ 76.,  70.,  74.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  95.,  98.,  71.,  78.,  58., 124.,  62.,  84.],
        [ 83.,  95., 103., 118.,  85.,  95.,  84.,  93.,  93.,  88.],
        [ 63.,  81.,  77.,  77., 122.,  79.,  77.,  88.,  85.,  90.]],
       device='cuda:0')
Train accuarcate: 96.15%



iteration:
  392
    0   575   bit_w:-1  loss: 0.08971
    1  1000   bit_w: 1  loss: 0.08960
    2  1116   bit_w: 1  loss: 0.08957
    3  1044   bit_w: 1  loss: 0.08950
    4   329   bit_w: 1  loss: 0.08953
   3662   2068   1983   1850   2157   1475   1015   3106   2460   1612
      0      0      0      0      0      0      0      1      0      1
Train accuarcate: 97.41%
tensor([[ 78.,  77.,  89., 100.,  76.,  88.,  54., 135.,  85.,  84.],
        [ 96., 103., 134., 101.,  67.,  99.,  95.,  72.,  97.,  70.],
        [ 68., 115.,  93.,  75.,  83.,  67.,  76.,  84.,  80.,  63.],
        [116.,  82.,  88.,  74.,  68.,  84.,  89.,  91.,  74.,  94.],
        [ 82.,  94.,  80.,  69., 132.,  77.,  93.,  86.,  92.,  95.],
        [ 64., 118.,  79.,  80.,  86.,  64.,  70.,  92.,  77.,  72.],
        [ 54.,  92.,  66.,  90., 125.,  92.,  79.,  90.,  95.,  96.],
        [ 62.,  77.,  93.,  94.,  97.,  91.,  70.,  80.,  92., 129.],
        [ 95.,  88., 101.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  78.,  80., 108.,  75.,  67., 103., 102., 123.],
        [139.,  82., 102.,  93.,  78., 100.,  96.,  89.,  95.,  96.],
        [ 90.,  97., 113.,  80., 107.,  86., 130.,  88.,  97.,  75.],
        [ 71.,  72.,  73.,  87., 105.,  79.,  58.,  87.,  82., 126.],
        [122.,  66.,  92.,  86.,  74.,  85.,  81.,  87.,  99.,  87.],
        [ 57., 127.,  78.,  85.,  85.,  71.,  73.,  77.,  88.,  78.],
        [ 87.,  84.,  80., 106.,  77., 126.,  80.,  89.,  96.,  96.],
        [ 76.,  70.,  74.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  95.,  98.,  71.,  78.,  58., 125.,  62.,  85.],
        [ 83.,  95., 103., 118.,  85.,  95.,  84.,  94.,  93.,  89.],
        [ 63.,  81.,  77.,  77., 122.,  79.,  77.,  89.,  85.,  91.]],
       device='cuda:0')
Train accuarcate: 96.14%



iteration:
  393
    0  1016   bit_w:-1  loss: 0.08947
    1   290   bit_w: 1  loss: 0.08935
    2   621   bit_w: 1  loss: 0.08941
    3  1012   bit_w:-1  loss: 0.08928
    4  1033   bit_w:-1  loss: 0.08937
   3351    724   1442   1350    614   2923   2570   1296   2285   1595
      0      0     -1      0      0      1      1      1      0      0
Train accuarcate: 97.42%
tensor([[ 78.,  77.,  90., 100.,  76.,  88.,  54., 135.,  85.,  84.],
        [ 96., 103., 134., 101.,  67., 100.,  96.,  73.,  97.,  70.],
        [ 68., 115.,  94.,  75.,  83.,  67.,  76.,  84.,  80.,  63.],
        [116.,  82.,  89.,  74.,  68.,  84.,  89.,  91.,  74.,  94.],
        [ 82.,  94.,  81.,  69., 132.,  77.,  93.,  86.,  92.,  95.],
        [ 64., 118.,  80.,  80.,  86.,  64.,  70.,  92.,  77.,  72.],
        [ 54.,  92.,  67.,  90., 125.,  92.,  79.,  90.,  95.,  96.],
        [ 62.,  77.,  94.,  94.,  97.,  91.,  70.,  80.,  92., 129.],
        [ 95.,  88., 102.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  79.,  80., 108.,  75.,  67., 103., 102., 123.],
        [139.,  82., 103.,  93.,  78., 100.,  96.,  89.,  95.,  96.],
        [ 90.,  97., 114.,  80., 107.,  86., 130.,  88.,  97.,  75.],
        [ 71.,  72.,  73.,  87., 105.,  80.,  59.,  88.,  82., 126.],
        [122.,  66.,  93.,  86.,  74.,  85.,  81.,  87.,  99.,  87.],
        [ 57., 127.,  79.,  85.,  85.,  71.,  73.,  77.,  88.,  78.],
        [ 87.,  84.,  80., 106.,  77., 127.,  81.,  90.,  96.,  96.],
        [ 76.,  70.,  75.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  96.,  98.,  71.,  78.,  58., 125.,  62.,  85.],
        [ 83.,  95., 104., 118.,  85.,  95.,  84.,  94.,  93.,  89.],
        [ 63.,  81.,  78.,  77., 122.,  79.,  77.,  89.,  85.,  91.]],
       device='cuda:0')
Train accuarcate: 96.18%



iteration:
  394
    0   898   bit_w:-1  loss: 0.08923
    1   430   bit_w: 1  loss: 0.08913
    2   963   bit_w:-1  loss: 0.08913
    3  1158   bit_w:-1  loss: 0.08906
    4   145   bit_w:-1  loss: 0.08907
   2952   2322   3188   3967   4979   3508   5152   5210   3018   4446
     -1     -1      0     -1      0      0      0      0     -1      0
Train accuarcate: 97.43%
tensor([[ 78.,  77.,  90., 100.,  76.,  88.,  54., 135.,  85.,  84.],
        [ 96., 103., 134., 101.,  67., 100.,  96.,  73.,  97.,  70.],
        [ 68., 115.,  94.,  75.,  83.,  67.,  76.,  84.,  80.,  63.],
        [116.,  82.,  89.,  74.,  68.,  84.,  89.,  91.,  74.,  94.],
        [ 82.,  94.,  81.,  69., 132.,  77.,  93.,  86.,  92.,  95.],
        [ 65., 119.,  80.,  81.,  86.,  64.,  70.,  92.,  78.,  72.],
        [ 54.,  92.,  67.,  90., 125.,  92.,  79.,  90.,  95.,  96.],
        [ 62.,  77.,  94.,  94.,  97.,  91.,  70.,  80.,  92., 129.],
        [ 95.,  88., 102.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  79.,  80., 108.,  75.,  67., 103., 102., 123.],
        [140.,  83., 103.,  94.,  78., 100.,  96.,  89.,  96.,  96.],
        [ 90.,  97., 114.,  80., 107.,  86., 130.,  88.,  97.,  75.],
        [ 71.,  72.,  73.,  87., 105.,  80.,  59.,  88.,  82., 126.],
        [123.,  67.,  93.,  87.,  74.,  85.,  81.,  87., 100.,  87.],
        [ 58., 128.,  79.,  86.,  85.,  71.,  73.,  77.,  89.,  78.],
        [ 87.,  84.,  80., 106.,  77., 127.,  81.,  90.,  96.,  96.],
        [ 76.,  70.,  75.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  96.,  98.,  71.,  78.,  58., 125.,  62.,  85.],
        [ 83.,  95., 104., 118.,  85.,  95.,  84.,  94.,  93.,  89.],
        [ 63.,  81.,  78.,  77., 122.,  79.,  77.,  89.,  85.,  91.]],
       device='cuda:0')
Train accuarcate: 96.20%



iteration:
  395
    0   956   bit_w:-1  loss: 0.08902
    1   245   bit_w: 1  loss: 0.08896
    2   710   bit_w:-1  loss: 0.08894
    3  1119   bit_w:-1  loss: 0.08889
    4  1057   bit_w: 1  loss: 0.08888
   5044   6407   5258   4770   4572   3982   5498   4746   4952   4035
      0      0      0     -1     -1      0      0      0     -1     -1
Train accuarcate: 97.42%
tensor([[ 78.,  77.,  90., 100.,  76.,  88.,  54., 135.,  85.,  84.],
        [ 96., 103., 134., 101.,  67., 100.,  96.,  73.,  97.,  70.],
        [ 68., 115.,  94.,  75.,  83.,  67.,  76.,  84.,  80.,  63.],
        [116.,  82.,  89.,  74.,  68.,  84.,  89.,  91.,  74.,  94.],
        [ 82.,  94.,  81.,  69., 132.,  77.,  93.,  86.,  92.,  95.],
        [ 65., 119.,  80.,  81.,  86.,  64.,  70.,  92.,  78.,  72.],
        [ 54.,  92.,  67.,  90., 125.,  92.,  79.,  90.,  95.,  96.],
        [ 62.,  77.,  94.,  94.,  97.,  91.,  70.,  80.,  92., 129.],
        [ 95.,  88., 102.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  79.,  80., 108.,  75.,  67., 103., 102., 123.],
        [140.,  83., 103.,  94.,  78., 100.,  96.,  89.,  96.,  96.],
        [ 90.,  97., 114.,  80., 107.,  86., 130.,  88.,  97.,  75.],
        [ 71.,  72.,  73.,  88., 106.,  80.,  59.,  88.,  83., 127.],
        [123.,  67.,  93.,  87.,  74.,  85.,  81.,  87., 100.,  87.],
        [ 58., 128.,  79.,  86.,  85.,  71.,  73.,  77.,  89.,  78.],
        [ 87.,  84.,  80., 106.,  77., 127.,  81.,  90.,  96.,  96.],
        [ 76.,  70.,  75.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  96.,  98.,  71.,  78.,  58., 125.,  62.,  85.],
        [ 83.,  95., 104., 118.,  85.,  95.,  84.,  94.,  93.,  89.],
        [ 63.,  81.,  78.,  77., 122.,  79.,  77.,  89.,  85.,  91.]],
       device='cuda:0')
Train accuarcate: 96.19%



iteration:
  396
    0   500   bit_w:-1  loss: 0.08884
    1  1008   bit_w:-1  loss: 0.08880
    2   972   bit_w: 1  loss: 0.08881
    3   535   bit_w: 1  loss: 0.08876
    4   396   bit_w:-1  loss: 0.08879
   5515   6345   4399   5119   5314   4989   5474   4558   5504   5646
     -1      0      0      0     -1      0      0     -1     -1      0
Train accuarcate: 97.43%
tensor([[ 78.,  77.,  90., 100.,  76.,  88.,  54., 135.,  85.,  84.],
        [ 97., 103., 134., 101.,  68., 100.,  96.,  74.,  98.,  70.],
        [ 68., 115.,  94.,  75.,  83.,  67.,  76.,  84.,  80.,  63.],
        [116.,  82.,  89.,  74.,  68.,  84.,  89.,  91.,  74.,  94.],
        [ 82.,  94.,  81.,  69., 132.,  77.,  93.,  86.,  92.,  95.],
        [ 65., 119.,  80.,  81.,  86.,  64.,  70.,  92.,  78.,  72.],
        [ 55.,  92.,  67.,  90., 126.,  92.,  79.,  91.,  96.,  96.],
        [ 62.,  77.,  94.,  94.,  97.,  91.,  70.,  80.,  92., 129.],
        [ 95.,  88., 102.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  79.,  80., 108.,  75.,  67., 103., 102., 123.],
        [140.,  83., 103.,  94.,  78., 100.,  96.,  89.,  96.,  96.],
        [ 90.,  97., 114.,  80., 107.,  86., 130.,  88.,  97.,  75.],
        [ 71.,  72.,  73.,  88., 106.,  80.,  59.,  88.,  83., 127.],
        [123.,  67.,  93.,  87.,  74.,  85.,  81.,  87., 100.,  87.],
        [ 58., 128.,  79.,  86.,  85.,  71.,  73.,  77.,  89.,  78.],
        [ 87.,  84.,  80., 106.,  77., 127.,  81.,  90.,  96.,  96.],
        [ 76.,  70.,  75.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  96.,  98.,  71.,  78.,  58., 125.,  62.,  85.],
        [ 83.,  95., 104., 118.,  85.,  95.,  84.,  94.,  93.,  89.],
        [ 63.,  81.,  78.,  77., 122.,  79.,  77.,  89.,  85.,  91.]],
       device='cuda:0')
Train accuarcate: 96.18%



iteration:
  397
    0  1029   bit_w:-1  loss: 0.08875
    1   962   bit_w:-1  loss: 0.08871
    2  1028   bit_w:-1  loss: 0.08871
    3   415   bit_w: 1  loss: 0.08866
    4   971   bit_w: 1  loss: 0.08866
   4787   6695   3160   5096   5404   4427   5129   5584   5200   5612
      0     -1     -1      0      0      0     -1      0      0     -1
Train accuarcate: 97.43%
tensor([[ 78.,  77.,  90., 100.,  76.,  88.,  54., 135.,  85.,  84.],
        [ 97., 104., 135., 101.,  68., 100.,  97.,  74.,  98.,  71.],
        [ 68., 115.,  94.,  75.,  83.,  67.,  76.,  84.,  80.,  63.],
        [116.,  82.,  89.,  74.,  68.,  84.,  89.,  91.,  74.,  94.],
        [ 82.,  94.,  81.,  69., 132.,  77.,  93.,  86.,  92.,  95.],
        [ 65., 119.,  80.,  81.,  86.,  64.,  70.,  92.,  78.,  72.],
        [ 55.,  92.,  67.,  90., 126.,  92.,  79.,  91.,  96.,  96.],
        [ 62.,  78.,  95.,  94.,  97.,  91.,  71.,  80.,  92., 130.],
        [ 95.,  88., 102.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  79.,  80., 108.,  75.,  67., 103., 102., 123.],
        [140.,  83., 103.,  94.,  78., 100.,  96.,  89.,  96.,  96.],
        [ 90.,  97., 114.,  80., 107.,  86., 130.,  88.,  97.,  75.],
        [ 71.,  72.,  73.,  88., 106.,  80.,  59.,  88.,  83., 127.],
        [123.,  68.,  94.,  87.,  74.,  85.,  82.,  87., 100.,  88.],
        [ 58., 128.,  79.,  86.,  85.,  71.,  73.,  77.,  89.,  78.],
        [ 87.,  84.,  80., 106.,  77., 127.,  81.,  90.,  96.,  96.],
        [ 76.,  70.,  75.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  96.,  98.,  71.,  78.,  58., 125.,  62.,  85.],
        [ 83.,  95., 104., 118.,  85.,  95.,  84.,  94.,  93.,  89.],
        [ 63.,  81.,  78.,  77., 122.,  79.,  77.,  89.,  85.,  91.]],
       device='cuda:0')
Train accuarcate: 96.21%



iteration:
  398
    0  1130   bit_w:-1  loss: 0.08862
    1   840   bit_w: 1  loss: 0.08855
    2  1178   bit_w:-1  loss: 0.08853
    3  1177   bit_w: 1  loss: 0.08850
    4   472   bit_w: 1  loss: 0.08848
    614     76    352   1008     74    942    169    693    150    301
      0      0      0      1      0      1      0      0      0      1
Train accuarcate: 97.44%
tensor([[ 78.,  77.,  90., 100.,  76.,  88.,  54., 135.,  85.,  84.],
        [ 97., 104., 135., 102.,  68., 101.,  97.,  74.,  98.,  72.],
        [ 68., 115.,  94.,  75.,  83.,  67.,  76.,  84.,  80.,  63.],
        [116.,  82.,  89.,  74.,  68.,  84.,  89.,  91.,  74.,  94.],
        [ 82.,  94.,  81.,  69., 132.,  77.,  93.,  86.,  92.,  95.],
        [ 65., 119.,  80.,  81.,  86.,  64.,  70.,  92.,  78.,  72.],
        [ 55.,  92.,  67.,  90., 126.,  92.,  79.,  91.,  96.,  96.],
        [ 62.,  78.,  95.,  94.,  97.,  91.,  71.,  80.,  92., 130.],
        [ 95.,  88., 102.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  79.,  80., 108.,  75.,  67., 103., 102., 123.],
        [140.,  83., 103.,  94.,  78., 100.,  96.,  89.,  96.,  96.],
        [ 90.,  97., 114.,  80., 107.,  86., 130.,  88.,  97.,  75.],
        [ 71.,  72.,  73.,  88., 106.,  80.,  59.,  88.,  83., 127.],
        [123.,  68.,  94.,  87.,  74.,  85.,  82.,  87., 100.,  88.],
        [ 58., 128.,  79.,  86.,  85.,  71.,  73.,  77.,  89.,  78.],
        [ 87.,  84.,  80., 107.,  77., 128.,  81.,  90.,  96.,  97.],
        [ 76.,  70.,  75.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  96.,  98.,  71.,  78.,  58., 125.,  62.,  85.],
        [ 83.,  95., 104., 118.,  85.,  95.,  84.,  94.,  93.,  89.],
        [ 63.,  81.,  78.,  77., 122.,  79.,  77.,  89.,  85.,  91.]],
       device='cuda:0')
Train accuarcate: 96.20%



iteration:
  399
    0   497   bit_w:-1  loss: 0.08844
    1   805   bit_w: 1  loss: 0.08838
    2   929   bit_w: 1  loss: 0.08835
    3  1091   bit_w:-1  loss: 0.08833
    4   203   bit_w:-1  loss: 0.08831
   2463   6734   4574   5596   5014   5095   3491   6016   5307   5777
     -1      0      0      0     -1      0     -1     -1      0      0
Train accuarcate: 97.44%
tensor([[ 78.,  77.,  90., 100.,  76.,  88.,  54., 135.,  85.,  84.],
        [ 97., 104., 135., 102.,  68., 101.,  97.,  74.,  98.,  72.],
        [ 68., 115.,  94.,  75.,  83.,  67.,  76.,  84.,  80.,  63.],
        [116.,  82.,  89.,  74.,  68.,  84.,  89.,  91.,  74.,  94.],
        [ 82.,  94.,  81.,  69., 132.,  77.,  93.,  86.,  92.,  95.],
        [ 65., 119.,  80.,  81.,  86.,  64.,  70.,  92.,  78.,  72.],
        [ 55.,  92.,  67.,  90., 126.,  92.,  79.,  91.,  96.,  96.],
        [ 62.,  78.,  95.,  94.,  97.,  91.,  71.,  80.,  92., 130.],
        [ 95.,  88., 102.,  64., 100., 113., 124.,  87., 103.,  94.],
        [ 89.,  67.,  79.,  80., 108.,  75.,  67., 103., 102., 123.],
        [141.,  83., 103.,  94.,  79., 100.,  97.,  90.,  96.,  96.],
        [ 90.,  97., 114.,  80., 107.,  86., 130.,  88.,  97.,  75.],
        [ 71.,  72.,  73.,  88., 106.,  80.,  59.,  88.,  83., 127.],
        [124.,  68.,  94.,  87.,  75.,  85.,  83.,  88., 100.,  88.],
        [ 58., 128.,  79.,  86.,  85.,  71.,  73.,  77.,  89.,  78.],
        [ 87.,  84.,  80., 107.,  77., 128.,  81.,  90.,  96.,  97.],
        [ 76.,  70.,  75.,  80., 100.,  74.,  61.,  91.,  91., 120.],
        [ 85.,  82.,  96.,  98.,  71.,  78.,  58., 125.,  62.,  85.],
        [ 84.,  95., 104., 118.,  86.,  95.,  85.,  95.,  93.,  89.],
        [ 63.,  81.,  78.,  77., 122.,  79.,  77.,  89.,  85.,  91.]],
       device='cuda:0')
Train accuarcate: 96.19%