five_direct_v1.log

iteration:
    0
    0   378   bit_w:-1  loss: 2.24740
    1   350   bit_w:-1  loss: 2.24580
    2   428   bit_w: 1  loss: 2.23876
    3   654   bit_w:-1  loss: 2.23840
    4   658   bit_w:-1  loss: 2.23222
   5241    419   4709    830   5356   2467   5372   5684   1357   4414
      1     -1      1     -1      1     -1      1      1     -1      1
Train accuarcate: 16.23%
tensor([[2., 1., 2., 1., 2., 1., 2., 2., 1., 2.],
        [2., 1., 2., 1., 2., 1., 2., 2., 1., 2.],
        [1., 2., 1., 2., 1., 2., 1., 1., 2., 1.],
        [2., 1., 2., 1., 2., 1., 2., 2., 1., 2.],
        [2., 1., 2., 1., 2., 1., 2., 2., 1., 2.],
        [1., 2., 1., 2., 1., 2., 1., 1., 2., 1.],
        [1., 2., 1., 2., 1., 2., 1., 1., 2., 1.],
        [1., 2., 1., 2., 1., 2., 1., 1., 2., 1.],
        [2., 1., 2., 1., 2., 1., 2., 2., 1., 2.],
        [1., 2., 1., 2., 1., 2., 1., 1., 2., 1.],
        [2., 1., 2., 1., 2., 1., 2., 2., 1., 2.],
        [2., 1., 2., 1., 2., 1., 2., 2., 1., 2.],
        [2., 1., 2., 1., 2., 1., 2., 2., 1., 2.],
        [2., 1., 2., 1., 2., 1., 2., 2., 1., 2.],
        [1., 2., 1., 2., 1., 2., 1., 1., 2., 1.],
        [1., 2., 1., 2., 1., 2., 1., 1., 2., 1.],
        [2., 1., 2., 1., 2., 1., 2., 2., 1., 2.],
        [2., 1., 2., 1., 2., 1., 2., 2., 1., 2.],
        [1., 2., 1., 2., 1., 2., 1., 1., 2., 1.],
        [2., 1., 2., 1., 2., 1., 2., 2., 1., 2.]], device='cuda:0')
Train accuarcate: 16.71%



iteration:
    1
    0   461   bit_w:-1  loss: 2.17733
    1   434   bit_w:-1  loss: 2.17823
    2   655   bit_w: 1  loss: 2.17225
    3   488   bit_w:-1  loss: 2.16979
    4   240   bit_w: 1  loss: 2.16493
   5842    431   1342   5236   1152   4248   1708   5269   1309   3245
      1     -1     -1      1     -1      1     -1      1     -1      0
Train accuarcate: 26.14%
tensor([[3., 1., 2., 2., 2., 2., 2., 3., 1., 2.],
        [3., 1., 2., 2., 2., 2., 2., 3., 1., 2.],
        [2., 2., 1., 3., 1., 3., 1., 2., 2., 1.],
        [3., 1., 2., 2., 2., 2., 2., 3., 1., 2.],
        [2., 2., 3., 1., 3., 1., 3., 2., 2., 2.],
        [1., 3., 2., 2., 2., 2., 2., 1., 3., 1.],
        [2., 2., 1., 3., 1., 3., 1., 2., 2., 1.],
        [1., 3., 2., 2., 2., 2., 2., 1., 3., 1.],
        [2., 2., 3., 1., 3., 1., 3., 2., 2., 2.],
        [2., 2., 1., 3., 1., 3., 1., 2., 2., 1.],
        [3., 1., 2., 2., 2., 2., 2., 3., 1., 2.],
        [2., 2., 3., 1., 3., 1., 3., 2., 2., 2.],
        [2., 2., 3., 1., 3., 1., 3., 2., 2., 2.],
        [3., 1., 2., 2., 2., 2., 2., 3., 1., 2.],
        [1., 3., 2., 2., 2., 2., 2., 1., 3., 1.],
        [2., 2., 1., 3., 1., 3., 1., 2., 2., 1.],
        [2., 2., 3., 1., 3., 1., 3., 2., 2., 2.],
        [3., 1., 2., 2., 2., 2., 2., 3., 1., 2.],
        [2., 2., 1., 3., 1., 3., 1., 2., 2., 1.],
        [2., 2., 3., 1., 3., 1., 3., 2., 2., 2.]], device='cuda:0')
Train accuarcate: 26.82%



iteration:
    2
    0   401   bit_w:-1  loss: 2.11513
    1   373   bit_w:-1  loss: 2.11425
    2   152   bit_w: 1  loss: 2.10944
    3   378   bit_w: 1  loss: 2.10715
    4   156   bit_w: 1  loss: 2.10048
   1317   6609   4673   5002    368   1973   1867    422   4261    825
     -1      1      1      1     -1     -1     -1     -1      1     -1
Train accuarcate: 34.70%
tensor([[4., 1., 2., 2., 3., 3., 3., 4., 1., 3.],
        [3., 2., 3., 3., 2., 2., 2., 3., 2., 2.],
        [2., 3., 2., 4., 1., 3., 1., 2., 3., 1.],
        [4., 1., 2., 2., 3., 3., 3., 4., 1., 3.],
        [3., 2., 3., 1., 4., 2., 4., 3., 2., 3.],
        [1., 4., 3., 3., 2., 2., 2., 1., 4., 1.],
        [3., 2., 1., 3., 2., 4., 2., 3., 2., 2.],
        [2., 3., 2., 2., 3., 3., 3., 2., 3., 2.],
        [2., 3., 4., 2., 3., 1., 3., 2., 3., 2.],
        [3., 2., 1., 3., 2., 4., 2., 3., 2., 2.],
        [3., 2., 3., 3., 2., 2., 2., 3., 2., 2.],
        [2., 3., 4., 2., 3., 1., 3., 2., 3., 2.],
        [3., 2., 3., 1., 4., 2., 4., 3., 2., 3.],
        [4., 1., 2., 2., 3., 3., 3., 4., 1., 3.],
        [1., 4., 3., 3., 2., 2., 2., 1., 4., 1.],
        [2., 3., 2., 4., 1., 3., 1., 2., 3., 1.],
        [3., 2., 3., 1., 4., 2., 4., 3., 2., 3.],
        [4., 1., 2., 2., 3., 3., 3., 4., 1., 3.],
        [3., 2., 1., 3., 2., 4., 2., 3., 2., 2.],
        [3., 2., 3., 1., 4., 2., 4., 3., 2., 3.]], device='cuda:0')
Train accuarcate: 35.45%



iteration:
    3
    0   541   bit_w:-1  loss: 2.05134
    1   569   bit_w:-1  loss: 2.05063
    2   323   bit_w: 1  loss: 2.04452
    3   155   bit_w:-1  loss: 2.04108
    4   324   bit_w: 1  loss: 2.03453
   1155   6442   1461   4739   5445   3085   1690   6081   2384   5635
     -1      1     -1      1      1     -1     -1      1     -1      1
Train accuarcate: 51.16%
tensor([[4., 2., 2., 3., 4., 3., 3., 5., 1., 4.],
        [4., 2., 4., 3., 2., 3., 3., 3., 3., 2.],
        [2., 4., 2., 5., 2., 3., 1., 3., 3., 2.],
        [5., 1., 3., 2., 3., 4., 4., 4., 2., 3.],
        [3., 3., 3., 2., 5., 2., 4., 4., 2., 4.],
        [1., 5., 3., 4., 3., 2., 2., 2., 4., 2.],
        [3., 3., 1., 4., 3., 4., 2., 4., 2., 3.],
        [2., 4., 2., 3., 4., 3., 3., 3., 3., 3.],
        [2., 4., 4., 3., 4., 1., 3., 3., 3., 3.],
        [3., 3., 1., 4., 3., 4., 2., 4., 2., 3.],
        [4., 2., 4., 3., 2., 3., 3., 3., 3., 2.],
        [2., 4., 4., 3., 4., 1., 3., 3., 3., 3.],
        [3., 3., 3., 2., 5., 2., 4., 4., 2., 4.],
        [5., 1., 3., 2., 3., 4., 4., 4., 2., 3.],
        [1., 5., 3., 4., 3., 2., 2., 2., 4., 2.],
        [2., 4., 2., 5., 2., 3., 1., 3., 3., 2.],
        [3., 3., 3., 2., 5., 2., 4., 4., 2., 4.],
        [4., 2., 2., 3., 4., 3., 3., 5., 1., 4.],
        [3., 3., 1., 4., 3., 4., 2., 4., 2., 3.],
        [3., 3., 3., 2., 5., 2., 4., 4., 2., 4.]], device='cuda:0')
Train accuarcate: 51.71%



iteration:
    4
    0   464   bit_w:-1  loss: 1.98936
    1   409   bit_w:-1  loss: 1.98329
    2   487   bit_w:-1  loss: 1.97776
    3   350   bit_w: 1  loss: 1.97786
    4   625   bit_w: 1  loss: 1.97165
   5311   6503   1821   5108    362   3857   1111   1238   2522    749
      1      1     -1      1     -1      1     -1     -1     -1     -1
Train accuarcate: 52.61%
tensor([[4., 2., 3., 3., 5., 3., 4., 6., 2., 5.],
        [5., 3., 4., 4., 2., 4., 3., 3., 3., 2.],
        [3., 5., 2., 6., 2., 4., 1., 3., 3., 2.],
        [6., 2., 3., 3., 3., 5., 4., 4., 2., 3.],
        [3., 3., 4., 2., 6., 2., 5., 5., 3., 5.],
        [2., 6., 3., 5., 3., 3., 2., 2., 4., 2.],
        [3., 3., 2., 4., 4., 4., 3., 5., 3., 4.],
        [2., 4., 3., 3., 5., 3., 4., 4., 4., 4.],
        [2., 4., 5., 3., 5., 1., 4., 4., 4., 4.],
        [3., 3., 2., 4., 4., 4., 3., 5., 3., 4.],
        [5., 3., 4., 4., 2., 4., 3., 3., 3., 2.],
        [3., 5., 4., 4., 4., 2., 3., 3., 3., 3.],
        [3., 3., 4., 2., 6., 2., 5., 5., 3., 5.],
        [6., 2., 3., 3., 3., 5., 4., 4., 2., 3.],
        [2., 6., 3., 5., 3., 3., 2., 2., 4., 2.],
        [3., 5., 2., 6., 2., 4., 1., 3., 3., 2.],
        [3., 3., 4., 2., 6., 2., 5., 5., 3., 5.],
        [5., 3., 2., 4., 4., 4., 3., 5., 1., 4.],
        [4., 4., 1., 5., 3., 5., 2., 4., 2., 3.],
        [3., 3., 4., 2., 6., 2., 5., 5., 3., 5.]], device='cuda:0')
Train accuarcate: 53.42%



iteration:
    5
    0   373   bit_w:-1  loss: 1.92923
    1   346   bit_w:-1  loss: 1.92857
    2   322   bit_w: 1  loss: 1.91983
    3   372   bit_w:-1  loss: 1.92033
    4   174   bit_w: 1  loss: 1.91214
   1061   6711   5520   4914    795   1606   1837   4700   2984   1035
     -1      1      1      1     -1     -1     -1      1     -1     -1
Train accuarcate: 53.74%
tensor([[4., 3., 4., 4., 5., 3., 4., 7., 2., 5.],
        [5., 4., 5., 5., 2., 4., 3., 4., 3., 2.],
        [3., 6., 3., 7., 2., 4., 1., 4., 3., 2.],
        [7., 2., 3., 3., 4., 6., 5., 4., 3., 4.],
        [4., 3., 4., 2., 7., 3., 6., 5., 4., 6.],
        [2., 7., 4., 6., 3., 3., 2., 3., 4., 2.],
        [4., 3., 2., 4., 5., 5., 4., 5., 4., 5.],
        [3., 4., 3., 3., 6., 4., 5., 4., 5., 5.],
        [2., 5., 6., 4., 5., 1., 4., 5., 4., 4.],
        [4., 3., 2., 4., 5., 5., 4., 5., 4., 5.],
        [6., 3., 4., 4., 3., 5., 4., 3., 4., 3.],
        [4., 5., 4., 4., 5., 3., 4., 3., 4., 4.],
        [4., 3., 4., 2., 7., 3., 6., 5., 4., 6.],
        [7., 2., 3., 3., 4., 6., 5., 4., 3., 4.],
        [2., 7., 4., 6., 3., 3., 2., 3., 4., 2.],
        [4., 5., 2., 6., 3., 5., 2., 3., 4., 3.],
        [4., 3., 4., 2., 7., 3., 6., 5., 4., 6.],
        [5., 4., 3., 5., 4., 4., 3., 6., 1., 4.],
        [4., 5., 2., 6., 3., 5., 2., 5., 2., 3.],
        [4., 3., 4., 2., 7., 3., 6., 5., 4., 6.]], device='cuda:0')
Train accuarcate: 54.93%



iteration:
    6
    0   542   bit_w:-1  loss: 1.87001
    1   541   bit_w:-1  loss: 1.86985
    2   708   bit_w: 1  loss: 1.86024
    3   625   bit_w:-1  loss: 1.86000
    4   709   bit_w: 1  loss: 1.85116
    277   4764    755   1959   5244   1886   1016   5896   1403   5533
     -1      1     -1     -1      1      0     -1      1     -1      1
Train accuarcate: 52.38%
tensor([[4., 4., 4., 4., 6., 3., 4., 8., 2., 6.],
        [6., 4., 6., 6., 2., 4., 4., 4., 4., 2.],
        [3., 7., 3., 7., 3., 4., 1., 5., 3., 3.],
        [8., 2., 4., 4., 4., 6., 6., 4., 4., 4.],
        [4., 4., 4., 2., 8., 3., 6., 6., 4., 7.],
        [2., 8., 4., 6., 4., 3., 2., 4., 4., 3.],
        [4., 4., 2., 4., 6., 5., 4., 6., 4., 6.],
        [3., 5., 3., 3., 7., 4., 5., 5., 5., 6.],
        [2., 6., 6., 4., 6., 1., 4., 6., 4., 5.],
        [4., 4., 2., 4., 6., 5., 4., 6., 4., 6.],
        [7., 3., 5., 5., 3., 5., 5., 3., 5., 3.],
        [5., 5., 5., 5., 5., 3., 5., 3., 5., 4.],
        [4., 4., 4., 2., 8., 3., 6., 6., 4., 7.],
        [8., 2., 4., 4., 4., 6., 6., 4., 4., 4.],
        [2., 8., 4., 6., 4., 3., 2., 4., 4., 3.],
        [5., 5., 3., 7., 3., 5., 3., 3., 5., 3.],
        [4., 4., 4., 2., 8., 3., 6., 6., 4., 7.],
        [5., 5., 3., 5., 5., 4., 3., 7., 1., 5.],
        [5., 5., 3., 7., 3., 5., 3., 5., 3., 3.],
        [4., 4., 4., 2., 8., 3., 6., 6., 4., 7.]], device='cuda:0')
Train accuarcate: 53.00%



iteration:
    7
    0   461   bit_w:-1  loss: 1.81074
    1   516   bit_w:-1  loss: 1.80813
    2   240   bit_w: 1  loss: 1.79961
    3   462   bit_w:-1  loss: 1.80156
    4   241   bit_w: 1  loss: 1.79593
   5819    587   1766   5519   1994   4515   1473   5196   1741   4330
      1     -1     -1      1     -1      1     -1      1     -1      1
Train accuarcate: 56.90%
tensor([[5., 4., 4., 5., 6., 4., 4., 9., 2., 7.],
        [7., 4., 6., 7., 2., 5., 4., 5., 4., 3.],
        [3., 8., 4., 7., 4., 4., 2., 5., 4., 3.],
        [9., 2., 4., 5., 4., 7., 6., 5., 4., 5.],
        [4., 5., 5., 2., 9., 3., 7., 6., 5., 7.],
        [2., 9., 5., 6., 5., 3., 3., 4., 5., 3.],
        [5., 4., 2., 5., 6., 6., 4., 7., 4., 7.],
        [3., 6., 4., 3., 8., 4., 6., 5., 6., 6.],
        [2., 7., 7., 4., 7., 1., 5., 6., 5., 5.],
        [5., 4., 2., 5., 6., 6., 4., 7., 4., 7.],
        [8., 3., 5., 6., 3., 6., 5., 4., 5., 4.],
        [5., 6., 6., 5., 6., 3., 6., 3., 6., 4.],
        [5., 4., 4., 3., 8., 4., 6., 7., 4., 8.],
        [9., 2., 4., 5., 4., 7., 6., 5., 4., 5.],
        [2., 9., 5., 6., 5., 3., 3., 4., 5., 3.],
        [6., 5., 3., 8., 3., 6., 3., 4., 5., 4.],
        [5., 4., 4., 3., 8., 4., 6., 7., 4., 8.],
        [6., 5., 3., 6., 5., 5., 3., 8., 1., 6.],
        [6., 5., 3., 8., 3., 6., 3., 6., 3., 4.],
        [5., 4., 4., 3., 8., 4., 6., 7., 4., 8.]], device='cuda:0')
Train accuarcate: 57.92%



iteration:
    8
    0   326   bit_w:-1  loss: 1.75581
    1   353   bit_w:-1  loss: 1.75401
    2   437   bit_w:-1  loss: 1.74795
    3   571   bit_w: 1  loss: 1.74513
    4   374   bit_w: 1  loss: 1.73992
   5299   6080   2370   2325   1157   4444   4944    852   2303    915
      1      1     -1     -1     -1      1      1     -1     -1     -1
Train accuarcate: 57.65%
tensor([[ 5.,  4.,  5.,  6.,  7.,  4.,  4., 10.,  3.,  8.],
        [ 8.,  5.,  6.,  7.,  2.,  6.,  5.,  5.,  4.,  3.],
        [ 4.,  9.,  4.,  7.,  4.,  5.,  3.,  5.,  4.,  3.],
        [10.,  3.,  4.,  5.,  4.,  8.,  7.,  5.,  4.,  5.],
        [ 4.,  5.,  6.,  3., 10.,  3.,  7.,  7.,  6.,  8.],
        [ 3., 10.,  5.,  6.,  5.,  4.,  4.,  4.,  5.,  3.],
        [ 5.,  4.,  3.,  6.,  7.,  6.,  4.,  8.,  5.,  8.],
        [ 3.,  6.,  5.,  4.,  9.,  4.,  6.,  6.,  7.,  7.],
        [ 3.,  8.,  7.,  4.,  7.,  2.,  6.,  6.,  5.,  5.],
        [ 6.,  5.,  2.,  5.,  6.,  7.,  5.,  7.,  4.,  7.],
        [ 9.,  4.,  5.,  6.,  3.,  7.,  6.,  4.,  5.,  4.],
        [ 5.,  6.,  7.,  6.,  7.,  3.,  6.,  4.,  7.,  5.],
        [ 5.,  4.,  5.,  4.,  9.,  4.,  6.,  8.,  5.,  9.],
        [10.,  3.,  4.,  5.,  4.,  8.,  7.,  5.,  4.,  5.],
        [ 3., 10.,  5.,  6.,  5.,  4.,  4.,  4.,  5.,  3.],
        [ 6.,  5.,  4.,  9.,  4.,  6.,  3.,  5.,  6.,  5.],
        [ 5.,  4.,  5.,  4.,  9.,  4.,  6.,  8.,  5.,  9.],
        [ 6.,  5.,  4.,  7.,  6.,  5.,  3.,  9.,  2.,  7.],
        [ 7.,  6.,  3.,  8.,  3.,  7.,  4.,  6.,  3.,  4.],
        [ 5.,  4.,  5.,  4.,  9.,  4.,  6.,  8.,  5.,  9.]], device='cuda:0')
Train accuarcate: 58.21%



iteration:
    9
    0   376   bit_w:-1  loss: 1.70236
    1   348   bit_w:-1  loss: 1.70140
    2   454   bit_w: 1  loss: 1.69520
    3   431   bit_w:-1  loss: 1.69213
    4   512   bit_w: 1  loss: 1.68328
   4851   5570   4769   1041   2201    766   2626   5441    877   1760
      1      1      1     -1     -1     -1     -1      1     -1     -1
Train accuarcate: 60.90%
tensor([[ 6.,  5.,  6.,  6.,  7.,  4.,  4., 11.,  3.,  8.],
        [ 8.,  5.,  6.,  8.,  3.,  7.,  6.,  5.,  5.,  4.],
        [ 5., 10.,  5.,  7.,  4.,  5.,  3.,  6.,  4.,  3.],
        [11.,  4.,  5.,  5.,  4.,  8.,  7.,  6.,  4.,  5.],
        [ 5.,  6.,  7.,  3., 10.,  3.,  7.,  8.,  6.,  8.],
        [ 4., 11.,  6.,  6.,  5.,  4.,  4.,  5.,  5.,  3.],
        [ 5.,  4.,  3.,  7.,  8.,  7.,  5.,  8.,  6.,  9.],
        [ 3.,  6.,  5.,  5., 10.,  5.,  7.,  6.,  8.,  8.],
        [ 4.,  9.,  8.,  4.,  7.,  2.,  6.,  7.,  5.,  5.],
        [ 6.,  5.,  2.,  6.,  7.,  8.,  6.,  7.,  5.,  8.],
        [10.,  5.,  6.,  6.,  3.,  7.,  6.,  5.,  5.,  4.],
        [ 5.,  6.,  7.,  7.,  8.,  4.,  7.,  4.,  8.,  6.],
        [ 5.,  4.,  5.,  5., 10.,  5.,  7.,  8.,  6., 10.],
        [11.,  4.,  5.,  5.,  4.,  8.,  7.,  6.,  4.,  5.],
        [ 4., 11.,  6.,  6.,  5.,  4.,  4.,  5.,  5.,  3.],
        [ 7.,  6.,  5.,  9.,  4.,  6.,  3.,  6.,  6.,  5.],
        [ 6.,  5.,  6.,  4.,  9.,  4.,  6.,  9.,  5.,  9.],
        [ 7.,  6.,  5.,  7.,  6.,  5.,  3., 10.,  2.,  7.],
        [ 7.,  6.,  3.,  9.,  4.,  8.,  5.,  6.,  4.,  5.],
        [ 5.,  4.,  5.,  5., 10.,  5.,  7.,  8.,  6., 10.]], device='cuda:0')
Train accuarcate: 61.73%



iteration:
   10
    0   457   bit_w:-1  loss: 1.64857
    1   378   bit_w: 1  loss: 1.64672
    2   433   bit_w: 1  loss: 1.63781
    3   427   bit_w:-1  loss: 1.63968
    4   350   bit_w: 1  loss: 1.63292
    180   6641   2312   5722   1622   4067   2045    864   5405   3286
     -1      1     -1      1     -1      1     -1     -1      1      1
Train accuarcate: 61.75%
tensor([[ 7.,  5.,  7.,  6.,  8.,  4.,  5., 12.,  3.,  8.],
        [ 9.,  5.,  7.,  8.,  4.,  7.,  7.,  6.,  5.,  4.],
        [ 5., 11.,  5.,  8.,  4.,  6.,  3.,  6.,  5.,  4.],
        [12.,  4.,  6.,  5.,  5.,  8.,  8.,  7.,  4.,  5.],
        [ 6.,  6.,  8.,  3., 11.,  3.,  8.,  9.,  6.,  8.],
        [ 4., 12.,  6.,  7.,  5.,  5.,  4.,  5.,  6.,  4.],
        [ 5.,  5.,  3.,  8.,  8.,  8.,  5.,  8.,  7., 10.],
        [ 3.,  7.,  5.,  6., 10.,  6.,  7.,  6.,  9.,  9.],
        [ 5.,  9.,  9.,  4.,  8.,  2.,  7.,  8.,  5.,  5.],
        [ 6.,  6.,  2.,  7.,  7.,  9.,  6.,  7.,  6.,  9.],
        [11.,  5.,  7.,  6.,  4.,  7.,  7.,  6.,  5.,  4.],
        [ 5.,  7.,  7.,  8.,  8.,  5.,  7.,  4.,  9.,  7.],
        [ 6.,  4.,  6.,  5., 11.,  5.,  8.,  9.,  6., 10.],
        [12.,  4.,  6.,  5.,  5.,  8.,  8.,  7.,  4.,  5.],
        [ 4., 12.,  6.,  7.,  5.,  5.,  4.,  5.,  6.,  4.],
        [ 7.,  7.,  5., 10.,  4.,  7.,  3.,  6.,  7.,  6.],
        [ 7.,  5.,  7.,  4., 10.,  4.,  7., 10.,  5.,  9.],
        [ 8.,  6.,  6.,  7.,  7.,  5.,  4., 11.,  2.,  7.],
        [ 7.,  7.,  3., 10.,  4.,  9.,  5.,  6.,  5.,  6.],
        [ 6.,  4.,  6.,  5., 11.,  5.,  8.,  9.,  6., 10.]], device='cuda:0')
Train accuarcate: 62.28%



iteration:
   11
    0   596   bit_w:-1  loss: 1.59891
    1   597   bit_w:-1  loss: 1.59846
    2   544   bit_w: 1  loss: 1.59227
    3   184   bit_w:-1  loss: 1.59133
    4   181   bit_w:-1  loss: 1.58483
   1086   6249   2382   1554   5753   2242   5011   6012   2399   5104
     -1      1     -1     -1      1     -1      1      1     -1      1
Train accuarcate: 63.17%
tensor([[ 7.,  6.,  7.,  6.,  9.,  4.,  6., 13.,  3.,  9.],
        [10.,  5.,  8.,  9.,  4.,  8.,  7.,  6.,  6.,  4.],
        [ 5., 12.,  5.,  8.,  5.,  6.,  4.,  7.,  5.,  5.],
        [13.,  4.,  7.,  6.,  5.,  9.,  8.,  7.,  5.,  5.],
        [ 6.,  7.,  8.,  3., 12.,  3.,  9., 10.,  6.,  9.],
        [ 4., 13.,  6.,  7.,  6.,  5.,  5.,  6.,  6.,  5.],
        [ 5.,  6.,  3.,  8.,  9.,  8.,  6.,  9.,  7., 11.],
        [ 3.,  8.,  5.,  6., 11.,  6.,  8.,  7.,  9., 10.],
        [ 5., 10.,  9.,  4.,  9.,  2.,  8.,  9.,  5.,  6.],
        [ 6.,  7.,  2.,  7.,  8.,  9.,  7.,  8.,  6., 10.],
        [12.,  5.,  8.,  7.,  4.,  8.,  7.,  6.,  6.,  4.],
        [ 5.,  8.,  7.,  8.,  9.,  5.,  8.,  5.,  9.,  8.],
        [ 6.,  5.,  6.,  5., 12.,  5.,  9., 10.,  6., 11.],
        [13.,  4.,  7.,  6.,  5.,  9.,  8.,  7.,  5.,  5.],
        [ 4., 13.,  6.,  7.,  6.,  5.,  5.,  6.,  6.,  5.],
        [ 8.,  7.,  6., 11.,  4.,  8.,  3.,  6.,  8.,  6.],
        [ 7.,  6.,  7.,  4., 11.,  4.,  8., 11.,  5., 10.],
        [ 8.,  7.,  6.,  7.,  8.,  5.,  5., 12.,  2.,  8.],
        [ 7.,  8.,  3., 10.,  5.,  9.,  6.,  7.,  5.,  7.],
        [ 6.,  5.,  6.,  5., 12.,  5.,  9., 10.,  6., 11.]], device='cuda:0')
Train accuarcate: 63.50%



iteration:
   12
    0   291   bit_w:-1  loss: 1.55289
    1   290   bit_w:-1  loss: 1.55166
    2   175   bit_w: 1  loss: 1.54718
    3   288   bit_w:-1  loss: 1.54589
    4   543   bit_w: 1  loss: 1.54092
    992   6549   5185   5272   1329   1514   3328   2045   2269    592
     -1      1      1      1     -1     -1      1      0     -1     -1
Train accuarcate: 63.91%
tensor([[ 7.,  7.,  8.,  7.,  9.,  4.,  7., 13.,  3.,  9.],
        [10.,  6.,  9., 10.,  4.,  8.,  8.,  6.,  6.,  4.],
        [ 5., 13.,  6.,  9.,  5.,  6.,  5.,  7.,  5.,  5.],
        [14.,  4.,  7.,  6.,  6., 10.,  8.,  7.,  6.,  6.],
        [ 7.,  7.,  8.,  3., 13.,  4.,  9., 10.,  7., 10.],
        [ 4., 14.,  7.,  8.,  6.,  5.,  6.,  6.,  6.,  5.],
        [ 6.,  6.,  3.,  8., 10.,  9.,  6.,  9.,  8., 12.],
        [ 4.,  8.,  5.,  6., 12.,  7.,  8.,  7., 10., 11.],
        [ 6., 10.,  9.,  4., 10.,  3.,  8.,  9.,  6.,  7.],
        [ 7.,  7.,  2.,  7.,  9., 10.,  7.,  8.,  7., 11.],
        [13.,  5.,  8.,  7.,  5.,  9.,  7.,  6.,  7.,  5.],
        [ 6.,  8.,  7.,  8., 10.,  6.,  8.,  5., 10.,  9.],
        [ 7.,  5.,  6.,  5., 13.,  6.,  9., 10.,  7., 12.],
        [14.,  4.,  7.,  6.,  6., 10.,  8.,  7.,  6.,  6.],
        [ 4., 14.,  7.,  8.,  6.,  5.,  6.,  6.,  6.,  5.],
        [ 9.,  7.,  6., 11.,  5.,  9.,  3.,  6.,  9.,  7.],
        [ 8.,  6.,  7.,  4., 12.,  5.,  8., 11.,  6., 11.],
        [ 8.,  8.,  7.,  8.,  8.,  5.,  6., 12.,  2.,  8.],
        [ 7.,  9.,  4., 11.,  5.,  9.,  7.,  7.,  5.,  7.],
        [ 7.,  5.,  6.,  5., 13.,  6.,  9., 10.,  7., 12.]], device='cuda:0')
Train accuarcate: 64.51%



iteration:
   13
    0   459   bit_w:-1  loss: 1.50967
    1   514   bit_w:-1  loss: 1.50738
    2   239   bit_w: 1  loss: 1.50065
    3   295   bit_w: 1  loss: 1.50240
    4   543   bit_w:-1  loss: 1.49603
   4760   5344   1339   5578   2256   4670    845   5992   1623   4760
      1      1     -1      1     -1      1     -1      1     -1      1
Train accuarcate: 64.88%
tensor([[ 8.,  8.,  8.,  8.,  9.,  5.,  7., 14.,  3., 10.],
        [11.,  7.,  9., 11.,  4.,  9.,  8.,  7.,  6.,  5.],
        [ 6., 14.,  6., 10.,  5.,  7.,  5.,  8.,  5.,  6.],
        [15.,  5.,  7.,  7.,  6., 11.,  8.,  8.,  6.,  7.],
        [ 8.,  8.,  8.,  4., 13.,  5.,  9., 11.,  7., 11.],
        [ 5., 15.,  7.,  9.,  6.,  6.,  6.,  7.,  6.,  6.],
        [ 7.,  7.,  3.,  9., 10., 10.,  6., 10.,  8., 13.],
        [ 5.,  9.,  5.,  7., 12.,  8.,  8.,  8., 10., 12.],
        [ 7., 11.,  9.,  5., 10.,  4.,  8., 10.,  6.,  8.],
        [ 8.,  8.,  2.,  8.,  9., 11.,  7.,  9.,  7., 12.],
        [14.,  6.,  8.,  8.,  5., 10.,  7.,  7.,  7.,  6.],
        [ 6.,  8.,  8.,  8., 11.,  6.,  9.,  5., 11.,  9.],
        [ 8.,  6.,  6.,  6., 13.,  7.,  9., 11.,  7., 13.],
        [15.,  5.,  7.,  7.,  6., 11.,  8.,  8.,  6.,  7.],
        [ 5., 15.,  7.,  9.,  6.,  6.,  6.,  7.,  6.,  6.],
        [10.,  8.,  6., 12.,  5., 10.,  3.,  7.,  9.,  8.],
        [ 9.,  7.,  7.,  5., 12.,  6.,  8., 12.,  6., 12.],
        [ 9.,  9.,  7.,  9.,  8.,  6.,  6., 13.,  2.,  9.],
        [ 8., 10.,  4., 12.,  5., 10.,  7.,  8.,  5.,  8.],
        [ 8.,  6.,  6.,  6., 13.,  7.,  9., 11.,  7., 13.]], device='cuda:0')
Train accuarcate: 65.30%



iteration:
   14
    0   409   bit_w:-1  loss: 1.46619
    1   464   bit_w:-1  loss: 1.46346
    2   319   bit_w: 1  loss: 1.45924
    3   297   bit_w:-1  loss: 1.45885
    4   543   bit_w: 1  loss: 1.45106
   5303   5806   2131   1369    750   3666   4880    813   3229    653
      1      1     -1     -1     -1      1      1     -1      1     -1
Train accuarcate: 65.99%
tensor([[ 8.,  8.,  9.,  9., 10.,  5.,  7., 15.,  3., 11.],
        [12.,  8.,  9., 11.,  4., 10.,  9.,  7.,  7.,  5.],
        [ 7., 15.,  6., 10.,  5.,  8.,  6.,  8.,  6.,  6.],
        [16.,  6.,  7.,  7.,  6., 12.,  9.,  8.,  7.,  7.],
        [ 8.,  8.,  9.,  5., 14.,  5.,  9., 12.,  7., 12.],
        [ 5., 15.,  8., 10.,  7.,  6.,  6.,  8.,  6.,  7.],
        [ 7.,  7.,  4., 10., 11., 10.,  6., 11.,  8., 14.],
        [ 5.,  9.,  6.,  8., 13.,  8.,  8.,  9., 10., 13.],
        [ 7., 11., 10.,  6., 11.,  4.,  8., 11.,  6.,  9.],
        [ 8.,  8.,  3.,  9., 10., 11.,  7., 10.,  7., 13.],
        [15.,  7.,  8.,  8.,  5., 11.,  8.,  7.,  8.,  6.],
        [ 6.,  8.,  9.,  9., 12.,  6.,  9.,  6., 11., 10.],
        [ 8.,  6.,  7.,  7., 14.,  7.,  9., 12.,  7., 14.],
        [16.,  6.,  7.,  7.,  6., 12.,  9.,  8.,  7.,  7.],
        [ 6., 16.,  7.,  9.,  6.,  7.,  7.,  7.,  7.,  6.],
        [11.,  9.,  6., 12.,  5., 11.,  4.,  7., 10.,  8.],
        [ 9.,  7.,  8.,  6., 13.,  6.,  8., 13.,  6., 13.],
        [ 9.,  9.,  8., 10.,  9.,  6.,  6., 14.,  2., 10.],
        [ 9., 11.,  4., 12.,  5., 11.,  8.,  8.,  6.,  8.],
        [ 8.,  6.,  7.,  7., 14.,  7.,  9., 12.,  7., 14.]], device='cuda:0')
Train accuarcate: 66.58%



iteration:
   15
    0   401   bit_w:-1  loss: 1.42219
    1   428   bit_w:-1  loss: 1.42226
    2   218   bit_w: 1  loss: 1.41537
    3   427   bit_w:-1  loss: 1.41502
    4   248   bit_w: 1  loss: 1.40977
    913   6711   4550   4672    823   3575   1933   5430   4921   1509
     -1      1      1      0     -1      1     -1      1      1     -1
Train accuarcate: 66.33%
tensor([[ 8.,  9., 10.,  9., 10.,  6.,  7., 16.,  4., 11.],
        [12.,  9., 10., 11.,  4., 11.,  9.,  8.,  8.,  5.],
        [ 7., 16.,  7., 10.,  5.,  9.,  6.,  9.,  7.,  6.],
        [17.,  6.,  7.,  7.,  7., 12., 10.,  8.,  7.,  8.],
        [ 9.,  8.,  9.,  5., 15.,  5., 10., 12.,  7., 13.],
        [ 5., 16.,  9., 10.,  7.,  7.,  6.,  9.,  7.,  7.],
        [ 8.,  7.,  4., 10., 12., 10.,  7., 11.,  8., 15.],
        [ 6.,  9.,  6.,  8., 14.,  8.,  9.,  9., 10., 14.],
        [ 8., 11., 10.,  6., 12.,  4.,  9., 11.,  6., 10.],
        [ 9.,  8.,  3.,  9., 11., 11.,  8., 10.,  7., 14.],
        [16.,  7.,  8.,  8.,  6., 11.,  9.,  7.,  8.,  7.],
        [ 7.,  8.,  9.,  9., 13.,  6., 10.,  6., 11., 11.],
        [ 9.,  6.,  7.,  7., 15.,  7., 10., 12.,  7., 15.],
        [17.,  6.,  7.,  7.,  7., 12., 10.,  8.,  7.,  8.],
        [ 6., 17.,  8.,  9.,  6.,  8.,  7.,  8.,  8.,  6.],
        [11., 10.,  7., 12.,  5., 12.,  4.,  8., 11.,  8.],
        [10.,  7.,  8.,  6., 14.,  6.,  9., 13.,  6., 14.],
        [ 9., 10.,  9., 10.,  9.,  7.,  6., 15.,  3., 10.],
        [ 9., 12.,  5., 12.,  5., 12.,  8.,  9.,  7.,  8.],
        [ 9.,  6.,  7.,  7., 15.,  7., 10., 12.,  7., 15.]], device='cuda:0')
Train accuarcate: 67.18%



iteration:
   16
    0   656   bit_w:-1  loss: 1.38270
    1   573   bit_w: 1  loss: 1.37726
    2   237   bit_w:-1  loss: 1.37271
    3   543   bit_w: 1  loss: 1.37371
    4   626   bit_w:-1  loss: 1.36956
   1609   5494   4899   1290   4518   1659   5534   2024   1680   1650
     -1      1      1     -1      1     -1      1     -1     -1     -1
Train accuarcate: 68.17%
tensor([[ 9.,  9., 10., 10., 10.,  7.,  7., 17.,  5., 12.],
        [12., 10., 11., 11.,  5., 11., 10.,  8.,  8.,  5.],
        [ 7., 17.,  8., 10.,  6.,  9.,  7.,  9.,  7.,  6.],
        [18.,  6.,  7.,  8.,  7., 13., 10.,  9.,  8.,  9.],
        [ 9.,  9., 10.,  5., 16.,  5., 11., 12.,  7., 13.],
        [ 5., 17., 10., 10.,  8.,  7.,  7.,  9.,  7.,  7.],
        [ 8.,  8.,  5., 10., 13., 10.,  8., 11.,  8., 15.],
        [ 7.,  9.,  6.,  9., 14.,  9.,  9., 10., 11., 15.],
        [ 8., 12., 11.,  6., 13.,  4., 10., 11.,  6., 10.],
        [10.,  8.,  3., 10., 11., 12.,  8., 11.,  8., 15.],
        [17.,  7.,  8.,  9.,  6., 12.,  9.,  8.,  9.,  8.],
        [ 7.,  9., 10.,  9., 14.,  6., 11.,  6., 11., 11.],
        [10.,  6.,  7.,  8., 15.,  8., 10., 13.,  8., 16.],
        [18.,  6.,  7.,  8.,  7., 13., 10.,  9.,  8.,  9.],
        [ 7., 17.,  8., 10.,  6.,  9.,  7.,  9.,  9.,  7.],
        [12., 10.,  7., 13.,  5., 13.,  4.,  9., 12.,  9.],
        [10.,  8.,  9.,  6., 15.,  6., 10., 13.,  6., 14.],
        [10., 10.,  9., 11.,  9.,  8.,  6., 16.,  4., 11.],
        [ 9., 13.,  6., 12.,  6., 12.,  9.,  9.,  7.,  8.],
        [ 9.,  7.,  8.,  7., 16.,  7., 11., 12.,  7., 15.]], device='cuda:0')
Train accuarcate: 68.97%



iteration:
   17
    0   542   bit_w:-1  loss: 1.34293
    1   155   bit_w:-1  loss: 1.34292
    2   191   bit_w: 1  loss: 1.33453
    3   153   bit_w:-1  loss: 1.33294
    4   549   bit_w:-1  loss: 1.33012
   2078   6062   1395   2108   5384   3803   1161   6178   2464   5570
     -1      1     -1     -1      1      1     -1      1     -1      1
Train accuarcate: 67.62%
tensor([[ 9., 10., 10., 10., 11.,  8.,  7., 18.,  5., 13.],
        [13., 10., 12., 12.,  5., 11., 11.,  8.,  9.,  5.],
        [ 7., 18.,  8., 10.,  7., 10.,  7., 10.,  7.,  7.],
        [19.,  6.,  8.,  9.,  7., 13., 11.,  9.,  9.,  9.],
        [ 9., 10., 10.,  5., 17.,  6., 11., 13.,  7., 14.],
        [ 5., 18., 10., 10.,  9.,  8.,  7., 10.,  7.,  8.],
        [ 8.,  9.,  5., 10., 14., 11.,  8., 12.,  8., 16.],
        [ 7., 10.,  6.,  9., 15., 10.,  9., 11., 11., 16.],
        [ 8., 13., 11.,  6., 14.,  5., 10., 12.,  6., 11.],
        [10.,  9.,  3., 10., 12., 13.,  8., 12.,  8., 16.],
        [18.,  7.,  9., 10.,  6., 12., 10.,  8., 10.,  8.],
        [ 7., 10., 10.,  9., 15.,  7., 11.,  7., 11., 12.],
        [10.,  7.,  7.,  8., 16.,  9., 10., 14.,  8., 17.],
        [19.,  6.,  8.,  9.,  7., 13., 11.,  9.,  9.,  9.],
        [ 8., 17.,  9., 11.,  6.,  9.,  8.,  9., 10.,  7.],
        [13., 10.,  8., 14.,  5., 13.,  5.,  9., 13.,  9.],
        [10.,  9.,  9.,  6., 16.,  7., 10., 14.,  6., 15.],
        [10., 11.,  9., 11., 10.,  9.,  6., 17.,  4., 12.],
        [ 9., 14.,  6., 12.,  7., 13.,  9., 10.,  7.,  9.],
        [ 9.,  8.,  8.,  7., 17.,  8., 11., 13.,  7., 16.]], device='cuda:0')
Train accuarcate: 68.50%



iteration:
   18
    0   375   bit_w:-1  loss: 1.30609
    1   406   bit_w:-1  loss: 1.30472
    2   409   bit_w:-1  loss: 1.29923
    3   267   bit_w: 1  loss: 1.29835
    4   597   bit_w: 1  loss: 1.29313
   5574   5356   3947   2075    763   2449   1305   4611   1415    974
      1      1      1     -1     -1     -1     -1      1     -1     -1
Train accuarcate: 69.48%
tensor([[10., 11., 11., 10., 11.,  8.,  7., 19.,  5., 13.],
        [14., 11., 13., 12.,  5., 11., 11.,  9.,  9.,  5.],
        [ 8., 19.,  9., 10.,  7., 10.,  7., 11.,  7.,  7.],
        [20.,  7.,  9.,  9.,  7., 13., 11., 10.,  9.,  9.],
        [ 9., 10., 10.,  6., 18.,  7., 12., 13.,  8., 15.],
        [ 6., 19., 11., 10.,  9.,  8.,  7., 11.,  7.,  8.],
        [ 8.,  9.,  5., 11., 15., 12.,  9., 12.,  9., 17.],
        [ 7., 10.,  6., 10., 16., 11., 10., 11., 12., 17.],
        [ 9., 14., 12.,  6., 14.,  5., 10., 13.,  6., 11.],
        [10.,  9.,  3., 11., 13., 14.,  9., 12.,  9., 17.],
        [19.,  8., 10., 10.,  6., 12., 10.,  9., 10.,  8.],
        [ 8., 11., 11.,  9., 15.,  7., 11.,  8., 11., 12.],
        [10.,  7.,  7.,  9., 17., 10., 11., 14.,  9., 18.],
        [20.,  7.,  9.,  9.,  7., 13., 11., 10.,  9.,  9.],
        [ 9., 18., 10., 11.,  6.,  9.,  8., 10., 10.,  7.],
        [14., 11.,  9., 14.,  5., 13.,  5., 10., 13.,  9.],
        [10.,  9.,  9.,  7., 17.,  8., 11., 14.,  7., 16.],
        [11., 12., 10., 11., 10.,  9.,  6., 18.,  4., 12.],
        [ 9., 14.,  6., 13.,  8., 14., 10., 10.,  8., 10.],
        [ 9.,  8.,  8.,  8., 18.,  9., 12., 13.,  8., 17.]], device='cuda:0')
Train accuarcate: 70.24%



iteration:
   19
    0   433   bit_w:-1  loss: 1.26832
    1   488   bit_w:-1  loss: 1.26480
    2   375   bit_w: 1  loss: 1.26091
    3   406   bit_w:-1  loss: 1.26158
    4   348   bit_w: 1  loss: 1.25794
   5815    167   1004   4167   1684   4140   3093   5073   1180   1813
      1     -1     -1      1      0      1      1      1     -1     -1
Train accuarcate: 70.05%
tensor([[11., 11., 11., 11., 11.,  9.,  8., 20.,  5., 13.],
        [15., 11., 13., 13.,  5., 12., 12., 10.,  9.,  5.],
        [ 8., 20., 10., 10.,  7., 10.,  7., 11.,  8.,  8.],
        [21.,  7.,  9., 10.,  7., 14., 12., 11.,  9.,  9.],
        [ 9., 11., 11.,  6., 18.,  7., 12., 13.,  9., 16.],
        [ 6., 20., 12., 10.,  9.,  8.,  7., 11.,  8.,  9.],
        [ 9.,  9.,  5., 12., 15., 13., 10., 13.,  9., 17.],
        [ 7., 11.,  7., 10., 16., 11., 10., 11., 13., 18.],
        [ 9., 15., 13.,  6., 14.,  5., 10., 13.,  7., 12.],
        [10., 10.,  4., 11., 13., 14.,  9., 12., 10., 18.],
        [20.,  8., 10., 11.,  6., 13., 11., 10., 10.,  8.],
        [ 8., 12., 12.,  9., 15.,  7., 11.,  8., 12., 13.],
        [10.,  8.,  8.,  9., 17., 10., 11., 14., 10., 19.],
        [21.,  7.,  9., 10.,  7., 14., 12., 11.,  9.,  9.],
        [ 9., 19., 11., 11.,  6.,  9.,  8., 10., 11.,  8.],
        [15., 11.,  9., 15.,  5., 14.,  6., 11., 13.,  9.],
        [10., 10., 10.,  7., 17.,  8., 11., 14.,  8., 17.],
        [12., 12., 10., 12., 10., 10.,  7., 19.,  4., 12.],
        [10., 14.,  6., 14.,  8., 15., 11., 11.,  8., 10.],
        [ 9.,  9.,  9.,  8., 18.,  9., 12., 13.,  9., 18.]], device='cuda:0')
Train accuarcate: 70.85%



iteration:
   20
    0   183   bit_w:-1  loss: 1.23467
    1   213   bit_w:-1  loss: 1.23347
    2   300   bit_w:-1  loss: 1.22725
    3   270   bit_w:-1  loss: 1.22831
    4   402   bit_w: 1  loss: 1.22296
   1589   4937   2299   2486   5235   4352   5746   2427   1867   2976
     -1      0     -1     -1      1      1      1     -1     -1     -1
Train accuarcate: 71.58%
tensor([[12., 11., 12., 12., 11.,  9.,  8., 21.,  6., 14.],
        [15., 11., 13., 13.,  6., 13., 13., 10.,  9.,  5.],
        [ 8., 20., 10., 10.,  8., 11.,  8., 11.,  8.,  8.],
        [22.,  7., 10., 11.,  7., 14., 12., 12., 10., 10.],
        [ 9., 11., 11.,  6., 19.,  8., 13., 13.,  9., 16.],
        [ 6., 20., 12., 10., 10.,  9.,  8., 11.,  8.,  9.],
        [ 9.,  9.,  5., 12., 16., 14., 11., 13.,  9., 17.],
        [ 7., 11.,  7., 10., 17., 12., 11., 11., 13., 18.],
        [10., 15., 14.,  7., 14.,  5., 10., 14.,  8., 13.],
        [11., 10.,  5., 12., 13., 14.,  9., 13., 11., 19.],
        [21.,  8., 11., 12.,  6., 13., 11., 11., 11.,  9.],
        [ 8., 12., 12.,  9., 16.,  8., 12.,  8., 12., 13.],
        [10.,  8.,  8.,  9., 18., 11., 12., 14., 10., 19.],
        [22.,  7., 10., 11.,  7., 14., 12., 12., 10., 10.],
        [ 9., 19., 11., 11.,  7., 10.,  9., 10., 11.,  8.],
        [15., 11.,  9., 15.,  6., 15.,  7., 11., 13.,  9.],
        [11., 10., 11.,  8., 17.,  8., 11., 15.,  9., 18.],
        [13., 12., 11., 13., 10., 10.,  7., 20.,  5., 13.],
        [10., 14.,  6., 14.,  9., 16., 12., 11.,  8., 10.],
        [ 9.,  9.,  9.,  8., 19., 10., 13., 13.,  9., 18.]], device='cuda:0')
Train accuarcate: 72.17%



iteration:
   21
    0   456   bit_w:-1  loss: 1.20171
    1   377   bit_w: 1  loss: 1.19931
    2   458   bit_w:-1  loss: 1.19580
    3   350   bit_w: 1  loss: 1.19396
    4   540   bit_w:-1  loss: 1.19165
   1049   6688   2177   5815   1855   4387   1610   5723   4572   3126
     -1      1     -1      1     -1      1     -1      1      1     -1
Train accuarcate: 72.43%
tensor([[12., 12., 12., 13., 11., 10.,  8., 22.,  7., 14.],
        [15., 12., 13., 14.,  6., 14., 13., 11., 10.,  5.],
        [ 8., 21., 10., 11.,  8., 12.,  8., 12.,  9.,  8.],
        [23.,  7., 11., 11.,  8., 14., 13., 12., 10., 11.],
        [10., 11., 12.,  6., 20.,  8., 14., 13.,  9., 17.],
        [ 6., 21., 12., 11., 10., 10.,  8., 12.,  9.,  9.],
        [ 9., 10.,  5., 13., 16., 15., 11., 14., 10., 17.],
        [ 7., 12.,  7., 11., 17., 13., 11., 12., 14., 18.],
        [11., 15., 15.,  7., 15.,  5., 11., 14.,  8., 14.],
        [11., 11.,  5., 13., 13., 15.,  9., 14., 12., 19.],
        [22.,  8., 12., 12.,  7., 13., 12., 11., 11., 10.],
        [ 8., 13., 12., 10., 16.,  9., 12.,  9., 13., 13.],
        [11.,  8.,  9.,  9., 19., 11., 13., 14., 10., 20.],
        [23.,  7., 11., 11.,  8., 14., 13., 12., 10., 11.],
        [ 9., 20., 11., 12.,  7., 11.,  9., 11., 12.,  8.],
        [15., 12.,  9., 16.,  6., 16.,  7., 12., 14.,  9.],
        [12., 10., 12.,  8., 18.,  8., 12., 15.,  9., 19.],
        [13., 13., 11., 14., 10., 11.,  7., 21.,  6., 13.],
        [10., 15.,  6., 15.,  9., 17., 12., 12.,  9., 10.],
        [10.,  9., 10.,  8., 20., 10., 14., 13.,  9., 19.]], device='cuda:0')
Train accuarcate: 73.02%



iteration:
   22
    0   491   bit_w:-1  loss: 1.17083
    1   326   bit_w:-1  loss: 1.17001
    2   601   bit_w: 1  loss: 1.16322
    3   523   bit_w: 1  loss: 1.16232
    4   460   bit_w:-1  loss: 1.15957
   5520   3197   1898   4901    813   4117   4773   1542   1486   1037
      1      0     -1      1     -1      1      1     -1     -1     -1
Train accuarcate: 73.25%
tensor([[13., 12., 12., 14., 11., 11.,  9., 22.,  7., 14.],
        [16., 12., 13., 15.,  6., 15., 14., 11., 10.,  5.],
        [ 9., 21., 10., 12.,  8., 13.,  9., 12.,  9.,  8.],
        [24.,  7., 11., 12.,  8., 15., 14., 12., 10., 11.],
        [10., 11., 13.,  6., 21.,  8., 14., 14., 10., 18.],
        [ 7., 21., 12., 12., 10., 11.,  9., 12.,  9.,  9.],
        [ 9., 10.,  6., 13., 17., 15., 11., 15., 11., 18.],
        [ 8., 12.,  7., 12., 17., 14., 12., 12., 14., 18.],
        [12., 15., 15.,  8., 15.,  6., 12., 14.,  8., 14.],
        [12., 11.,  5., 14., 13., 16., 10., 14., 12., 19.],
        [23.,  8., 12., 13.,  7., 14., 13., 11., 11., 10.],
        [ 9., 13., 12., 11., 16., 10., 13.,  9., 13., 13.],
        [11.,  8., 10.,  9., 20., 11., 13., 15., 11., 21.],
        [24.,  7., 11., 12.,  8., 15., 14., 12., 10., 11.],
        [10., 20., 11., 13.,  7., 12., 10., 11., 12.,  8.],
        [16., 12.,  9., 17.,  6., 17.,  8., 12., 14.,  9.],
        [12., 10., 13.,  8., 19.,  8., 12., 16., 10., 20.],
        [14., 13., 11., 15., 10., 12.,  8., 21.,  6., 13.],
        [11., 15.,  6., 16.,  9., 18., 13., 12.,  9., 10.],
        [10.,  9., 11.,  8., 21., 10., 14., 14., 10., 20.]], device='cuda:0')
Train accuarcate: 74.16%



iteration:
   23
    0   291   bit_w:-1  loss: 1.14057
    1   264   bit_w:-1  loss: 1.13878
    2   510   bit_w: 1  loss: 1.13631
    3   261   bit_w:-1  loss: 1.13325
    4   594   bit_w: 1  loss: 1.13080
   2351   5986   4700   4791   1552   1532   1590    911   1182    609
      0      1      1      1      0     -1     -1     -1     -1     -1
Train accuarcate: 73.77%
tensor([[13., 12., 12., 14., 11., 12., 10., 23.,  8., 15.],
        [16., 13., 14., 16.,  6., 15., 14., 11., 10.,  5.],
        [ 9., 22., 11., 13.,  8., 13.,  9., 12.,  9.,  8.],
        [24.,  7., 11., 12.,  8., 16., 15., 13., 11., 12.],
        [10., 11., 13.,  6., 21.,  9., 15., 15., 11., 19.],
        [ 7., 22., 13., 13., 10., 11.,  9., 12.,  9.,  9.],
        [ 9., 11.,  7., 14., 17., 15., 11., 15., 11., 18.],
        [ 8., 12.,  7., 12., 17., 15., 13., 13., 15., 19.],
        [12., 15., 15.,  8., 15.,  7., 13., 15.,  9., 15.],
        [12., 11.,  5., 14., 13., 17., 11., 15., 13., 20.],
        [23.,  8., 12., 13.,  7., 15., 14., 12., 12., 11.],
        [ 9., 13., 12., 11., 16., 11., 14., 10., 14., 14.],
        [11.,  8., 10.,  9., 20., 12., 14., 16., 12., 22.],
        [24.,  7., 11., 12.,  8., 16., 15., 13., 11., 12.],
        [10., 21., 12., 14.,  7., 12., 10., 11., 12.,  8.],
        [16., 13., 10., 18.,  6., 17.,  8., 12., 14.,  9.],
        [12., 10., 13.,  8., 19.,  9., 13., 17., 11., 21.],
        [14., 13., 11., 15., 10., 13.,  9., 22.,  7., 14.],
        [11., 16.,  7., 17.,  9., 18., 13., 12.,  9., 10.],
        [10., 10., 12.,  9., 21., 10., 14., 14., 10., 20.]], device='cuda:0')
Train accuarcate: 74.72%



iteration:
   24
    0   657   bit_w:-1  loss: 1.11305
    1   574   bit_w: 1  loss: 1.10839
    2   210   bit_w:-1  loss: 1.10610
    3   655   bit_w:-1  loss: 1.10571
    4   517   bit_w: 1  loss: 1.10267
   1952   5944   5141   1324   5162   2026   5486   4003   1418   2089
     -1      1      1     -1      1      0      1      0     -1     -1
Train accuarcate: 74.68%
tensor([[14., 12., 12., 15., 11., 12., 10., 23.,  9., 16.],
        [16., 14., 15., 16.,  7., 15., 15., 11., 10.,  5.],
        [ 9., 23., 12., 13.,  9., 13., 10., 12.,  9.,  8.],
        [25.,  7., 11., 13.,  8., 16., 15., 13., 12., 13.],
        [10., 12., 14.,  6., 22.,  9., 16., 15., 11., 19.],
        [ 8., 22., 13., 14., 10., 11.,  9., 12., 10., 10.],
        [ 9., 12.,  8., 14., 18., 15., 12., 15., 11., 18.],
        [ 8., 13.,  8., 12., 18., 15., 14., 13., 15., 19.],
        [12., 16., 16.,  8., 16.,  7., 14., 15.,  9., 15.],
        [12., 12.,  6., 14., 14., 17., 12., 15., 13., 20.],
        [24.,  8., 12., 14.,  7., 15., 14., 12., 13., 12.],
        [ 9., 14., 13., 11., 17., 11., 15., 10., 14., 14.],
        [11.,  9., 11.,  9., 21., 12., 15., 16., 12., 22.],
        [25.,  7., 11., 13.,  8., 16., 15., 13., 12., 13.],
        [10., 22., 13., 14.,  8., 12., 11., 11., 12.,  8.],
        [17., 13., 10., 19.,  6., 17.,  8., 12., 15., 10.],
        [13., 10., 13.,  9., 19.,  9., 13., 17., 12., 22.],
        [14., 14., 12., 15., 11., 13., 10., 22.,  7., 14.],
        [11., 17.,  8., 17., 10., 18., 14., 12.,  9., 10.],
        [10., 11., 13.,  9., 22., 10., 15., 14., 10., 20.]], device='cuda:0')
Train accuarcate: 75.81%



iteration:
   25
    0   514   bit_w:-1  loss: 1.08435
    1   433   bit_w:-1  loss: 1.08339
    2   544   bit_w:-1  loss: 1.07870
    3   344   bit_w: 1  loss: 1.07819
    4   213   bit_w: 1  loss: 1.07624
   5386    978   1216   5021   3651   4213    787   5321   1509   4986
      1     -1     -1      1      1      1     -1      1     -1      1
Train accuarcate: 74.90%
tensor([[15., 12., 12., 16., 12., 13., 10., 24.,  9., 17.],
        [16., 15., 16., 16.,  7., 15., 16., 11., 11.,  5.],
        [ 9., 24., 13., 13.,  9., 13., 11., 12., 10.,  8.],
        [26.,  7., 11., 14.,  9., 17., 15., 14., 12., 14.],
        [11., 12., 14.,  7., 23., 10., 16., 16., 11., 20.],
        [ 8., 23., 14., 14., 10., 11., 10., 12., 11., 10.],
        [10., 12.,  8., 15., 19., 16., 12., 16., 11., 19.],
        [ 8., 14.,  9., 12., 18., 15., 15., 13., 16., 19.],
        [13., 16., 16.,  9., 17.,  8., 14., 16.,  9., 16.],
        [13., 12.,  6., 15., 15., 18., 12., 16., 13., 21.],
        [25.,  8., 12., 15.,  8., 16., 14., 13., 13., 13.],
        [10., 14., 13., 12., 18., 12., 15., 11., 14., 15.],
        [12.,  9., 11., 10., 22., 13., 15., 17., 12., 23.],
        [26.,  7., 11., 14.,  9., 17., 15., 14., 12., 14.],
        [10., 23., 14., 14.,  8., 12., 12., 11., 13.,  8.],
        [18., 13., 10., 20.,  7., 18.,  8., 13., 15., 11.],
        [14., 10., 13., 10., 20., 10., 13., 18., 12., 23.],
        [15., 14., 12., 16., 12., 14., 10., 23.,  7., 15.],
        [11., 18.,  9., 17., 10., 18., 15., 12., 10., 10.],
        [10., 12., 14.,  9., 22., 10., 16., 14., 11., 20.]], device='cuda:0')
Train accuarcate: 75.89%



iteration:
   26
    0   381   bit_w:-1  loss: 1.05939
    1   436   bit_w:-1  loss: 1.05728
    2   189   bit_w: 1  loss: 1.05364
    3   353   bit_w:-1  loss: 1.05375
    4   567   bit_w: 1  loss: 1.05002
   5462   5316   2402   1191    502   3257    993   1086   1271    298
      1      1      1     -1     -1      1     -1     -1     -1     -1
Train accuarcate: 75.15%
tensor([[15., 12., 12., 17., 13., 13., 11., 25., 10., 18.],
        [17., 16., 17., 16.,  7., 16., 16., 11., 11.,  5.],
        [10., 25., 14., 13.,  9., 14., 11., 12., 10.,  8.],
        [27.,  8., 12., 14.,  9., 18., 15., 14., 12., 14.],
        [11., 12., 14.,  8., 24., 10., 17., 17., 12., 21.],
        [ 9., 24., 15., 14., 10., 12., 10., 12., 11., 10.],
        [10., 12.,  8., 16., 20., 16., 13., 17., 12., 20.],
        [ 8., 14.,  9., 13., 19., 15., 16., 14., 17., 20.],
        [14., 17., 17.,  9., 17.,  9., 14., 16.,  9., 16.],
        [13., 12.,  6., 16., 16., 18., 13., 17., 14., 22.],
        [26.,  9., 13., 15.,  8., 17., 14., 13., 13., 13.],
        [10., 14., 13., 13., 19., 12., 16., 12., 15., 16.],
        [12.,  9., 11., 11., 23., 13., 16., 18., 13., 24.],
        [27.,  8., 12., 14.,  9., 18., 15., 14., 12., 14.],
        [11., 24., 15., 14.,  8., 13., 12., 11., 13.,  8.],
        [18., 13., 10., 21.,  8., 18.,  9., 14., 16., 12.],
        [14., 10., 13., 11., 21., 10., 14., 19., 13., 24.],
        [16., 15., 13., 16., 12., 15., 10., 23.,  7., 15.],
        [11., 18.,  9., 18., 11., 18., 16., 13., 11., 11.],
        [10., 12., 14., 10., 23., 10., 17., 15., 12., 21.]], device='cuda:0')
Train accuarcate: 75.99%



iteration:
   27
    0   183   bit_w:-1  loss: 1.03383
    1   181   bit_w:-1  loss: 1.03115
    2   214   bit_w:-1  loss: 1.03109
    3   212   bit_w:-1  loss: 1.02949
    4   300   bit_w:-1  loss: 1.02657
   1326   6252   2552   2039   5627   3429   5536   5002   1878   3061
     -1      0     -1     -1      1      1      1      1     -1     -1
Train accuarcate: 75.75%
tensor([[15., 12., 12., 17., 14., 14., 12., 26., 10., 18.],
        [17., 16., 17., 16.,  8., 17., 17., 12., 11.,  5.],
        [10., 25., 14., 13., 10., 15., 12., 13., 10.,  8.],
        [28.,  8., 13., 15.,  9., 18., 15., 14., 13., 15.],
        [11., 12., 14.,  8., 25., 11., 18., 18., 12., 21.],
        [ 9., 24., 15., 14., 11., 13., 11., 13., 11., 10.],
        [10., 12.,  8., 16., 21., 17., 14., 18., 12., 20.],
        [ 8., 14.,  9., 13., 20., 16., 17., 15., 17., 20.],
        [15., 17., 18., 10., 17.,  9., 14., 16., 10., 17.],
        [13., 12.,  6., 16., 17., 19., 14., 18., 14., 22.],
        [27.,  9., 14., 16.,  8., 17., 14., 13., 14., 14.],
        [10., 14., 13., 13., 20., 13., 17., 13., 15., 16.],
        [12.,  9., 11., 11., 24., 14., 17., 19., 13., 24.],
        [28.,  8., 13., 15.,  9., 18., 15., 14., 13., 15.],
        [11., 24., 15., 14.,  9., 14., 13., 12., 13.,  8.],
        [18., 13., 10., 21.,  9., 19., 10., 15., 16., 12.],
        [15., 10., 14., 12., 21., 10., 14., 19., 14., 25.],
        [16., 15., 13., 16., 13., 16., 11., 24.,  7., 15.],
        [11., 18.,  9., 18., 12., 19., 17., 14., 11., 11.],
        [10., 12., 14., 10., 24., 11., 18., 16., 12., 21.]], device='cuda:0')
Train accuarcate: 76.72%



iteration:
   28
    0   378   bit_w:-1  loss: 1.01025
    1   434   bit_w:-1  loss: 1.00881
    2   544   bit_w: 1  loss: 1.00316
    3   513   bit_w: 1  loss: 1.00455
    4   191   bit_w:-1  loss: 0.99745
   5753    415   4688   1250   2098   1829   5212   5436   1828   1704
      1     -1      1     -1     -1     -1      1      1     -1     -1
Train accuarcate: 76.16%
tensor([[16., 12., 13., 17., 14., 14., 13., 27., 10., 18.],
        [18., 16., 18., 16.,  8., 17., 18., 13., 11.,  5.],
        [10., 26., 14., 14., 11., 16., 12., 13., 11.,  9.],
        [29.,  8., 14., 15.,  9., 18., 16., 15., 13., 15.],
        [12., 12., 15.,  8., 25., 11., 19., 19., 12., 21.],
        [ 9., 25., 15., 15., 12., 14., 11., 13., 12., 11.],
        [10., 13.,  8., 17., 22., 18., 14., 18., 13., 21.],
        [ 8., 15.,  9., 14., 21., 17., 17., 15., 18., 21.],
        [16., 17., 19., 10., 17.,  9., 15., 17., 10., 17.],
        [13., 13.,  6., 17., 18., 20., 14., 18., 15., 23.],
        [28.,  9., 15., 16.,  8., 17., 15., 14., 14., 14.],
        [10., 15., 13., 14., 21., 14., 17., 13., 16., 17.],
        [12., 10., 11., 12., 25., 15., 17., 19., 14., 25.],
        [29.,  8., 14., 15.,  9., 18., 16., 15., 13., 15.],
        [11., 25., 15., 15., 10., 15., 13., 12., 14.,  9.],
        [19., 13., 11., 21.,  9., 19., 11., 16., 16., 12.],
        [16., 10., 15., 12., 21., 10., 15., 20., 14., 25.],
        [17., 15., 14., 16., 13., 16., 12., 25.,  7., 15.],
        [12., 18., 10., 18., 12., 19., 18., 15., 11., 11.],
        [10., 13., 14., 11., 25., 12., 18., 16., 13., 22.]], device='cuda:0')
Train accuarcate: 77.16%



iteration:
   29
    0   490   bit_w:-1  loss: 0.98272
    1   461   bit_w:-1  loss: 0.98201
    2   211   bit_w: 1  loss: 0.98127
    3   405   bit_w:-1  loss: 0.97990
    4   238   bit_w: 1  loss: 0.97532
   5818    910   1935   4526    865   3871   2834   5255   1635   4697
      1     -1     -1      1     -1      1      0      1     -1      1
Train accuarcate: 76.72%
tensor([[17., 12., 13., 18., 14., 15., 13., 28., 10., 19.],
        [19., 16., 18., 17.,  8., 18., 18., 14., 11.,  6.],
        [10., 27., 15., 14., 12., 16., 12., 13., 12.,  9.],
        [30.,  8., 14., 16.,  9., 19., 16., 16., 13., 16.],
        [12., 13., 16.,  8., 26., 11., 19., 19., 13., 21.],
        [ 9., 26., 16., 15., 13., 14., 11., 13., 13., 11.],
        [10., 14.,  9., 17., 23., 18., 14., 18., 14., 21.],
        [ 8., 16., 10., 14., 22., 17., 17., 15., 19., 21.],
        [17., 17., 19., 11., 17., 10., 15., 18., 10., 18.],
        [14., 13.,  6., 18., 18., 21., 14., 19., 15., 24.],
        [29.,  9., 15., 17.,  8., 18., 15., 15., 14., 15.],
        [10., 16., 14., 14., 22., 14., 17., 13., 17., 17.],
        [13., 10., 11., 13., 25., 16., 17., 20., 14., 26.],
        [30.,  8., 14., 16.,  9., 19., 16., 16., 13., 16.],
        [11., 26., 16., 15., 11., 15., 13., 12., 15.,  9.],
        [20., 13., 11., 22.,  9., 20., 11., 17., 16., 13.],
        [16., 11., 16., 12., 22., 10., 15., 20., 15., 25.],
        [18., 15., 14., 17., 13., 17., 12., 26.,  7., 16.],
        [13., 18., 10., 19., 12., 20., 18., 16., 11., 12.],
        [10., 14., 15., 11., 26., 12., 18., 16., 14., 22.]], device='cuda:0')
Train accuarcate: 77.88%



iteration:
   30
    0   375   bit_w:-1  loss: 0.96198
    1   518   bit_w: 1  loss: 0.95989
    2   348   bit_w:-1  loss: 0.95718
    3   716   bit_w: 1  loss: 0.95523
    4   496   bit_w:-1  loss: 0.95328
   1520   6528   5031   1559   3816   1098   1809   5749   2171   4628
     -1      1      1     -1      0     -1     -1      1     -1      1
Train accuarcate: 76.84%
tensor([[17., 13., 14., 18., 14., 15., 13., 29., 10., 20.],
        [20., 16., 18., 18.,  8., 19., 19., 14., 12.,  6.],
        [10., 28., 16., 14., 12., 16., 12., 14., 12., 10.],
        [31.,  8., 14., 17.,  9., 20., 17., 16., 14., 16.],
        [12., 14., 17.,  8., 26., 11., 19., 20., 13., 22.],
        [ 9., 27., 17., 15., 13., 14., 11., 14., 13., 12.],
        [10., 15., 10., 17., 23., 18., 14., 19., 14., 22.],
        [ 8., 17., 11., 14., 22., 17., 17., 16., 19., 22.],
        [17., 18., 20., 11., 17., 10., 15., 19., 10., 19.],
        [14., 14.,  7., 18., 18., 21., 14., 20., 15., 25.],
        [30.,  9., 15., 18.,  8., 19., 16., 15., 15., 15.],
        [10., 17., 15., 14., 22., 14., 17., 14., 17., 18.],
        [13., 11., 12., 13., 25., 16., 17., 21., 14., 27.],
        [31.,  8., 14., 17.,  9., 20., 17., 16., 14., 16.],
        [11., 27., 17., 15., 11., 15., 13., 13., 15., 10.],
        [20., 14., 12., 22.,  9., 20., 11., 18., 16., 14.],
        [16., 12., 17., 12., 22., 10., 15., 21., 15., 26.],
        [18., 16., 15., 17., 13., 17., 12., 27.,  7., 17.],
        [14., 18., 10., 20., 12., 21., 19., 16., 12., 12.],
        [10., 15., 16., 11., 26., 12., 18., 17., 14., 23.]], device='cuda:0')
Train accuarcate: 77.94%



iteration:
   31
    0   514   bit_w:-1  loss: 0.93993
    1   211   bit_w:-1  loss: 0.93954
    2   323   bit_w: 1  loss: 0.93541
    3   438   bit_w: 1  loss: 0.93636
    4   430   bit_w:-1  loss: 0.93445
   1699   6253   2200   4865   4073   2907   1347   4825   1737   2025
     -1      1     -1      1      1     -1     -1      1     -1     -1
Train accuarcate: 77.05%
tensor([[17., 14., 14., 19., 15., 15., 13., 30., 10., 20.],
        [21., 16., 19., 18.,  8., 20., 20., 14., 13.,  7.],
        [10., 29., 16., 15., 13., 16., 12., 15., 12., 10.],
        [32.,  8., 15., 17.,  9., 21., 18., 16., 15., 17.],
        [12., 15., 17.,  9., 27., 11., 19., 21., 13., 22.],
        [ 9., 28., 17., 16., 14., 14., 11., 15., 13., 12.],
        [10., 16., 10., 18., 24., 18., 14., 20., 14., 22.],
        [ 8., 18., 11., 15., 23., 17., 17., 17., 19., 22.],
        [18., 18., 21., 11., 17., 11., 16., 19., 11., 20.],
        [15., 14.,  8., 18., 18., 22., 15., 20., 16., 26.],
        [30., 10., 15., 19.,  9., 19., 16., 16., 15., 15.],
        [10., 18., 15., 15., 23., 14., 17., 15., 17., 18.],
        [14., 11., 13., 13., 25., 17., 18., 21., 15., 28.],
        [32.,  8., 15., 17.,  9., 21., 18., 16., 15., 17.],
        [11., 28., 17., 16., 12., 15., 13., 14., 15., 10.],
        [20., 15., 12., 23., 10., 20., 11., 19., 16., 14.],
        [16., 13., 17., 13., 23., 10., 15., 22., 15., 26.],
        [18., 17., 15., 18., 14., 17., 12., 28.,  7., 17.],
        [14., 19., 10., 21., 13., 21., 19., 17., 12., 12.],
        [10., 16., 16., 12., 27., 12., 18., 18., 14., 23.]], device='cuda:0')
Train accuarcate: 77.84%



iteration:
   32
    0   126   bit_w:-1  loss: 0.92148
    1   217   bit_w: 1  loss: 0.92064
    2   210   bit_w:-1  loss: 0.91567
    3   657   bit_w: 1  loss: 0.91661
    4   150   bit_w:-1  loss: 0.91045
   4084   4690   1638   3202   5037   4423   1386   5035   4801   3120
      0      0     -1     -1      1      1     -1      0      1     -1
Train accuarcate: 78.23%
tensor([[17., 14., 14., 19., 16., 16., 13., 30., 11., 20.],
        [21., 16., 20., 19.,  8., 20., 21., 14., 13.,  8.],
        [10., 29., 16., 15., 14., 17., 12., 15., 13., 10.],
        [32.,  8., 16., 18.,  9., 21., 19., 16., 15., 18.],
        [12., 15., 17.,  9., 28., 12., 19., 21., 14., 22.],
        [ 9., 28., 17., 16., 15., 15., 11., 15., 14., 12.],
        [10., 16., 10., 18., 25., 19., 14., 20., 15., 22.],
        [ 8., 18., 11., 15., 24., 18., 17., 17., 20., 22.],
        [18., 18., 21., 11., 18., 12., 16., 19., 12., 20.],
        [15., 14.,  8., 18., 19., 23., 15., 20., 17., 26.],
        [30., 10., 15., 19., 10., 20., 16., 16., 16., 15.],
        [10., 18., 16., 16., 23., 14., 18., 15., 17., 19.],
        [14., 11., 14., 14., 25., 17., 19., 21., 15., 29.],
        [32.,  8., 15., 17., 10., 22., 18., 16., 16., 17.],
        [11., 28., 18., 17., 12., 15., 14., 14., 15., 11.],
        [20., 15., 13., 24., 10., 20., 12., 19., 16., 15.],
        [16., 13., 18., 14., 23., 10., 16., 22., 15., 27.],
        [18., 17., 15., 18., 15., 18., 12., 28.,  8., 17.],
        [14., 19., 11., 22., 13., 21., 20., 17., 12., 13.],
        [10., 16., 16., 12., 28., 13., 18., 18., 15., 23.]], device='cuda:0')
Train accuarcate: 79.09%



iteration:
   33
    0   299   bit_w:-1  loss: 0.89956
    1   269   bit_w:-1  loss: 0.89694
    2   248   bit_w: 1  loss: 0.89192
    3   301   bit_w:-1  loss: 0.89200
    4   219   bit_w: 1  loss: 0.88712
    742   3903    953   1471   1068   4447   5184    493   1222   1095
     -1      0     -1     -1     -1      1      1     -1     -1      0
Train accuarcate: 78.98%
tensor([[18., 14., 15., 20., 17., 16., 13., 31., 12., 20.],
        [21., 16., 20., 19.,  8., 21., 22., 14., 13.,  8.],
        [10., 29., 16., 15., 14., 18., 13., 15., 13., 10.],
        [33.,  8., 17., 19., 10., 21., 19., 17., 16., 18.],
        [13., 15., 18., 10., 29., 12., 19., 22., 15., 22.],
        [10., 28., 18., 17., 16., 15., 11., 16., 15., 12.],
        [11., 16., 11., 19., 26., 19., 14., 21., 16., 22.],
        [ 8., 18., 11., 15., 24., 19., 18., 17., 20., 22.],
        [18., 18., 21., 11., 18., 13., 17., 19., 12., 20.],
        [16., 14.,  9., 19., 20., 23., 15., 21., 18., 26.],
        [31., 10., 16., 20., 11., 20., 16., 17., 17., 15.],
        [11., 18., 17., 17., 24., 14., 18., 16., 18., 19.],
        [15., 11., 15., 15., 26., 17., 19., 22., 16., 29.],
        [33.,  8., 16., 18., 11., 22., 18., 17., 17., 17.],
        [11., 28., 18., 17., 12., 16., 15., 14., 15., 11.],
        [20., 15., 13., 24., 10., 21., 13., 19., 16., 15.],
        [17., 13., 19., 15., 24., 10., 16., 23., 16., 27.],
        [19., 17., 16., 19., 16., 18., 12., 29.,  9., 17.],
        [14., 19., 11., 22., 13., 22., 21., 17., 12., 13.],
        [10., 16., 16., 12., 28., 14., 19., 18., 15., 23.]], device='cuda:0')
Train accuarcate: 79.74%



iteration:
   34
    0   523   bit_w:-1  loss: 0.87539
    1   318   bit_w: 1  loss: 0.87472
    2   576   bit_w:-1  loss: 0.87099
    3   152   bit_w:-1  loss: 0.87036
    4   687   bit_w: 1  loss: 0.86671
   1916   5667   1177   1312   4387   3455   1248   5478   3939   4883
     -1      1     -1     -1      0      1     -1      1      1      1
Train accuarcate: 79.43%
tensor([[18., 15., 15., 20., 17., 17., 13., 32., 13., 21.],
        [22., 16., 21., 20.,  8., 21., 23., 14., 13.,  8.],
        [10., 30., 16., 15., 14., 19., 13., 16., 14., 11.],
        [34.,  8., 18., 20., 10., 21., 20., 17., 16., 18.],
        [13., 16., 18., 10., 29., 13., 19., 23., 16., 23.],
        [10., 29., 18., 17., 16., 16., 11., 17., 16., 13.],
        [11., 17., 11., 19., 26., 20., 14., 22., 17., 23.],
        [ 8., 19., 11., 15., 24., 20., 18., 18., 21., 23.],
        [19., 18., 22., 12., 18., 13., 18., 19., 12., 20.],
        [16., 15.,  9., 19., 20., 24., 15., 22., 19., 27.],
        [32., 10., 17., 21., 11., 20., 17., 17., 17., 15.],
        [12., 18., 18., 18., 24., 14., 19., 16., 18., 19.],
        [15., 12., 15., 15., 26., 18., 19., 23., 17., 30.],
        [33.,  9., 16., 18., 11., 23., 18., 18., 18., 18.],
        [11., 29., 18., 17., 12., 17., 15., 15., 16., 12.],
        [20., 16., 13., 24., 10., 22., 13., 20., 17., 16.],
        [17., 14., 19., 15., 24., 11., 16., 24., 17., 28.],
        [20., 17., 17., 20., 16., 18., 13., 29.,  9., 17.],
        [14., 20., 11., 22., 13., 23., 21., 18., 13., 14.],
        [10., 17., 16., 12., 28., 15., 19., 19., 16., 24.]], device='cuda:0')
Train accuarcate: 80.39%



iteration:
   35
    0   568   bit_w:-1  loss: 0.85542
    1   354   bit_w: 1  loss: 0.85390
    2   411   bit_w: 1  loss: 0.85133
    3   186   bit_w:-1  loss: 0.85060
    4   380   bit_w: 1  loss: 0.84766
    698   1076   2168   3400   5122   1379   3786   5850   2741   5438
     -1     -1     -1      0      1     -1      0      1     -1      1
Train accuarcate: 79.85%
tensor([[18., 15., 15., 20., 18., 17., 13., 33., 13., 22.],
        [23., 17., 22., 20.,  8., 22., 23., 14., 14.,  8.],
        [11., 31., 17., 15., 14., 20., 13., 16., 15., 11.],
        [35.,  9., 19., 20., 10., 22., 20., 17., 17., 18.],
        [13., 16., 18., 10., 30., 13., 19., 24., 16., 24.],
        [11., 30., 19., 17., 16., 17., 11., 17., 17., 13.],
        [11., 17., 11., 19., 27., 20., 14., 23., 17., 24.],
        [ 8., 19., 11., 15., 25., 20., 18., 19., 21., 24.],
        [20., 19., 23., 12., 18., 14., 18., 19., 13., 20.],
        [16., 15.,  9., 19., 21., 24., 15., 23., 19., 28.],
        [33., 11., 18., 21., 11., 21., 17., 17., 18., 15.],
        [13., 19., 19., 18., 24., 15., 19., 16., 19., 19.],
        [15., 12., 15., 15., 27., 18., 19., 24., 17., 31.],
        [34., 10., 17., 18., 11., 24., 18., 18., 19., 18.],
        [12., 30., 19., 17., 12., 18., 15., 15., 17., 12.],
        [20., 16., 13., 24., 11., 22., 13., 21., 17., 17.],
        [17., 14., 19., 15., 25., 11., 16., 25., 17., 29.],
        [20., 17., 17., 20., 17., 18., 13., 30.,  9., 18.],
        [14., 20., 11., 22., 14., 23., 21., 19., 13., 15.],
        [11., 18., 17., 12., 28., 16., 19., 19., 17., 24.]], device='cuda:0')
Train accuarcate: 80.61%



iteration:
   36
    0   379   bit_w:-1  loss: 0.83707
    1   455   bit_w: 1  loss: 0.83600
    2   298   bit_w: 1  loss: 0.83442
    3   399   bit_w: 1  loss: 0.83418
    4   276   bit_w:-1  loss: 0.83336
   4949     14   2816    682   4040    895   1536   3930    650   2589
      1     -1      1     -1      1     -1     -1      0     -1      0
Train accuarcate: 79.73%
tensor([[18., 16., 15., 21., 18., 18., 14., 33., 14., 22.],
        [23., 18., 22., 21.,  8., 23., 24., 14., 15.,  8.],
        [11., 32., 17., 16., 14., 21., 14., 16., 16., 11.],
        [36.,  9., 20., 20., 11., 22., 20., 17., 17., 18.],
        [14., 16., 19., 10., 31., 13., 19., 24., 16., 24.],
        [11., 31., 19., 18., 16., 18., 12., 17., 18., 13.],
        [11., 18., 11., 20., 27., 21., 15., 23., 18., 24.],
        [ 8., 20., 11., 16., 25., 21., 19., 19., 22., 24.],
        [21., 19., 24., 12., 19., 14., 18., 19., 13., 20.],
        [16., 16.,  9., 20., 21., 25., 16., 23., 20., 28.],
        [34., 11., 19., 21., 12., 21., 17., 17., 18., 15.],
        [14., 19., 20., 18., 25., 15., 19., 16., 19., 19.],
        [16., 12., 16., 15., 28., 18., 19., 24., 17., 31.],
        [35., 10., 18., 18., 12., 24., 18., 18., 19., 18.],
        [12., 31., 19., 18., 12., 19., 16., 15., 18., 12.],
        [20., 17., 13., 25., 11., 23., 14., 21., 18., 17.],
        [18., 14., 20., 15., 26., 11., 16., 25., 17., 29.],
        [21., 17., 18., 20., 18., 18., 13., 30.,  9., 18.],
        [14., 21., 11., 23., 14., 24., 22., 19., 14., 15.],
        [12., 18., 18., 12., 29., 16., 19., 19., 17., 24.]], device='cuda:0')
Train accuarcate: 80.57%



iteration:
   37
    0   570   bit_w:-1  loss: 0.82340
    1   572   bit_w:-1  loss: 0.82090
    2   710   bit_w: 1  loss: 0.82031
    3   539   bit_w:-1  loss: 0.81885
    4   709   bit_w: 1  loss: 0.81521
    537   2330    487   3743   4465   2761    338   5274   1096   5387
     -1      0     -1      1      1      0     -1      1     -1      1
Train accuarcate: 79.94%
tensor([[18., 16., 15., 22., 19., 18., 14., 34., 14., 23.],
        [24., 18., 23., 21.,  8., 23., 25., 14., 16.,  8.],
        [12., 32., 18., 16., 14., 21., 15., 16., 17., 11.],
        [37.,  9., 21., 20., 11., 22., 21., 17., 18., 18.],
        [14., 16., 19., 11., 32., 13., 19., 25., 16., 25.],
        [12., 31., 20., 18., 16., 18., 13., 17., 19., 13.],
        [11., 18., 11., 21., 28., 21., 15., 24., 18., 25.],
        [ 8., 20., 11., 17., 26., 21., 19., 20., 22., 25.],
        [22., 19., 25., 12., 19., 14., 19., 19., 14., 20.],
        [16., 16.,  9., 21., 22., 25., 16., 24., 20., 29.],
        [35., 11., 20., 21., 12., 21., 18., 17., 19., 15.],
        [15., 19., 21., 18., 25., 15., 20., 16., 20., 19.],
        [16., 12., 16., 16., 29., 18., 19., 25., 17., 32.],
        [36., 10., 19., 18., 12., 24., 19., 18., 20., 18.],
        [12., 31., 19., 19., 13., 19., 16., 16., 18., 13.],
        [20., 17., 13., 26., 12., 23., 14., 22., 18., 18.],
        [18., 14., 20., 16., 27., 11., 16., 26., 17., 30.],
        [21., 17., 18., 21., 19., 18., 13., 31.,  9., 19.],
        [15., 21., 12., 23., 14., 24., 23., 19., 15., 15.],
        [12., 18., 18., 13., 30., 16., 19., 20., 17., 25.]], device='cuda:0')
Train accuarcate: 80.90%



iteration:
   38
    0   346   bit_w:-1  loss: 0.80590
    1   268   bit_w: 1  loss: 0.80409
    2   153   bit_w: 1  loss: 0.80041
    3   344   bit_w:-1  loss: 0.79929
    4   243   bit_w: 1  loss: 0.79685
   2484   5507   5037   5019    689   1635    626   4248   2953   1098
      0      1      1      1     -1     -1     -1      1      0     -1
Train accuarcate: 80.43%
tensor([[18., 17., 16., 23., 19., 18., 14., 35., 14., 23.],
        [24., 19., 24., 22.,  8., 23., 25., 15., 16.,  8.],
        [12., 33., 19., 17., 14., 21., 15., 17., 17., 11.],
        [37.,  9., 21., 20., 12., 23., 22., 17., 18., 19.],
        [14., 16., 19., 11., 33., 14., 20., 25., 16., 26.],
        [12., 32., 21., 19., 16., 18., 13., 18., 19., 13.],
        [11., 18., 11., 21., 29., 22., 16., 24., 18., 26.],
        [ 8., 20., 11., 17., 27., 22., 20., 20., 22., 26.],
        [22., 19., 25., 12., 20., 15., 20., 19., 14., 21.],
        [16., 17., 10., 22., 22., 25., 16., 25., 20., 29.],
        [35., 12., 21., 22., 12., 21., 18., 18., 19., 15.],
        [15., 19., 21., 18., 26., 16., 21., 16., 20., 20.],
        [16., 12., 16., 16., 30., 19., 20., 25., 17., 33.],
        [36., 10., 19., 18., 13., 25., 20., 18., 20., 19.],
        [12., 32., 20., 20., 13., 19., 16., 17., 18., 13.],
        [20., 17., 13., 26., 13., 24., 15., 22., 18., 19.],
        [18., 14., 20., 16., 28., 12., 17., 26., 17., 31.],
        [21., 18., 19., 22., 19., 18., 13., 32.,  9., 19.],
        [15., 21., 12., 23., 15., 25., 24., 19., 15., 16.],
        [12., 18., 18., 13., 31., 17., 20., 20., 17., 26.]], device='cuda:0')
Train accuarcate: 81.25%



iteration:
   39
    0   263   bit_w:-1  loss: 0.78826
    1   151   bit_w: 1  loss: 0.78581
    2   437   bit_w: 1  loss: 0.78517
    3   262   bit_w:-1  loss: 0.78411
    4   320   bit_w:-1  loss: 0.78283
   1117   6103   4838   4952   3596   1680   2683   1546   1760   2039
     -1      1      1      1      1     -1      0     -1     -1     -1
Train accuarcate: 80.56%
tensor([[19., 17., 16., 23., 19., 19., 14., 36., 15., 24.],
        [24., 20., 25., 23.,  9., 23., 25., 15., 16.,  8.],
        [12., 34., 20., 18., 15., 21., 15., 17., 17., 11.],
        [38.,  9., 21., 20., 12., 24., 22., 18., 19., 20.],
        [14., 17., 20., 12., 34., 14., 20., 25., 16., 26.],
        [12., 33., 22., 20., 17., 18., 13., 18., 19., 13.],
        [11., 19., 12., 22., 30., 22., 16., 24., 18., 26.],
        [ 9., 20., 11., 17., 27., 23., 20., 21., 23., 27.],
        [22., 20., 26., 13., 21., 15., 20., 19., 14., 21.],
        [17., 17., 10., 22., 22., 26., 16., 26., 21., 30.],
        [35., 13., 22., 23., 13., 21., 18., 18., 19., 15.],
        [15., 20., 22., 19., 27., 16., 21., 16., 20., 20.],
        [16., 13., 17., 17., 31., 19., 20., 25., 17., 33.],
        [37., 10., 19., 18., 13., 26., 20., 19., 21., 20.],
        [12., 33., 21., 21., 14., 19., 16., 17., 18., 13.],
        [21., 17., 13., 26., 13., 25., 15., 23., 19., 20.],
        [18., 15., 21., 17., 29., 12., 17., 26., 17., 31.],
        [22., 18., 19., 22., 19., 19., 13., 33., 10., 20.],
        [15., 22., 13., 24., 16., 25., 24., 19., 15., 16.],
        [12., 19., 19., 14., 32., 17., 20., 20., 17., 26.]], device='cuda:0')
Train accuarcate: 81.48%



iteration:
   40
    0   244   bit_w:-1  loss: 0.77475
    1   382   bit_w: 1  loss: 0.77381
    2   179   bit_w:-1  loss: 0.77157
    3   711   bit_w: 1  loss: 0.77131
    4   567   bit_w:-1  loss: 0.76813
   1078   5982   2106   2318   4944   2373   5133   5736   2661   5576
     -1      1     -1     -1      0     -1      1      0     -1      1
Train accuarcate: 80.81%
tensor([[19., 18., 16., 23., 19., 19., 15., 36., 15., 25.],
        [24., 21., 25., 23.,  9., 23., 26., 15., 16.,  9.],
        [12., 35., 20., 18., 15., 21., 16., 17., 17., 12.],
        [38., 10., 21., 20., 12., 24., 23., 18., 19., 21.],
        [15., 17., 21., 13., 34., 15., 20., 25., 17., 26.],
        [12., 34., 22., 20., 17., 18., 14., 18., 19., 14.],
        [12., 19., 13., 23., 30., 23., 16., 24., 19., 26.],
        [ 9., 21., 11., 17., 27., 23., 21., 21., 23., 28.],
        [22., 21., 26., 13., 21., 15., 21., 19., 14., 22.],
        [17., 18., 10., 22., 22., 26., 17., 26., 21., 31.],
        [36., 13., 23., 24., 13., 22., 18., 18., 20., 15.],
        [15., 21., 22., 19., 27., 16., 22., 16., 20., 21.],
        [16., 14., 17., 17., 31., 19., 21., 25., 17., 34.],
        [37., 11., 19., 18., 13., 26., 21., 19., 21., 21.],
        [12., 34., 21., 21., 14., 19., 17., 17., 18., 14.],
        [21., 18., 13., 26., 13., 25., 16., 23., 19., 21.],
        [18., 16., 21., 17., 29., 12., 18., 26., 17., 32.],
        [22., 19., 19., 22., 19., 19., 14., 33., 10., 21.],
        [15., 23., 13., 24., 16., 25., 25., 19., 15., 17.],
        [12., 20., 19., 14., 32., 17., 21., 20., 17., 27.]], device='cuda:0')
Train accuarcate: 81.58%



iteration:
   41
    0   404   bit_w:-1  loss: 0.75936
    1   433   bit_w:-1  loss: 0.75782
    2   296   bit_w: 1  loss: 0.75743
    3   239   bit_w: 1  loss: 0.75559
    4   327   bit_w: 1  loss: 0.75404
   4459   2157   2450   2639   1410   1345   1014   5846    904   3094
      1      0      0      0     -1     -1     -1      1     -1      1
Train accuarcate: 81.24%
tensor([[20., 18., 16., 23., 19., 19., 15., 37., 15., 26.],
        [24., 21., 25., 23., 10., 24., 27., 15., 17.,  9.],
        [12., 35., 20., 18., 16., 22., 17., 17., 18., 12.],
        [39., 10., 21., 20., 12., 24., 23., 19., 19., 22.],
        [16., 17., 21., 13., 34., 15., 20., 26., 17., 27.],
        [13., 34., 22., 20., 17., 18., 14., 19., 19., 15.],
        [12., 19., 13., 23., 31., 24., 17., 24., 20., 26.],
        [ 9., 21., 11., 17., 28., 24., 22., 21., 24., 28.],
        [23., 21., 26., 13., 21., 15., 21., 20., 14., 23.],
        [17., 18., 10., 22., 23., 27., 18., 26., 22., 31.],
        [36., 13., 23., 24., 14., 23., 19., 18., 21., 15.],
        [15., 21., 22., 19., 28., 17., 23., 16., 21., 21.],
        [17., 14., 17., 17., 31., 19., 21., 26., 17., 35.],
        [38., 11., 19., 18., 13., 26., 21., 20., 21., 22.],
        [12., 34., 21., 21., 15., 20., 18., 17., 19., 14.],
        [21., 18., 13., 26., 14., 26., 17., 23., 20., 21.],
        [19., 16., 21., 17., 29., 12., 18., 27., 17., 33.],
        [23., 19., 19., 22., 19., 19., 14., 34., 10., 22.],
        [16., 23., 13., 24., 16., 25., 25., 20., 15., 18.],
        [12., 20., 19., 14., 33., 18., 22., 20., 18., 27.]], device='cuda:0')
Train accuarcate: 81.82%



iteration:
   42
    0   485   bit_w:-1  loss: 0.74615
    1   458   bit_w:-1  loss: 0.74490
    2   655   bit_w: 1  loss: 0.74339
    3   294   bit_w: 1  loss: 0.74242
    4   597   bit_w: 1  loss: 0.74064
   4267   6021   1978   5118    615   4069    641   4091   3135   1327
      0      1     -1      1     -1      1     -1      1     -1     -1
Train accuarcate: 81.42%
tensor([[20., 19., 16., 24., 19., 20., 15., 38., 15., 26.],
        [24., 21., 26., 23., 11., 24., 28., 15., 18., 10.],
        [12., 36., 20., 19., 16., 23., 17., 18., 18., 12.],
        [39., 11., 21., 21., 12., 25., 23., 20., 19., 22.],
        [16., 17., 22., 13., 35., 15., 21., 26., 18., 28.],
        [13., 35., 22., 21., 17., 19., 14., 20., 19., 15.],
        [12., 19., 14., 23., 32., 24., 18., 24., 21., 27.],
        [ 9., 21., 12., 17., 29., 24., 23., 21., 25., 29.],
        [23., 21., 27., 13., 22., 15., 22., 20., 15., 24.],
        [17., 19., 10., 23., 23., 28., 18., 27., 22., 31.],
        [36., 14., 23., 25., 14., 24., 19., 19., 21., 15.],
        [15., 22., 22., 20., 28., 18., 23., 17., 21., 21.],
        [17., 14., 18., 17., 32., 19., 22., 26., 18., 36.],
        [38., 12., 19., 19., 13., 27., 21., 21., 21., 22.],
        [12., 35., 21., 22., 15., 21., 18., 18., 19., 14.],
        [21., 19., 13., 27., 14., 27., 17., 24., 20., 21.],
        [19., 16., 22., 17., 30., 12., 19., 27., 18., 34.],
        [23., 19., 20., 22., 20., 19., 15., 34., 11., 23.],
        [16., 23., 14., 24., 17., 25., 26., 20., 16., 19.],
        [12., 20., 20., 14., 34., 18., 23., 20., 19., 28.]], device='cuda:0')
Train accuarcate: 82.07%



iteration:
   43
    0   378   bit_w:-1  loss: 0.73344
    1   487   bit_w:-1  loss: 0.73148
    2   467   bit_w: 1  loss: 0.72996
    3   516   bit_w:-1  loss: 0.72931
    4   243   bit_w: 1  loss: 0.72775
   5685    133   2140   4553   4017   4049   1870   5572   1299   3469
      1     -1     -1      1      1      1     -1      1     -1     -1
Train accuarcate: 81.68%
tensor([[21., 19., 16., 25., 20., 21., 15., 39., 15., 26.],
        [24., 22., 27., 23., 11., 24., 29., 15., 19., 11.],
        [12., 37., 21., 19., 16., 23., 18., 18., 19., 13.],
        [40., 11., 21., 22., 13., 26., 23., 21., 19., 22.],
        [16., 18., 23., 13., 35., 15., 22., 26., 19., 29.],
        [13., 36., 23., 21., 17., 19., 15., 20., 20., 16.],
        [12., 20., 15., 23., 32., 24., 19., 24., 22., 28.],
        [ 9., 22., 13., 17., 29., 24., 24., 21., 26., 30.],
        [23., 22., 28., 13., 22., 15., 23., 20., 16., 25.],
        [18., 19., 10., 24., 24., 29., 18., 28., 22., 31.],
        [37., 14., 23., 26., 15., 25., 19., 20., 21., 15.],
        [15., 23., 23., 20., 28., 18., 24., 17., 22., 22.],
        [18., 14., 18., 18., 33., 20., 22., 27., 18., 36.],
        [39., 12., 19., 20., 14., 28., 21., 22., 21., 22.],
        [12., 36., 22., 22., 15., 21., 19., 18., 20., 15.],
        [22., 19., 13., 28., 15., 28., 17., 25., 20., 21.],
        [19., 17., 23., 17., 30., 12., 20., 27., 19., 35.],
        [24., 19., 20., 23., 21., 20., 15., 35., 11., 23.],
        [16., 24., 15., 24., 17., 25., 27., 20., 17., 20.],
        [13., 20., 20., 15., 35., 19., 23., 21., 19., 28.]], device='cuda:0')
Train accuarcate: 82.28%



iteration:
   44
    0   379   bit_w:-1  loss: 0.72191
    1   571   bit_w: 1  loss: 0.72006
    2   382   bit_w:-1  loss: 0.71863
    3   574   bit_w: 1  loss: 0.71665
    4   235   bit_w: 1  loss: 0.71597
   4888   1317   3411   1223   1320   2759   4369   3472   2227   1228
      1     -1      1     -1     -1      1      1      1     -1     -1
Train accuarcate: 81.89%
tensor([[22., 19., 17., 25., 20., 22., 16., 40., 15., 26.],
        [25., 22., 28., 23., 11., 25., 30., 16., 19., 11.],
        [12., 38., 21., 20., 17., 23., 18., 18., 20., 14.],
        [41., 11., 22., 22., 13., 27., 24., 22., 19., 22.],
        [16., 19., 23., 14., 36., 15., 22., 26., 20., 30.],
        [13., 37., 23., 22., 18., 19., 15., 20., 21., 17.],
        [12., 21., 15., 24., 33., 24., 19., 24., 23., 29.],
        [ 9., 23., 13., 18., 30., 24., 24., 21., 27., 31.],
        [24., 22., 29., 13., 22., 16., 24., 21., 16., 25.],
        [18., 20., 10., 25., 25., 29., 18., 28., 23., 32.],
        [37., 15., 23., 27., 16., 25., 19., 20., 22., 16.],
        [15., 24., 23., 21., 29., 18., 24., 17., 23., 23.],
        [18., 15., 18., 19., 34., 20., 22., 27., 19., 37.],
        [40., 12., 20., 20., 14., 29., 22., 23., 21., 22.],
        [12., 37., 22., 23., 16., 21., 19., 18., 21., 16.],
        [22., 20., 13., 29., 16., 28., 17., 25., 21., 22.],
        [19., 18., 23., 18., 31., 12., 20., 27., 20., 36.],
        [25., 19., 21., 23., 21., 21., 16., 36., 11., 23.],
        [16., 25., 15., 25., 18., 25., 27., 20., 18., 21.],
        [13., 21., 20., 16., 36., 19., 23., 21., 20., 29.]], device='cuda:0')
Train accuarcate: 82.48%



iteration:
   45
    0   328   bit_w:-1  loss: 0.70967
    1   178   bit_w: 1  loss: 0.70775
    2   325   bit_w:-1  loss: 0.70534
    3   550   bit_w: 1  loss: 0.70570
    4   316   bit_w:-1  loss: 0.70330
   3323   4978   4415   4951   1665   4497   4988   1300   2354   1245
     -1      0      1      1     -1      1      1     -1     -1     -1
Train accuarcate: 82.22%
tensor([[23., 19., 17., 25., 21., 22., 16., 41., 16., 27.],
        [25., 22., 29., 24., 11., 26., 31., 16., 19., 11.],
        [12., 38., 22., 21., 17., 24., 19., 18., 20., 14.],
        [42., 11., 22., 22., 14., 27., 24., 23., 20., 23.],
        [17., 19., 23., 14., 37., 15., 22., 27., 21., 31.],
        [13., 37., 24., 23., 18., 20., 16., 20., 21., 17.],
        [13., 21., 15., 24., 34., 24., 19., 25., 24., 30.],
        [ 9., 23., 14., 19., 30., 25., 25., 21., 27., 31.],
        [24., 22., 30., 14., 22., 17., 25., 21., 16., 25.],
        [19., 20., 10., 25., 26., 29., 18., 29., 24., 33.],
        [37., 15., 24., 28., 16., 26., 20., 20., 22., 16.],
        [16., 24., 23., 21., 30., 18., 24., 18., 24., 24.],
        [18., 15., 19., 20., 34., 21., 23., 27., 19., 37.],
        [41., 12., 20., 20., 15., 29., 22., 24., 22., 23.],
        [12., 37., 23., 24., 16., 22., 20., 18., 21., 16.],
        [22., 20., 14., 30., 16., 29., 18., 25., 21., 22.],
        [20., 18., 23., 18., 32., 12., 20., 28., 21., 37.],
        [26., 19., 21., 23., 22., 21., 16., 37., 12., 24.],
        [16., 25., 16., 26., 18., 26., 28., 20., 18., 21.],
        [14., 21., 20., 16., 37., 19., 23., 22., 21., 30.]], device='cuda:0')
Train accuarcate: 82.71%



iteration:
   46
    0   347   bit_w:-1  loss: 0.69620
    1   373   bit_w:-1  loss: 0.69438
    2    97   bit_w: 1  loss: 0.69057
    3   371   bit_w:-1  loss: 0.69053
    4    98   bit_w: 1  loss: 0.68480
    340   6596   5498   3352    270    635   1884   4401   1719    488
     -1      1      1      1     -1     -1      0      1     -1     -1
Train accuarcate: 82.55%
tensor([[23., 20., 18., 26., 21., 22., 16., 42., 16., 27.],
        [25., 23., 30., 25., 11., 26., 31., 17., 19., 11.],
        [12., 39., 23., 22., 17., 24., 19., 19., 20., 14.],
        [43., 11., 22., 22., 15., 28., 24., 23., 21., 24.],
        [18., 19., 23., 14., 38., 16., 22., 27., 22., 32.],
        [13., 38., 25., 24., 18., 20., 16., 21., 21., 17.],
        [14., 21., 15., 24., 35., 25., 19., 25., 25., 31.],
        [10., 23., 14., 19., 31., 26., 25., 21., 28., 32.],
        [25., 22., 30., 14., 23., 18., 25., 21., 17., 26.],
        [20., 20., 10., 25., 27., 30., 18., 29., 25., 34.],
        [38., 15., 24., 28., 17., 27., 20., 20., 23., 17.],
        [16., 25., 24., 22., 30., 18., 24., 19., 24., 24.],
        [19., 15., 19., 20., 35., 22., 23., 27., 20., 38.],
        [42., 12., 20., 20., 16., 30., 22., 24., 23., 24.],
        [12., 38., 24., 25., 16., 22., 20., 19., 21., 16.],
        [23., 20., 14., 30., 17., 30., 18., 25., 22., 23.],
        [21., 18., 23., 18., 33., 13., 20., 28., 22., 38.],
        [26., 20., 22., 24., 22., 21., 16., 38., 12., 24.],
        [17., 25., 16., 26., 19., 27., 28., 20., 19., 22.],
        [15., 21., 20., 16., 38., 20., 23., 22., 22., 31.]], device='cuda:0')
Train accuarcate: 83.20%



iteration:
   47
    0   349   bit_w:-1  loss: 0.67870
    1   405   bit_w:-1  loss: 0.67749
    2   457   bit_w: 1  loss: 0.67536
    3   455   bit_w: 1  loss: 0.67503
    4   249   bit_w:-1  loss: 0.67302
   5751   1249   4739    850   4520   1504   4579   5763   1170   3404
      1     -1      1     -1      0     -1      1      1     -1     -1
Train accuarcate: 82.58%
tensor([[24., 20., 19., 26., 21., 22., 17., 43., 16., 27.],
        [25., 24., 30., 26., 11., 27., 31., 17., 20., 12.],
        [13., 39., 24., 22., 17., 24., 20., 20., 20., 14.],
        [44., 11., 23., 22., 15., 28., 25., 24., 21., 24.],
        [19., 19., 24., 14., 38., 16., 23., 28., 22., 32.],
        [13., 39., 25., 25., 18., 21., 16., 21., 22., 18.],
        [14., 22., 15., 25., 35., 26., 19., 25., 26., 32.],
        [10., 24., 14., 20., 31., 27., 25., 21., 29., 33.],
        [26., 22., 31., 14., 23., 18., 26., 22., 17., 26.],
        [20., 21., 10., 26., 27., 31., 18., 29., 26., 35.],
        [39., 15., 25., 28., 17., 27., 21., 21., 23., 17.],
        [17., 25., 25., 22., 30., 18., 25., 20., 24., 24.],
        [20., 15., 20., 20., 35., 22., 24., 28., 20., 38.],
        [43., 12., 21., 20., 16., 30., 23., 25., 23., 24.],
        [12., 39., 24., 26., 16., 23., 20., 19., 22., 17.],
        [24., 20., 15., 30., 17., 30., 19., 26., 22., 23.],
        [22., 18., 24., 18., 33., 13., 21., 29., 22., 38.],
        [27., 20., 23., 24., 22., 21., 17., 39., 12., 24.],
        [17., 26., 16., 27., 19., 28., 28., 20., 20., 23.],
        [16., 21., 21., 16., 38., 20., 24., 23., 22., 31.]], device='cuda:0')
Train accuarcate: 83.33%



iteration:
   48
    0   211   bit_w:-1  loss: 0.66799
    1   180   bit_w:-1  loss: 0.66623
    2   214   bit_w:-1  loss: 0.66363
    3   102   bit_w: 1  loss: 0.66320
    4   149   bit_w:-1  loss: 0.66204
   1436   6122   2220   1502   5330   2643   5526   4391   2005   2734
     -1      1     -1     -1      1      0      1      0     -1     -1
Train accuarcate: 82.68%
tensor([[24., 21., 19., 26., 22., 22., 18., 43., 16., 27.],
        [26., 24., 31., 27., 11., 27., 31., 17., 21., 13.],
        [13., 40., 24., 22., 18., 24., 21., 20., 20., 14.],
        [45., 11., 24., 23., 15., 28., 25., 24., 22., 25.],
        [19., 20., 24., 14., 39., 16., 24., 28., 22., 32.],
        [13., 40., 25., 25., 19., 21., 17., 21., 22., 18.],
        [14., 23., 15., 25., 36., 26., 20., 25., 26., 32.],
        [10., 25., 14., 20., 32., 27., 26., 21., 29., 33.],
        [27., 22., 32., 15., 23., 18., 26., 22., 18., 27.],
        [20., 22., 10., 26., 28., 31., 19., 29., 26., 35.],
        [39., 16., 25., 28., 18., 27., 22., 21., 23., 17.],
        [17., 26., 25., 22., 31., 18., 26., 20., 24., 24.],
        [20., 16., 20., 20., 36., 22., 25., 28., 20., 38.],
        [44., 12., 22., 21., 16., 30., 23., 25., 24., 25.],
        [12., 40., 24., 26., 17., 23., 21., 19., 22., 17.],
        [25., 20., 16., 31., 17., 30., 19., 26., 23., 24.],
        [23., 18., 25., 19., 33., 13., 21., 29., 23., 39.],
        [27., 21., 23., 24., 23., 21., 18., 39., 12., 24.],
        [18., 26., 17., 28., 19., 28., 28., 20., 21., 24.],
        [16., 22., 21., 16., 39., 20., 25., 23., 22., 31.]], device='cuda:0')
Train accuarcate: 83.28%



iteration:
   49
    0   358   bit_w:-1  loss: 0.65647
    1   374   bit_w: 1  loss: 0.65551
    2   349   bit_w: 1  loss: 0.65406
    3   573   bit_w:-1  loss: 0.65376
    4   217   bit_w: 1  loss: 0.65322
   2051   1364    924   4232   3148   4274   1434    787   3952   2168
      0      0     -1      0      1      1     -1     -1      1     -1
Train accuarcate: 83.00%
tensor([[24., 21., 20., 26., 22., 22., 19., 44., 16., 28.],
        [26., 24., 32., 27., 11., 27., 32., 18., 21., 14.],
        [13., 40., 25., 22., 18., 24., 22., 21., 20., 15.],
        [45., 11., 25., 23., 15., 28., 26., 25., 22., 26.],
        [19., 20., 25., 14., 39., 16., 25., 29., 22., 33.],
        [13., 40., 26., 25., 19., 21., 18., 22., 22., 19.],
        [14., 23., 15., 25., 37., 27., 20., 25., 27., 32.],
        [10., 25., 14., 20., 33., 28., 26., 21., 30., 33.],
        [27., 22., 33., 15., 23., 18., 27., 23., 18., 28.],
        [20., 22., 11., 26., 28., 31., 20., 30., 26., 36.],
        [39., 16., 26., 28., 18., 27., 23., 22., 23., 18.],
        [17., 26., 26., 22., 31., 18., 27., 21., 24., 25.],
        [20., 16., 20., 20., 37., 23., 25., 28., 21., 38.],
        [44., 12., 22., 21., 17., 31., 23., 25., 25., 25.],
        [12., 40., 25., 26., 17., 23., 22., 20., 22., 18.],
        [25., 20., 17., 31., 17., 30., 20., 27., 23., 25.],
        [23., 18., 26., 19., 33., 13., 22., 30., 23., 40.],
        [27., 21., 24., 24., 23., 21., 19., 40., 12., 25.],
        [18., 26., 17., 28., 20., 29., 28., 20., 22., 24.],
        [16., 22., 22., 16., 39., 20., 26., 24., 22., 32.]], device='cuda:0')
Train accuarcate: 83.75%



iteration:
   50
    0   490   bit_w:-1  loss: 0.64659
    1   489   bit_w:-1  loss: 0.64577
    2   538   bit_w: 1  loss: 0.64509
    3   715   bit_w:-1  loss: 0.64433
    4   510   bit_w: 1  loss: 0.64405
   5817    282   2899   5489   2176   4335   2453   1975   2075   2352
      1     -1      0      1     -1      1      0     -1     -1      0
Train accuarcate: 83.11%
tensor([[25., 21., 20., 27., 22., 23., 19., 44., 16., 28.],
        [27., 24., 32., 28., 11., 28., 32., 18., 21., 14.],
        [13., 41., 25., 22., 19., 24., 22., 22., 21., 15.],
        [46., 11., 25., 24., 15., 29., 26., 25., 22., 26.],
        [19., 21., 25., 14., 40., 16., 25., 30., 23., 33.],
        [13., 41., 26., 25., 20., 21., 18., 23., 23., 19.],
        [15., 23., 15., 26., 37., 28., 20., 25., 27., 32.],
        [11., 25., 14., 21., 33., 29., 26., 21., 30., 33.],
        [27., 23., 33., 15., 24., 18., 27., 24., 19., 28.],
        [20., 23., 11., 26., 29., 31., 20., 31., 27., 36.],
        [40., 16., 26., 29., 18., 28., 23., 22., 23., 18.],
        [17., 27., 26., 22., 32., 18., 27., 22., 25., 25.],
        [21., 16., 20., 21., 37., 24., 25., 28., 21., 38.],
        [45., 12., 22., 22., 17., 32., 23., 25., 25., 25.],
        [12., 41., 25., 26., 18., 23., 22., 21., 23., 18.],
        [26., 20., 17., 32., 17., 31., 20., 27., 23., 25.],
        [23., 19., 26., 19., 34., 13., 22., 31., 24., 40.],
        [28., 21., 24., 25., 23., 22., 19., 40., 12., 25.],
        [19., 26., 17., 29., 20., 30., 28., 20., 22., 24.],
        [17., 22., 22., 17., 39., 21., 26., 24., 22., 32.]], device='cuda:0')
Train accuarcate: 83.82%



iteration:
   51
    0   659   bit_w:-1  loss: 0.63883
    1   656   bit_w:-1  loss: 0.63686
    2   519   bit_w: 1  loss: 0.63599
    3   402   bit_w: 1  loss: 0.63486
    4   457   bit_w: 1  loss: 0.63573
   2366    710   4328   1075   5044   1991   5121   1376   1239   4304
      0     -1      1      0      1      0      1     -1     -1      1
Train accuarcate: 83.14%
tensor([[25., 22., 20., 27., 22., 23., 19., 45., 17., 28.],
        [27., 24., 33., 28., 12., 28., 33., 18., 21., 15.],
        [13., 42., 25., 22., 19., 24., 22., 23., 22., 15.],
        [46., 11., 26., 24., 16., 29., 27., 25., 22., 27.],
        [19., 21., 26., 14., 41., 16., 26., 30., 23., 34.],
        [13., 42., 26., 25., 20., 21., 18., 24., 24., 19.],
        [15., 23., 16., 26., 38., 28., 21., 25., 27., 33.],
        [11., 25., 15., 21., 34., 29., 27., 21., 30., 34.],
        [27., 23., 34., 15., 25., 18., 28., 24., 19., 29.],
        [20., 23., 12., 26., 30., 31., 21., 31., 27., 37.],
        [40., 17., 26., 29., 18., 28., 23., 23., 24., 18.],
        [17., 27., 27., 22., 33., 18., 28., 22., 25., 26.],
        [21., 16., 21., 21., 38., 24., 26., 28., 21., 39.],
        [45., 13., 22., 22., 17., 32., 23., 26., 26., 25.],
        [12., 42., 25., 26., 18., 23., 22., 22., 24., 18.],
        [26., 21., 17., 32., 17., 31., 20., 28., 24., 25.],
        [23., 20., 26., 19., 34., 13., 22., 32., 25., 40.],
        [28., 22., 24., 25., 23., 22., 19., 41., 13., 25.],
        [19., 26., 18., 29., 21., 30., 29., 20., 22., 25.],
        [17., 23., 22., 17., 39., 21., 26., 25., 23., 32.]], device='cuda:0')
Train accuarcate: 83.86%



iteration:
   52
    0   358   bit_w:-1  loss: 0.62865
    1   357   bit_w:-1  loss: 0.62851
    2   592   bit_w: 1  loss: 0.62682
    3   486   bit_w:-1  loss: 0.62694
    4   489   bit_w: 1  loss: 0.62357
    885   6620   4683   5808   4829   5027   3020   5479   3775   4917
     -1      0      1      1      0      1     -1      0     -1      0
Train accuarcate: 83.58%
tensor([[25., 22., 21., 28., 22., 24., 19., 45., 17., 28.],
        [28., 24., 33., 28., 12., 28., 34., 18., 22., 15.],
        [13., 42., 26., 23., 19., 25., 22., 23., 22., 15.],
        [47., 11., 26., 24., 16., 29., 28., 25., 23., 27.],
        [19., 21., 27., 15., 41., 17., 26., 30., 23., 34.],
        [13., 42., 27., 26., 20., 22., 18., 24., 24., 19.],
        [15., 23., 17., 27., 38., 29., 21., 25., 27., 33.],
        [11., 25., 16., 22., 34., 30., 27., 21., 30., 34.],
        [27., 23., 35., 16., 25., 19., 28., 24., 19., 29.],
        [21., 23., 12., 26., 30., 31., 22., 31., 28., 37.],
        [41., 17., 26., 29., 18., 28., 24., 23., 25., 18.],
        [18., 27., 27., 22., 33., 18., 29., 22., 26., 26.],
        [21., 16., 22., 22., 38., 25., 26., 28., 21., 39.],
        [46., 13., 22., 22., 17., 32., 24., 26., 27., 25.],
        [12., 42., 26., 27., 18., 24., 22., 22., 24., 18.],
        [26., 21., 18., 33., 17., 32., 20., 28., 24., 25.],
        [23., 20., 27., 20., 34., 14., 22., 32., 25., 40.],
        [28., 22., 25., 26., 23., 23., 19., 41., 13., 25.],
        [20., 26., 18., 29., 21., 30., 30., 20., 23., 25.],
        [17., 23., 23., 18., 39., 22., 26., 25., 23., 32.]], device='cuda:0')
Train accuarcate: 84.22%



iteration:
   53
    0   441   bit_w:-1  loss: 0.61912
    1   219   bit_w: 1  loss: 0.61845
    2   294   bit_w:-1  loss: 0.61718
    3   570   bit_w:-1  loss: 0.61666
    4   403   bit_w: 1  loss: 0.61608
   1253   1083   2246   3785   5115   3936   2185   3222   3825   5382
     -1     -1      0      0      1      1     -1     -1      0      1
Train accuarcate: 83.73%
tensor([[25., 22., 21., 28., 23., 25., 19., 45., 17., 29.],
        [29., 25., 33., 28., 12., 28., 35., 19., 22., 15.],
        [13., 42., 26., 23., 20., 26., 22., 23., 22., 16.],
        [48., 12., 26., 24., 16., 29., 29., 26., 23., 27.],
        [19., 21., 27., 15., 42., 18., 26., 30., 23., 35.],
        [14., 43., 27., 26., 20., 22., 19., 25., 24., 19.],
        [15., 23., 17., 27., 39., 30., 21., 25., 27., 34.],
        [12., 26., 16., 22., 34., 30., 28., 22., 30., 34.],
        [27., 23., 35., 16., 26., 20., 28., 24., 19., 30.],
        [21., 23., 12., 26., 31., 32., 22., 31., 28., 38.],
        [42., 18., 26., 29., 18., 28., 25., 24., 25., 18.],
        [19., 28., 27., 22., 33., 18., 30., 23., 26., 26.],
        [21., 16., 22., 22., 39., 26., 26., 28., 21., 40.],
        [47., 14., 22., 22., 17., 32., 25., 27., 27., 25.],
        [13., 43., 26., 27., 18., 24., 23., 23., 24., 18.],
        [27., 22., 18., 33., 17., 32., 21., 29., 24., 25.],
        [23., 20., 27., 20., 35., 15., 22., 32., 25., 41.],
        [28., 22., 25., 26., 24., 24., 19., 41., 13., 26.],
        [21., 27., 18., 29., 21., 30., 31., 21., 23., 25.],
        [17., 23., 23., 18., 40., 23., 26., 25., 23., 33.]], device='cuda:0')
Train accuarcate: 84.20%



iteration:
   54
    0   154   bit_w:-1  loss: 0.61141
    1   237   bit_w: 1  loss: 0.60918
    2   293   bit_w: 1  loss: 0.61009
    3   155   bit_w:-1  loss: 0.60834
    4   543   bit_w: 1  loss: 0.60839
   2871   3767   1655   1454   1857   3333   3977   5773   2762   4779
      0      0     -1     -1     -1      0      0      1     -1      1
Train accuarcate: 83.84%
tensor([[25., 22., 21., 28., 23., 25., 19., 46., 17., 30.],
        [29., 25., 34., 29., 13., 28., 35., 19., 23., 15.],
        [13., 42., 27., 24., 21., 26., 22., 23., 23., 16.],
        [48., 12., 27., 25., 17., 29., 29., 26., 24., 27.],
        [19., 21., 28., 16., 43., 18., 26., 30., 24., 35.],
        [14., 43., 28., 27., 21., 22., 19., 25., 25., 19.],
        [15., 23., 18., 28., 40., 30., 21., 25., 28., 34.],
        [12., 26., 16., 22., 34., 30., 28., 23., 30., 35.],
        [27., 23., 35., 16., 26., 20., 28., 25., 19., 31.],
        [21., 23., 12., 26., 31., 32., 22., 32., 28., 39.],
        [42., 18., 27., 30., 19., 28., 25., 24., 26., 18.],
        [19., 28., 28., 23., 34., 18., 30., 23., 27., 26.],
        [21., 16., 22., 22., 39., 26., 26., 29., 21., 41.],
        [47., 14., 23., 23., 18., 32., 25., 27., 28., 25.],
        [13., 43., 27., 28., 19., 24., 23., 23., 25., 18.],
        [27., 22., 19., 34., 18., 32., 21., 29., 25., 25.],
        [23., 20., 28., 21., 36., 15., 22., 32., 26., 41.],
        [28., 22., 25., 26., 24., 24., 19., 42., 13., 27.],
        [21., 27., 18., 29., 21., 30., 31., 22., 23., 26.],
        [17., 23., 24., 19., 41., 23., 26., 25., 24., 33.]], device='cuda:0')
Train accuarcate: 84.41%



iteration:
   55
    0   352   bit_w:-1  loss: 0.60458
    1   437   bit_w:-1  loss: 0.60256
    2   269   bit_w:-1  loss: 0.60141
    3   382   bit_w:-1  loss: 0.60139
    4   320   bit_w: 1  loss: 0.60013
   5256   4242   1749   1961   1515   4395   4432   1001   3482   1032
      1      0     -1     -1      0      1      1     -1      1     -1
Train accuarcate: 84.08%
tensor([[25., 22., 22., 29., 23., 25., 19., 47., 17., 31.],
        [30., 25., 34., 29., 13., 29., 36., 19., 24., 15.],
        [14., 42., 27., 24., 21., 27., 23., 23., 24., 16.],
        [49., 12., 27., 25., 17., 30., 30., 26., 25., 27.],
        [19., 21., 29., 17., 43., 18., 26., 31., 24., 36.],
        [14., 43., 29., 28., 21., 22., 19., 26., 25., 20.],
        [15., 23., 19., 29., 40., 30., 21., 26., 28., 35.],
        [12., 26., 17., 23., 34., 30., 28., 24., 30., 36.],
        [28., 23., 35., 16., 26., 21., 29., 25., 20., 31.],
        [21., 23., 13., 27., 31., 32., 22., 33., 28., 40.],
        [43., 18., 27., 30., 19., 29., 26., 24., 27., 18.],
        [20., 28., 28., 23., 34., 19., 31., 23., 28., 26.],
        [21., 16., 23., 23., 39., 26., 26., 30., 21., 42.],
        [48., 14., 23., 23., 18., 33., 26., 27., 29., 25.],
        [14., 43., 27., 28., 19., 25., 24., 23., 26., 18.],
        [28., 22., 19., 34., 18., 33., 22., 29., 26., 25.],
        [23., 20., 29., 22., 36., 15., 22., 33., 26., 42.],
        [29., 22., 25., 26., 24., 25., 20., 42., 14., 27.],
        [21., 27., 19., 30., 21., 30., 31., 23., 23., 27.],
        [18., 23., 24., 19., 41., 24., 27., 25., 25., 33.]], device='cuda:0')
Train accuarcate: 84.22%



iteration:
   56
    0   435   bit_w:-1  loss: 0.59575
    1   405   bit_w:-1  loss: 0.59447
    2   269   bit_w: 1  loss: 0.59514
    3   486   bit_w:-1  loss: 0.59410
    4   581   bit_w: 1  loss: 0.59311
   5263   1228   2303   3341   1195   2629    613   5289    642   1762
      1     -1      1      1     -1      1     -1      1     -1      0
Train accuarcate: 84.16%
tensor([[26., 22., 23., 30., 23., 26., 19., 48., 17., 31.],
        [30., 26., 34., 29., 14., 29., 37., 19., 25., 15.],
        [15., 42., 28., 25., 21., 28., 23., 24., 24., 16.],
        [50., 12., 28., 26., 17., 31., 30., 27., 25., 27.],
        [19., 22., 29., 17., 44., 18., 27., 31., 25., 36.],
        [14., 44., 29., 28., 22., 22., 20., 26., 26., 20.],
        [15., 24., 19., 29., 41., 30., 22., 26., 29., 35.],
        [12., 27., 17., 23., 35., 30., 29., 24., 31., 36.],
        [28., 24., 35., 16., 27., 21., 30., 25., 21., 31.],
        [21., 24., 13., 27., 32., 32., 23., 33., 29., 40.],
        [44., 18., 28., 31., 19., 30., 26., 25., 27., 18.],
        [20., 29., 28., 23., 35., 19., 32., 23., 29., 26.],
        [21., 17., 23., 23., 40., 26., 27., 30., 22., 42.],
        [49., 14., 24., 24., 18., 34., 26., 28., 29., 25.],
        [14., 44., 27., 28., 20., 25., 25., 23., 27., 18.],
        [29., 22., 20., 35., 18., 34., 22., 30., 26., 25.],
        [23., 21., 29., 22., 37., 15., 23., 33., 27., 42.],
        [30., 22., 26., 27., 24., 26., 20., 43., 14., 27.],
        [21., 28., 19., 30., 22., 30., 32., 23., 24., 27.],
        [18., 24., 24., 19., 42., 24., 28., 25., 26., 33.]], device='cuda:0')
Train accuarcate: 84.45%



iteration:
   57
    0   316   bit_w:-1  loss: 0.58889
    1   150   bit_w: 1  loss: 0.58796
    2   234   bit_w: 1  loss: 0.58552
    3   318   bit_w:-1  loss: 0.58571
    4   177   bit_w: 1  loss: 0.58447
    704    129   3528   4081    530    677    696   2592   1007    442
     -1     -1      1      1      0     -1      0      1      0     -1
Train accuarcate: 84.28%
tensor([[26., 22., 24., 31., 23., 26., 19., 49., 17., 31.],
        [30., 26., 35., 30., 14., 29., 37., 20., 25., 15.],
        [16., 43., 28., 25., 21., 29., 23., 24., 24., 17.],
        [51., 13., 28., 26., 17., 32., 30., 27., 25., 28.],
        [20., 23., 29., 17., 44., 19., 27., 31., 25., 37.],
        [15., 45., 29., 28., 22., 23., 20., 26., 26., 21.],
        [15., 24., 20., 30., 41., 30., 22., 27., 29., 35.],
        [13., 28., 17., 23., 35., 31., 29., 24., 31., 37.],
        [29., 25., 35., 16., 27., 22., 30., 25., 21., 32.],
        [22., 25., 13., 27., 32., 33., 23., 33., 29., 41.],
        [44., 18., 29., 32., 19., 30., 26., 26., 27., 18.],
        [20., 29., 29., 24., 35., 19., 32., 24., 29., 26.],
        [22., 18., 23., 23., 40., 27., 27., 30., 22., 43.],
        [50., 15., 24., 24., 18., 35., 26., 28., 29., 26.],
        [15., 45., 27., 28., 20., 26., 25., 23., 27., 19.],
        [29., 22., 21., 36., 18., 34., 22., 31., 26., 25.],
        [24., 22., 29., 22., 37., 16., 23., 33., 27., 43.],
        [30., 22., 27., 28., 24., 26., 20., 44., 14., 27.],
        [21., 28., 20., 31., 22., 30., 32., 24., 24., 27.],
        [19., 25., 24., 19., 42., 25., 28., 25., 26., 34.]], device='cuda:0')
Train accuarcate: 84.38%



iteration:
   58
    0   399   bit_w:-1  loss: 0.58013
    1   685   bit_w: 1  loss: 0.57974
    2   374   bit_w:-1  loss: 0.57834
    3   682   bit_w: 1  loss: 0.57785
    4   397   bit_w:-1  loss: 0.57738
   1220   6702   5317   4585   1426   2810   1344   5547   4779   3401
     -1      0      1      1     -1      0     -1      0      1      0
Train accuarcate: 84.34%
tensor([[26., 22., 25., 32., 23., 26., 19., 49., 18., 31.],
        [30., 26., 36., 31., 14., 29., 37., 20., 26., 15.],
        [16., 43., 29., 26., 21., 29., 23., 24., 25., 17.],
        [52., 13., 28., 26., 18., 32., 31., 27., 25., 28.],
        [21., 23., 29., 17., 45., 19., 28., 31., 25., 37.],
        [15., 45., 30., 29., 22., 23., 20., 26., 27., 21.],
        [16., 24., 20., 30., 42., 30., 23., 27., 29., 35.],
        [14., 28., 17., 23., 36., 31., 30., 24., 31., 37.],
        [30., 25., 35., 16., 28., 22., 31., 25., 21., 32.],
        [22., 25., 14., 28., 32., 33., 23., 33., 30., 41.],
        [45., 18., 29., 32., 20., 30., 27., 26., 27., 18.],
        [21., 29., 29., 24., 36., 19., 33., 24., 29., 26.],
        [22., 18., 24., 24., 40., 27., 27., 30., 23., 43.],
        [50., 15., 25., 25., 18., 35., 26., 28., 30., 26.],
        [15., 45., 28., 29., 20., 26., 25., 23., 28., 19.],
        [29., 22., 22., 37., 18., 34., 22., 31., 27., 25.],
        [25., 22., 29., 22., 38., 16., 24., 33., 27., 43.],
        [30., 22., 28., 29., 24., 26., 20., 44., 15., 27.],
        [22., 28., 20., 31., 23., 30., 33., 24., 24., 27.],
        [19., 25., 25., 20., 42., 25., 28., 25., 27., 34.]], device='cuda:0')
Train accuarcate: 84.49%



iteration:
   59
    0   329   bit_w:-1  loss: 0.57450
    1   551   bit_w: 1  loss: 0.57278
    2   567   bit_w: 1  loss: 0.57232
    3   327   bit_w:-1  loss: 0.57108
    4   521   bit_w: 1  loss: 0.56974
   3319    319   3740   4603   1459   3999   4340    775   1991   1478
      0     -1      1      1     -1      1      1     -1      0     -1
Train accuarcate: 84.40%
tensor([[26., 23., 25., 32., 24., 26., 19., 50., 18., 32.],
        [30., 27., 36., 31., 15., 29., 37., 21., 26., 16.],
        [16., 44., 29., 26., 22., 29., 23., 25., 25., 18.],
        [52., 13., 29., 27., 18., 33., 32., 27., 25., 28.],
        [21., 24., 29., 17., 46., 19., 28., 32., 25., 38.],
        [15., 46., 30., 29., 23., 23., 20., 27., 27., 22.],
        [16., 25., 20., 30., 43., 30., 23., 28., 29., 36.],
        [14., 28., 18., 24., 36., 32., 31., 24., 31., 37.],
        [30., 25., 36., 17., 28., 23., 32., 25., 21., 32.],
        [22., 26., 14., 28., 33., 33., 23., 34., 30., 42.],
        [45., 18., 30., 33., 20., 31., 28., 26., 27., 18.],
        [21., 30., 29., 24., 37., 19., 33., 25., 29., 27.],
        [22., 19., 24., 24., 41., 27., 27., 31., 23., 44.],
        [50., 16., 25., 25., 19., 35., 26., 29., 30., 27.],
        [15., 46., 28., 29., 21., 26., 25., 24., 28., 20.],
        [29., 23., 22., 37., 19., 34., 22., 32., 27., 26.],
        [25., 23., 29., 22., 39., 16., 24., 34., 27., 44.],
        [30., 23., 28., 29., 25., 26., 20., 45., 15., 28.],
        [22., 29., 20., 31., 24., 30., 33., 25., 24., 28.],
        [19., 25., 26., 21., 42., 26., 29., 25., 27., 34.]], device='cuda:0')
Train accuarcate: 84.60%



iteration:
   60
    0   414   bit_w:-1  loss: 0.56632
    1   607   bit_w: 1  loss: 0.56532
    2   439   bit_w:-1  loss: 0.56429
    3   247   bit_w: 1  loss: 0.56324
    4   210   bit_w: 1  loss: 0.56353
   1919   2851   3174   2950    789   3365   1110   2243   4143   4014
     -1      0      1      0     -1      1     -1      0      1      1
Train accuarcate: 84.47%
tensor([[27., 23., 25., 32., 25., 26., 20., 50., 18., 32.],
        [30., 27., 37., 31., 15., 30., 37., 21., 27., 17.],
        [17., 44., 29., 26., 23., 29., 24., 25., 25., 18.],
        [53., 13., 29., 27., 19., 33., 33., 27., 25., 28.],
        [22., 24., 29., 17., 47., 19., 29., 32., 25., 38.],
        [16., 46., 30., 29., 24., 23., 21., 27., 27., 22.],
        [17., 25., 20., 30., 44., 30., 24., 28., 29., 36.],
        [15., 28., 18., 24., 37., 32., 32., 24., 31., 37.],
        [30., 25., 37., 17., 28., 24., 32., 25., 22., 33.],
        [23., 26., 14., 28., 34., 33., 24., 34., 30., 42.],
        [46., 18., 30., 33., 21., 31., 29., 26., 27., 18.],
        [22., 30., 29., 24., 38., 19., 34., 25., 29., 27.],
        [22., 19., 25., 24., 41., 28., 27., 31., 24., 45.],
        [50., 16., 26., 25., 19., 36., 26., 29., 31., 28.],
        [15., 46., 29., 29., 21., 27., 25., 24., 29., 21.],
        [29., 23., 23., 37., 19., 35., 22., 32., 28., 27.],
        [25., 23., 30., 22., 39., 17., 24., 34., 28., 45.],
        [31., 23., 28., 29., 26., 26., 21., 45., 15., 28.],
        [23., 29., 20., 31., 25., 30., 34., 25., 24., 28.],
        [20., 25., 26., 21., 43., 26., 30., 25., 27., 34.]], device='cuda:0')
Train accuarcate: 84.84%



iteration:
   61
    0   406   bit_w:-1  loss: 0.56012
    1   377   bit_w:-1  loss: 0.55920
    2   437   bit_w: 1  loss: 0.55915
    3   407   bit_w:-1  loss: 0.55842
    4   125   bit_w:-1  loss: 0.55825
   5823    408   3376   2193   4604   3180   3325   5832   1170   4280
      1     -1     -1     -1      0      1      0      1     -1      0
Train accuarcate: 84.60%
tensor([[28., 23., 25., 32., 25., 27., 20., 51., 18., 32.],
        [30., 28., 38., 32., 15., 30., 37., 21., 28., 17.],
        [17., 45., 30., 27., 23., 29., 24., 25., 26., 18.],
        [54., 13., 29., 27., 19., 34., 33., 28., 25., 28.],
        [23., 24., 29., 17., 47., 20., 29., 33., 25., 38.],
        [16., 47., 31., 30., 24., 23., 21., 27., 28., 22.],
        [18., 25., 20., 30., 44., 31., 24., 29., 29., 36.],
        [16., 28., 18., 24., 37., 33., 32., 25., 31., 37.],
        [31., 25., 37., 17., 28., 25., 32., 26., 22., 33.],
        [23., 27., 15., 29., 34., 33., 24., 34., 31., 42.],
        [47., 18., 30., 33., 21., 32., 29., 27., 27., 18.],
        [22., 31., 30., 25., 38., 19., 34., 25., 30., 27.],
        [23., 19., 25., 24., 41., 29., 27., 32., 24., 45.],
        [51., 16., 26., 25., 19., 37., 26., 30., 31., 28.],
        [15., 47., 30., 30., 21., 27., 25., 24., 30., 21.],
        [30., 23., 23., 37., 19., 36., 22., 33., 28., 27.],
        [26., 23., 30., 22., 39., 18., 24., 35., 28., 45.],
        [32., 23., 28., 29., 26., 27., 21., 46., 15., 28.],
        [23., 30., 21., 32., 25., 30., 34., 25., 25., 28.],
        [21., 25., 26., 21., 43., 27., 30., 26., 27., 34.]], device='cuda:0')
Train accuarcate: 85.04%



iteration:
   62
    0   273   bit_w:-1  loss: 0.55522
    1   187   bit_w:-1  loss: 0.55398
    2   130   bit_w: 1  loss: 0.55112
    3   124   bit_w: 1  loss: 0.55204
    4   218   bit_w:-1  loss: 0.54999
   1994   5578   4598   4545   3058   1694   5551   4392   2445   4612
     -1      0      1      1     -1     -1      1      0     -1      1
Train accuarcate: 84.86%
tensor([[29., 23., 25., 32., 26., 28., 20., 51., 19., 32.],
        [30., 28., 39., 33., 15., 30., 38., 21., 28., 18.],
        [17., 45., 31., 28., 23., 29., 25., 25., 26., 19.],
        [54., 13., 30., 28., 19., 34., 34., 28., 25., 29.],
        [24., 24., 29., 17., 48., 21., 29., 33., 26., 38.],
        [16., 47., 32., 31., 24., 23., 22., 27., 28., 23.],
        [18., 25., 21., 31., 44., 31., 25., 29., 29., 37.],
        [16., 28., 19., 25., 37., 33., 33., 25., 31., 38.],
        [32., 25., 37., 17., 29., 26., 32., 26., 23., 33.],
        [24., 27., 15., 29., 35., 34., 24., 34., 32., 42.],
        [48., 18., 30., 33., 22., 33., 29., 27., 28., 18.],
        [22., 31., 31., 26., 38., 19., 35., 25., 30., 28.],
        [23., 19., 26., 25., 41., 29., 28., 32., 24., 46.],
        [52., 16., 26., 25., 20., 38., 26., 30., 32., 28.],
        [15., 47., 31., 31., 21., 27., 26., 24., 30., 22.],
        [30., 23., 24., 38., 19., 36., 23., 33., 28., 28.],
        [26., 23., 31., 23., 39., 18., 25., 35., 28., 46.],
        [32., 23., 29., 30., 26., 27., 22., 46., 15., 29.],
        [23., 30., 22., 33., 25., 30., 35., 25., 25., 29.],
        [21., 25., 27., 22., 43., 27., 31., 26., 27., 35.]], device='cuda:0')
Train accuarcate: 85.39%



iteration:
   63
    0   289   bit_w:-1  loss: 0.54723
    1   454   bit_w: 1  loss: 0.54586
    2   247   bit_w:-1  loss: 0.54497
    3   149   bit_w: 1  loss: 0.54419
    4   403   bit_w: 1  loss: 0.54341
   1766    228   2972   3841   2480   1706   3358    250   1463   1431
      0     -1      1      1      1     -1      1     -1     -1      0
Train accuarcate: 85.10%
tensor([[29., 24., 25., 32., 26., 29., 20., 52., 20., 32.],
        [30., 28., 40., 34., 16., 30., 39., 21., 28., 18.],
        [17., 46., 31., 28., 23., 30., 25., 26., 27., 19.],
        [54., 14., 30., 28., 19., 35., 34., 29., 26., 29.],
        [24., 25., 29., 17., 48., 22., 29., 34., 27., 38.],
        [16., 48., 32., 31., 24., 24., 22., 28., 29., 23.],
        [18., 25., 22., 32., 45., 31., 26., 29., 29., 37.],
        [16., 29., 19., 25., 37., 34., 33., 26., 32., 38.],
        [32., 26., 37., 17., 29., 27., 32., 27., 24., 33.],
        [24., 28., 15., 29., 35., 35., 24., 35., 33., 42.],
        [48., 19., 30., 33., 22., 34., 29., 28., 29., 18.],
        [22., 32., 31., 26., 38., 20., 35., 26., 31., 28.],
        [23., 20., 26., 25., 41., 30., 28., 33., 25., 46.],
        [52., 17., 26., 25., 20., 39., 26., 31., 33., 28.],
        [15., 48., 31., 31., 21., 28., 26., 25., 31., 22.],
        [30., 23., 25., 39., 20., 36., 24., 33., 28., 28.],
        [26., 24., 31., 23., 39., 19., 25., 36., 29., 46.],
        [32., 24., 29., 30., 26., 28., 22., 47., 16., 29.],
        [23., 30., 23., 34., 26., 30., 36., 25., 25., 29.],
        [21., 26., 27., 22., 43., 28., 31., 27., 28., 35.]], device='cuda:0')
Train accuarcate: 85.57%



iteration:
   64
    0   436   bit_w:-1  loss: 0.54070
    1   353   bit_w:-1  loss: 0.53923
    2   403   bit_w: 1  loss: 0.54032
    3   540   bit_w: 1  loss: 0.53867
    4   234   bit_w: 1  loss: 0.53834
   4740    175   1947   1569    564   2949   2228    668   2014    611
      1     -1      1     -1     -1      1      0      0      1     -1
Train accuarcate: 85.08%
tensor([[29., 25., 25., 33., 27., 29., 20., 52., 20., 33.],
        [31., 28., 41., 34., 16., 31., 39., 21., 29., 18.],
        [17., 47., 31., 29., 24., 30., 25., 26., 27., 20.],
        [55., 14., 31., 28., 19., 36., 34., 29., 27., 29.],
        [25., 25., 30., 17., 48., 23., 29., 34., 28., 38.],
        [16., 49., 32., 32., 25., 24., 22., 28., 29., 24.],
        [18., 26., 22., 33., 46., 31., 26., 29., 29., 38.],
        [16., 30., 19., 26., 38., 34., 33., 26., 32., 39.],
        [32., 27., 37., 18., 30., 27., 32., 27., 24., 34.],
        [24., 29., 15., 30., 36., 35., 24., 35., 33., 43.],
        [49., 19., 31., 33., 22., 35., 29., 28., 30., 18.],
        [23., 32., 32., 26., 38., 21., 35., 26., 32., 28.],
        [23., 21., 26., 26., 42., 30., 28., 33., 25., 47.],
        [53., 17., 27., 25., 20., 40., 26., 31., 34., 28.],
        [15., 49., 31., 32., 22., 28., 26., 25., 31., 23.],
        [30., 24., 25., 40., 21., 36., 24., 33., 28., 29.],
        [26., 25., 31., 24., 40., 19., 25., 36., 29., 47.],
        [33., 24., 30., 30., 26., 29., 22., 47., 17., 29.],
        [23., 31., 23., 35., 27., 30., 36., 25., 25., 30.],
        [21., 27., 27., 23., 44., 28., 31., 27., 28., 36.]], device='cuda:0')
Train accuarcate: 85.42%



iteration:
   65
    0   157   bit_w:-1  loss: 0.53475
    1   268   bit_w: 1  loss: 0.53344
    2   212   bit_w: 1  loss: 0.53319
    3   156   bit_w:-1  loss: 0.53195
    4   717   bit_w: 1  loss: 0.53164
   2226   2799   1988   2746   1240   2965    454   5734   2085   5376
      0      0      0      0     -1      0     -1      1      1      1
Train accuarcate: 85.26%
tensor([[29., 25., 25., 33., 27., 29., 20., 53., 21., 34.],
        [31., 28., 41., 34., 16., 31., 39., 22., 30., 19.],
        [17., 47., 31., 29., 24., 30., 25., 27., 28., 21.],
        [55., 14., 31., 28., 19., 36., 34., 30., 28., 30.],
        [25., 25., 30., 17., 49., 23., 30., 34., 28., 38.],
        [16., 49., 32., 32., 25., 24., 22., 29., 30., 25.],
        [18., 26., 22., 33., 47., 31., 27., 29., 29., 38.],
        [16., 30., 19., 26., 39., 34., 34., 26., 32., 39.],
        [32., 27., 37., 18., 31., 27., 33., 27., 24., 34.],
        [24., 29., 15., 30., 36., 35., 24., 36., 34., 44.],
        [49., 19., 31., 33., 23., 35., 30., 28., 30., 18.],
        [23., 32., 32., 26., 39., 21., 36., 26., 32., 28.],
        [23., 21., 26., 26., 42., 30., 28., 34., 26., 48.],
        [53., 17., 27., 25., 21., 40., 27., 31., 34., 28.],
        [15., 49., 31., 32., 23., 28., 27., 25., 31., 23.],
        [30., 24., 25., 40., 22., 36., 25., 33., 28., 29.],
        [26., 25., 31., 24., 40., 19., 25., 37., 30., 48.],
        [33., 24., 30., 30., 26., 29., 22., 48., 18., 30.],
        [23., 31., 23., 35., 27., 30., 36., 26., 26., 31.],
        [21., 27., 27., 23., 45., 28., 32., 27., 28., 36.]], device='cuda:0')
Train accuarcate: 85.52%



iteration:
   66
    0   658   bit_w:-1  loss: 0.52865
    1   574   bit_w: 1  loss: 0.52651
    2   430   bit_w:-1  loss: 0.52746
    3   629   bit_w:-1  loss: 0.52665
    4   239   bit_w: 1  loss: 0.52693
   3138   6341   4508   2343   1990   2385   4793   5577   2013   4031
     -1      1      0      0     -1     -1      1      1     -1      1
Train accuarcate: 85.28%
tensor([[29., 26., 25., 33., 27., 29., 21., 54., 21., 35.],
        [31., 29., 41., 34., 16., 31., 40., 23., 30., 20.],
        [17., 48., 31., 29., 24., 30., 26., 28., 28., 22.],
        [55., 15., 31., 28., 19., 36., 35., 31., 28., 31.],
        [25., 26., 30., 17., 49., 23., 31., 35., 28., 39.],
        [16., 50., 32., 32., 25., 24., 23., 30., 30., 26.],
        [19., 26., 22., 33., 48., 32., 27., 29., 30., 38.],
        [17., 30., 19., 26., 40., 35., 34., 26., 33., 39.],
        [32., 28., 37., 18., 31., 27., 34., 28., 24., 35.],
        [24., 30., 15., 30., 36., 35., 25., 37., 34., 45.],
        [50., 19., 31., 33., 24., 36., 30., 28., 31., 18.],
        [23., 33., 32., 26., 39., 21., 37., 27., 32., 29.],
        [23., 22., 26., 26., 42., 30., 29., 35., 26., 49.],
        [53., 18., 27., 25., 21., 40., 28., 32., 34., 29.],
        [15., 50., 31., 32., 23., 28., 28., 26., 31., 24.],
        [31., 24., 25., 40., 23., 37., 25., 33., 29., 29.],
        [26., 26., 31., 24., 40., 19., 26., 38., 30., 49.],
        [33., 25., 30., 30., 26., 29., 23., 49., 18., 31.],
        [23., 32., 23., 35., 27., 30., 37., 27., 26., 32.],
        [22., 27., 27., 23., 46., 29., 32., 27., 29., 36.]], device='cuda:0')
Train accuarcate: 85.56%



iteration:
   67
    0   358   bit_w:-1  loss: 0.52177
    1   386   bit_w:-1  loss: 0.52193
    2   536   bit_w: 1  loss: 0.52137
    3   356   bit_w:-1  loss: 0.52086
    4   176   bit_w: 1  loss: 0.51972
    784   6733   5011   5851   4423   5191   3972   4319   4435   4373
     -1      0      1      1      0      1      0      0     -1     -1
Train accuarcate: 85.48%
tensor([[29., 26., 26., 34., 27., 30., 21., 54., 21., 35.],
        [31., 29., 42., 35., 16., 32., 40., 23., 30., 20.],
        [17., 48., 32., 30., 24., 31., 26., 28., 28., 22.],
        [56., 15., 31., 28., 19., 36., 35., 31., 29., 32.],
        [25., 26., 31., 18., 49., 24., 31., 35., 28., 39.],
        [16., 50., 33., 33., 25., 25., 23., 30., 30., 26.],
        [19., 26., 23., 34., 48., 33., 27., 29., 30., 38.],
        [17., 30., 20., 27., 40., 36., 34., 26., 33., 39.],
        [32., 28., 38., 19., 31., 28., 34., 28., 24., 35.],
        [25., 30., 15., 30., 36., 35., 25., 37., 35., 46.],
        [51., 19., 31., 33., 24., 36., 30., 28., 32., 19.],
        [24., 33., 32., 26., 39., 21., 37., 27., 33., 30.],
        [23., 22., 27., 27., 42., 31., 29., 35., 26., 49.],
        [54., 18., 27., 25., 21., 40., 28., 32., 35., 30.],
        [15., 50., 32., 33., 23., 29., 28., 26., 31., 24.],
        [31., 24., 26., 41., 23., 38., 25., 33., 29., 29.],
        [26., 26., 32., 25., 40., 20., 26., 38., 30., 49.],
        [34., 25., 30., 30., 26., 29., 23., 49., 19., 32.],
        [23., 32., 24., 36., 27., 31., 37., 27., 26., 32.],
        [22., 27., 28., 24., 46., 30., 32., 27., 29., 36.]], device='cuda:0')
Train accuarcate: 85.77%



iteration:
   68
    0   484   bit_w:-1  loss: 0.51701
    1   295   bit_w: 1  loss: 0.51595
    2   515   bit_w:-1  loss: 0.51589
    3   679   bit_w: 1  loss: 0.51379
    4   628   bit_w:-1  loss: 0.51376
    972   5204   1156   4113   2882   2544    647   4406   1015   3474
     -1      1     -1      1      0      0     -1      1     -1      0
Train accuarcate: 85.64%
tensor([[30., 26., 27., 34., 27., 30., 22., 54., 22., 35.],
        [31., 30., 42., 36., 16., 32., 40., 24., 30., 20.],
        [17., 49., 32., 31., 24., 31., 26., 29., 28., 22.],
        [57., 15., 32., 28., 19., 36., 36., 31., 30., 32.],
        [26., 26., 32., 18., 49., 24., 32., 35., 29., 39.],
        [16., 51., 33., 34., 25., 25., 23., 31., 30., 26.],
        [19., 27., 23., 35., 48., 33., 27., 30., 30., 38.],
        [17., 31., 20., 28., 40., 36., 34., 27., 33., 39.],
        [33., 28., 39., 19., 31., 28., 35., 28., 25., 35.],
        [26., 30., 16., 30., 36., 35., 26., 37., 36., 46.],
        [52., 19., 32., 33., 24., 36., 31., 28., 33., 19.],
        [25., 33., 33., 26., 39., 21., 38., 27., 34., 30.],
        [23., 23., 27., 28., 42., 31., 29., 36., 26., 49.],
        [55., 18., 28., 25., 21., 40., 29., 32., 36., 30.],
        [15., 51., 32., 34., 23., 29., 28., 27., 31., 24.],
        [32., 24., 27., 41., 23., 38., 26., 33., 30., 29.],
        [26., 27., 32., 26., 40., 20., 26., 39., 30., 49.],
        [34., 26., 30., 31., 26., 29., 23., 50., 19., 32.],
        [23., 33., 24., 37., 27., 31., 37., 28., 26., 32.],
        [22., 28., 28., 25., 46., 30., 32., 28., 29., 36.]], device='cuda:0')
Train accuarcate: 86.05%



iteration:
   69
    0   602   bit_w:-1  loss: 0.51133
    1   658   bit_w:-1  loss: 0.50995
    2   583   bit_w: 1  loss: 0.50899
    3   359   bit_w:-1  loss: 0.50894
    4   191   bit_w: 1  loss: 0.50781
    398   3699   3782    595   3698   1842   1268   2576    923   2999
     -1      0      1      0      1      1     -1      0     -1      1
Train accuarcate: 85.77%
tensor([[31., 26., 27., 34., 27., 30., 23., 54., 23., 35.],
        [31., 30., 43., 36., 17., 33., 40., 24., 30., 21.],
        [17., 49., 33., 31., 25., 32., 26., 29., 28., 23.],
        [58., 15., 32., 28., 19., 36., 37., 31., 31., 32.],
        [26., 26., 33., 18., 50., 25., 32., 35., 29., 40.],
        [16., 51., 34., 34., 26., 26., 23., 31., 30., 27.],
        [20., 27., 23., 35., 48., 33., 28., 30., 31., 38.],
        [17., 31., 21., 28., 41., 37., 34., 27., 33., 40.],
        [33., 28., 40., 19., 32., 29., 35., 28., 25., 36.],
        [27., 30., 16., 30., 36., 35., 27., 37., 37., 46.],
        [53., 19., 32., 33., 24., 36., 32., 28., 34., 19.],
        [26., 33., 33., 26., 39., 21., 39., 27., 35., 30.],
        [24., 23., 27., 28., 42., 31., 30., 36., 27., 49.],
        [55., 18., 29., 25., 22., 41., 29., 32., 36., 31.],
        [16., 51., 32., 34., 23., 29., 29., 27., 32., 24.],
        [33., 24., 27., 41., 23., 38., 27., 33., 31., 29.],
        [26., 27., 33., 26., 41., 21., 26., 39., 30., 50.],
        [35., 26., 30., 31., 26., 29., 24., 50., 20., 32.],
        [23., 33., 25., 37., 28., 32., 37., 28., 26., 33.],
        [22., 28., 29., 25., 47., 31., 32., 28., 29., 37.]], device='cuda:0')
Train accuarcate: 86.13%



iteration:
   70
    0   599   bit_w:-1  loss: 0.50512
    1   569   bit_w:-1  loss: 0.50322
    2   682   bit_w: 1  loss: 0.50235
    3   553   bit_w:-1  loss: 0.50159
    4   651   bit_w: 1  loss: 0.50151
   1170   3931    841   3245   5085   2379   1546   5853   2435   5608
      0      0     -1      1      1     -1      0      1      0      1
Train accuarcate: 85.93%
tensor([[31., 26., 27., 35., 28., 30., 23., 55., 23., 36.],
        [31., 30., 44., 36., 17., 34., 40., 24., 30., 21.],
        [17., 49., 34., 31., 25., 33., 26., 29., 28., 23.],
        [58., 15., 33., 28., 19., 37., 37., 31., 31., 32.],
        [26., 26., 33., 19., 51., 25., 32., 36., 29., 41.],
        [16., 51., 35., 34., 26., 27., 23., 31., 30., 27.],
        [20., 27., 23., 36., 49., 33., 28., 31., 31., 39.],
        [17., 31., 21., 29., 42., 37., 34., 28., 33., 41.],
        [33., 28., 40., 20., 33., 29., 35., 29., 25., 37.],
        [27., 30., 16., 31., 37., 35., 27., 38., 37., 47.],
        [53., 19., 33., 33., 24., 37., 32., 28., 34., 19.],
        [26., 33., 34., 26., 39., 22., 39., 27., 35., 30.],
        [24., 23., 27., 29., 43., 31., 30., 37., 27., 50.],
        [55., 18., 30., 25., 22., 42., 29., 32., 36., 31.],
        [16., 51., 32., 35., 24., 29., 29., 28., 32., 25.],
        [33., 24., 27., 42., 24., 38., 27., 34., 31., 30.],
        [26., 27., 33., 27., 42., 21., 26., 40., 30., 51.],
        [35., 26., 30., 32., 27., 29., 24., 51., 20., 33.],
        [23., 33., 26., 37., 28., 33., 37., 28., 26., 33.],
        [22., 28., 29., 26., 48., 31., 32., 29., 29., 38.]], device='cuda:0')
Train accuarcate: 86.32%



iteration:
   71
    0   315   bit_w:-1  loss: 0.49917
    1   553   bit_w: 1  loss: 0.49833
    2   522   bit_w: 1  loss: 0.49759
    3   274   bit_w:-1  loss: 0.49702
    4   192   bit_w: 1  loss: 0.49684
   2110     78   3264   4213    985   2566   4157    536   1412    698
     -1     -1      1      1      0      1      1     -1     -1      0
Train accuarcate: 86.09%
tensor([[32., 27., 27., 35., 28., 30., 23., 56., 24., 36.],
        [32., 31., 44., 36., 17., 34., 40., 25., 31., 21.],
        [18., 50., 34., 31., 25., 33., 26., 30., 29., 23.],
        [58., 15., 34., 29., 19., 38., 38., 31., 31., 32.],
        [26., 26., 34., 20., 51., 26., 33., 36., 29., 41.],
        [17., 52., 35., 34., 26., 27., 23., 32., 31., 27.],
        [21., 28., 23., 36., 49., 33., 28., 32., 32., 39.],
        [17., 31., 22., 30., 42., 38., 35., 28., 33., 41.],
        [33., 28., 41., 21., 33., 30., 36., 29., 25., 37.],
        [28., 31., 16., 31., 37., 35., 27., 39., 38., 47.],
        [54., 20., 33., 33., 24., 37., 32., 29., 35., 19.],
        [27., 34., 34., 26., 39., 22., 39., 28., 36., 30.],
        [25., 24., 27., 29., 43., 31., 30., 38., 28., 50.],
        [56., 19., 30., 25., 22., 42., 29., 33., 37., 31.],
        [17., 52., 32., 35., 24., 29., 29., 29., 33., 25.],
        [34., 25., 27., 42., 24., 38., 27., 35., 32., 30.],
        [27., 28., 33., 27., 42., 21., 26., 41., 31., 51.],
        [35., 26., 31., 33., 27., 30., 25., 51., 20., 33.],
        [24., 34., 26., 37., 28., 33., 37., 29., 27., 33.],
        [23., 29., 29., 26., 48., 31., 32., 30., 30., 38.]], device='cuda:0')
Train accuarcate: 86.47%



iteration:
   72
    0   380   bit_w:-1  loss: 0.49477
    1   351   bit_w:-1  loss: 0.49350
    2   544   bit_w: 1  loss: 0.49320
    3   381   bit_w:-1  loss: 0.49267
    4   435   bit_w:-1  loss: 0.49291
   5762   3155   3029   1199   1446   3450   3218   2818   1318    886
      1     -1      0     -1     -1      1      0      0      0     -1
Train accuarcate: 86.06%
tensor([[33., 27., 27., 35., 28., 31., 23., 56., 24., 36.],
        [33., 31., 44., 36., 17., 35., 40., 25., 31., 21.],
        [19., 50., 34., 31., 25., 34., 26., 30., 29., 23.],
        [59., 15., 34., 29., 19., 39., 38., 31., 31., 32.],
        [27., 26., 34., 20., 51., 27., 33., 36., 29., 41.],
        [17., 53., 35., 35., 27., 27., 23., 32., 31., 28.],
        [21., 29., 23., 37., 50., 33., 28., 32., 32., 40.],
        [17., 32., 22., 31., 43., 38., 35., 28., 33., 42.],
        [34., 28., 41., 21., 33., 31., 36., 29., 25., 37.],
        [28., 32., 16., 32., 38., 35., 27., 39., 38., 48.],
        [55., 20., 33., 33., 24., 38., 32., 29., 35., 19.],
        [28., 34., 34., 26., 39., 23., 39., 28., 36., 30.],
        [25., 25., 27., 30., 44., 31., 30., 38., 28., 51.],
        [57., 19., 30., 25., 22., 43., 29., 33., 37., 31.],
        [17., 53., 32., 36., 25., 29., 29., 29., 33., 26.],
        [34., 26., 27., 43., 25., 38., 27., 35., 32., 31.],
        [28., 28., 33., 27., 42., 22., 26., 41., 31., 51.],
        [36., 26., 31., 33., 27., 31., 25., 51., 20., 33.],
        [24., 35., 26., 38., 29., 33., 37., 29., 27., 34.],
        [23., 30., 29., 27., 49., 31., 32., 30., 30., 39.]], device='cuda:0')
Train accuarcate: 86.42%



iteration:
   73
    0   321   bit_w:-1  loss: 0.49090
    1   491   bit_w: 1  loss: 0.48979
    2   376   bit_w:-1  loss: 0.49013
    3   148   bit_w: 1  loss: 0.48893
    4   248   bit_w:-1  loss: 0.48963
   4121   5267   5442   1903   5025   1481   3417   5687   2749   5234
      0      0      1      0      0     -1     -1      0     -1      0
Train accuarcate: 86.23%
tensor([[33., 27., 28., 35., 28., 31., 23., 56., 24., 36.],
        [33., 31., 44., 36., 17., 36., 41., 25., 32., 21.],
        [19., 50., 35., 31., 25., 34., 26., 30., 29., 23.],
        [59., 15., 34., 29., 19., 40., 39., 31., 32., 32.],
        [27., 26., 35., 20., 51., 27., 33., 36., 29., 41.],
        [17., 53., 36., 35., 27., 27., 23., 32., 31., 28.],
        [21., 29., 24., 37., 50., 33., 28., 32., 32., 40.],
        [17., 32., 23., 31., 43., 38., 35., 28., 33., 42.],
        [34., 28., 42., 21., 33., 31., 36., 29., 25., 37.],
        [28., 32., 17., 32., 38., 35., 27., 39., 38., 48.],
        [55., 20., 34., 33., 24., 38., 32., 29., 35., 19.],
        [28., 34., 34., 26., 39., 24., 40., 28., 37., 30.],
        [25., 25., 28., 30., 44., 31., 30., 38., 28., 51.],
        [57., 19., 31., 25., 22., 43., 29., 33., 37., 31.],
        [17., 53., 33., 36., 25., 29., 29., 29., 33., 26.],
        [34., 26., 27., 43., 25., 39., 28., 35., 33., 31.],
        [28., 28., 34., 27., 42., 22., 26., 41., 31., 51.],
        [36., 26., 32., 33., 27., 31., 25., 51., 20., 33.],
        [24., 35., 27., 38., 29., 33., 37., 29., 27., 34.],
        [23., 30., 30., 27., 49., 31., 32., 30., 30., 39.]], device='cuda:0')
Train accuarcate: 86.52%



iteration:
   74
    0   288   bit_w:-1  loss: 0.48729
    1   566   bit_w: 1  loss: 0.48623
    2   712   bit_w:-1  loss: 0.48630
    3   553   bit_w: 1  loss: 0.48500
    4   656   bit_w: 1  loss: 0.48522
   4341   2123   3665   4803   1031   3280    793    700   3720    704
      1      0      1      1      0      0     -1     -1      1     -1
Train accuarcate: 86.24%
tensor([[33., 27., 28., 35., 28., 31., 24., 57., 24., 37.],
        [33., 31., 44., 36., 17., 36., 42., 26., 32., 22.],
        [20., 50., 36., 32., 25., 34., 26., 30., 30., 23.],
        [60., 15., 35., 30., 19., 40., 39., 31., 33., 32.],
        [27., 26., 35., 20., 51., 27., 34., 37., 29., 42.],
        [18., 53., 37., 36., 27., 27., 23., 32., 32., 28.],
        [21., 29., 24., 37., 50., 33., 29., 33., 32., 41.],
        [17., 32., 23., 31., 43., 38., 36., 29., 33., 43.],
        [34., 28., 42., 21., 33., 31., 37., 30., 25., 38.],
        [28., 32., 17., 32., 38., 35., 28., 40., 38., 49.],
        [55., 20., 34., 33., 24., 38., 33., 30., 35., 20.],
        [28., 34., 34., 26., 39., 24., 41., 29., 37., 31.],
        [25., 25., 28., 30., 44., 31., 31., 39., 28., 52.],
        [58., 19., 32., 26., 22., 43., 29., 33., 38., 31.],
        [18., 53., 34., 37., 25., 29., 29., 29., 34., 26.],
        [35., 26., 28., 44., 25., 39., 28., 35., 34., 31.],
        [28., 28., 34., 27., 42., 22., 27., 42., 31., 52.],
        [36., 26., 32., 33., 27., 31., 26., 52., 20., 34.],
        [24., 35., 27., 38., 29., 33., 38., 30., 27., 35.],
        [23., 30., 30., 27., 49., 31., 33., 31., 30., 40.]], device='cuda:0')
Train accuarcate: 86.58%



iteration:
   75
    0   327   bit_w:-1  loss: 0.48198
    1   329   bit_w:-1  loss: 0.48155
    2   212   bit_w:-1  loss: 0.48044
    3   400   bit_w: 1  loss: 0.48047
    4   298   bit_w:-1  loss: 0.47982
   3050   6306   2944   3820   5120   5077   5421   2110   2319   2754
      0      1      0     -1      1      1      0     -1     -1      0
Train accuarcate: 86.45%
tensor([[33., 28., 28., 35., 29., 32., 24., 57., 24., 37.],
        [33., 32., 44., 36., 18., 37., 42., 26., 32., 22.],
        [20., 51., 36., 32., 26., 35., 26., 30., 30., 23.],
        [60., 15., 35., 31., 19., 40., 39., 32., 34., 32.],
        [27., 27., 35., 20., 52., 28., 34., 37., 29., 42.],
        [18., 54., 37., 36., 28., 28., 23., 32., 32., 28.],
        [21., 30., 24., 37., 51., 34., 29., 33., 32., 41.],
        [17., 33., 23., 31., 44., 39., 36., 29., 33., 43.],
        [34., 29., 42., 21., 34., 32., 37., 30., 25., 38.],
        [28., 33., 17., 32., 39., 36., 28., 40., 38., 49.],
        [55., 21., 34., 33., 25., 39., 33., 30., 35., 20.],
        [28., 34., 34., 27., 39., 24., 41., 30., 38., 31.],
        [25., 25., 28., 31., 44., 31., 31., 40., 29., 52.],
        [58., 19., 32., 27., 22., 43., 29., 34., 39., 31.],
        [18., 54., 34., 37., 26., 30., 29., 29., 34., 26.],
        [35., 27., 28., 44., 26., 40., 28., 35., 34., 31.],
        [28., 28., 34., 28., 42., 22., 27., 43., 32., 52.],
        [36., 26., 32., 34., 27., 31., 26., 53., 21., 34.],
        [24., 36., 27., 38., 30., 34., 38., 30., 27., 35.],
        [23., 31., 30., 27., 50., 32., 33., 31., 30., 40.]], device='cuda:0')
Train accuarcate: 86.65%



iteration:
   76
    0   398   bit_w:-1  loss: 0.47801
    1   204   bit_w: 1  loss: 0.47641
    2   273   bit_w: 1  loss: 0.47477
    3   427   bit_w:-1  loss: 0.47493
    4   233   bit_w: 1  loss: 0.47329
   1350     98   2741   3089   1279   2151    627   3889   3357   1272
      0     -1      1      1     -1      1     -1      1      1     -1
Train accuarcate: 86.51%
tensor([[33., 28., 29., 36., 29., 33., 24., 58., 25., 37.],
        [33., 32., 45., 37., 18., 38., 42., 27., 33., 22.],
        [20., 52., 36., 32., 27., 35., 27., 30., 30., 24.],
        [60., 16., 35., 31., 20., 40., 40., 32., 34., 33.],
        [27., 28., 35., 20., 53., 28., 35., 37., 29., 43.],
        [18., 55., 37., 36., 29., 28., 24., 32., 32., 29.],
        [21., 30., 25., 38., 51., 35., 29., 34., 33., 41.],
        [17., 34., 23., 31., 45., 39., 37., 29., 33., 44.],
        [34., 30., 42., 21., 35., 32., 38., 30., 25., 39.],
        [28., 33., 18., 33., 39., 37., 28., 41., 39., 49.],
        [55., 21., 35., 34., 25., 40., 33., 31., 36., 20.],
        [28., 35., 34., 27., 40., 24., 42., 30., 38., 32.],
        [25., 26., 28., 31., 45., 31., 32., 40., 29., 53.],
        [58., 20., 32., 27., 23., 43., 30., 34., 39., 32.],
        [18., 55., 34., 37., 27., 30., 30., 29., 34., 27.],
        [35., 27., 29., 45., 26., 41., 28., 36., 35., 31.],
        [28., 29., 34., 28., 43., 22., 28., 43., 32., 53.],
        [36., 26., 33., 35., 27., 32., 26., 54., 22., 34.],
        [24., 36., 28., 39., 30., 35., 38., 31., 28., 35.],
        [23., 32., 30., 27., 51., 32., 34., 31., 30., 41.]], device='cuda:0')
Train accuarcate: 86.85%



iteration:
   77
    0   343   bit_w:-1  loss: 0.47124
    1   347   bit_w: 1  loss: 0.47062
    2   321   bit_w:-1  loss: 0.46943
    3   346   bit_w: 1  loss: 0.46992
    4   369   bit_w:-1  loss: 0.46836
   4063   4291   5567   5255   4272   4623   4799   4908   4293   4134
     -1      0      1      1      0      0     -1      0     -1     -1
Train accuarcate: 86.74%
tensor([[33., 28., 30., 37., 29., 33., 24., 58., 25., 37.],
        [33., 32., 46., 38., 18., 38., 42., 27., 33., 22.],
        [20., 52., 37., 33., 27., 35., 27., 30., 30., 24.],
        [60., 16., 36., 32., 20., 40., 40., 32., 34., 33.],
        [28., 28., 35., 20., 53., 28., 36., 37., 30., 44.],
        [18., 55., 38., 37., 29., 28., 24., 32., 32., 29.],
        [21., 30., 26., 39., 51., 35., 29., 34., 33., 41.],
        [17., 34., 24., 32., 45., 39., 37., 29., 33., 44.],
        [35., 30., 42., 21., 35., 32., 39., 30., 26., 40.],
        [29., 33., 18., 33., 39., 37., 29., 41., 40., 50.],
        [55., 21., 36., 35., 25., 40., 33., 31., 36., 20.],
        [28., 35., 35., 28., 40., 24., 42., 30., 38., 32.],
        [25., 26., 29., 32., 45., 31., 32., 40., 29., 53.],
        [58., 20., 33., 28., 23., 43., 30., 34., 39., 32.],
        [19., 55., 34., 37., 27., 30., 31., 29., 35., 28.],
        [35., 27., 30., 46., 26., 41., 28., 36., 35., 31.],
        [29., 29., 34., 28., 43., 22., 29., 43., 33., 54.],
        [36., 26., 34., 36., 27., 32., 26., 54., 22., 34.],
        [24., 36., 29., 40., 30., 35., 38., 31., 28., 35.],
        [23., 32., 31., 28., 51., 32., 34., 31., 30., 41.]], device='cuda:0')
Train accuarcate: 87.10%



iteration:
   78
    0   463   bit_w:-1  loss: 0.46627
    1   352   bit_w:-1  loss: 0.46520
    2   409   bit_w:-1  loss: 0.46553
    3   565   bit_w: 1  loss: 0.46477
    4   322   bit_w:-1  loss: 0.46475
   5577   2575   2870   1565   1060   3672   2628   1675   1507   1078
      1      0      1      0     -1      1      0     -1     -1      0
Train accuarcate: 86.84%
tensor([[34., 28., 31., 37., 29., 34., 24., 58., 25., 37.],
        [34., 32., 47., 38., 18., 39., 42., 27., 33., 22.],
        [21., 52., 38., 33., 27., 36., 27., 30., 30., 24.],
        [61., 16., 37., 32., 20., 41., 40., 32., 34., 33.],
        [28., 28., 35., 20., 54., 28., 36., 38., 31., 44.],
        [18., 55., 38., 37., 30., 28., 24., 33., 33., 29.],
        [21., 30., 26., 39., 52., 35., 29., 35., 34., 41.],
        [17., 34., 24., 32., 46., 39., 37., 30., 34., 44.],
        [36., 30., 43., 21., 35., 33., 39., 30., 26., 40.],
        [29., 33., 18., 33., 40., 37., 29., 42., 41., 50.],
        [56., 21., 37., 35., 25., 41., 33., 31., 36., 20.],
        [29., 35., 36., 28., 40., 25., 42., 30., 38., 32.],
        [26., 26., 30., 32., 45., 32., 32., 40., 29., 53.],
        [59., 20., 34., 28., 23., 44., 30., 34., 39., 32.],
        [19., 55., 34., 37., 28., 30., 31., 30., 36., 28.],
        [35., 27., 30., 46., 27., 41., 28., 37., 36., 31.],
        [29., 29., 34., 28., 44., 22., 29., 44., 34., 54.],
        [37., 26., 35., 36., 27., 33., 26., 54., 22., 34.],
        [24., 36., 29., 40., 31., 35., 38., 32., 29., 35.],
        [24., 32., 32., 28., 51., 33., 34., 31., 30., 41.]], device='cuda:0')
Train accuarcate: 87.35%



iteration:
   79
    0   469   bit_w:-1  loss: 0.46270
    1   465   bit_w: 1  loss: 0.46177
    2   375   bit_w: 1  loss: 0.46140
    3   525   bit_w:-1  loss: 0.46109
    4   149   bit_w: 1  loss: 0.46121
   1590    218   2849   4082   4601   3765   2959   3919   3884   4790
     -1     -1      0     -1      1      0     -1      0      0      1
Train accuarcate: 86.81%
tensor([[34., 28., 31., 37., 30., 34., 24., 58., 25., 38.],
        [34., 32., 47., 38., 19., 39., 42., 27., 33., 23.],
        [22., 53., 38., 34., 27., 36., 28., 30., 30., 24.],
        [62., 17., 37., 33., 20., 41., 41., 32., 34., 33.],
        [28., 28., 35., 20., 55., 28., 36., 38., 31., 45.],
        [19., 56., 38., 38., 30., 28., 25., 33., 33., 29.],
        [21., 30., 26., 39., 53., 35., 29., 35., 34., 42.],
        [17., 34., 24., 32., 47., 39., 37., 30., 34., 45.],
        [36., 30., 43., 21., 36., 33., 39., 30., 26., 41.],
        [29., 33., 18., 33., 41., 37., 29., 42., 41., 51.],
        [57., 22., 37., 36., 25., 41., 34., 31., 36., 20.],
        [30., 36., 36., 29., 40., 25., 43., 30., 38., 32.],
        [26., 26., 30., 32., 46., 32., 32., 40., 29., 54.],
        [60., 21., 34., 29., 23., 44., 31., 34., 39., 32.],
        [20., 56., 34., 38., 28., 30., 32., 30., 36., 28.],
        [36., 28., 30., 47., 27., 41., 29., 37., 36., 31.],
        [29., 29., 34., 28., 45., 22., 29., 44., 34., 55.],
        [37., 26., 35., 36., 28., 33., 26., 54., 22., 35.],
        [24., 36., 29., 40., 32., 35., 38., 32., 29., 36.],
        [24., 32., 32., 28., 52., 33., 34., 31., 30., 42.]], device='cuda:0')
Train accuarcate: 87.26%



iteration:
   80
    0   484   bit_w:-1  loss: 0.45958
    1   516   bit_w:-1  loss: 0.45850
    2   679   bit_w: 1  loss: 0.45719
    3   514   bit_w:-1  loss: 0.45704
    4   709   bit_w: 1  loss: 0.45456
   1791   2648    544   5501   3320   4447    179   5531    682   4652
     -1      0      0      1      0      1     -1      1     -1      1
Train accuarcate: 86.99%
tensor([[34., 28., 31., 38., 30., 35., 24., 59., 25., 39.],
        [35., 32., 47., 38., 19., 39., 43., 27., 34., 23.],
        [23., 53., 38., 34., 27., 36., 29., 30., 31., 24.],
        [63., 17., 37., 33., 20., 41., 42., 32., 35., 33.],
        [29., 28., 35., 20., 55., 28., 37., 38., 32., 45.],
        [20., 56., 38., 38., 30., 28., 26., 33., 34., 29.],
        [21., 30., 26., 40., 53., 36., 29., 36., 34., 43.],
        [17., 34., 24., 33., 47., 40., 37., 31., 34., 46.],
        [37., 30., 43., 21., 36., 33., 40., 30., 27., 41.],
        [29., 33., 18., 34., 41., 38., 29., 43., 41., 52.],
        [58., 22., 37., 36., 25., 41., 35., 31., 37., 20.],
        [31., 36., 36., 29., 40., 25., 44., 30., 39., 32.],
        [26., 26., 30., 33., 46., 33., 32., 41., 29., 55.],
        [61., 21., 34., 29., 23., 44., 32., 34., 40., 32.],
        [20., 56., 34., 39., 28., 31., 32., 31., 36., 29.],
        [36., 28., 30., 48., 27., 42., 29., 38., 36., 32.],
        [29., 29., 34., 29., 45., 23., 29., 45., 34., 56.],
        [37., 26., 35., 37., 28., 34., 26., 55., 22., 36.],
        [25., 36., 29., 40., 32., 35., 39., 32., 30., 36.],
        [24., 32., 32., 29., 52., 34., 34., 32., 30., 43.]], device='cuda:0')
Train accuarcate: 87.19%



iteration:
   81
    0   345   bit_w:-1  loss: 0.45242
    1   319   bit_w:-1  loss: 0.45100
    2   266   bit_w: 1  loss: 0.44992
    3   371   bit_w:-1  loss: 0.44973
    4   294   bit_w: 1  loss: 0.44827
   1795   6716   5647   5451    823   2261   2181   5137   2290   1675
      0      1      1      1     -1     -1      0      1     -1      0
Train accuarcate: 87.26%
tensor([[34., 29., 32., 39., 30., 35., 24., 60., 25., 39.],
        [35., 33., 48., 39., 19., 39., 43., 28., 34., 23.],
        [23., 54., 39., 35., 27., 36., 29., 31., 31., 24.],
        [63., 18., 38., 34., 20., 41., 42., 33., 35., 33.],
        [29., 28., 35., 20., 56., 29., 37., 38., 33., 45.],
        [20., 57., 39., 39., 30., 28., 26., 34., 34., 29.],
        [21., 30., 26., 40., 54., 37., 29., 36., 35., 43.],
        [17., 35., 25., 34., 47., 40., 37., 32., 34., 46.],
        [37., 30., 43., 21., 37., 34., 40., 30., 28., 41.],
        [29., 33., 18., 34., 42., 39., 29., 43., 42., 52.],
        [58., 22., 37., 36., 26., 42., 35., 31., 38., 20.],
        [31., 36., 36., 29., 41., 26., 44., 30., 40., 32.],
        [26., 26., 30., 33., 47., 34., 32., 41., 30., 55.],
        [61., 21., 34., 29., 24., 45., 32., 34., 41., 32.],
        [20., 57., 35., 40., 28., 31., 32., 32., 36., 29.],
        [36., 28., 30., 48., 28., 43., 29., 38., 37., 32.],
        [29., 29., 34., 29., 46., 24., 29., 45., 35., 56.],
        [37., 27., 36., 38., 28., 34., 26., 56., 22., 36.],
        [25., 37., 30., 41., 32., 35., 39., 33., 30., 36.],
        [24., 32., 32., 29., 53., 35., 34., 32., 31., 43.]], device='cuda:0')
Train accuarcate: 87.62%



iteration:
   82
    0   247   bit_w:-1  loss: 0.44641
    1   713   bit_w: 1  loss: 0.44573
    2   658   bit_w:-1  loss: 0.44508
    3   270   bit_w:-1  loss: 0.44480
    4   212   bit_w: 1  loss: 0.44469
   3438   4568   4332   3196   2444   3135   5680   3329   2449   4837
     -1      0      1      0     -1     -1      1      0     -1      1
Train accuarcate: 87.29%
tensor([[34., 29., 33., 39., 30., 35., 25., 60., 25., 40.],
        [35., 33., 49., 39., 19., 39., 44., 28., 34., 24.],
        [23., 54., 40., 35., 27., 36., 30., 31., 31., 25.],
        [63., 18., 39., 34., 20., 41., 43., 33., 35., 34.],
        [29., 28., 36., 20., 56., 29., 38., 38., 33., 46.],
        [20., 57., 40., 39., 30., 28., 27., 34., 34., 30.],
        [22., 30., 26., 40., 55., 38., 29., 36., 36., 43.],
        [17., 35., 26., 34., 47., 40., 38., 32., 34., 47.],
        [37., 30., 44., 21., 37., 34., 41., 30., 28., 42.],
        [29., 33., 19., 34., 42., 39., 30., 43., 42., 53.],
        [59., 22., 37., 36., 27., 43., 35., 31., 39., 20.],
        [31., 36., 37., 29., 41., 26., 45., 30., 40., 33.],
        [26., 26., 31., 33., 47., 34., 33., 41., 30., 56.],
        [61., 21., 35., 29., 24., 45., 33., 34., 41., 33.],
        [20., 57., 36., 40., 28., 31., 33., 32., 36., 30.],
        [37., 28., 30., 48., 29., 44., 29., 38., 38., 32.],
        [29., 29., 35., 29., 46., 24., 30., 45., 35., 57.],
        [38., 27., 36., 38., 29., 35., 26., 56., 23., 36.],
        [25., 37., 31., 41., 32., 35., 40., 33., 30., 37.],
        [25., 32., 32., 29., 54., 36., 34., 32., 32., 43.]], device='cuda:0')
Train accuarcate: 87.54%



iteration:
   83
    0   188   bit_w:-1  loss: 0.44325
    1   298   bit_w: 1  loss: 0.44212
    2   429   bit_w:-1  loss: 0.44205
    3   208   bit_w: 1  loss: 0.44159
    4   288   bit_w:-1  loss: 0.44134
   3263   6517   4842   5687   2806   3184   3561   5629   4693   4626
     -1      1      0      1     -1     -1      0      1     -1      1
Train accuarcate: 87.36%
tensor([[34., 30., 33., 40., 30., 35., 25., 61., 25., 41.],
        [35., 34., 49., 40., 19., 39., 44., 29., 34., 25.],
        [23., 55., 40., 36., 27., 36., 30., 32., 31., 26.],
        [63., 19., 39., 35., 20., 41., 43., 34., 35., 35.],
        [30., 28., 36., 20., 57., 30., 38., 38., 34., 46.],
        [20., 58., 40., 40., 30., 28., 27., 35., 34., 31.],
        [23., 30., 26., 40., 56., 39., 29., 36., 37., 43.],
        [17., 36., 26., 35., 47., 40., 38., 33., 34., 48.],
        [38., 30., 44., 21., 38., 35., 41., 30., 29., 42.],
        [30., 33., 19., 34., 43., 40., 30., 43., 43., 53.],
        [60., 22., 37., 36., 28., 44., 35., 31., 40., 20.],
        [31., 37., 37., 30., 41., 26., 45., 31., 40., 34.],
        [26., 27., 31., 34., 47., 34., 33., 42., 30., 57.],
        [61., 22., 35., 30., 24., 45., 33., 35., 41., 34.],
        [20., 58., 36., 41., 28., 31., 33., 33., 36., 31.],
        [37., 29., 30., 49., 29., 44., 29., 39., 38., 33.],
        [29., 30., 35., 30., 46., 24., 30., 46., 35., 58.],
        [38., 28., 36., 39., 29., 35., 26., 57., 23., 37.],
        [25., 38., 31., 42., 32., 35., 40., 34., 30., 38.],
        [25., 33., 32., 30., 54., 36., 34., 33., 32., 44.]], device='cuda:0')
Train accuarcate: 87.66%



iteration:
   84
    0   597   bit_w:-1  loss: 0.43973
    1   296   bit_w: 1  loss: 0.43877
    2   212   bit_w:-1  loss: 0.43856
    3   177   bit_w: 1  loss: 0.43833
    4   124   bit_w:-1  loss: 0.43826
    901   5190   2004   3530   5368   2026   3040   4634   2226   2654
     -1      0     -1      0      1     -1     -1      1      0     -1
Train accuarcate: 87.41%
tensor([[34., 30., 33., 40., 31., 35., 25., 62., 25., 41.],
        [36., 34., 50., 40., 19., 40., 45., 29., 34., 26.],
        [23., 55., 40., 36., 28., 36., 30., 33., 31., 26.],
        [64., 19., 40., 35., 20., 42., 44., 34., 35., 36.],
        [30., 28., 36., 20., 58., 30., 38., 39., 34., 46.],
        [20., 58., 40., 40., 31., 28., 27., 36., 34., 31.],
        [23., 30., 26., 40., 57., 39., 29., 37., 37., 43.],
        [17., 36., 26., 35., 48., 40., 38., 34., 34., 48.],
        [39., 30., 45., 21., 38., 36., 42., 30., 29., 43.],
        [31., 33., 20., 34., 43., 41., 31., 43., 43., 54.],
        [60., 22., 37., 36., 29., 44., 35., 32., 40., 20.],
        [31., 37., 37., 30., 42., 26., 45., 32., 40., 34.],
        [27., 27., 32., 34., 47., 35., 34., 42., 30., 58.],
        [62., 22., 36., 30., 24., 46., 34., 35., 41., 35.],
        [20., 58., 36., 41., 29., 31., 33., 34., 36., 31.],
        [37., 29., 30., 49., 30., 44., 29., 40., 38., 33.],
        [30., 30., 36., 30., 46., 25., 31., 46., 35., 59.],
        [38., 28., 36., 39., 30., 35., 26., 58., 23., 37.],
        [25., 38., 31., 42., 33., 35., 40., 35., 30., 38.],
        [25., 33., 32., 30., 55., 36., 34., 34., 32., 44.]], device='cuda:0')
Train accuarcate: 87.59%



iteration:
   85
    0   469   bit_w:-1  loss: 0.43632
    1   466   bit_w:-1  loss: 0.43562
    2   207   bit_w: 1  loss: 0.43429
    3   521   bit_w:-1  loss: 0.43479
    4   181   bit_w: 1  loss: 0.43450
   3189   6715   3911   4460   2440   3704   2472   3770   5241   4159
     -1      1     -1     -1     -1      1     -1     -1      1      0
Train accuarcate: 87.46%
tensor([[34., 31., 33., 40., 31., 36., 25., 62., 26., 41.],
        [36., 35., 50., 40., 19., 41., 45., 29., 35., 26.],
        [23., 56., 40., 36., 28., 37., 30., 33., 32., 26.],
        [65., 19., 41., 36., 21., 42., 45., 35., 35., 36.],
        [31., 28., 37., 21., 59., 30., 39., 40., 34., 46.],
        [20., 59., 40., 40., 31., 29., 27., 36., 35., 31.],
        [23., 31., 26., 40., 57., 40., 29., 37., 38., 43.],
        [17., 37., 26., 35., 48., 41., 38., 34., 35., 48.],
        [40., 30., 46., 22., 39., 36., 43., 31., 29., 43.],
        [31., 34., 20., 34., 43., 42., 31., 43., 44., 54.],
        [60., 23., 37., 36., 29., 45., 35., 32., 41., 20.],
        [32., 37., 38., 31., 43., 26., 46., 33., 40., 34.],
        [28., 27., 33., 35., 48., 35., 35., 43., 30., 58.],
        [62., 23., 36., 30., 24., 47., 34., 35., 42., 35.],
        [20., 59., 36., 41., 29., 32., 33., 34., 37., 31.],
        [38., 29., 31., 50., 31., 44., 30., 41., 38., 33.],
        [30., 31., 36., 30., 46., 26., 31., 46., 36., 59.],
        [39., 28., 37., 40., 31., 35., 27., 59., 23., 37.],
        [25., 39., 31., 42., 33., 36., 40., 35., 31., 38.],
        [26., 33., 33., 31., 56., 36., 35., 35., 32., 44.]], device='cuda:0')
Train accuarcate: 87.64%



iteration:
   86
    0   270   bit_w:-1  loss: 0.43285
    1   182   bit_w:-1  loss: 0.43215
    2   330   bit_w:-1  loss: 0.43209
    3   100   bit_w: 1  loss: 0.43134
    4   239   bit_w:-1  loss: 0.43154
   1110   4466   2834   2007   5216   3733   5404   2115   2383   2290
     -1      0     -1     -1      0      1      1      0      0     -1
Train accuarcate: 87.50%
tensor([[35., 31., 34., 41., 31., 36., 25., 62., 26., 42.],
        [36., 35., 50., 40., 19., 42., 46., 29., 35., 26.],
        [23., 56., 40., 36., 28., 38., 31., 33., 32., 26.],
        [66., 19., 42., 37., 21., 42., 45., 35., 35., 37.],
        [31., 28., 37., 21., 59., 31., 40., 40., 34., 46.],
        [20., 59., 40., 40., 31., 30., 28., 36., 35., 31.],
        [23., 31., 26., 40., 57., 41., 30., 37., 38., 43.],
        [17., 37., 26., 35., 48., 42., 39., 34., 35., 48.],
        [41., 30., 47., 23., 39., 36., 43., 31., 29., 44.],
        [32., 34., 21., 35., 43., 42., 31., 43., 44., 55.],
        [61., 23., 38., 37., 29., 45., 35., 32., 41., 21.],
        [32., 37., 38., 31., 43., 27., 47., 33., 40., 34.],
        [28., 27., 33., 35., 48., 36., 36., 43., 30., 58.],
        [63., 23., 37., 31., 24., 47., 34., 35., 42., 36.],
        [21., 59., 37., 42., 29., 32., 33., 34., 37., 32.],
        [38., 29., 31., 50., 31., 45., 31., 41., 38., 33.],
        [30., 31., 36., 30., 46., 27., 32., 46., 36., 59.],
        [40., 28., 38., 41., 31., 35., 27., 59., 23., 38.],
        [25., 39., 31., 42., 33., 37., 41., 35., 31., 38.],
        [26., 33., 33., 31., 56., 37., 36., 35., 32., 44.]], device='cuda:0')
Train accuarcate: 87.69%



iteration:
   87
    0   606   bit_w:-1  loss: 0.42961
    1   315   bit_w: 1  loss: 0.42918
    2   538   bit_w:-1  loss: 0.42839
    3   290   bit_w: 1  loss: 0.42789
    4   548   bit_w:-1  loss: 0.42748
   2873   5848   1392   1282   4578   3246   2980   5357   4003   5223
     -1      0     -1     -1      0      0      0      1      1      1
Train accuarcate: 87.65%
tensor([[36., 31., 35., 42., 31., 36., 25., 62., 26., 42.],
        [37., 35., 51., 41., 19., 42., 46., 29., 35., 26.],
        [23., 56., 40., 36., 28., 38., 31., 34., 33., 27.],
        [66., 19., 42., 37., 21., 42., 45., 36., 36., 38.],
        [32., 28., 38., 22., 59., 31., 40., 40., 34., 46.],
        [20., 59., 40., 40., 31., 30., 28., 37., 36., 32.],
        [23., 31., 26., 40., 57., 41., 30., 38., 39., 44.],
        [17., 37., 26., 35., 48., 42., 39., 35., 36., 49.],
        [42., 30., 48., 24., 39., 36., 43., 31., 29., 44.],
        [32., 34., 21., 35., 43., 42., 31., 44., 45., 56.],
        [62., 23., 39., 38., 29., 45., 35., 32., 41., 21.],
        [32., 37., 38., 31., 43., 27., 47., 34., 41., 35.],
        [28., 27., 33., 35., 48., 36., 36., 44., 31., 59.],
        [63., 23., 37., 31., 24., 47., 34., 36., 43., 37.],
        [21., 59., 37., 42., 29., 32., 33., 35., 38., 33.],
        [38., 29., 31., 50., 31., 45., 31., 42., 39., 34.],
        [30., 31., 36., 30., 46., 27., 32., 47., 37., 60.],
        [41., 28., 39., 42., 31., 35., 27., 59., 23., 38.],
        [26., 39., 32., 43., 33., 37., 41., 35., 31., 38.],
        [26., 33., 33., 31., 56., 37., 36., 36., 33., 45.]], device='cuda:0')
Train accuarcate: 87.76%



iteration:
   88
    0   321   bit_w:-1  loss: 0.42601
    1   525   bit_w: 1  loss: 0.42490
    2   318   bit_w:-1  loss: 0.42453
    3   581   bit_w: 1  loss: 0.42420
    4   315   bit_w:-1  loss: 0.42377
   2035   4141   5538   3777   1210   1262   2226   3079   1396   1141
      0      0      1      1     -1     -1      0      1     -1      0
Train accuarcate: 87.84%
tensor([[36., 31., 36., 43., 31., 36., 25., 63., 26., 42.],
        [37., 35., 52., 42., 19., 42., 46., 30., 35., 26.],
        [23., 56., 41., 37., 28., 38., 31., 35., 33., 27.],
        [66., 19., 42., 37., 22., 43., 45., 36., 37., 38.],
        [32., 28., 39., 23., 59., 31., 40., 41., 34., 46.],
        [20., 59., 41., 41., 31., 30., 28., 38., 36., 32.],
        [23., 31., 26., 40., 58., 42., 30., 38., 40., 44.],
        [17., 37., 26., 35., 49., 43., 39., 35., 37., 49.],
        [42., 30., 48., 24., 40., 37., 43., 31., 30., 44.],
        [32., 34., 21., 35., 44., 43., 31., 44., 46., 56.],
        [62., 23., 40., 39., 29., 45., 35., 33., 41., 21.],
        [32., 37., 39., 32., 43., 27., 47., 35., 41., 35.],
        [28., 27., 33., 35., 49., 37., 36., 44., 32., 59.],
        [63., 23., 37., 31., 25., 48., 34., 36., 44., 37.],
        [21., 59., 37., 42., 30., 33., 33., 35., 39., 33.],
        [38., 29., 31., 50., 32., 46., 31., 42., 40., 34.],
        [30., 31., 36., 30., 47., 28., 32., 47., 38., 60.],
        [41., 28., 40., 43., 31., 35., 27., 60., 23., 38.],
        [26., 39., 33., 44., 33., 37., 41., 36., 31., 38.],
        [26., 33., 33., 31., 57., 38., 36., 36., 34., 45.]], device='cuda:0')
Train accuarcate: 87.97%



iteration:
   89
    0   600   bit_w:-1  loss: 0.42187
    1   634   bit_w: 1  loss: 0.42125
    2   441   bit_w:-1  loss: 0.42096
    3   350   bit_w: 1  loss: 0.42052
    4   415   bit_w:-1  loss: 0.42052
   1104   6510   3750   5444   3991   4052   1621   3477   4845   4703
     -1      1      0      0      0      0     -1     -1      0      1
Train accuarcate: 87.85%
tensor([[36., 32., 36., 43., 31., 36., 25., 63., 26., 43.],
        [37., 36., 52., 42., 19., 42., 46., 30., 35., 27.],
        [23., 57., 41., 37., 28., 38., 31., 35., 33., 28.],
        [67., 19., 42., 37., 22., 43., 46., 37., 37., 38.],
        [32., 29., 39., 23., 59., 31., 40., 41., 34., 47.],
        [20., 60., 41., 41., 31., 30., 28., 38., 36., 33.],
        [23., 32., 26., 40., 58., 42., 30., 38., 40., 45.],
        [17., 38., 26., 35., 49., 43., 39., 35., 37., 50.],
        [43., 30., 48., 24., 40., 37., 44., 32., 30., 44.],
        [33., 34., 21., 35., 44., 43., 32., 45., 46., 56.],
        [63., 23., 40., 39., 29., 45., 36., 34., 41., 21.],
        [33., 37., 39., 32., 43., 27., 48., 36., 41., 35.],
        [28., 28., 33., 35., 49., 37., 36., 44., 32., 60.],
        [63., 24., 37., 31., 25., 48., 34., 36., 44., 38.],
        [21., 60., 37., 42., 30., 33., 33., 35., 39., 34.],
        [38., 30., 31., 50., 32., 46., 31., 42., 40., 35.],
        [30., 32., 36., 30., 47., 28., 32., 47., 38., 61.],
        [41., 29., 40., 43., 31., 35., 27., 60., 23., 39.],
        [26., 40., 33., 44., 33., 37., 41., 36., 31., 39.],
        [26., 34., 33., 31., 57., 38., 36., 36., 34., 46.]], device='cuda:0')
Train accuarcate: 87.97%



iteration:
   90
    0   322   bit_w:-1  loss: 0.41916
    1   398   bit_w: 1  loss: 0.41839
    2   461   bit_w:-1  loss: 0.41853
    3   379   bit_w: 1  loss: 0.41786
    4   405   bit_w:-1  loss: 0.41795
   5172    972   2160   2714   2906   2413   2769   4893   1009   3644
      1      0      0     -1      1     -1      0      0     -1      0
Train accuarcate: 87.90%
tensor([[37., 32., 36., 43., 32., 36., 25., 63., 26., 43.],
        [37., 36., 52., 43., 19., 43., 46., 30., 36., 27.],
        [24., 57., 41., 37., 29., 38., 31., 35., 33., 28.],
        [68., 19., 42., 37., 23., 43., 46., 37., 37., 38.],
        [33., 29., 39., 23., 60., 31., 40., 41., 34., 47.],
        [20., 60., 41., 42., 31., 31., 28., 38., 37., 33.],
        [24., 32., 26., 40., 59., 42., 30., 38., 40., 45.],
        [17., 38., 26., 36., 49., 44., 39., 35., 38., 50.],
        [44., 30., 48., 24., 41., 37., 44., 32., 30., 44.],
        [34., 34., 21., 35., 45., 43., 32., 45., 46., 56.],
        [64., 23., 40., 39., 30., 45., 36., 34., 41., 21.],
        [33., 37., 39., 33., 43., 28., 48., 36., 42., 35.],
        [28., 28., 33., 36., 49., 38., 36., 44., 33., 60.],
        [64., 24., 37., 31., 26., 48., 34., 36., 44., 38.],
        [21., 60., 37., 43., 30., 34., 33., 35., 40., 34.],
        [38., 30., 31., 51., 32., 47., 31., 42., 41., 35.],
        [30., 32., 36., 31., 47., 29., 32., 47., 39., 61.],
        [42., 29., 40., 43., 32., 35., 27., 60., 23., 39.],
        [26., 40., 33., 45., 33., 38., 41., 36., 32., 39.],
        [26., 34., 33., 32., 57., 39., 36., 36., 35., 46.]], device='cuda:0')
Train accuarcate: 87.93%



iteration:
   91
    0   242   bit_w:-1  loss: 0.41600
    1   298   bit_w:-1  loss: 0.41491
    2   158   bit_w: 1  loss: 0.41474
    3   685   bit_w:-1  loss: 0.41452
    4   157   bit_w: 1  loss: 0.41413
   3297   5336   4001   3291   2311   2635   5419    585   2919   1254
      0      1      1      0      1     -1      1     -1      0      0
Train accuarcate: 88.07%
tensor([[37., 32., 36., 43., 32., 37., 25., 64., 26., 43.],
        [37., 37., 53., 43., 20., 43., 47., 30., 36., 27.],
        [24., 58., 42., 37., 30., 38., 32., 35., 33., 28.],
        [68., 19., 42., 37., 23., 44., 46., 38., 37., 38.],
        [33., 30., 40., 23., 61., 31., 41., 41., 34., 47.],
        [20., 61., 42., 42., 32., 31., 29., 38., 37., 33.],
        [24., 33., 27., 40., 60., 42., 31., 38., 40., 45.],
        [17., 39., 27., 36., 50., 44., 40., 35., 38., 50.],
        [44., 31., 49., 24., 42., 37., 45., 32., 30., 44.],
        [34., 34., 21., 35., 45., 44., 32., 46., 46., 56.],
        [64., 24., 41., 39., 31., 45., 37., 34., 41., 21.],
        [33., 37., 39., 33., 43., 29., 48., 37., 42., 35.],
        [28., 28., 33., 36., 49., 39., 36., 45., 33., 60.],
        [64., 24., 37., 31., 26., 49., 34., 37., 44., 38.],
        [21., 61., 38., 43., 31., 34., 34., 35., 40., 34.],
        [38., 31., 32., 51., 33., 47., 32., 42., 41., 35.],
        [30., 32., 36., 31., 47., 30., 32., 48., 39., 61.],
        [42., 29., 40., 43., 32., 36., 27., 61., 23., 39.],
        [26., 41., 34., 45., 34., 38., 42., 36., 32., 39.],
        [26., 34., 33., 32., 57., 40., 36., 37., 35., 46.]], device='cuda:0')
Train accuarcate: 88.19%



iteration:
   92
    0   579   bit_w:-1  loss: 0.41279
    1   190   bit_w: 1  loss: 0.41199
    2   269   bit_w: 1  loss: 0.41167
    3   292   bit_w: 1  loss: 0.41052
    4   539   bit_w:-1  loss: 0.41059
   2061   3396   1103   2149   3654   2800   2153   5343   3070   3902
      0      1     -1     -1      1      0     -1      0     -1     -1
Train accuarcate: 88.18%
tensor([[37., 33., 36., 43., 33., 37., 25., 64., 26., 43.],
        [37., 37., 54., 44., 20., 43., 48., 30., 37., 28.],
        [24., 58., 43., 38., 30., 38., 33., 35., 34., 29.],
        [68., 19., 43., 38., 23., 44., 47., 38., 38., 39.],
        [33., 30., 41., 24., 61., 31., 42., 41., 35., 48.],
        [20., 62., 42., 42., 33., 31., 29., 38., 37., 33.],
        [24., 34., 27., 40., 61., 42., 31., 38., 40., 45.],
        [17., 39., 28., 37., 50., 44., 41., 35., 39., 51.],
        [44., 31., 50., 25., 42., 37., 46., 32., 31., 45.],
        [34., 35., 21., 35., 46., 44., 32., 46., 46., 56.],
        [64., 24., 42., 40., 31., 45., 38., 34., 42., 22.],
        [33., 37., 40., 34., 43., 29., 49., 37., 43., 36.],
        [28., 29., 33., 36., 50., 39., 36., 45., 33., 60.],
        [64., 24., 38., 32., 26., 49., 35., 37., 45., 39.],
        [21., 61., 39., 44., 31., 34., 35., 35., 41., 35.],
        [38., 31., 33., 52., 33., 47., 33., 42., 42., 36.],
        [30., 32., 37., 32., 47., 30., 33., 48., 40., 62.],
        [42., 30., 40., 43., 33., 36., 27., 61., 23., 39.],
        [26., 41., 35., 46., 34., 38., 43., 36., 33., 40.],
        [26., 34., 34., 33., 57., 40., 37., 37., 36., 47.]], device='cuda:0')
Train accuarcate: 88.41%



iteration:
   93
    0   387   bit_w:-1  loss: 0.40949
    1   714   bit_w: 1  loss: 0.40858
    2   316   bit_w: 1  loss: 0.40851
    3   497   bit_w:-1  loss: 0.40784
    4   407   bit_w: 1  loss: 0.40811
    548   5414   2586   3200   4286   2928   2648   4471   4963   5141
     -1      1     -1     -1      0      0      0      1      0      1
Train accuarcate: 88.19%
tensor([[38., 33., 37., 44., 33., 37., 25., 64., 26., 43.],
        [38., 37., 55., 45., 20., 43., 48., 30., 37., 28.],
        [24., 59., 43., 38., 30., 38., 33., 36., 34., 30.],
        [68., 20., 43., 38., 23., 44., 47., 39., 38., 40.],
        [33., 31., 41., 24., 61., 31., 42., 42., 35., 49.],
        [20., 63., 42., 42., 33., 31., 29., 39., 37., 34.],
        [24., 35., 27., 40., 61., 42., 31., 39., 40., 46.],
        [17., 40., 28., 37., 50., 44., 41., 36., 39., 52.],
        [44., 32., 50., 25., 42., 37., 46., 33., 31., 46.],
        [34., 36., 21., 35., 46., 44., 32., 47., 46., 57.],
        [65., 24., 43., 41., 31., 45., 38., 34., 42., 22.],
        [34., 37., 41., 35., 43., 29., 49., 37., 43., 36.],
        [28., 30., 33., 36., 50., 39., 36., 46., 33., 61.],
        [65., 24., 39., 33., 26., 49., 35., 37., 45., 39.],
        [21., 62., 39., 44., 31., 34., 35., 36., 41., 36.],
        [39., 31., 34., 53., 33., 47., 33., 42., 42., 36.],
        [30., 33., 37., 32., 47., 30., 33., 49., 40., 63.],
        [43., 30., 41., 44., 33., 36., 27., 61., 23., 39.],
        [27., 41., 36., 47., 34., 38., 43., 36., 33., 40.],
        [26., 35., 34., 33., 57., 40., 37., 38., 36., 48.]], device='cuda:0')
Train accuarcate: 88.42%



iteration:
   94
    0   387   bit_w:-1  loss: 0.40622
    1   660   bit_w: 1  loss: 0.40585
    2   440   bit_w:-1  loss: 0.40534
    3   275   bit_w: 1  loss: 0.40497
    4   152   bit_w: 1  loss: 0.40484
   1099   1149   3020   3405   1500   2408    488   1215   3275   1649
      0      0      1      0      0      1     -1      0      1      0
Train accuarcate: 88.41%
tensor([[38., 33., 37., 44., 33., 37., 26., 64., 26., 43.],
        [38., 37., 56., 45., 20., 44., 48., 30., 38., 28.],
        [24., 59., 43., 38., 30., 38., 34., 36., 34., 30.],
        [68., 20., 43., 38., 23., 44., 48., 39., 38., 40.],
        [33., 31., 42., 24., 61., 32., 42., 42., 36., 49.],
        [20., 63., 42., 42., 33., 31., 30., 39., 37., 34.],
        [24., 35., 28., 40., 61., 43., 31., 39., 41., 46.],
        [17., 40., 28., 37., 50., 44., 42., 36., 39., 52.],
        [44., 32., 50., 25., 42., 37., 47., 33., 31., 46.],
        [34., 36., 21., 35., 46., 44., 33., 47., 46., 57.],
        [65., 24., 44., 41., 31., 46., 38., 34., 43., 22.],
        [34., 37., 41., 35., 43., 29., 50., 37., 43., 36.],
        [28., 30., 33., 36., 50., 39., 37., 46., 33., 61.],
        [65., 24., 39., 33., 26., 49., 36., 37., 45., 39.],
        [21., 62., 39., 44., 31., 34., 36., 36., 41., 36.],
        [39., 31., 35., 53., 33., 48., 33., 42., 43., 36.],
        [30., 33., 38., 32., 47., 31., 33., 49., 41., 63.],
        [43., 30., 41., 44., 33., 36., 28., 61., 23., 39.],
        [27., 41., 36., 47., 34., 38., 44., 36., 33., 40.],
        [26., 35., 35., 33., 57., 41., 37., 38., 37., 48.]], device='cuda:0')
Train accuarcate: 88.61%



iteration:
   95
    0   411   bit_w:-1  loss: 0.40381
    1   595   bit_w: 1  loss: 0.40292
    2   680   bit_w:-1  loss: 0.40276
    3   157   bit_w: 1  loss: 0.40212
    4   381   bit_w:-1  loss: 0.40187
   5217   6422   4521   3724    946   4046   2446    675   4003    604
      1      0      0      0     -1      1      0     -1      1     -1
Train accuarcate: 88.38%
tensor([[38., 33., 37., 44., 34., 37., 26., 65., 26., 44.],
        [39., 37., 56., 45., 20., 45., 48., 30., 39., 28.],
        [25., 59., 43., 38., 30., 39., 34., 36., 35., 30.],
        [68., 20., 43., 38., 24., 44., 48., 40., 38., 41.],
        [33., 31., 42., 24., 62., 32., 42., 43., 36., 50.],
        [21., 63., 42., 42., 33., 32., 30., 39., 38., 34.],
        [24., 35., 28., 40., 62., 43., 31., 40., 41., 47.],
        [17., 40., 28., 37., 51., 44., 42., 37., 39., 53.],
        [45., 32., 50., 25., 42., 38., 47., 33., 32., 46.],
        [34., 36., 21., 35., 47., 44., 33., 48., 46., 58.],
        [66., 24., 44., 41., 31., 47., 38., 34., 44., 22.],
        [35., 37., 41., 35., 43., 30., 50., 37., 44., 36.],
        [28., 30., 33., 36., 51., 39., 37., 47., 33., 62.],
        [66., 24., 39., 33., 26., 50., 36., 37., 46., 39.],
        [22., 62., 39., 44., 31., 35., 36., 36., 42., 36.],
        [39., 31., 35., 53., 34., 48., 33., 43., 43., 37.],
        [30., 33., 38., 32., 48., 31., 33., 50., 41., 64.],
        [43., 30., 41., 44., 34., 36., 28., 62., 23., 40.],
        [27., 41., 36., 47., 35., 38., 44., 37., 33., 41.],
        [26., 35., 35., 33., 58., 41., 37., 39., 37., 49.]], device='cuda:0')
Train accuarcate: 88.47%



iteration:
   96
    0   387   bit_w:-1  loss: 0.40065
    1   608   bit_w: 1  loss: 0.40006
    2   538   bit_w: 1  loss: 0.40004
    3   386   bit_w:-1  loss: 0.39910
    4   204   bit_w: 1  loss: 0.39942
   1209     73   4026   3129    992   2035    492   1325   1411    488
      0     -1      1      1      0      1     -1      0      1      0
Train accuarcate: 88.46%
tensor([[38., 33., 38., 45., 34., 38., 26., 65., 27., 44.],
        [39., 37., 57., 46., 20., 46., 48., 30., 40., 28.],
        [25., 60., 43., 38., 30., 39., 35., 36., 35., 30.],
        [68., 21., 43., 38., 24., 44., 49., 40., 38., 41.],
        [33., 32., 42., 24., 62., 32., 43., 43., 36., 50.],
        [21., 64., 42., 42., 33., 32., 31., 39., 38., 34.],
        [24., 35., 29., 41., 62., 44., 31., 40., 42., 47.],
        [17., 40., 29., 38., 51., 45., 42., 37., 40., 53.],
        [45., 33., 50., 25., 42., 38., 48., 33., 32., 46.],
        [34., 37., 21., 35., 47., 44., 34., 48., 46., 58.],
        [66., 25., 44., 41., 31., 47., 39., 34., 44., 22.],
        [35., 38., 41., 35., 43., 30., 51., 37., 44., 36.],
        [28., 31., 33., 36., 51., 39., 38., 47., 33., 62.],
        [66., 25., 39., 33., 26., 50., 37., 37., 46., 39.],
        [22., 63., 39., 44., 31., 35., 37., 36., 42., 36.],
        [39., 31., 36., 54., 34., 49., 33., 43., 44., 37.],
        [30., 34., 38., 32., 48., 31., 34., 50., 41., 64.],
        [43., 30., 42., 45., 34., 37., 28., 62., 24., 40.],
        [27., 41., 37., 48., 35., 39., 44., 37., 34., 41.],
        [26., 36., 35., 33., 58., 41., 38., 39., 37., 49.]], device='cuda:0')
Train accuarcate: 88.51%



iteration:
   97
    0   463   bit_w:-1  loss: 0.39817
    1   266   bit_w: 1  loss: 0.39754
    2   300   bit_w: 1  loss: 0.39748
    3   219   bit_w:-1  loss: 0.39675
    4   714   bit_w: 1  loss: 0.39656
   4510   1286    975   2091    609   1149   1175   3698   1544   2038
      1      0      0      1     -1      0      0      1      1      1
Train accuarcate: 88.49%
tensor([[39., 33., 38., 46., 34., 38., 26., 66., 28., 45.],
        [40., 37., 57., 47., 20., 46., 48., 31., 41., 29.],
        [25., 60., 43., 38., 31., 39., 35., 36., 35., 30.],
        [69., 21., 43., 39., 24., 44., 49., 41., 39., 42.],
        [33., 32., 42., 24., 63., 32., 43., 43., 36., 50.],
        [21., 64., 42., 42., 34., 32., 31., 39., 38., 34.],
        [24., 35., 29., 41., 63., 44., 31., 40., 42., 47.],
        [18., 40., 29., 39., 51., 45., 42., 38., 41., 54.],
        [45., 33., 50., 25., 43., 38., 48., 33., 32., 46.],
        [35., 37., 21., 36., 47., 44., 34., 49., 47., 59.],
        [67., 25., 44., 42., 31., 47., 39., 35., 45., 23.],
        [36., 38., 41., 36., 43., 30., 51., 38., 45., 37.],
        [29., 31., 33., 37., 51., 39., 38., 48., 34., 63.],
        [67., 25., 39., 34., 26., 50., 37., 38., 47., 40.],
        [22., 63., 39., 44., 32., 35., 37., 36., 42., 36.],
        [39., 31., 36., 54., 35., 49., 33., 43., 44., 37.],
        [31., 34., 38., 33., 48., 31., 34., 51., 42., 65.],
        [44., 30., 42., 46., 34., 37., 28., 63., 25., 41.],
        [28., 41., 37., 49., 35., 39., 44., 38., 35., 42.],
        [26., 36., 35., 33., 59., 41., 38., 39., 37., 49.]], device='cuda:0')
Train accuarcate: 88.61%



iteration:
   98
    0   342   bit_w:-1  loss: 0.39520
    1   317   bit_w:-1  loss: 0.39491
    2   291   bit_w: 1  loss: 0.39343
    3   315   bit_w:-1  loss: 0.39427
    4   294   bit_w: 1  loss: 0.39329
   3720   6740   5679   5959   3264   4133   4718   5042   4298   3558
     -1      0      1      1      0     -1     -1      0     -1     -1
Train accuarcate: 88.70%
tensor([[39., 33., 39., 47., 34., 38., 26., 66., 28., 45.],
        [40., 37., 58., 48., 20., 46., 48., 31., 41., 29.],
        [25., 60., 44., 39., 31., 39., 35., 36., 35., 30.],
        [69., 21., 44., 40., 24., 44., 49., 41., 39., 42.],
        [34., 32., 42., 24., 63., 33., 44., 43., 37., 51.],
        [21., 64., 43., 43., 34., 32., 31., 39., 38., 34.],
        [25., 35., 29., 41., 63., 45., 32., 40., 43., 48.],
        [18., 40., 30., 40., 51., 45., 42., 38., 41., 54.],
        [46., 33., 50., 25., 43., 39., 49., 33., 33., 47.],
        [35., 37., 22., 37., 47., 44., 34., 49., 47., 59.],
        [68., 25., 44., 42., 31., 48., 40., 35., 46., 24.],
        [37., 38., 41., 36., 43., 31., 52., 38., 46., 38.],
        [29., 31., 34., 38., 51., 39., 38., 48., 34., 63.],
        [67., 25., 40., 35., 26., 50., 37., 38., 47., 40.],
        [22., 63., 40., 45., 32., 35., 37., 36., 42., 36.],
        [40., 31., 36., 54., 35., 50., 34., 43., 45., 38.],
        [32., 34., 38., 33., 48., 32., 35., 51., 43., 66.],
        [44., 30., 43., 47., 34., 37., 28., 63., 25., 41.],
        [28., 41., 38., 50., 35., 39., 44., 38., 35., 42.],
        [27., 36., 35., 33., 59., 42., 39., 39., 38., 50.]], device='cuda:0')
Train accuarcate: 88.83%



iteration:
   99
    0   359   bit_w:-1  loss: 0.39224
    1   713   bit_w: 1  loss: 0.39179
    2   357   bit_w:-1  loss: 0.39160
    3   273   bit_w: 1  loss: 0.39093
    4   439   bit_w: 1  loss: 0.39069
   2036     84   1901   3310   3134   2707   2799   3643   2280   2577
     -1     -1      0      1      0      1      0      1     -1      0
Train accuarcate: 88.74%
tensor([[39., 33., 39., 48., 34., 39., 26., 67., 28., 45.],
        [41., 38., 58., 48., 20., 46., 48., 31., 42., 29.],
        [26., 61., 44., 39., 31., 39., 35., 36., 36., 30.],
        [70., 22., 44., 40., 24., 44., 49., 41., 40., 42.],
        [35., 33., 42., 24., 63., 33., 44., 43., 38., 51.],
        [22., 65., 43., 43., 34., 32., 31., 39., 39., 34.],
        [26., 36., 29., 41., 63., 45., 32., 40., 44., 48.],
        [19., 41., 30., 40., 51., 45., 42., 38., 42., 54.],
        [47., 34., 50., 25., 43., 39., 49., 33., 34., 47.],
        [35., 37., 22., 38., 47., 45., 34., 50., 47., 59.],
        [69., 26., 44., 42., 31., 48., 40., 35., 47., 24.],
        [38., 39., 41., 36., 43., 31., 52., 38., 47., 38.],
        [29., 31., 34., 39., 51., 40., 38., 49., 34., 63.],
        [68., 26., 40., 35., 26., 50., 37., 38., 48., 40.],
        [23., 64., 40., 45., 32., 35., 37., 36., 43., 36.],
        [41., 32., 36., 54., 35., 50., 34., 43., 46., 38.],
        [33., 35., 38., 33., 48., 32., 35., 51., 44., 66.],
        [44., 30., 43., 48., 34., 38., 28., 64., 25., 41.],
        [28., 41., 38., 51., 35., 40., 44., 39., 35., 42.],
        [28., 37., 35., 33., 59., 42., 39., 39., 39., 50.]], device='cuda:0')
Train accuarcate: 88.99%



iteration:
  100
    0   576   bit_w:-1  loss: 0.38975
    1   660   bit_w: 1  loss: 0.38872
    2   568   bit_w:-1  loss: 0.38889
    3   622   bit_w: 1  loss: 0.38815
    4   527   bit_w:-1  loss: 0.38858
   1678   5962   1686   3434   4854   2683    956   5121   3271   4892
      0      0     -1      0      1     -1     -1      1      0      0
Train accuarcate: 88.82%
tensor([[39., 33., 39., 48., 35., 39., 26., 68., 28., 45.],
        [41., 38., 59., 48., 20., 47., 49., 31., 42., 29.],
        [26., 61., 44., 39., 32., 39., 35., 37., 36., 30.],
        [70., 22., 45., 40., 24., 45., 50., 41., 40., 42.],
        [35., 33., 42., 24., 64., 33., 44., 44., 38., 51.],
        [22., 65., 43., 43., 35., 32., 31., 40., 39., 34.],
        [26., 36., 29., 41., 64., 45., 32., 41., 44., 48.],
        [19., 41., 30., 40., 52., 45., 42., 39., 42., 54.],
        [47., 34., 51., 25., 43., 40., 50., 33., 34., 47.],
        [35., 37., 22., 38., 48., 45., 34., 51., 47., 59.],
        [69., 26., 45., 42., 31., 49., 41., 35., 47., 24.],
        [38., 39., 42., 36., 43., 32., 53., 38., 47., 38.],
        [29., 31., 35., 39., 51., 41., 39., 49., 34., 63.],
        [68., 26., 40., 35., 27., 50., 37., 39., 48., 40.],
        [23., 64., 40., 45., 33., 35., 37., 37., 43., 36.],
        [41., 32., 36., 54., 36., 50., 34., 44., 46., 38.],
        [33., 35., 38., 33., 49., 32., 35., 52., 44., 66.],
        [44., 30., 44., 48., 34., 39., 29., 64., 25., 41.],
        [28., 41., 38., 51., 36., 40., 44., 40., 35., 42.],
        [28., 37., 35., 33., 60., 42., 39., 40., 39., 50.]], device='cuda:0')
Train accuarcate: 89.15%



iteration:
  101
    0   219   bit_w:-1  loss: 0.38686
    1   218   bit_w:-1  loss: 0.38688
    2   188   bit_w: 1  loss: 0.38663
    3   571   bit_w:-1  loss: 0.38660
    4   625   bit_w: 1  loss: 0.38605
   4359   5217   3966   5542   4773   3652   1425   5520   3945   5667
     -1      0      0      0      0     -1     -1      0     -1      1
Train accuarcate: 88.86%
tensor([[39., 33., 39., 48., 35., 39., 26., 68., 28., 46.],
        [42., 38., 59., 48., 20., 48., 50., 31., 43., 29.],
        [26., 61., 44., 39., 32., 39., 35., 37., 36., 31.],
        [70., 22., 45., 40., 24., 45., 50., 41., 40., 43.],
        [35., 33., 42., 24., 64., 33., 44., 44., 38., 52.],
        [22., 65., 43., 43., 35., 32., 31., 40., 39., 35.],
        [26., 36., 29., 41., 64., 45., 32., 41., 44., 49.],
        [19., 41., 30., 40., 52., 45., 42., 39., 42., 55.],
        [48., 34., 51., 25., 43., 41., 51., 33., 35., 47.],
        [36., 37., 22., 38., 48., 46., 35., 51., 48., 59.],
        [69., 26., 45., 42., 31., 49., 41., 35., 47., 25.],
        [38., 39., 42., 36., 43., 32., 53., 38., 47., 39.],
        [29., 31., 35., 39., 51., 41., 39., 49., 34., 64.],
        [68., 26., 40., 35., 27., 50., 37., 39., 48., 41.],
        [23., 64., 40., 45., 33., 35., 37., 37., 43., 37.],
        [41., 32., 36., 54., 36., 50., 34., 44., 46., 39.],
        [33., 35., 38., 33., 49., 32., 35., 52., 44., 67.],
        [44., 30., 44., 48., 34., 39., 29., 64., 25., 42.],
        [29., 41., 38., 51., 36., 41., 45., 40., 36., 42.],
        [28., 37., 35., 33., 60., 42., 39., 40., 39., 51.]], device='cuda:0')
Train accuarcate: 89.10%



iteration:
  102
    0   485   bit_w:-1  loss: 0.38517
    1   403   bit_w:-1  loss: 0.38419
    2   355   bit_w:-1  loss: 0.38418
    3   383   bit_w:-1  loss: 0.38407
    4   458   bit_w:-1  loss: 0.38398
   4143   6670   3577   5461   3100   5017   2506   6065   3739   3533
     -1      0      0      1      0      1      0      0     -1     -1
Train accuarcate: 89.00%
tensor([[39., 33., 39., 49., 35., 40., 26., 68., 28., 46.],
        [43., 38., 59., 48., 20., 48., 50., 31., 44., 30.],
        [26., 61., 44., 40., 32., 40., 35., 37., 36., 31.],
        [71., 22., 45., 40., 24., 45., 50., 41., 41., 44.],
        [36., 33., 42., 24., 64., 33., 44., 44., 39., 53.],
        [22., 65., 43., 44., 35., 33., 31., 40., 39., 35.],
        [26., 36., 29., 42., 64., 46., 32., 41., 44., 49.],
        [19., 41., 30., 41., 52., 46., 42., 39., 42., 55.],
        [48., 34., 51., 26., 43., 42., 51., 33., 35., 47.],
        [37., 37., 22., 38., 48., 46., 35., 51., 49., 60.],
        [69., 26., 45., 43., 31., 50., 41., 35., 47., 25.],
        [38., 39., 42., 37., 43., 33., 53., 38., 47., 39.],
        [29., 31., 35., 40., 51., 42., 39., 49., 34., 64.],
        [68., 26., 40., 36., 27., 51., 37., 39., 48., 41.],
        [23., 64., 40., 46., 33., 36., 37., 37., 43., 37.],
        [41., 32., 36., 55., 36., 51., 34., 44., 46., 39.],
        [34., 35., 38., 33., 49., 32., 35., 52., 45., 68.],
        [44., 30., 44., 49., 34., 40., 29., 64., 25., 42.],
        [30., 41., 38., 51., 36., 41., 45., 40., 37., 43.],
        [28., 37., 35., 34., 60., 43., 39., 40., 39., 51.]], device='cuda:0')
Train accuarcate: 89.16%



iteration:
  103
    0   322   bit_w:-1  loss: 0.38290
    1   209   bit_w:-1  loss: 0.38212
    2   635   bit_w: 1  loss: 0.38224
    3   359   bit_w:-1  loss: 0.38171
    4   608   bit_w: 1  loss: 0.38164
   1583   1459   3806   1898   4468   2226   2115   2761   1890   2188
     -1      0      1      0      1      0      0     -1      1      0
Train accuarcate: 89.07%
tensor([[39., 33., 40., 49., 36., 40., 26., 68., 29., 46.],
        [43., 38., 60., 48., 21., 48., 50., 31., 45., 30.],
        [26., 61., 45., 40., 33., 40., 35., 37., 37., 31.],
        [72., 22., 45., 40., 24., 45., 50., 42., 41., 44.],
        [36., 33., 43., 24., 65., 33., 44., 44., 40., 53.],
        [23., 65., 43., 44., 35., 33., 31., 41., 39., 35.],
        [26., 36., 30., 42., 65., 46., 32., 41., 45., 49.],
        [20., 41., 30., 41., 52., 46., 42., 40., 42., 55.],
        [49., 34., 51., 26., 43., 42., 51., 34., 35., 47.],
        [37., 37., 23., 38., 49., 46., 35., 51., 50., 60.],
        [69., 26., 46., 43., 32., 50., 41., 35., 48., 25.],
        [38., 39., 43., 37., 44., 33., 53., 38., 48., 39.],
        [30., 31., 35., 40., 51., 42., 39., 50., 34., 64.],
        [68., 26., 41., 36., 28., 51., 37., 39., 49., 41.],
        [24., 64., 40., 46., 33., 36., 37., 38., 43., 37.],
        [41., 32., 37., 55., 37., 51., 34., 44., 47., 39.],
        [35., 35., 38., 33., 49., 32., 35., 53., 45., 68.],
        [44., 30., 45., 49., 35., 40., 29., 64., 26., 42.],
        [30., 41., 39., 51., 37., 41., 45., 40., 38., 43.],
        [28., 37., 36., 34., 61., 43., 39., 40., 40., 51.]], device='cuda:0')
Train accuarcate: 89.21%



iteration:
  104
    0   575   bit_w:-1  loss: 0.38068
    1   659   bit_w: 1  loss: 0.37992
    2   303   bit_w: 1  loss: 0.37989
    3   103   bit_w:-1  loss: 0.37902
    4   527   bit_w: 1  loss: 0.37927
   1934    191    939   2420    292   2051    161    420   2482    443
      1     -1      1      1      0      1     -1      0      1      0
Train accuarcate: 89.10%
tensor([[39., 34., 40., 49., 36., 40., 27., 68., 29., 46.],
        [43., 39., 60., 48., 21., 48., 51., 31., 45., 30.],
        [26., 62., 45., 40., 33., 40., 36., 37., 37., 31.],
        [72., 23., 45., 40., 24., 45., 51., 42., 41., 44.],
        [36., 34., 43., 24., 65., 33., 45., 44., 40., 53.],
        [23., 66., 43., 44., 35., 33., 32., 41., 39., 35.],
        [26., 37., 30., 42., 65., 46., 33., 41., 45., 49.],
        [20., 42., 30., 41., 52., 46., 43., 40., 42., 55.],
        [49., 35., 51., 26., 43., 42., 52., 34., 35., 47.],
        [37., 38., 23., 38., 49., 46., 36., 51., 50., 60.],
        [70., 26., 47., 44., 32., 51., 41., 35., 49., 25.],
        [38., 40., 43., 37., 44., 33., 54., 38., 48., 39.],
        [30., 32., 35., 40., 51., 42., 40., 50., 34., 64.],
        [69., 26., 42., 37., 28., 52., 37., 39., 50., 41.],
        [24., 65., 40., 46., 33., 36., 38., 38., 43., 37.],
        [42., 32., 38., 56., 37., 52., 34., 44., 48., 39.],
        [35., 36., 38., 33., 49., 32., 36., 53., 45., 68.],
        [44., 31., 45., 49., 35., 40., 30., 64., 26., 42.],
        [31., 41., 40., 52., 37., 42., 45., 40., 39., 43.],
        [29., 37., 37., 35., 61., 44., 39., 40., 41., 51.]], device='cuda:0')
Train accuarcate: 89.31%



iteration:
  105
    0   433   bit_w:-1  loss: 0.37839
    1   514   bit_w: 1  loss: 0.37758
    2   320   bit_w:-1  loss: 0.37757
    3   434   bit_w:-1  loss: 0.37742
    4   293   bit_w:-1  loss: 0.37742
   4219   1725   4553   3068   2090   2449   3414   4214   1952   2705
      0      0      1     -1     -1      0      0      0     -1      1
Train accuarcate: 89.12%
tensor([[39., 34., 41., 49., 36., 40., 27., 68., 29., 47.],
        [43., 39., 61., 48., 21., 48., 51., 31., 45., 31.],
        [26., 62., 45., 41., 34., 40., 36., 37., 38., 31.],
        [72., 23., 45., 41., 25., 45., 51., 42., 42., 44.],
        [36., 34., 44., 24., 65., 33., 45., 44., 40., 54.],
        [23., 66., 43., 45., 36., 33., 32., 41., 40., 35.],
        [26., 37., 31., 42., 65., 46., 33., 41., 45., 50.],
        [20., 42., 30., 42., 53., 46., 43., 40., 43., 55.],
        [49., 35., 52., 26., 43., 42., 52., 34., 35., 48.],
        [37., 38., 23., 39., 50., 46., 36., 51., 51., 60.],
        [70., 26., 48., 44., 32., 51., 41., 35., 49., 26.],
        [38., 40., 44., 37., 44., 33., 54., 38., 48., 40.],
        [30., 32., 35., 41., 52., 42., 40., 50., 35., 64.],
        [69., 26., 43., 37., 28., 52., 37., 39., 50., 42.],
        [24., 65., 40., 47., 34., 36., 38., 38., 44., 37.],
        [42., 32., 39., 56., 37., 52., 34., 44., 48., 40.],
        [35., 36., 39., 33., 49., 32., 36., 53., 45., 69.],
        [44., 31., 46., 49., 35., 40., 30., 64., 26., 43.],
        [31., 41., 41., 52., 37., 42., 45., 40., 39., 44.],
        [29., 37., 37., 36., 62., 44., 39., 40., 42., 51.]], device='cuda:0')
Train accuarcate: 89.23%



iteration:
  106
    0   160   bit_w:-1  loss: 0.37662
    1   328   bit_w: 1  loss: 0.37563
    2   400   bit_w:-1  loss: 0.37547
    3   326   bit_w: 1  loss: 0.37503
    4   246   bit_w:-1  loss: 0.37516
   3610   6189   5403   5472   4243   2192   4092   6115   5121   5394
      0      0      0      0     -1     -1     -1      1      0      1
Train accuarcate: 89.23%
tensor([[39., 34., 41., 49., 36., 40., 27., 69., 29., 48.],
        [43., 39., 61., 48., 21., 48., 51., 32., 45., 32.],
        [26., 62., 45., 41., 34., 40., 36., 38., 38., 32.],
        [72., 23., 45., 41., 25., 45., 51., 43., 42., 45.],
        [36., 34., 44., 24., 65., 33., 45., 45., 40., 55.],
        [23., 66., 43., 45., 36., 33., 32., 42., 40., 36.],
        [26., 37., 31., 42., 65., 46., 33., 42., 45., 51.],
        [20., 42., 30., 42., 53., 46., 43., 41., 43., 56.],
        [49., 35., 52., 26., 44., 43., 53., 34., 35., 48.],
        [37., 38., 23., 39., 50., 46., 36., 52., 51., 61.],
        [70., 26., 48., 44., 33., 52., 42., 35., 49., 26.],
        [38., 40., 44., 37., 44., 33., 54., 39., 48., 41.],
        [30., 32., 35., 41., 52., 42., 40., 51., 35., 65.],
        [69., 26., 43., 37., 28., 52., 37., 40., 50., 43.],
        [24., 65., 40., 47., 34., 36., 38., 39., 44., 38.],
        [42., 32., 39., 56., 37., 52., 34., 45., 48., 41.],
        [35., 36., 39., 33., 49., 32., 36., 54., 45., 70.],
        [44., 31., 46., 49., 35., 40., 30., 65., 26., 44.],
        [31., 41., 41., 52., 37., 42., 45., 41., 39., 45.],
        [29., 37., 37., 36., 62., 44., 39., 41., 42., 52.]], device='cuda:0')
Train accuarcate: 89.27%



iteration:
  107
    0   434   bit_w:-1  loss: 0.37420
    1   323   bit_w:-1  loss: 0.37332
    2   320   bit_w: 1  loss: 0.37369
    3   344   bit_w: 1  loss: 0.37275
    4   357   bit_w:-1  loss: 0.37334
   5140    289   1709   2354   4020   4519   4160   4401   2726   3918
      1     -1     -1     -1      1      1      0      0      0      0
Train accuarcate: 89.18%
tensor([[40., 34., 41., 49., 37., 41., 27., 69., 29., 48.],
        [43., 40., 62., 49., 21., 48., 51., 32., 45., 32.],
        [26., 63., 46., 42., 34., 40., 36., 38., 38., 32.],
        [73., 23., 45., 41., 26., 46., 51., 43., 42., 45.],
        [37., 34., 44., 24., 66., 34., 45., 45., 40., 55.],
        [23., 67., 44., 46., 36., 33., 32., 42., 40., 36.],
        [27., 37., 31., 42., 66., 47., 33., 42., 45., 51.],
        [20., 43., 31., 43., 53., 46., 43., 41., 43., 56.],
        [50., 35., 52., 26., 45., 44., 53., 34., 35., 48.],
        [37., 39., 24., 40., 50., 46., 36., 52., 51., 61.],
        [71., 26., 48., 44., 34., 53., 42., 35., 49., 26.],
        [38., 41., 45., 38., 44., 33., 54., 39., 48., 41.],
        [31., 32., 35., 41., 53., 43., 40., 51., 35., 65.],
        [70., 26., 43., 37., 29., 53., 37., 40., 50., 43.],
        [24., 66., 41., 48., 34., 36., 38., 39., 44., 38.],
        [43., 32., 39., 56., 38., 53., 34., 45., 48., 41.],
        [36., 36., 39., 33., 50., 33., 36., 54., 45., 70.],
        [45., 31., 46., 49., 36., 41., 30., 65., 26., 44.],
        [31., 42., 42., 53., 37., 42., 45., 41., 39., 45.],
        [29., 38., 38., 37., 62., 44., 39., 41., 42., 52.]], device='cuda:0')
Train accuarcate: 89.27%



iteration:
  108
    0   498   bit_w:-1  loss: 0.37208
    1   687   bit_w: 1  loss: 0.37185
    2   441   bit_w:-1  loss: 0.37152
    3   718   bit_w: 1  loss: 0.37126
    4   243   bit_w: 1  loss: 0.37124
   1293   1473   2194   2841   2565   2432     84   4284   3579   3869
      0      0      0      1     -1      0     -1      1      1      1
Train accuarcate: 89.29%
tensor([[40., 34., 41., 50., 37., 41., 27., 70., 30., 49.],
        [43., 40., 62., 49., 22., 48., 52., 32., 45., 32.],
        [26., 63., 46., 42., 35., 40., 37., 38., 38., 32.],
        [73., 23., 45., 41., 27., 46., 52., 43., 42., 45.],
        [37., 34., 44., 24., 67., 34., 46., 45., 40., 55.],
        [23., 67., 44., 46., 37., 33., 33., 42., 40., 36.],
        [27., 37., 31., 42., 67., 47., 34., 42., 45., 51.],
        [20., 43., 31., 43., 54., 46., 44., 41., 43., 56.],
        [50., 35., 52., 26., 46., 44., 54., 34., 35., 48.],
        [37., 39., 24., 41., 50., 46., 36., 53., 52., 62.],
        [71., 26., 48., 44., 35., 53., 43., 35., 49., 26.],
        [38., 41., 45., 38., 45., 33., 55., 39., 48., 41.],
        [31., 32., 35., 42., 53., 43., 40., 52., 36., 66.],
        [70., 26., 43., 38., 29., 53., 37., 41., 51., 44.],
        [24., 66., 41., 48., 35., 36., 39., 39., 44., 38.],
        [43., 32., 39., 56., 39., 53., 35., 45., 48., 41.],
        [36., 36., 39., 34., 50., 33., 36., 55., 46., 71.],
        [45., 31., 46., 49., 37., 41., 31., 65., 26., 44.],
        [31., 42., 42., 53., 38., 42., 46., 41., 39., 45.],
        [29., 38., 38., 37., 63., 44., 40., 41., 42., 52.]], device='cuda:0')
Train accuarcate: 89.35%



iteration:
  109
    0   275   bit_w:-1  loss: 0.37044
    1   202   bit_w: 1  loss: 0.36987
    2   628   bit_w:-1  loss: 0.36954
    3   572   bit_w: 1  loss: 0.36921
    4   302   bit_w:-1  loss: 0.36952
   1718   6509   5173   3134   4943   2488   5413   4825   2710   4745
     -1      1      1      0      0     -1      0      0     -1      0
Train accuarcate: 89.31%
tensor([[41., 34., 41., 50., 37., 42., 27., 70., 31., 49.],
        [43., 41., 63., 49., 22., 48., 52., 32., 45., 32.],
        [26., 64., 47., 42., 35., 40., 37., 38., 38., 32.],
        [73., 24., 46., 41., 27., 46., 52., 43., 42., 45.],
        [37., 35., 45., 24., 67., 34., 46., 45., 40., 55.],
        [23., 68., 45., 46., 37., 33., 33., 42., 40., 36.],
        [27., 38., 32., 42., 67., 47., 34., 42., 45., 51.],
        [20., 44., 32., 43., 54., 46., 44., 41., 43., 56.],
        [50., 36., 53., 26., 46., 44., 54., 34., 35., 48.],
        [38., 39., 24., 41., 50., 47., 36., 53., 53., 62.],
        [72., 26., 48., 44., 35., 54., 43., 35., 50., 26.],
        [39., 41., 45., 38., 45., 34., 55., 39., 49., 41.],
        [31., 33., 36., 42., 53., 43., 40., 52., 36., 66.],
        [71., 26., 43., 38., 29., 54., 37., 41., 52., 44.],
        [25., 66., 41., 48., 35., 37., 39., 39., 45., 38.],
        [44., 32., 39., 56., 39., 54., 35., 45., 49., 41.],
        [36., 37., 40., 34., 50., 33., 36., 55., 46., 71.],
        [45., 32., 47., 49., 37., 41., 31., 65., 26., 44.],
        [31., 43., 43., 53., 38., 42., 46., 41., 39., 45.],
        [29., 39., 39., 37., 63., 44., 40., 41., 42., 52.]], device='cuda:0')
Train accuarcate: 89.37%



iteration:
  110
    0   498   bit_w:-1  loss: 0.36873
    1   663   bit_w: 1  loss: 0.36821
    2   495   bit_w:-1  loss: 0.36805
    3   183   bit_w: 1  loss: 0.36746
    4   459   bit_w: 1  loss: 0.36767
   1121   3894   3738   2528   3229   2099   2332    898   4958   4065
      0      0      0     -1      0      0      0     -1      1      1
Train accuarcate: 89.32%
tensor([[41., 34., 41., 51., 37., 42., 27., 71., 31., 49.],
        [43., 41., 63., 49., 22., 48., 52., 32., 46., 33.],
        [26., 64., 47., 43., 35., 40., 37., 39., 38., 32.],
        [73., 24., 46., 42., 27., 46., 52., 44., 42., 45.],
        [37., 35., 45., 25., 67., 34., 46., 46., 40., 55.],
        [23., 68., 45., 47., 37., 33., 33., 43., 40., 36.],
        [27., 38., 32., 43., 67., 47., 34., 43., 45., 51.],
        [20., 44., 32., 44., 54., 46., 44., 42., 43., 56.],
        [50., 36., 53., 26., 46., 44., 54., 34., 36., 49.],
        [38., 39., 24., 42., 50., 47., 36., 54., 53., 62.],
        [72., 26., 48., 44., 35., 54., 43., 35., 51., 27.],
        [39., 41., 45., 38., 45., 34., 55., 39., 50., 42.],
        [31., 33., 36., 42., 53., 43., 40., 52., 37., 67.],
        [71., 26., 43., 38., 29., 54., 37., 41., 53., 45.],
        [25., 66., 41., 48., 35., 37., 39., 39., 46., 39.],
        [44., 32., 39., 57., 39., 54., 35., 46., 49., 41.],
        [36., 37., 40., 34., 50., 33., 36., 55., 47., 72.],
        [45., 32., 47., 50., 37., 41., 31., 66., 26., 44.],
        [31., 43., 43., 54., 38., 42., 46., 42., 39., 45.],
        [29., 39., 39., 38., 63., 44., 40., 42., 42., 52.]], device='cuda:0')
Train accuarcate: 89.44%



iteration:
  111
    0   426   bit_w:-1  loss: 0.36683
    1   230   bit_w: 1  loss: 0.36625
    2   403   bit_w:-1  loss: 0.36610
    3   712   bit_w: 1  loss: 0.36564
    4   428   bit_w:-1  loss: 0.36500
    430   6526   3997   3345    681   2019    684   5709   2905   2067
     -1      0      1      1     -1      0     -1      1      0      0
Train accuarcate: 89.46%
tensor([[41., 34., 42., 52., 37., 42., 27., 72., 31., 49.],
        [44., 41., 63., 49., 23., 48., 53., 32., 46., 33.],
        [26., 64., 48., 44., 35., 40., 37., 40., 38., 32.],
        [74., 24., 46., 42., 28., 46., 53., 44., 42., 45.],
        [38., 35., 45., 25., 68., 34., 47., 46., 40., 55.],
        [23., 68., 46., 48., 37., 33., 33., 44., 40., 36.],
        [28., 38., 32., 43., 68., 47., 35., 43., 45., 51.],
        [20., 44., 33., 45., 54., 46., 44., 43., 43., 56.],
        [51., 36., 53., 26., 47., 44., 55., 34., 36., 49.],
        [39., 39., 24., 42., 51., 47., 37., 54., 53., 62.],
        [73., 26., 48., 44., 36., 54., 44., 35., 51., 27.],
        [40., 41., 45., 38., 46., 34., 56., 39., 50., 42.],
        [32., 33., 36., 42., 54., 43., 41., 52., 37., 67.],
        [72., 26., 43., 38., 30., 54., 38., 41., 53., 45.],
        [25., 66., 42., 49., 35., 37., 39., 40., 46., 39.],
        [44., 32., 40., 58., 39., 54., 35., 47., 49., 41.],
        [37., 37., 40., 34., 51., 33., 37., 55., 47., 72.],
        [45., 32., 48., 51., 37., 41., 31., 67., 26., 44.],
        [31., 43., 44., 55., 38., 42., 46., 43., 39., 45.],
        [30., 39., 39., 38., 64., 44., 41., 42., 42., 52.]], device='cuda:0')
Train accuarcate: 89.52%



iteration:
  112
    0   358   bit_w:-1  loss: 0.36374
    1   188   bit_w: 1  loss: 0.36360
    2   518   bit_w: 1  loss: 0.36323
    3   359   bit_w:-1  loss: 0.36311
    4   158   bit_w: 1  loss: 0.36249
   2128   5994   4707   2401   3636   3651   3244   3755   3843   2641
     -1      1      0     -1      0      1      0      0     -1     -1
Train accuarcate: 89.49%
tensor([[42., 34., 42., 53., 37., 42., 27., 72., 32., 50.],
        [45., 41., 63., 50., 23., 48., 53., 32., 47., 34.],
        [26., 65., 48., 44., 35., 41., 37., 40., 38., 32.],
        [75., 24., 46., 43., 28., 46., 53., 44., 43., 46.],
        [38., 36., 45., 25., 68., 35., 47., 46., 40., 55.],
        [23., 69., 46., 48., 37., 34., 33., 44., 40., 36.],
        [28., 39., 32., 43., 68., 48., 35., 43., 45., 51.],
        [21., 44., 33., 46., 54., 46., 44., 43., 44., 57.],
        [51., 37., 53., 26., 47., 45., 55., 34., 36., 49.],
        [40., 39., 24., 43., 51., 47., 37., 54., 54., 63.],
        [73., 27., 48., 44., 36., 55., 44., 35., 51., 27.],
        [41., 41., 45., 39., 46., 34., 56., 39., 51., 43.],
        [33., 33., 36., 43., 54., 43., 41., 52., 38., 68.],
        [72., 27., 43., 38., 30., 55., 38., 41., 53., 45.],
        [25., 67., 42., 49., 35., 38., 39., 40., 46., 39.],
        [45., 32., 40., 59., 39., 54., 35., 47., 50., 42.],
        [38., 37., 40., 35., 51., 33., 37., 55., 48., 73.],
        [46., 32., 48., 52., 37., 41., 31., 67., 27., 45.],
        [32., 43., 44., 56., 38., 42., 46., 43., 40., 46.],
        [30., 40., 39., 38., 64., 45., 41., 42., 42., 52.]], device='cuda:0')
Train accuarcate: 89.69%



iteration:
  113
    0   387   bit_w:-1  loss: 0.36173
    1   582   bit_w: 1  loss: 0.36128
    2   385   bit_w:-1  loss: 0.36101
    3   248   bit_w: 1  loss: 0.36050
    4   378   bit_w:-1  loss: 0.36043
   1569    186   4292   1396   4127   3176   2802   5347   1907   3240
      0      0      1      0      0      1     -1      0      1     -1
Train accuarcate: 89.56%
tensor([[42., 34., 43., 53., 37., 43., 27., 72., 33., 50.],
        [45., 41., 64., 50., 23., 49., 53., 32., 48., 34.],
        [26., 65., 48., 44., 35., 41., 38., 40., 38., 33.],
        [75., 24., 46., 43., 28., 46., 54., 44., 43., 47.],
        [38., 36., 46., 25., 68., 36., 47., 46., 41., 55.],
        [23., 69., 46., 48., 37., 34., 34., 44., 40., 37.],
        [28., 39., 32., 43., 68., 48., 36., 43., 45., 52.],
        [21., 44., 33., 46., 54., 46., 45., 43., 44., 58.],
        [51., 37., 54., 26., 47., 46., 55., 34., 37., 49.],
        [40., 39., 24., 43., 51., 47., 38., 54., 54., 64.],
        [73., 27., 48., 44., 36., 55., 45., 35., 51., 28.],
        [41., 41., 45., 39., 46., 34., 57., 39., 51., 44.],
        [33., 33., 37., 43., 54., 44., 41., 52., 39., 68.],
        [72., 27., 43., 38., 30., 55., 39., 41., 53., 46.],
        [25., 67., 42., 49., 35., 38., 40., 40., 46., 40.],
        [45., 32., 41., 59., 39., 55., 35., 47., 51., 42.],
        [38., 37., 41., 35., 51., 34., 37., 55., 49., 73.],
        [46., 32., 49., 52., 37., 42., 31., 67., 28., 45.],
        [32., 43., 45., 56., 38., 43., 46., 43., 41., 46.],
        [30., 40., 40., 38., 64., 46., 41., 42., 43., 52.]], device='cuda:0')
Train accuarcate: 89.65%



iteration:
  114
    0   465   bit_w:-1  loss: 0.35972
    1   567   bit_w: 1  loss: 0.35899
    2   547   bit_w: 1  loss: 0.35922
    3   186   bit_w: 1  loss: 0.35880
    4   205   bit_w:-1  loss: 0.35918
   4575   4286   3459   2331   1115   2860   2543    869   3307   1891
      1      1      0      0     -1      0      0     -1      0      0
Train accuarcate: 89.57%
tensor([[42., 34., 43., 53., 38., 43., 27., 73., 33., 50.],
        [45., 41., 64., 50., 24., 49., 53., 33., 48., 34.],
        [26., 65., 48., 44., 36., 41., 38., 41., 38., 33.],
        [76., 25., 46., 43., 28., 46., 54., 44., 43., 47.],
        [38., 36., 46., 25., 69., 36., 47., 47., 41., 55.],
        [24., 70., 46., 48., 37., 34., 34., 44., 40., 37.],
        [28., 39., 32., 43., 69., 48., 36., 44., 45., 52.],
        [21., 44., 33., 46., 55., 46., 45., 44., 44., 58.],
        [51., 37., 54., 26., 48., 46., 55., 35., 37., 49.],
        [40., 39., 24., 43., 52., 47., 38., 55., 54., 64.],
        [74., 28., 48., 44., 36., 55., 45., 35., 51., 28.],
        [41., 41., 45., 39., 47., 34., 57., 40., 51., 44.],
        [33., 33., 37., 43., 55., 44., 41., 53., 39., 68.],
        [73., 28., 43., 38., 30., 55., 39., 41., 53., 46.],
        [26., 68., 42., 49., 35., 38., 40., 40., 46., 40.],
        [45., 32., 41., 59., 40., 55., 35., 48., 51., 42.],
        [38., 37., 41., 35., 52., 34., 37., 56., 49., 73.],
        [46., 32., 49., 52., 38., 42., 31., 68., 28., 45.],
        [32., 43., 45., 56., 39., 43., 46., 44., 41., 46.],
        [30., 40., 40., 38., 65., 46., 41., 43., 43., 52.]], device='cuda:0')
Train accuarcate: 89.67%



iteration:
  115
    0   575   bit_w:-1  loss: 0.35839
    1   577   bit_w:-1  loss: 0.35753
    2   438   bit_w: 1  loss: 0.35757
    3   292   bit_w: 1  loss: 0.35723
    4   158   bit_w:-1  loss: 0.35721
   2173   3287   2474   2620   4340   3226   2504   5255   2661   4455
      0      0      0     -1      0      1     -1      0     -1      1
Train accuarcate: 89.58%
tensor([[42., 34., 43., 53., 38., 44., 27., 73., 33., 51.],
        [45., 41., 64., 51., 24., 49., 54., 33., 49., 34.],
        [26., 65., 48., 44., 36., 42., 38., 41., 38., 34.],
        [76., 25., 46., 44., 28., 46., 55., 44., 44., 47.],
        [38., 36., 46., 25., 69., 37., 47., 47., 41., 56.],
        [24., 70., 46., 48., 37., 35., 34., 44., 40., 38.],
        [28., 39., 32., 44., 69., 48., 37., 44., 46., 52.],
        [21., 44., 33., 46., 55., 47., 45., 44., 44., 59.],
        [51., 37., 54., 27., 48., 46., 56., 35., 38., 49.],
        [40., 39., 24., 43., 52., 48., 38., 55., 54., 65.],
        [74., 28., 48., 45., 36., 55., 46., 35., 52., 28.],
        [41., 41., 45., 40., 47., 34., 58., 40., 52., 44.],
        [33., 33., 37., 43., 55., 45., 41., 53., 39., 69.],
        [73., 28., 43., 39., 30., 55., 40., 41., 54., 46.],
        [26., 68., 42., 50., 35., 38., 41., 40., 47., 40.],
        [45., 32., 41., 59., 40., 56., 35., 48., 51., 43.],
        [38., 37., 41., 36., 52., 34., 38., 56., 50., 73.],
        [46., 32., 49., 52., 38., 43., 31., 68., 28., 46.],
        [32., 43., 45., 56., 39., 44., 46., 44., 41., 47.],
        [30., 40., 40., 38., 65., 47., 41., 43., 43., 53.]], device='cuda:0')
Train accuarcate: 89.65%



iteration:
  116
    0   482   bit_w:-1  loss: 0.35651
    1   688   bit_w: 1  loss: 0.35605
    2   512   bit_w:-1  loss: 0.35612
    3   577   bit_w: 1  loss: 0.35567
    4   631   bit_w:-1  loss: 0.35593
   1212   5053   2849   4750   3940   3847   4134   5061   3243   4681
     -1      0     -1      0     -1      0      0      0     -1      0
Train accuarcate: 89.63%
tensor([[42., 34., 43., 53., 38., 44., 27., 73., 33., 51.],
        [46., 41., 65., 51., 25., 49., 54., 33., 50., 34.],
        [26., 65., 48., 44., 36., 42., 38., 41., 38., 34.],
        [77., 25., 47., 44., 29., 46., 55., 44., 45., 47.],
        [38., 36., 46., 25., 69., 37., 47., 47., 41., 56.],
        [24., 70., 46., 48., 37., 35., 34., 44., 40., 38.],
        [29., 39., 33., 44., 70., 48., 37., 44., 47., 52.],
        [21., 44., 33., 46., 55., 47., 45., 44., 44., 59.],
        [51., 37., 54., 27., 48., 46., 56., 35., 38., 49.],
        [40., 39., 24., 43., 52., 48., 38., 55., 54., 65.],
        [75., 28., 49., 45., 37., 55., 46., 35., 53., 28.],
        [42., 41., 46., 40., 48., 34., 58., 40., 53., 44.],
        [34., 33., 38., 43., 56., 45., 41., 53., 40., 69.],
        [73., 28., 43., 39., 30., 55., 40., 41., 54., 46.],
        [26., 68., 42., 50., 35., 38., 41., 40., 47., 40.],
        [46., 32., 42., 59., 41., 56., 35., 48., 52., 43.],
        [38., 37., 41., 36., 52., 34., 38., 56., 50., 73.],
        [47., 32., 50., 52., 39., 43., 31., 68., 29., 46.],
        [33., 43., 46., 56., 40., 44., 46., 44., 42., 47.],
        [30., 40., 40., 38., 65., 47., 41., 43., 43., 53.]], device='cuda:0')
Train accuarcate: 89.62%



iteration:
  117
    0   623   bit_w:-1  loss: 0.35519
    1   483   bit_w: 1  loss: 0.35464
    2   581   bit_w:-1  loss: 0.35455
    3   103   bit_w: 1  loss: 0.35406
    4   123   bit_w:-1  loss: 0.35437
   5108   6155   3115   2705   5668   3592   5165   6113   4348   5815
      0     -1     -1     -1      0     -1      0      0      0      0
Train accuarcate: 89.68%
tensor([[42., 34., 43., 53., 38., 44., 27., 73., 33., 51.],
        [46., 42., 66., 52., 25., 50., 54., 33., 50., 34.],
        [26., 65., 48., 44., 36., 42., 38., 41., 38., 34.],
        [77., 25., 47., 44., 29., 46., 55., 44., 45., 47.],
        [38., 36., 46., 25., 69., 37., 47., 47., 41., 56.],
        [24., 70., 46., 48., 37., 35., 34., 44., 40., 38.],
        [29., 39., 33., 44., 70., 48., 37., 44., 47., 52.],
        [21., 44., 33., 46., 55., 47., 45., 44., 44., 59.],
        [51., 37., 54., 27., 48., 46., 56., 35., 38., 49.],
        [40., 39., 24., 43., 52., 48., 38., 55., 54., 65.],
        [75., 28., 49., 45., 37., 55., 46., 35., 53., 28.],
        [42., 41., 46., 40., 48., 34., 58., 40., 53., 44.],
        [34., 33., 38., 43., 56., 45., 41., 53., 40., 69.],
        [73., 28., 43., 39., 30., 55., 40., 41., 54., 46.],
        [26., 68., 42., 50., 35., 38., 41., 40., 47., 40.],
        [46., 33., 43., 60., 41., 57., 35., 48., 52., 43.],
        [38., 37., 41., 36., 52., 34., 38., 56., 50., 73.],
        [47., 32., 50., 52., 39., 43., 31., 68., 29., 46.],
        [33., 44., 47., 57., 40., 45., 46., 44., 42., 47.],
        [30., 40., 40., 38., 65., 47., 41., 43., 43., 53.]], device='cuda:0')
Train accuarcate: 89.67%



iteration:
  118
    0   498   bit_w:-1  loss: 0.35374
    1   384   bit_w: 1  loss: 0.35322
    2   122   bit_w:-1  loss: 0.35344
    3   104   bit_w: 1  loss: 0.35279
    4   101   bit_w:-1  loss: 0.35318
   4513   6664   3842   5002   5668   5092   4015   6197   5687   5929
     -1      0     -1     -1      0      0     -1      0      0      0
Train accuarcate: 89.73%
tensor([[42., 34., 43., 53., 38., 44., 27., 73., 33., 51.],
        [47., 42., 67., 53., 25., 50., 55., 33., 50., 34.],
        [26., 65., 48., 44., 36., 42., 38., 41., 38., 34.],
        [77., 25., 47., 44., 29., 46., 55., 44., 45., 47.],
        [38., 36., 46., 25., 69., 37., 47., 47., 41., 56.],
        [24., 70., 46., 48., 37., 35., 34., 44., 40., 38.],
        [29., 39., 33., 44., 70., 48., 37., 44., 47., 52.],
        [21., 44., 33., 46., 55., 47., 45., 44., 44., 59.],
        [51., 37., 54., 27., 48., 46., 56., 35., 38., 49.],
        [40., 39., 24., 43., 52., 48., 38., 55., 54., 65.],
        [75., 28., 49., 45., 37., 55., 46., 35., 53., 28.],
        [43., 41., 47., 41., 48., 34., 59., 40., 53., 44.],
        [34., 33., 38., 43., 56., 45., 41., 53., 40., 69.],
        [73., 28., 43., 39., 30., 55., 40., 41., 54., 46.],
        [26., 68., 42., 50., 35., 38., 41., 40., 47., 40.],
        [47., 33., 44., 61., 41., 57., 36., 48., 52., 43.],
        [38., 37., 41., 36., 52., 34., 38., 56., 50., 73.],
        [47., 32., 50., 52., 39., 43., 31., 68., 29., 46.],
        [34., 44., 48., 58., 40., 45., 47., 44., 42., 47.],
        [30., 40., 40., 38., 65., 47., 41., 43., 43., 53.]], device='cuda:0')
Train accuarcate: 89.70%



iteration:
  119
    0   247   bit_w:-1  loss: 0.35263
    1   103   bit_w: 1  loss: 0.35220
    2   161   bit_w: 1  loss: 0.35215
    3   303   bit_w:-1  loss: 0.35167
    4   190   bit_w: 1  loss: 0.35187
    485    496    602    358   1215   1878   1340     47    798     37
      0      1      0      0      1      1      1      0      0      0
Train accuarcate: 89.78%
tensor([[42., 34., 43., 53., 38., 44., 27., 73., 33., 51.],
        [47., 42., 67., 53., 25., 50., 55., 33., 50., 34.],
        [26., 65., 48., 44., 36., 42., 38., 41., 38., 34.],
        [77., 25., 47., 44., 29., 46., 55., 44., 45., 47.],
        [38., 36., 46., 25., 69., 37., 47., 47., 41., 56.],
        [24., 70., 46., 48., 37., 35., 34., 44., 40., 38.],
        [29., 40., 33., 44., 71., 49., 38., 44., 47., 52.],
        [21., 44., 33., 46., 55., 47., 45., 44., 44., 59.],
        [51., 38., 54., 27., 49., 47., 57., 35., 38., 49.],
        [40., 39., 24., 43., 52., 48., 38., 55., 54., 65.],
        [75., 28., 49., 45., 37., 55., 46., 35., 53., 28.],
        [43., 41., 47., 41., 48., 34., 59., 40., 53., 44.],
        [34., 33., 38., 43., 56., 45., 41., 53., 40., 69.],
        [73., 28., 43., 39., 30., 55., 40., 41., 54., 46.],
        [26., 68., 42., 50., 35., 38., 41., 40., 47., 40.],
        [47., 33., 44., 61., 41., 57., 36., 48., 52., 43.],
        [38., 37., 41., 36., 52., 34., 38., 56., 50., 73.],
        [47., 32., 50., 52., 39., 43., 31., 68., 29., 46.],
        [34., 44., 48., 58., 40., 45., 47., 44., 42., 47.],
        [30., 40., 40., 38., 65., 47., 41., 43., 43., 53.]], device='cuda:0')
Train accuarcate: 89.65%



iteration:
  120
    0   247   bit_w:-1  loss: 0.35132
    1   328   bit_w: 1  loss: 0.35090
    2   260   bit_w:-1  loss: 0.35092
    3   711   bit_w: 1  loss: 0.35033
    4   263   bit_w:-1  loss: 0.35061
   3256   6502   4490   4934   3100   1512   3259   2960   2635   2806
      0      0     -1      1      0     -1      0      0     -1      0
Train accuarcate: 89.82%
tensor([[42., 34., 43., 54., 38., 44., 27., 73., 33., 51.],
        [47., 42., 67., 54., 25., 50., 55., 33., 50., 34.],
        [26., 65., 48., 45., 36., 42., 38., 41., 38., 34.],
        [77., 25., 47., 45., 29., 46., 55., 44., 45., 47.],
        [38., 36., 46., 26., 69., 37., 47., 47., 41., 56.],
        [24., 70., 46., 49., 37., 35., 34., 44., 40., 38.],
        [29., 40., 34., 44., 71., 50., 38., 44., 48., 52.],
        [21., 44., 34., 46., 55., 48., 45., 44., 45., 59.],
        [51., 38., 55., 27., 49., 48., 57., 35., 39., 49.],
        [40., 39., 24., 44., 52., 48., 38., 55., 54., 65.],
        [75., 28., 49., 46., 37., 55., 46., 35., 53., 28.],
        [43., 41., 47., 42., 48., 34., 59., 40., 53., 44.],
        [34., 33., 39., 43., 56., 46., 41., 53., 41., 69.],
        [73., 28., 43., 40., 30., 55., 40., 41., 54., 46.],
        [26., 68., 42., 51., 35., 38., 41., 40., 47., 40.],
        [47., 33., 44., 62., 41., 57., 36., 48., 52., 43.],
        [38., 37., 41., 37., 52., 34., 38., 56., 50., 73.],
        [47., 32., 50., 53., 39., 43., 31., 68., 29., 46.],
        [34., 44., 48., 59., 40., 45., 47., 44., 42., 47.],
        [30., 40., 40., 39., 65., 47., 41., 43., 43., 53.]], device='cuda:0')
Train accuarcate: 89.85%



iteration:
  121
    0   405   bit_w:-1  loss: 0.34995
    1   460   bit_w:-1  loss: 0.34888
    2   104   bit_w: 1  loss: 0.34905
    3   516   bit_w:-1  loss: 0.34853
    4   623   bit_w: 1  loss: 0.34836
   5419    974   1090   3233    365   2472   1438   4804    365    763
      1      1      0      0     -1      0      1      1      0     -1
Train accuarcate: 89.86%
tensor([[43., 35., 43., 54., 38., 44., 28., 74., 33., 51.],
        [47., 42., 67., 54., 26., 50., 55., 33., 50., 35.],
        [26., 65., 48., 45., 37., 42., 38., 41., 38., 35.],
        [78., 26., 47., 45., 29., 46., 56., 45., 45., 47.],
        [39., 37., 46., 26., 69., 37., 48., 48., 41., 56.],
        [24., 70., 46., 49., 38., 35., 34., 44., 40., 39.],
        [29., 40., 34., 44., 72., 50., 38., 44., 48., 53.],
        [21., 44., 34., 46., 56., 48., 45., 44., 45., 60.],
        [51., 38., 55., 27., 50., 48., 57., 35., 39., 50.],
        [40., 39., 24., 44., 53., 48., 38., 55., 54., 66.],
        [76., 29., 49., 46., 37., 55., 47., 36., 53., 28.],
        [43., 41., 47., 42., 49., 34., 59., 40., 53., 45.],
        [34., 33., 39., 43., 57., 46., 41., 53., 41., 70.],
        [74., 29., 43., 40., 30., 55., 41., 42., 54., 46.],
        [26., 68., 42., 51., 36., 38., 41., 40., 47., 41.],
        [48., 34., 44., 62., 41., 57., 37., 49., 52., 43.],
        [38., 37., 41., 37., 53., 34., 38., 56., 50., 74.],
        [48., 33., 50., 53., 39., 43., 32., 69., 29., 46.],
        [34., 44., 48., 59., 41., 45., 47., 44., 42., 48.],
        [30., 40., 40., 39., 66., 47., 41., 43., 43., 54.]], device='cuda:0')
Train accuarcate: 89.84%



iteration:
  122
    0   576   bit_w:-1  loss: 0.34765
    1   236   bit_w: 1  loss: 0.34692
    2   355   bit_w: 1  loss: 0.34679
    3   398   bit_w:-1  loss: 0.34672
    4   231   bit_w: 1  loss: 0.34616
   1939    279   2674   1893   2150   1459   1586   4739   3213   3537
      0     -1      1      1      0     -1     -1      1      1      0
Train accuarcate: 89.92%
tensor([[43., 35., 44., 55., 38., 44., 28., 75., 34., 51.],
        [47., 43., 67., 54., 26., 51., 56., 33., 50., 35.],
        [26., 66., 48., 45., 37., 43., 39., 41., 38., 35.],
        [78., 26., 48., 46., 29., 46., 56., 46., 46., 47.],
        [39., 37., 47., 27., 69., 37., 48., 49., 42., 56.],
        [24., 71., 46., 49., 38., 36., 35., 44., 40., 39.],
        [29., 40., 35., 45., 72., 50., 38., 45., 49., 53.],
        [21., 44., 35., 47., 56., 48., 45., 45., 46., 60.],
        [51., 39., 55., 27., 50., 49., 58., 35., 39., 50.],
        [40., 39., 25., 45., 53., 48., 38., 56., 55., 66.],
        [76., 30., 49., 46., 37., 56., 48., 36., 53., 28.],
        [43., 42., 47., 42., 49., 35., 60., 40., 53., 45.],
        [34., 33., 40., 44., 57., 46., 41., 54., 42., 70.],
        [74., 29., 44., 41., 30., 55., 41., 43., 55., 46.],
        [26., 69., 42., 51., 36., 39., 42., 40., 47., 41.],
        [48., 35., 44., 62., 41., 58., 38., 49., 52., 43.],
        [38., 38., 41., 37., 53., 35., 39., 56., 50., 74.],
        [48., 33., 51., 54., 39., 43., 32., 70., 30., 46.],
        [34., 44., 49., 60., 41., 45., 47., 45., 43., 48.],
        [30., 41., 40., 39., 66., 48., 42., 43., 43., 54.]], device='cuda:0')
Train accuarcate: 89.94%



iteration:
  123
    0   434   bit_w:-1  loss: 0.34544
    1   489   bit_w:-1  loss: 0.34431
    2   598   bit_w:-1  loss: 0.34429
    3   271   bit_w: 1  loss: 0.34407
    4   405   bit_w:-1  loss: 0.34427
   5802    628   2116   3819   3815   3234   2118   5292   1158   4316
      1      0     -1      0      0      0     -1     -1      0      1
Train accuarcate: 90.02%
tensor([[44., 35., 44., 55., 38., 44., 28., 75., 34., 52.],
        [47., 43., 68., 54., 26., 51., 57., 34., 50., 35.],
        [26., 66., 49., 45., 37., 43., 40., 42., 38., 35.],
        [79., 26., 48., 46., 29., 46., 56., 46., 46., 48.],
        [40., 37., 47., 27., 69., 37., 48., 49., 42., 57.],
        [24., 71., 47., 49., 38., 36., 36., 45., 40., 39.],
        [30., 40., 35., 45., 72., 50., 38., 45., 49., 54.],
        [21., 44., 36., 47., 56., 48., 46., 46., 46., 60.],
        [52., 39., 55., 27., 50., 49., 58., 35., 39., 51.],
        [41., 39., 25., 45., 53., 48., 38., 56., 55., 67.],
        [77., 30., 49., 46., 37., 56., 48., 36., 53., 29.],
        [43., 42., 48., 42., 49., 35., 61., 41., 53., 45.],
        [35., 33., 40., 44., 57., 46., 41., 54., 42., 71.],
        [75., 29., 44., 41., 30., 55., 41., 43., 55., 47.],
        [26., 69., 43., 51., 36., 39., 43., 41., 47., 41.],
        [49., 35., 44., 62., 41., 58., 38., 49., 52., 44.],
        [39., 38., 41., 37., 53., 35., 39., 56., 50., 75.],
        [49., 33., 51., 54., 39., 43., 32., 70., 30., 47.],
        [35., 44., 49., 60., 41., 45., 47., 45., 43., 49.],
        [30., 41., 41., 39., 66., 48., 43., 44., 43., 54.]], device='cuda:0')
Train accuarcate: 90.08%



iteration:
  124
    0   322   bit_w:-1  loss: 0.34342
    1   374   bit_w: 1  loss: 0.34280
    2   292   bit_w:-1  loss: 0.34287
    3   404   bit_w: 1  loss: 0.34234
    4   713   bit_w:-1  loss: 0.34253
   4585   2515   5300   4619   5518   4213   5510   2402   4423   4784
      0     -1      0      0      1     -1      0     -1     -1      0
Train accuarcate: 90.06%
tensor([[44., 36., 44., 55., 38., 45., 28., 76., 35., 52.],
        [47., 43., 68., 54., 27., 51., 57., 34., 50., 35.],
        [26., 66., 49., 45., 38., 43., 40., 42., 38., 35.],
        [79., 26., 48., 46., 30., 46., 56., 46., 46., 48.],
        [40., 37., 47., 27., 70., 37., 48., 49., 42., 57.],
        [24., 72., 47., 49., 38., 37., 36., 46., 41., 39.],
        [30., 40., 35., 45., 73., 50., 38., 45., 49., 54.],
        [21., 45., 36., 47., 56., 49., 46., 47., 47., 60.],
        [52., 39., 55., 27., 51., 49., 58., 35., 39., 51.],
        [41., 39., 25., 45., 54., 48., 38., 56., 55., 67.],
        [77., 30., 49., 46., 38., 56., 48., 36., 53., 29.],
        [43., 42., 48., 42., 50., 35., 61., 41., 53., 45.],
        [35., 34., 40., 44., 57., 47., 41., 55., 43., 71.],
        [75., 29., 44., 41., 31., 55., 41., 43., 55., 47.],
        [26., 70., 43., 51., 36., 40., 43., 42., 48., 41.],
        [49., 36., 44., 62., 41., 59., 38., 50., 53., 44.],
        [39., 38., 41., 37., 54., 35., 39., 56., 50., 75.],
        [49., 34., 51., 54., 39., 44., 32., 71., 31., 47.],
        [35., 44., 49., 60., 42., 45., 47., 45., 43., 49.],
        [30., 41., 41., 39., 67., 48., 43., 44., 43., 54.]], device='cuda:0')
Train accuarcate: 90.07%



iteration:
  125
    0   326   bit_w:-1  loss: 0.34170
    1   210   bit_w:-1  loss: 0.34122
    2   626   bit_w: 1  loss: 0.34136
    3   186   bit_w:-1  loss: 0.34109
    4   185   bit_w: 1  loss: 0.34136
   4239   3906   2854   3521   2114   4005   2963   1701   2574    960
      0      0      1     -1      0      0      0      0      1      0
Train accuarcate: 90.07%
tensor([[44., 36., 45., 55., 38., 45., 28., 76., 36., 52.],
        [47., 43., 69., 54., 27., 51., 57., 34., 51., 35.],
        [26., 66., 50., 45., 38., 43., 40., 42., 39., 35.],
        [79., 26., 48., 47., 30., 46., 56., 46., 46., 48.],
        [40., 37., 47., 28., 70., 37., 48., 49., 42., 57.],
        [24., 72., 48., 49., 38., 37., 36., 46., 42., 39.],
        [30., 40., 35., 46., 73., 50., 38., 45., 49., 54.],
        [21., 45., 37., 47., 56., 49., 46., 47., 48., 60.],
        [52., 39., 55., 28., 51., 49., 58., 35., 39., 51.],
        [41., 39., 26., 45., 54., 48., 38., 56., 56., 67.],
        [77., 30., 50., 46., 38., 56., 48., 36., 54., 29.],
        [43., 42., 48., 43., 50., 35., 61., 41., 53., 45.],
        [35., 34., 40., 45., 57., 47., 41., 55., 43., 71.],
        [75., 29., 45., 41., 31., 55., 41., 43., 56., 47.],
        [26., 70., 43., 52., 36., 40., 43., 42., 48., 41.],
        [49., 36., 45., 62., 41., 59., 38., 50., 54., 44.],
        [39., 38., 41., 38., 54., 35., 39., 56., 50., 75.],
        [49., 34., 51., 55., 39., 44., 32., 71., 31., 47.],
        [35., 44., 50., 60., 42., 45., 47., 45., 44., 49.],
        [30., 41., 41., 40., 67., 48., 43., 44., 43., 54.]], device='cuda:0')
Train accuarcate: 90.06%



iteration:
  126
    0   303   bit_w:-1  loss: 0.34084
    1   441   bit_w: 1  loss: 0.34043
    2   192   bit_w: 1  loss: 0.34049
    3   294   bit_w:-1  loss: 0.33999
    4   182   bit_w: 1  loss: 0.34037
   3601     89   3467   3321   1413   2603   3489    720   3351   2327
      0     -1      0      0      0      1      1      0     -1      1
Train accuarcate: 90.04%
tensor([[44., 37., 45., 55., 38., 45., 28., 76., 37., 52.],
        [47., 44., 69., 54., 27., 51., 57., 34., 52., 35.],
        [26., 67., 50., 45., 38., 43., 40., 42., 40., 35.],
        [79., 26., 48., 47., 30., 47., 57., 46., 46., 49.],
        [40., 38., 47., 28., 70., 37., 48., 49., 43., 57.],
        [24., 73., 48., 49., 38., 37., 36., 46., 43., 39.],
        [30., 41., 35., 46., 73., 50., 38., 45., 50., 54.],
        [21., 46., 37., 47., 56., 49., 46., 47., 49., 60.],
        [52., 39., 55., 28., 51., 50., 59., 35., 39., 52.],
        [41., 40., 26., 45., 54., 48., 38., 56., 57., 67.],
        [77., 30., 50., 46., 38., 57., 49., 36., 54., 30.],
        [43., 42., 48., 43., 50., 36., 62., 41., 53., 46.],
        [35., 35., 40., 45., 57., 47., 41., 55., 44., 71.],
        [75., 29., 45., 41., 31., 56., 42., 43., 56., 48.],
        [26., 71., 43., 52., 36., 40., 43., 42., 49., 41.],
        [49., 36., 45., 62., 41., 60., 39., 50., 54., 45.],
        [39., 38., 41., 38., 54., 36., 40., 56., 50., 76.],
        [49., 35., 51., 55., 39., 44., 32., 71., 32., 47.],
        [35., 45., 50., 60., 42., 45., 47., 45., 45., 49.],
        [30., 42., 41., 40., 67., 48., 43., 44., 44., 54.]], device='cuda:0')
Train accuarcate: 90.19%



iteration:
  127
    0   565   bit_w:-1  loss: 0.33976
    1   276   bit_w: 1  loss: 0.33937
    2   526   bit_w:-1  loss: 0.33942
    3   220   bit_w: 1  loss: 0.33870
    4   126   bit_w:-1  loss: 0.33897
   2768   5685   1732   3385   5647   4278   3343   6214   4927   5873
     -1      0     -1     -1      0      0      0      1      0      0
Train accuarcate: 90.13%
tensor([[44., 37., 45., 55., 38., 45., 28., 77., 37., 52.],
        [48., 44., 70., 55., 27., 51., 57., 34., 52., 35.],
        [26., 67., 50., 45., 38., 43., 40., 43., 40., 35.],
        [80., 26., 49., 48., 30., 47., 57., 46., 46., 49.],
        [40., 38., 47., 28., 70., 37., 48., 50., 43., 57.],
        [24., 73., 48., 49., 38., 37., 36., 47., 43., 39.],
        [30., 41., 35., 46., 73., 50., 38., 46., 50., 54.],
        [21., 46., 37., 47., 56., 49., 46., 48., 49., 60.],
        [52., 39., 55., 28., 51., 50., 59., 36., 39., 52.],
        [41., 40., 26., 45., 54., 48., 38., 57., 57., 67.],
        [77., 30., 50., 46., 38., 57., 49., 37., 54., 30.],
        [43., 42., 48., 43., 50., 36., 62., 42., 53., 46.],
        [35., 35., 40., 45., 57., 47., 41., 56., 44., 71.],
        [75., 29., 45., 41., 31., 56., 42., 44., 56., 48.],
        [27., 71., 44., 53., 36., 40., 43., 42., 49., 41.],
        [50., 36., 46., 63., 41., 60., 39., 50., 54., 45.],
        [39., 38., 41., 38., 54., 36., 40., 57., 50., 76.],
        [49., 35., 51., 55., 39., 44., 32., 72., 32., 47.],
        [36., 45., 51., 61., 42., 45., 47., 45., 45., 49.],
        [30., 42., 41., 40., 67., 48., 43., 45., 44., 54.]], device='cuda:0')
Train accuarcate: 90.27%



iteration:
  128
    0   294   bit_w:-1  loss: 0.33845
    1   240   bit_w:-1  loss: 0.33768
    2   184   bit_w: 1  loss: 0.33762
    3   349   bit_w:-1  loss: 0.33734
    4   185   bit_w: 1  loss: 0.33765
   4329   2528   4650   3180   4954   2863   4415    979   4249   2932
      0      0      0      0      1      0      1      0      0     -1
Train accuarcate: 90.15%
tensor([[44., 37., 45., 55., 38., 45., 28., 77., 37., 53.],
        [48., 44., 70., 55., 27., 51., 57., 34., 52., 36.],
        [26., 67., 50., 45., 39., 43., 41., 43., 40., 35.],
        [80., 26., 49., 48., 30., 47., 57., 46., 46., 50.],
        [40., 38., 47., 28., 71., 37., 49., 50., 43., 57.],
        [24., 73., 48., 49., 39., 37., 37., 47., 43., 39.],
        [30., 41., 35., 46., 74., 50., 39., 46., 50., 54.],
        [21., 46., 37., 47., 56., 49., 46., 48., 49., 61.],
        [52., 39., 55., 28., 52., 50., 60., 36., 39., 52.],
        [41., 40., 26., 45., 54., 48., 38., 57., 57., 68.],
        [77., 30., 50., 46., 39., 57., 50., 37., 54., 30.],
        [43., 42., 48., 43., 51., 36., 63., 42., 53., 46.],
        [35., 35., 40., 45., 57., 47., 41., 56., 44., 72.],
        [75., 29., 45., 41., 32., 56., 43., 44., 56., 48.],
        [27., 71., 44., 53., 36., 40., 43., 42., 49., 42.],
        [50., 36., 46., 63., 42., 60., 40., 50., 54., 45.],
        [39., 38., 41., 38., 54., 36., 40., 57., 50., 77.],
        [49., 35., 51., 55., 39., 44., 32., 72., 32., 48.],
        [36., 45., 51., 61., 42., 45., 47., 45., 45., 50.],
        [30., 42., 41., 40., 68., 48., 44., 45., 44., 54.]], device='cuda:0')
Train accuarcate: 90.19%



iteration:
  129
    0   303   bit_w:-1  loss: 0.33713
    1   122   bit_w: 1  loss: 0.33676
    2   299   bit_w:-1  loss: 0.33670
    3   184   bit_w:-1  loss: 0.33634
    4   330   bit_w:-1  loss: 0.33622
   1337   6707   4156   4612   5527   5035   5668   5589   2814   4379
     -1      0      0     -1      0      1      0      0     -1     -1
Train accuarcate: 90.17%
tensor([[44., 37., 45., 55., 38., 46., 28., 77., 37., 53.],
        [48., 44., 70., 55., 27., 52., 57., 34., 52., 36.],
        [26., 67., 50., 45., 39., 44., 41., 43., 40., 35.],
        [80., 26., 49., 48., 30., 48., 57., 46., 46., 50.],
        [40., 38., 47., 28., 71., 38., 49., 50., 43., 57.],
        [24., 73., 48., 49., 39., 38., 37., 47., 43., 39.],
        [30., 41., 35., 46., 74., 51., 39., 46., 50., 54.],
        [21., 46., 37., 47., 56., 50., 46., 48., 49., 61.],
        [52., 39., 55., 28., 52., 51., 60., 36., 39., 52.],
        [42., 40., 26., 46., 54., 48., 38., 57., 58., 69.],
        [78., 30., 50., 47., 39., 57., 50., 37., 55., 31.],
        [43., 42., 48., 43., 51., 37., 63., 42., 53., 46.],
        [35., 35., 40., 45., 57., 48., 41., 56., 44., 72.],
        [76., 29., 45., 42., 32., 56., 43., 44., 57., 49.],
        [27., 71., 44., 53., 36., 41., 43., 42., 49., 42.],
        [50., 36., 46., 63., 42., 61., 40., 50., 54., 45.],
        [39., 38., 41., 38., 54., 37., 40., 57., 50., 77.],
        [49., 35., 51., 55., 39., 45., 32., 72., 32., 48.],
        [36., 45., 51., 61., 42., 46., 47., 45., 45., 50.],
        [30., 42., 41., 40., 68., 49., 44., 45., 44., 54.]], device='cuda:0')
Train accuarcate: 90.10%



iteration:
  130
    0   623   bit_w:-1  loss: 0.33564
    1   483   bit_w: 1  loss: 0.33536
    2   321   bit_w:-1  loss: 0.33527
    3   357   bit_w: 1  loss: 0.33481
    4   680   bit_w:-1  loss: 0.33497
   5141   3610   4764   1844   5376   2560   4256   4765   3330   5269
      0     -1      1     -1      0      0      0      0      0      0
Train accuarcate: 90.21%
tensor([[44., 37., 46., 55., 38., 46., 28., 77., 37., 53.],
        [48., 45., 70., 56., 27., 52., 57., 34., 52., 36.],
        [26., 67., 51., 45., 39., 44., 41., 43., 40., 35.],
        [80., 26., 50., 48., 30., 48., 57., 46., 46., 50.],
        [40., 38., 48., 28., 71., 38., 49., 50., 43., 57.],
        [24., 73., 49., 49., 39., 38., 37., 47., 43., 39.],
        [30., 41., 36., 46., 74., 51., 39., 46., 50., 54.],
        [21., 46., 38., 47., 56., 50., 46., 48., 49., 61.],
        [52., 39., 56., 28., 52., 51., 60., 36., 39., 52.],
        [42., 40., 27., 46., 54., 48., 38., 57., 58., 69.],
        [78., 30., 51., 47., 39., 57., 50., 37., 55., 31.],
        [43., 42., 49., 43., 51., 37., 63., 42., 53., 46.],
        [35., 35., 41., 45., 57., 48., 41., 56., 44., 72.],
        [76., 29., 46., 42., 32., 56., 43., 44., 57., 49.],
        [27., 72., 44., 54., 36., 41., 43., 42., 49., 42.],
        [50., 37., 46., 64., 42., 61., 40., 50., 54., 45.],
        [39., 38., 42., 38., 54., 37., 40., 57., 50., 77.],
        [49., 35., 52., 55., 39., 45., 32., 72., 32., 48.],
        [36., 45., 52., 61., 42., 46., 47., 45., 45., 50.],
        [30., 42., 42., 40., 68., 49., 44., 45., 44., 54.]], device='cuda:0')
Train accuarcate: 90.17%



iteration:
  131
    0   688   bit_w:-1  loss: 0.33441
    1   276   bit_w: 1  loss: 0.33395
    2   274   bit_w:-1  loss: 0.33406
    3   511   bit_w: 1  loss: 0.33375
    4   458   bit_w: 1  loss: 0.33393
   3170    246   3551   1076   3044   1485   4769    328   1802   1938
      1      0      0      0      0      1      1      0     -1      0
Train accuarcate: 90.30%
tensor([[44., 37., 46., 55., 38., 46., 28., 77., 38., 53.],
        [49., 45., 70., 56., 27., 53., 58., 34., 52., 36.],
        [26., 67., 51., 45., 39., 44., 41., 43., 41., 35.],
        [81., 26., 50., 48., 30., 49., 58., 46., 46., 50.],
        [40., 38., 48., 28., 71., 38., 49., 50., 44., 57.],
        [24., 73., 49., 49., 39., 38., 37., 47., 44., 39.],
        [30., 41., 36., 46., 74., 51., 39., 46., 51., 54.],
        [22., 46., 38., 47., 56., 51., 47., 48., 49., 61.],
        [53., 39., 56., 28., 52., 52., 61., 36., 39., 52.],
        [42., 40., 27., 46., 54., 48., 38., 57., 59., 69.],
        [78., 30., 51., 47., 39., 57., 50., 37., 56., 31.],
        [44., 42., 49., 43., 51., 38., 64., 42., 53., 46.],
        [36., 35., 41., 45., 57., 49., 42., 56., 44., 72.],
        [76., 29., 46., 42., 32., 56., 43., 44., 58., 49.],
        [27., 72., 44., 54., 36., 41., 43., 42., 50., 42.],
        [50., 37., 46., 64., 42., 61., 40., 50., 55., 45.],
        [39., 38., 42., 38., 54., 37., 40., 57., 51., 77.],
        [49., 35., 52., 55., 39., 45., 32., 72., 33., 48.],
        [36., 45., 52., 61., 42., 46., 47., 45., 46., 50.],
        [30., 42., 42., 40., 68., 49., 44., 45., 45., 54.]], device='cuda:0')
Train accuarcate: 90.26%



iteration:
  132
    0   493   bit_w:-1  loss: 0.33338
    1   324   bit_w:-1  loss: 0.33284
    2   688   bit_w:-1  loss: 0.33282
    3   719   bit_w: 1  loss: 0.33254
    4   687   bit_w:-1  loss: 0.33249
   5387   6493   5070   3363   3770   4395   5631   4053   3727   3558
      0      0      0     -1     -1      0      0     -1     -1      1
Train accuarcate: 90.33%
tensor([[44., 37., 46., 55., 38., 46., 28., 77., 38., 54.],
        [49., 45., 70., 56., 27., 53., 58., 34., 52., 37.],
        [26., 67., 51., 45., 39., 44., 41., 43., 41., 36.],
        [81., 26., 50., 48., 30., 49., 58., 46., 46., 51.],
        [40., 38., 48., 29., 72., 38., 49., 51., 45., 57.],
        [24., 73., 49., 49., 39., 38., 37., 47., 44., 40.],
        [30., 41., 36., 46., 74., 51., 39., 46., 51., 55.],
        [22., 46., 38., 48., 57., 51., 47., 49., 50., 61.],
        [53., 39., 56., 28., 52., 52., 61., 36., 39., 53.],
        [42., 40., 27., 46., 54., 48., 38., 57., 59., 70.],
        [78., 30., 51., 47., 39., 57., 50., 37., 56., 32.],
        [44., 42., 49., 43., 51., 38., 64., 42., 53., 47.],
        [36., 35., 41., 45., 57., 49., 42., 56., 44., 73.],
        [76., 29., 46., 43., 33., 56., 43., 45., 59., 49.],
        [27., 72., 44., 54., 36., 41., 43., 42., 50., 43.],
        [50., 37., 46., 64., 42., 61., 40., 50., 55., 46.],
        [39., 38., 42., 39., 55., 37., 40., 58., 52., 77.],
        [49., 35., 52., 55., 39., 45., 32., 72., 33., 49.],
        [36., 45., 52., 61., 42., 46., 47., 45., 46., 51.],
        [30., 42., 42., 41., 69., 49., 44., 46., 46., 54.]], device='cuda:0')
Train accuarcate: 90.38%



iteration:
  133
    0   247   bit_w:-1  loss: 0.33194
    1   125   bit_w: 1  loss: 0.33155
    2   654   bit_w:-1  loss: 0.33165
    3   606   bit_w: 1  loss: 0.33111
    4   630   bit_w:-1  loss: 0.33127
   2447   2860   5176   2781   3312   1969   4999   1884   2019   2922
     -1      0      1      1     -1      0      0     -1      0      0
Train accuarcate: 90.40%
tensor([[44., 37., 47., 56., 38., 46., 28., 77., 38., 54.],
        [49., 45., 71., 57., 27., 53., 58., 34., 52., 37.],
        [26., 67., 52., 46., 39., 44., 41., 43., 41., 36.],
        [81., 26., 51., 49., 30., 49., 58., 46., 46., 51.],
        [40., 38., 49., 30., 72., 38., 49., 51., 45., 57.],
        [24., 73., 50., 50., 39., 38., 37., 47., 44., 40.],
        [31., 41., 36., 46., 75., 51., 39., 47., 51., 55.],
        [22., 46., 39., 49., 57., 51., 47., 49., 50., 61.],
        [53., 39., 57., 29., 52., 52., 61., 36., 39., 53.],
        [43., 40., 27., 46., 55., 48., 38., 58., 59., 70.],
        [79., 30., 51., 47., 40., 57., 50., 38., 56., 32.],
        [45., 42., 49., 43., 52., 38., 64., 43., 53., 47.],
        [37., 35., 41., 45., 58., 49., 42., 57., 44., 73.],
        [76., 29., 47., 44., 33., 56., 43., 45., 59., 49.],
        [28., 72., 44., 54., 37., 41., 43., 43., 50., 43.],
        [51., 37., 46., 64., 43., 61., 40., 51., 55., 46.],
        [39., 38., 43., 40., 55., 37., 40., 58., 52., 77.],
        [50., 35., 52., 55., 40., 45., 32., 73., 33., 49.],
        [36., 45., 53., 62., 42., 46., 47., 45., 46., 51.],
        [30., 42., 43., 42., 69., 49., 44., 46., 46., 54.]], device='cuda:0')
Train accuarcate: 90.44%



iteration:
  134
    0   303   bit_w:-1  loss: 0.33078
    1   441   bit_w: 1  loss: 0.33033
    2   104   bit_w: 1  loss: 0.33044
    3   582   bit_w:-1  loss: 0.32984
    4   527   bit_w:-1  loss: 0.33030
   5120   6723   3857   5832   5689   4805   5629   6078   5079   5850
      0      0     -1      0      0     -1      0      0     -1      0
Train accuarcate: 90.42%
tensor([[44., 37., 47., 56., 38., 46., 28., 77., 38., 54.],
        [49., 45., 72., 57., 27., 54., 58., 34., 53., 37.],
        [26., 67., 52., 46., 39., 44., 41., 43., 41., 36.],
        [81., 26., 51., 49., 30., 49., 58., 46., 46., 51.],
        [40., 38., 49., 30., 72., 38., 49., 51., 45., 57.],
        [24., 73., 50., 50., 39., 38., 37., 47., 44., 40.],
        [31., 41., 36., 46., 75., 51., 39., 47., 51., 55.],
        [22., 46., 39., 49., 57., 51., 47., 49., 50., 61.],
        [53., 39., 57., 29., 52., 52., 61., 36., 39., 53.],
        [43., 40., 27., 46., 55., 48., 38., 58., 59., 70.],
        [79., 30., 51., 47., 40., 57., 50., 38., 56., 32.],
        [45., 42., 49., 43., 52., 38., 64., 43., 53., 47.],
        [37., 35., 41., 45., 58., 49., 42., 57., 44., 73.],
        [76., 29., 47., 44., 33., 56., 43., 45., 59., 49.],
        [28., 72., 44., 54., 37., 41., 43., 43., 50., 43.],
        [51., 37., 47., 64., 43., 62., 40., 51., 56., 46.],
        [39., 38., 43., 40., 55., 37., 40., 58., 52., 77.],
        [50., 35., 52., 55., 40., 45., 32., 73., 33., 49.],
        [36., 45., 54., 62., 42., 47., 47., 45., 47., 51.],
        [30., 42., 43., 42., 69., 49., 44., 46., 46., 54.]], device='cuda:0')
Train accuarcate: 90.44%



iteration:
  135
    0   415   bit_w:-1  loss: 0.32979
    1   276   bit_w: 1  loss: 0.32936
    2   459   bit_w:-1  loss: 0.32938
    3   351   bit_w: 1  loss: 0.32883
    4   404   bit_w: 1  loss: 0.32906
    403   5752   1888   5315   1819   3789   1154   1003   3777   2716
     -1      1      0      0      0      1     -1     -1      0      1
Train accuarcate: 90.47%
tensor([[45., 37., 47., 56., 38., 46., 29., 78., 38., 54.],
        [50., 45., 72., 57., 27., 54., 59., 35., 53., 37.],
        [26., 68., 52., 46., 39., 45., 41., 43., 41., 37.],
        [82., 26., 51., 49., 30., 49., 59., 47., 46., 51.],
        [41., 38., 49., 30., 72., 38., 50., 52., 45., 57.],
        [24., 74., 50., 50., 39., 39., 37., 47., 44., 41.],
        [31., 42., 36., 46., 75., 52., 39., 47., 51., 56.],
        [23., 46., 39., 49., 57., 51., 48., 50., 50., 61.],
        [54., 39., 57., 29., 52., 52., 62., 37., 39., 53.],
        [43., 41., 27., 46., 55., 49., 38., 58., 59., 71.],
        [80., 30., 51., 47., 40., 57., 51., 39., 56., 32.],
        [45., 43., 49., 43., 52., 39., 64., 43., 53., 48.],
        [38., 35., 41., 45., 58., 49., 43., 58., 44., 73.],
        [77., 29., 47., 44., 33., 56., 44., 46., 59., 49.],
        [28., 73., 44., 54., 37., 42., 43., 43., 50., 44.],
        [51., 38., 47., 64., 43., 63., 40., 51., 56., 47.],
        [40., 38., 43., 40., 55., 37., 41., 59., 52., 77.],
        [51., 35., 52., 55., 40., 45., 33., 74., 33., 49.],
        [36., 46., 54., 62., 42., 48., 47., 45., 47., 52.],
        [30., 43., 43., 42., 69., 50., 44., 46., 46., 55.]], device='cuda:0')
Train accuarcate: 90.41%



iteration:
  136
    0   464   bit_w:-1  loss: 0.32828
    1   405   bit_w: 1  loss: 0.32793
    2   519   bit_w:-1  loss: 0.32767
    3   488   bit_w: 1  loss: 0.32772
    4   426   bit_w:-1  loss: 0.32728
   2463   5815   3028   5163   1820   3962   3936   1380   5246   2092
      0      0      0      1     -1      0      0      0      1     -1
Train accuarcate: 90.50%
tensor([[45., 37., 47., 56., 39., 46., 29., 78., 38., 55.],
        [50., 45., 72., 58., 27., 54., 59., 35., 54., 37.],
        [26., 68., 52., 47., 39., 45., 41., 43., 42., 37.],
        [82., 26., 51., 49., 31., 49., 59., 47., 46., 52.],
        [41., 38., 49., 31., 72., 38., 50., 52., 46., 57.],
        [24., 74., 50., 51., 39., 39., 37., 47., 45., 41.],
        [31., 42., 36., 46., 76., 52., 39., 47., 51., 57.],
        [23., 46., 39., 50., 57., 51., 48., 50., 51., 61.],
        [54., 39., 57., 29., 53., 52., 62., 37., 39., 54.],
        [43., 41., 27., 46., 56., 49., 38., 58., 59., 72.],
        [80., 30., 51., 48., 40., 57., 51., 39., 57., 32.],
        [45., 43., 49., 44., 52., 39., 64., 43., 54., 48.],
        [38., 35., 41., 45., 59., 49., 43., 58., 44., 74.],
        [77., 29., 47., 45., 33., 56., 44., 46., 60., 49.],
        [28., 73., 44., 55., 37., 42., 43., 43., 51., 44.],
        [51., 38., 47., 65., 43., 63., 40., 51., 57., 47.],
        [40., 38., 43., 41., 55., 37., 41., 59., 53., 77.],
        [51., 35., 52., 55., 41., 45., 33., 74., 33., 50.],
        [36., 46., 54., 63., 42., 48., 47., 45., 48., 52.],
        [30., 43., 43., 43., 69., 50., 44., 46., 47., 55.]], device='cuda:0')
Train accuarcate: 90.42%



iteration:
  137
    0   654   bit_w:-1  loss: 0.32671
    1   209   bit_w:-1  loss: 0.32593
    2   347   bit_w: 1  loss: 0.32603
    3   238   bit_w:-1  loss: 0.32563
    4   348   bit_w: 1  loss: 0.32576
   1865   2091   2531   3070   4948   3151   4883   1504   2835   1348
      0      0     -1      0      1     -1      1      0      0      0
Train accuarcate: 90.51%
tensor([[45., 37., 48., 56., 39., 47., 29., 78., 38., 55.],
        [50., 45., 72., 58., 28., 54., 60., 35., 54., 37.],
        [26., 68., 52., 47., 40., 45., 42., 43., 42., 37.],
        [82., 26., 52., 49., 31., 50., 59., 47., 46., 52.],
        [41., 38., 49., 31., 73., 38., 51., 52., 46., 57.],
        [24., 74., 50., 51., 40., 39., 38., 47., 45., 41.],
        [31., 42., 36., 46., 77., 52., 40., 47., 51., 57.],
        [23., 46., 40., 50., 57., 52., 48., 50., 51., 61.],
        [54., 39., 58., 29., 53., 53., 62., 37., 39., 54.],
        [43., 41., 28., 46., 56., 50., 38., 58., 59., 72.],
        [80., 30., 52., 48., 40., 58., 51., 39., 57., 32.],
        [45., 43., 49., 44., 53., 39., 65., 43., 54., 48.],
        [38., 35., 42., 45., 59., 50., 43., 58., 44., 74.],
        [77., 29., 48., 45., 33., 57., 44., 46., 60., 49.],
        [28., 73., 45., 55., 37., 43., 43., 43., 51., 44.],
        [51., 38., 47., 65., 44., 63., 41., 51., 57., 47.],
        [40., 38., 44., 41., 55., 38., 41., 59., 53., 77.],
        [51., 35., 53., 55., 41., 46., 33., 74., 33., 50.],
        [36., 46., 54., 63., 43., 48., 48., 45., 48., 52.],
        [30., 43., 43., 43., 70., 50., 45., 46., 47., 55.]], device='cuda:0')
Train accuarcate: 90.47%



iteration:
  138
    0   303   bit_w:-1  loss: 0.32531
    1   714   bit_w: 1  loss: 0.32494
    2   711   bit_w: 1  loss: 0.32498
    3   247   bit_w:-1  loss: 0.32429
    4   680   bit_w: 1  loss: 0.32459
    121    239     72   1168    479    553      0   3951    605   2540
      0     -1      0      1      0      0      0      1      0      1
Train accuarcate: 90.53%
tensor([[45., 37., 48., 57., 39., 47., 29., 79., 38., 56.],
        [50., 46., 72., 58., 28., 54., 60., 35., 54., 37.],
        [26., 69., 52., 47., 40., 45., 42., 43., 42., 37.],
        [82., 27., 52., 49., 31., 50., 59., 47., 46., 52.],
        [41., 39., 49., 31., 73., 38., 51., 52., 46., 57.],
        [24., 75., 50., 51., 40., 39., 38., 47., 45., 41.],
        [31., 43., 36., 46., 77., 52., 40., 47., 51., 57.],
        [23., 47., 40., 50., 57., 52., 48., 50., 51., 61.],
        [54., 40., 58., 29., 53., 53., 62., 37., 39., 54.],
        [43., 41., 28., 47., 56., 50., 38., 59., 59., 73.],
        [80., 31., 52., 48., 40., 58., 51., 39., 57., 32.],
        [45., 44., 49., 44., 53., 39., 65., 43., 54., 48.],
        [38., 35., 42., 46., 59., 50., 43., 59., 44., 75.],
        [77., 30., 48., 45., 33., 57., 44., 46., 60., 49.],
        [28., 74., 45., 55., 37., 43., 43., 43., 51., 44.],
        [51., 39., 47., 65., 44., 63., 41., 51., 57., 47.],
        [40., 38., 44., 42., 55., 38., 41., 60., 53., 78.],
        [51., 35., 53., 56., 41., 46., 33., 75., 33., 51.],
        [36., 47., 54., 63., 43., 48., 48., 45., 48., 52.],
        [30., 44., 43., 43., 70., 50., 45., 46., 47., 55.]], device='cuda:0')
Train accuarcate: 90.50%



iteration:
  139
    0   314   bit_w:-1  loss: 0.32410
    1   509   bit_w: 1  loss: 0.32373
    2   231   bit_w: 1  loss: 0.32382
    3   276   bit_w:-1  loss: 0.32354
    4   148   bit_w: 1  loss: 0.32363
   1651     21   2789   2452    550    706    369   1611    489     79
      0      0      1      1      0      0      0      1      0      0
Train accuarcate: 90.56%
tensor([[45., 37., 49., 58., 39., 47., 29., 80., 38., 56.],
        [50., 46., 73., 59., 28., 54., 60., 36., 54., 37.],
        [26., 69., 52., 47., 40., 45., 42., 43., 42., 37.],
        [82., 27., 52., 49., 31., 50., 59., 47., 46., 52.],
        [41., 39., 49., 31., 73., 38., 51., 52., 46., 57.],
        [24., 75., 50., 51., 40., 39., 38., 47., 45., 41.],
        [31., 43., 36., 46., 77., 52., 40., 47., 51., 57.],
        [23., 47., 40., 50., 57., 52., 48., 50., 51., 61.],
        [54., 40., 58., 29., 53., 53., 62., 37., 39., 54.],
        [43., 41., 28., 47., 56., 50., 38., 59., 59., 73.],
        [80., 31., 52., 48., 40., 58., 51., 39., 57., 32.],
        [45., 44., 49., 44., 53., 39., 65., 43., 54., 48.],
        [38., 35., 42., 46., 59., 50., 43., 59., 44., 75.],
        [77., 30., 48., 45., 33., 57., 44., 46., 60., 49.],
        [28., 74., 45., 55., 37., 43., 43., 43., 51., 44.],
        [51., 39., 47., 65., 44., 63., 41., 51., 57., 47.],
        [40., 38., 44., 42., 55., 38., 41., 60., 53., 78.],
        [51., 35., 54., 57., 41., 46., 33., 76., 33., 51.],
        [36., 47., 55., 64., 43., 48., 48., 46., 48., 52.],
        [30., 44., 43., 43., 70., 50., 45., 46., 47., 55.]], device='cuda:0')
Train accuarcate: 90.56%



iteration:
  140
    0   314   bit_w:-1  loss: 0.32312
    1   453   bit_w: 1  loss: 0.32283
    2   716   bit_w:-1  loss: 0.32291
    3   174   bit_w: 1  loss: 0.32234
    4   276   bit_w:-1  loss: 0.32268
   5487   6735   5760   5957   5171   4533   5729   4519   5100   4429
      0      0      0      0      0     -1      0     -1     -1     -1
Train accuarcate: 90.60%
tensor([[45., 37., 49., 58., 39., 47., 29., 80., 38., 56.],
        [50., 46., 73., 59., 28., 54., 60., 36., 54., 37.],
        [26., 69., 52., 47., 40., 45., 42., 43., 42., 37.],
        [82., 27., 52., 49., 31., 50., 59., 47., 46., 52.],
        [41., 39., 49., 31., 73., 38., 51., 52., 46., 57.],
        [24., 75., 50., 51., 40., 39., 38., 47., 45., 41.],
        [31., 43., 36., 46., 77., 53., 40., 48., 52., 58.],
        [23., 47., 40., 50., 57., 52., 48., 50., 51., 61.],
        [54., 40., 58., 29., 53., 53., 62., 37., 39., 54.],
        [43., 41., 28., 47., 56., 50., 38., 59., 59., 73.],
        [80., 31., 52., 48., 40., 58., 51., 39., 57., 32.],
        [45., 44., 49., 44., 53., 39., 65., 43., 54., 48.],
        [38., 35., 42., 46., 59., 50., 43., 59., 44., 75.],
        [77., 30., 48., 45., 33., 57., 44., 46., 60., 49.],
        [28., 74., 45., 55., 37., 43., 43., 43., 51., 44.],
        [51., 39., 47., 65., 44., 63., 41., 51., 57., 47.],
        [40., 38., 44., 42., 55., 39., 41., 61., 54., 79.],
        [51., 35., 54., 57., 41., 46., 33., 76., 33., 51.],
        [36., 47., 55., 64., 43., 48., 48., 46., 48., 52.],
        [30., 44., 43., 43., 70., 50., 45., 46., 47., 55.]], device='cuda:0')
Train accuarcate: 90.58%



iteration:
  141
    0   425   bit_w:-1  loss: 0.32220
    1   683   bit_w: 1  loss: 0.32187
    2   570   bit_w:-1  loss: 0.32186
    3   432   bit_w: 1  loss: 0.32163
    4   245   bit_w:-1  loss: 0.32154
   1504   6075   3320   4777   4952   3620   3647   5324   4921   5502
     -1      0      0     -1      0     -1      0      0      1     -1
Train accuarcate: 90.64%
tensor([[45., 37., 49., 58., 39., 47., 29., 80., 39., 56.],
        [50., 46., 73., 59., 28., 54., 60., 36., 55., 37.],
        [26., 69., 52., 47., 40., 45., 42., 43., 43., 37.],
        [83., 27., 52., 50., 31., 51., 59., 47., 46., 53.],
        [41., 39., 49., 31., 73., 38., 51., 52., 47., 57.],
        [24., 75., 50., 51., 40., 39., 38., 47., 46., 41.],
        [32., 43., 36., 47., 77., 54., 40., 48., 52., 59.],
        [23., 47., 40., 50., 57., 52., 48., 50., 52., 61.],
        [55., 40., 58., 30., 53., 54., 62., 37., 39., 55.],
        [43., 41., 28., 47., 56., 50., 38., 59., 60., 73.],
        [81., 31., 52., 49., 40., 59., 51., 39., 57., 33.],
        [45., 44., 49., 44., 53., 39., 65., 43., 55., 48.],
        [38., 35., 42., 46., 59., 50., 43., 59., 45., 75.],
        [78., 30., 48., 46., 33., 58., 44., 46., 60., 50.],
        [28., 74., 45., 55., 37., 43., 43., 43., 52., 44.],
        [51., 39., 47., 65., 44., 63., 41., 51., 58., 47.],
        [40., 38., 44., 42., 55., 39., 41., 61., 55., 79.],
        [51., 35., 54., 57., 41., 46., 33., 76., 34., 51.],
        [37., 47., 55., 65., 43., 49., 48., 46., 48., 53.],
        [30., 44., 43., 43., 70., 50., 45., 46., 48., 55.]], device='cuda:0')
Train accuarcate: 90.67%



iteration:
  142
    0   624   bit_w:-1  loss: 0.32104
    1   441   bit_w: 1  loss: 0.32063
    2   682   bit_w: 1  loss: 0.32081
    3   594   bit_w:-1  loss: 0.32036
    4   131   bit_w: 1  loss: 0.32050
   1714    769    454   1120   1502   1029   3236   2079    792   1183
      0      0     -1      1      1      1      1      1      0      0
Train accuarcate: 90.67%
tensor([[45., 37., 50., 58., 39., 47., 29., 80., 39., 56.],
        [50., 46., 74., 59., 28., 54., 60., 36., 55., 37.],
        [26., 69., 53., 47., 40., 45., 42., 43., 43., 37.],
        [83., 27., 52., 51., 32., 52., 60., 48., 46., 53.],
        [41., 39., 50., 31., 73., 38., 51., 52., 47., 57.],
        [24., 75., 51., 51., 40., 39., 38., 47., 46., 41.],
        [32., 43., 37., 47., 77., 54., 40., 48., 52., 59.],
        [23., 47., 41., 50., 57., 52., 48., 50., 52., 61.],
        [55., 40., 59., 30., 53., 54., 62., 37., 39., 55.],
        [43., 41., 28., 48., 57., 51., 39., 60., 60., 73.],
        [81., 31., 53., 49., 40., 59., 51., 39., 57., 33.],
        [45., 44., 49., 45., 54., 40., 66., 44., 55., 48.],
        [38., 35., 43., 46., 59., 50., 43., 59., 45., 75.],
        [78., 30., 48., 47., 34., 59., 45., 47., 60., 50.],
        [28., 74., 46., 55., 37., 43., 43., 43., 52., 44.],
        [51., 39., 47., 66., 45., 64., 42., 52., 58., 47.],
        [40., 38., 45., 42., 55., 39., 41., 61., 55., 79.],
        [51., 35., 55., 57., 41., 46., 33., 76., 34., 51.],
        [37., 47., 55., 66., 44., 50., 49., 47., 48., 53.],
        [30., 44., 44., 43., 70., 50., 45., 46., 48., 55.]], device='cuda:0')
Train accuarcate: 90.62%



iteration:
  143
    0   387   bit_w:-1  loss: 0.32002
    1   384   bit_w: 1  loss: 0.31962
    2   324   bit_w: 1  loss: 0.31956
    3   354   bit_w: 1  loss: 0.31907
    4   303   bit_w:-1  loss: 0.31898
   3155   3922   5234   4894   5354   1242   2816   5876   4836   5484
      1      0      0      0      1     -1     -1      0      0      0
Train accuarcate: 90.66%
tensor([[46., 37., 50., 58., 40., 47., 29., 80., 39., 56.],
        [50., 46., 74., 59., 28., 55., 61., 36., 55., 37.],
        [27., 69., 53., 47., 41., 45., 42., 43., 43., 37.],
        [84., 27., 52., 51., 33., 52., 60., 48., 46., 53.],
        [42., 39., 50., 31., 74., 38., 51., 52., 47., 57.],
        [25., 75., 51., 51., 41., 39., 38., 47., 46., 41.],
        [33., 43., 37., 47., 78., 54., 40., 48., 52., 59.],
        [24., 47., 41., 50., 58., 52., 48., 50., 52., 61.],
        [55., 40., 59., 30., 53., 55., 63., 37., 39., 55.],
        [44., 41., 28., 48., 58., 51., 39., 60., 60., 73.],
        [81., 31., 53., 49., 40., 60., 52., 39., 57., 33.],
        [46., 44., 49., 45., 55., 40., 66., 44., 55., 48.],
        [39., 35., 43., 46., 60., 50., 43., 59., 45., 75.],
        [79., 30., 48., 47., 35., 59., 45., 47., 60., 50.],
        [28., 74., 46., 55., 37., 44., 44., 43., 52., 44.],
        [51., 39., 47., 66., 45., 65., 43., 52., 58., 47.],
        [41., 38., 45., 42., 56., 39., 41., 61., 55., 79.],
        [52., 35., 55., 57., 42., 46., 33., 76., 34., 51.],
        [38., 47., 55., 66., 45., 50., 49., 47., 48., 53.],
        [31., 44., 44., 43., 71., 50., 45., 46., 48., 55.]], device='cuda:0')
Train accuarcate: 90.75%



iteration:
  144
    0   376   bit_w:-1  loss: 0.31808
    1   151   bit_w:-1  loss: 0.31745
    2   564   bit_w: 1  loss: 0.31764
    3   127   bit_w:-1  loss: 0.31712
    4   708   bit_w: 1  loss: 0.31747
   3099   4711   1873   1203   4061   1704   1243   6030   1540   4468
      0      0      0      1      0      0      0      1      0      1
Train accuarcate: 90.76%
tensor([[46., 37., 50., 59., 40., 47., 29., 81., 39., 57.],
        [50., 46., 74., 59., 28., 55., 61., 36., 55., 37.],
        [27., 69., 53., 48., 41., 45., 42., 44., 43., 38.],
        [84., 27., 52., 51., 33., 52., 60., 48., 46., 53.],
        [42., 39., 50., 31., 74., 38., 51., 52., 47., 57.],
        [25., 75., 51., 52., 41., 39., 38., 48., 46., 42.],
        [33., 43., 37., 47., 78., 54., 40., 48., 52., 59.],
        [24., 47., 41., 51., 58., 52., 48., 51., 52., 62.],
        [55., 40., 59., 31., 53., 55., 63., 38., 39., 56.],
        [44., 41., 28., 48., 58., 51., 39., 60., 60., 73.],
        [81., 31., 53., 49., 40., 60., 52., 39., 57., 33.],
        [46., 44., 49., 45., 55., 40., 66., 44., 55., 48.],
        [39., 35., 43., 47., 60., 50., 43., 60., 45., 76.],
        [79., 30., 48., 48., 35., 59., 45., 48., 60., 51.],
        [28., 74., 46., 55., 37., 44., 44., 43., 52., 44.],
        [51., 39., 47., 66., 45., 65., 43., 52., 58., 47.],
        [41., 38., 45., 43., 56., 39., 41., 62., 55., 80.],
        [52., 35., 55., 58., 42., 46., 33., 77., 34., 52.],
        [38., 47., 55., 66., 45., 50., 49., 47., 48., 53.],
        [31., 44., 44., 44., 71., 50., 45., 47., 48., 56.]], device='cuda:0')
Train accuarcate: 90.68%



iteration:
  145
    0   359   bit_w:-1  loss: 0.31696
    1   248   bit_w: 1  loss: 0.31671
    2   349   bit_w:-1  loss: 0.31678
    3   469   bit_w: 1  loss: 0.31622
    4   387   bit_w:-1  loss: 0.31630
   3519   3502   5361   2748   5268   3555   4043   5858   2994   5161
     -1     -1      0      0      0      1     -1      0     -1      0
Train accuarcate: 90.79%
tensor([[46., 37., 50., 59., 40., 48., 29., 81., 39., 57.],
        [51., 47., 74., 59., 28., 55., 62., 36., 56., 37.],
        [27., 69., 53., 48., 41., 46., 42., 44., 43., 38.],
        [84., 27., 52., 51., 33., 53., 60., 48., 46., 53.],
        [42., 39., 50., 31., 74., 39., 51., 52., 47., 57.],
        [25., 75., 51., 52., 41., 40., 38., 48., 46., 42.],
        [33., 43., 37., 47., 78., 55., 40., 48., 52., 59.],
        [24., 47., 41., 51., 58., 53., 48., 51., 52., 62.],
        [55., 40., 59., 31., 53., 56., 63., 38., 39., 56.],
        [44., 41., 28., 48., 58., 52., 39., 60., 60., 73.],
        [81., 31., 53., 49., 40., 61., 52., 39., 57., 33.],
        [46., 44., 49., 45., 55., 41., 66., 44., 55., 48.],
        [39., 35., 43., 47., 60., 51., 43., 60., 45., 76.],
        [79., 30., 48., 48., 35., 60., 45., 48., 60., 51.],
        [29., 75., 46., 55., 37., 44., 45., 43., 53., 44.],
        [51., 39., 47., 66., 45., 66., 43., 52., 58., 47.],
        [41., 38., 45., 43., 56., 40., 41., 62., 55., 80.],
        [52., 35., 55., 58., 42., 47., 33., 77., 34., 52.],
        [38., 47., 55., 66., 45., 51., 49., 47., 48., 53.],
        [31., 44., 44., 44., 71., 51., 45., 47., 48., 56.]], device='cuda:0')
Train accuarcate: 90.73%



iteration:
  146
    0   453   bit_w:-1  loss: 0.31584
    1   650   bit_w: 1  loss: 0.31559
    2   665   bit_w:-1  loss: 0.31571
    3   229   bit_w: 1  loss: 0.31520
    4   528   bit_w:-1  loss: 0.31555
   4187   6732   4641   5987   5062   5198   5673   6154   5754   5597
     -1      0     -1      0     -1      0      0      0      0     -1
Train accuarcate: 90.79%
tensor([[46., 37., 50., 59., 40., 48., 29., 81., 39., 57.],
        [51., 47., 74., 59., 28., 55., 62., 36., 56., 37.],
        [27., 69., 53., 48., 41., 46., 42., 44., 43., 38.],
        [84., 27., 52., 51., 33., 53., 60., 48., 46., 53.],
        [42., 39., 50., 31., 74., 39., 51., 52., 47., 57.],
        [25., 75., 51., 52., 41., 40., 38., 48., 46., 42.],
        [33., 43., 37., 47., 78., 55., 40., 48., 52., 59.],
        [25., 47., 42., 51., 59., 53., 48., 51., 52., 63.],
        [56., 40., 60., 31., 54., 56., 63., 38., 39., 57.],
        [44., 41., 28., 48., 58., 52., 39., 60., 60., 73.],
        [81., 31., 53., 49., 40., 61., 52., 39., 57., 33.],
        [46., 44., 49., 45., 55., 41., 66., 44., 55., 48.],
        [39., 35., 43., 47., 60., 51., 43., 60., 45., 76.],
        [79., 30., 48., 48., 35., 60., 45., 48., 60., 51.],
        [29., 75., 46., 55., 37., 44., 45., 43., 53., 44.],
        [51., 39., 47., 66., 45., 66., 43., 52., 58., 47.],
        [41., 38., 45., 43., 56., 40., 41., 62., 55., 80.],
        [52., 35., 55., 58., 42., 47., 33., 77., 34., 52.],
        [38., 47., 55., 66., 45., 51., 49., 47., 48., 53.],
        [31., 44., 44., 44., 71., 51., 45., 47., 48., 56.]], device='cuda:0')
Train accuarcate: 90.75%



iteration:
  147
    0   622   bit_w:-1  loss: 0.31516
    1   370   bit_w: 1  loss: 0.31482
    2   124   bit_w:-1  loss: 0.31480
    3   105   bit_w: 1  loss: 0.31434
    4   663   bit_w:-1  loss: 0.31459
   4666   6184   2753   3215   5388   4327   4928   6107   4590   5612
      0     -1     -1     -1      0      0      0      0     -1      0
Train accuarcate: 90.80%
tensor([[46., 37., 50., 59., 40., 48., 29., 81., 39., 57.],
        [51., 48., 75., 60., 28., 55., 62., 36., 57., 37.],
        [27., 69., 53., 48., 41., 46., 42., 44., 43., 38.],
        [84., 27., 52., 51., 33., 53., 60., 48., 46., 53.],
        [42., 39., 50., 31., 74., 39., 51., 52., 47., 57.],
        [25., 75., 51., 52., 41., 40., 38., 48., 46., 42.],
        [33., 43., 37., 47., 78., 55., 40., 48., 52., 59.],
        [25., 47., 42., 51., 59., 53., 48., 51., 52., 63.],
        [56., 40., 60., 31., 54., 56., 63., 38., 39., 57.],
        [44., 41., 28., 48., 58., 52., 39., 60., 60., 73.],
        [81., 31., 53., 49., 40., 61., 52., 39., 57., 33.],
        [46., 45., 50., 46., 55., 41., 66., 44., 56., 48.],
        [39., 35., 43., 47., 60., 51., 43., 60., 45., 76.],
        [79., 30., 48., 48., 35., 60., 45., 48., 60., 51.],
        [29., 75., 46., 55., 37., 44., 45., 43., 53., 44.],
        [51., 39., 47., 66., 45., 66., 43., 52., 58., 47.],
        [41., 38., 45., 43., 56., 40., 41., 62., 55., 80.],
        [52., 35., 55., 58., 42., 47., 33., 77., 34., 52.],
        [38., 47., 55., 66., 45., 51., 49., 47., 48., 53.],
        [31., 44., 44., 44., 71., 51., 45., 47., 48., 56.]], device='cuda:0')
Train accuarcate: 90.78%



iteration:
  148
    0   415   bit_w:-1  loss: 0.31420
    1   191   bit_w: 1  loss: 0.31389
    2   304   bit_w: 1  loss: 0.31400
    3   499   bit_w:-1  loss: 0.31353
    4   248   bit_w: 1  loss: 0.31373
    276     58     71     42    646   2128     47     78    856     35
      0      0      0      0      1      1      0      0      1      0
Train accuarcate: 90.82%
tensor([[46., 37., 50., 59., 40., 48., 29., 81., 39., 57.],
        [51., 48., 75., 60., 28., 55., 62., 36., 57., 37.],
        [27., 69., 53., 48., 41., 46., 42., 44., 43., 38.],
        [84., 27., 52., 51., 33., 53., 60., 48., 46., 53.],
        [42., 39., 50., 31., 74., 39., 51., 52., 47., 57.],
        [25., 75., 51., 52., 41., 40., 38., 48., 46., 42.],
        [33., 43., 37., 47., 78., 55., 40., 48., 52., 59.],
        [25., 47., 42., 51., 59., 53., 48., 51., 52., 63.],
        [56., 40., 60., 31., 55., 57., 63., 38., 40., 57.],
        [44., 41., 28., 48., 58., 52., 39., 60., 60., 73.],
        [81., 31., 53., 49., 40., 61., 52., 39., 57., 33.],
        [46., 45., 50., 46., 55., 41., 66., 44., 56., 48.],
        [39., 35., 43., 47., 60., 51., 43., 60., 45., 76.],
        [79., 30., 48., 48., 35., 60., 45., 48., 60., 51.],
        [29., 75., 46., 55., 37., 44., 45., 43., 53., 44.],
        [51., 39., 47., 66., 45., 66., 43., 52., 58., 47.],
        [41., 38., 45., 43., 56., 40., 41., 62., 55., 80.],
        [52., 35., 55., 58., 42., 47., 33., 77., 34., 52.],
        [38., 47., 55., 66., 45., 51., 49., 47., 48., 53.],
        [31., 44., 44., 44., 71., 51., 45., 47., 48., 56.]], device='cuda:0')
Train accuarcate: 90.77%



iteration:
  149
    0   370   bit_w:-1  loss: 0.31326
    1   499   bit_w: 1  loss: 0.31299
    2   271   bit_w: 1  loss: 0.31309
    3   269   bit_w:-1  loss: 0.31257
    4   246   bit_w: 1  loss: 0.31266
   2666     90   2383   1282   2090   1369    454   1045   2793   1278
      1      0      1      1      1      0     -1      0      1     -1
Train accuarcate: 90.82%
tensor([[46., 37., 50., 59., 40., 48., 30., 81., 39., 58.],
        [51., 48., 75., 60., 28., 55., 63., 36., 57., 38.],
        [27., 69., 53., 48., 41., 46., 43., 44., 43., 39.],
        [84., 27., 52., 51., 33., 53., 61., 48., 46., 54.],
        [43., 39., 51., 32., 75., 39., 51., 52., 48., 57.],
        [25., 75., 51., 52., 41., 40., 39., 48., 46., 43.],
        [34., 43., 38., 48., 79., 55., 40., 48., 53., 59.],
        [25., 47., 42., 51., 59., 53., 49., 51., 52., 64.],
        [56., 40., 60., 31., 55., 57., 64., 38., 40., 58.],
        [44., 41., 28., 48., 58., 52., 40., 60., 60., 74.],
        [81., 31., 53., 49., 40., 61., 53., 39., 57., 34.],
        [46., 45., 50., 46., 55., 41., 67., 44., 56., 49.],
        [40., 35., 44., 48., 61., 51., 43., 60., 46., 76.],
        [80., 30., 49., 49., 36., 60., 45., 48., 61., 51.],
        [29., 75., 46., 55., 37., 44., 46., 43., 53., 45.],
        [52., 39., 48., 67., 46., 66., 43., 52., 59., 47.],
        [42., 38., 46., 44., 57., 40., 41., 62., 56., 80.],
        [52., 35., 55., 58., 42., 47., 34., 77., 34., 53.],
        [39., 47., 56., 67., 46., 51., 49., 47., 49., 53.],
        [31., 44., 44., 44., 71., 51., 46., 47., 48., 57.]], device='cuda:0')
Train accuarcate: 90.76%



iteration:
  150
    0   493   bit_w:-1  loss: 0.31211
    1   325   bit_w:-1  loss: 0.31171
    2   485   bit_w: 1  loss: 0.31163
    3   408   bit_w: 1  loss: 0.31127
    4   711   bit_w:-1  loss: 0.31131
   4631   5941   4588   3186   4049   3824   5279   2391   4065   3445
      0      1      0     -1      0     -1      0     -1      0      0
Train accuarcate: 90.90%
tensor([[46., 37., 50., 60., 40., 49., 30., 82., 39., 58.],
        [51., 49., 75., 60., 28., 55., 63., 36., 57., 38.],
        [27., 70., 53., 48., 41., 46., 43., 44., 43., 39.],
        [84., 28., 52., 51., 33., 53., 61., 48., 46., 54.],
        [43., 40., 51., 32., 75., 39., 51., 52., 48., 57.],
        [25., 76., 51., 52., 41., 40., 39., 48., 46., 43.],
        [34., 44., 38., 48., 79., 55., 40., 48., 53., 59.],
        [25., 47., 42., 52., 59., 54., 49., 52., 52., 64.],
        [56., 41., 60., 31., 55., 57., 64., 38., 40., 58.],
        [44., 41., 28., 49., 58., 53., 40., 61., 60., 74.],
        [81., 32., 53., 49., 40., 61., 53., 39., 57., 34.],
        [46., 45., 50., 47., 55., 42., 67., 45., 56., 49.],
        [40., 36., 44., 48., 61., 51., 43., 60., 46., 76.],
        [80., 31., 49., 49., 36., 60., 45., 48., 61., 51.],
        [29., 76., 46., 55., 37., 44., 46., 43., 53., 45.],
        [52., 40., 48., 67., 46., 66., 43., 52., 59., 47.],
        [42., 39., 46., 44., 57., 40., 41., 62., 56., 80.],
        [52., 35., 55., 59., 42., 48., 34., 78., 34., 53.],
        [39., 48., 56., 67., 46., 51., 49., 47., 49., 53.],
        [31., 44., 44., 45., 71., 52., 46., 48., 48., 57.]], device='cuda:0')
Train accuarcate: 90.75%



iteration:
  151
    0   369   bit_w:-1  loss: 0.31092
    1   499   bit_w: 1  loss: 0.31063
    2   414   bit_w: 1  loss: 0.31069
    3   690   bit_w:-1  loss: 0.31027
    4   320   bit_w:-1  loss: 0.31051
   4355   6058   5643   4049   3641   2331   3137   4469   2776   3718
      1      0      1      0     -1      0      0      1      0     -1
Train accuarcate: 90.93%
tensor([[47., 37., 51., 60., 40., 49., 30., 83., 39., 58.],
        [52., 49., 76., 60., 28., 55., 63., 37., 57., 38.],
        [28., 70., 54., 48., 41., 46., 43., 45., 43., 39.],
        [85., 28., 53., 51., 33., 53., 61., 49., 46., 54.],
        [44., 40., 52., 32., 75., 39., 51., 53., 48., 57.],
        [26., 76., 52., 52., 41., 40., 39., 49., 46., 43.],
        [35., 44., 39., 48., 79., 55., 40., 49., 53., 59.],
        [26., 47., 43., 52., 59., 54., 49., 53., 52., 64.],
        [56., 41., 60., 31., 56., 57., 64., 38., 40., 59.],
        [45., 41., 29., 49., 58., 53., 40., 62., 60., 74.],
        [82., 32., 54., 49., 40., 61., 53., 40., 57., 34.],
        [47., 45., 51., 47., 55., 42., 67., 46., 56., 49.],
        [41., 36., 45., 48., 61., 51., 43., 61., 46., 76.],
        [81., 31., 50., 49., 36., 60., 45., 49., 61., 51.],
        [30., 76., 47., 55., 37., 44., 46., 44., 53., 45.],
        [53., 40., 49., 67., 46., 66., 43., 53., 59., 47.],
        [43., 39., 47., 44., 57., 40., 41., 63., 56., 80.],
        [53., 35., 56., 59., 42., 48., 34., 79., 34., 53.],
        [40., 48., 57., 67., 46., 51., 49., 48., 49., 53.],
        [32., 44., 45., 45., 71., 52., 46., 49., 48., 57.]], device='cuda:0')
Train accuarcate: 90.82%



iteration:
  152
    0   317   bit_w:-1  loss: 0.30996
    1   517   bit_w:-1  loss: 0.30929
    2   265   bit_w: 1  loss: 0.30953
    3   184   bit_w: 1  loss: 0.30896
    4   231   bit_w:-1  loss: 0.30917
   5266   5274   4191   5728   2339   4445   3612   3971   4353   4347
      0      0      0      1     -1      0     -1      0     -1      0
Train accuarcate: 90.95%
tensor([[47., 37., 51., 61., 40., 49., 30., 83., 39., 58.],
        [52., 49., 76., 61., 28., 55., 63., 37., 57., 38.],
        [28., 70., 54., 49., 41., 46., 43., 45., 43., 39.],
        [85., 28., 53., 52., 33., 53., 61., 49., 46., 54.],
        [44., 40., 52., 32., 76., 39., 52., 53., 49., 57.],
        [26., 76., 52., 53., 41., 40., 39., 49., 46., 43.],
        [35., 44., 39., 49., 79., 55., 40., 49., 53., 59.],
        [26., 47., 43., 53., 59., 54., 49., 53., 52., 64.],
        [56., 41., 60., 32., 56., 57., 64., 38., 40., 59.],
        [45., 41., 29., 49., 59., 53., 41., 62., 61., 74.],
        [82., 32., 54., 50., 40., 61., 53., 40., 57., 34.],
        [47., 45., 51., 47., 56., 42., 68., 46., 57., 49.],
        [41., 36., 45., 49., 61., 51., 43., 61., 46., 76.],
        [81., 31., 50., 50., 36., 60., 45., 49., 61., 51.],
        [30., 76., 47., 55., 38., 44., 47., 44., 54., 45.],
        [53., 40., 49., 67., 47., 66., 44., 53., 60., 47.],
        [43., 39., 47., 44., 58., 40., 42., 63., 57., 80.],
        [53., 35., 56., 60., 42., 48., 34., 79., 34., 53.],
        [40., 48., 57., 68., 46., 51., 49., 48., 49., 53.],
        [32., 44., 45., 45., 72., 52., 47., 49., 49., 57.]], device='cuda:0')
Train accuarcate: 90.93%



iteration:
  153
    0   185   bit_w:-1  loss: 0.30861
    1   268   bit_w: 1  loss: 0.30784
    2   304   bit_w:-1  loss: 0.30766
    3   103   bit_w: 1  loss: 0.30758
    4   332   bit_w:-1  loss: 0.30737
   2763   6682   3510   4256   5368   2932   5252   5952   2458   4247
     -1      1      0      0      0     -1      0      0     -1     -1
Train accuarcate: 91.00%
tensor([[47., 38., 51., 61., 40., 49., 30., 83., 39., 58.],
        [52., 50., 76., 61., 28., 55., 63., 37., 57., 38.],
        [28., 71., 54., 49., 41., 46., 43., 45., 43., 39.],
        [85., 29., 53., 52., 33., 53., 61., 49., 46., 54.],
        [44., 41., 52., 32., 76., 39., 52., 53., 49., 57.],
        [26., 77., 52., 53., 41., 40., 39., 49., 46., 43.],
        [35., 45., 39., 49., 79., 55., 40., 49., 53., 59.],
        [26., 48., 43., 53., 59., 54., 49., 53., 52., 64.],
        [57., 41., 60., 32., 56., 58., 64., 38., 41., 60.],
        [45., 42., 29., 49., 59., 53., 41., 62., 61., 74.],
        [83., 32., 54., 50., 40., 62., 53., 40., 58., 35.],
        [47., 46., 51., 47., 56., 42., 68., 46., 57., 49.],
        [41., 37., 45., 49., 61., 51., 43., 61., 46., 76.],
        [82., 31., 50., 50., 36., 61., 45., 49., 62., 52.],
        [30., 77., 47., 55., 38., 44., 47., 44., 54., 45.],
        [53., 41., 49., 67., 47., 66., 44., 53., 60., 47.],
        [43., 40., 47., 44., 58., 40., 42., 63., 57., 80.],
        [53., 36., 56., 60., 42., 48., 34., 79., 34., 53.],
        [40., 49., 57., 68., 46., 51., 49., 48., 49., 53.],
        [32., 45., 45., 45., 72., 52., 47., 49., 49., 57.]], device='cuda:0')
Train accuarcate: 91.03%



iteration:
  154
    0   275   bit_w:-1  loss: 0.30698
    1   356   bit_w: 1  loss: 0.30657
    2   351   bit_w: 1  loss: 0.30651
    3   598   bit_w:-1  loss: 0.30614
    4   357   bit_w: 1  loss: 0.30650
   2782   3657   1624   2635   2239    827   2044   2430   2094   3304
      0      0      0      0      0     -1      0      1      1      1
Train accuarcate: 91.06%
tensor([[47., 38., 51., 61., 40., 50., 30., 83., 39., 58.],
        [52., 50., 76., 61., 28., 56., 63., 37., 57., 38.],
        [28., 71., 54., 49., 41., 46., 43., 46., 44., 40.],
        [85., 29., 53., 52., 33., 53., 61., 50., 47., 55.],
        [44., 41., 52., 32., 76., 40., 52., 53., 49., 57.],
        [26., 77., 52., 53., 41., 40., 39., 50., 47., 44.],
        [35., 45., 39., 49., 79., 55., 40., 50., 54., 60.],
        [26., 48., 43., 53., 59., 54., 49., 54., 53., 65.],
        [57., 41., 60., 32., 56., 59., 64., 38., 41., 60.],
        [45., 42., 29., 49., 59., 53., 41., 63., 62., 75.],
        [83., 32., 54., 50., 40., 63., 53., 40., 58., 35.],
        [47., 46., 51., 47., 56., 42., 68., 47., 58., 50.],
        [41., 37., 45., 49., 61., 52., 43., 61., 46., 76.],
        [82., 31., 50., 50., 36., 61., 45., 50., 63., 53.],
        [30., 77., 47., 55., 38., 44., 47., 45., 55., 46.],
        [53., 41., 49., 67., 47., 66., 44., 54., 61., 48.],
        [43., 40., 47., 44., 58., 41., 42., 63., 57., 80.],
        [53., 36., 56., 60., 42., 48., 34., 80., 35., 54.],
        [40., 49., 57., 68., 46., 51., 49., 49., 50., 54.],
        [32., 45., 45., 45., 72., 53., 47., 49., 49., 57.]], device='cuda:0')
Train accuarcate: 90.98%



iteration:
  155
    0   436   bit_w:-1  loss: 0.30605
    1   352   bit_w:-1  loss: 0.30543
    2   240   bit_w: 1  loss: 0.30570
    3   465   bit_w:-1  loss: 0.30520
    4   378   bit_w:-1  loss: 0.30551
   5779   5177   3065   2209   1178   3234   3126   4332   2257   2307
      1      0      0      1     -1      0      0      0      1      0
Train accuarcate: 91.08%
tensor([[48., 38., 51., 62., 40., 50., 30., 83., 40., 58.],
        [53., 50., 76., 62., 28., 56., 63., 37., 58., 38.],
        [29., 71., 54., 50., 41., 46., 43., 46., 45., 40.],
        [86., 29., 53., 53., 33., 53., 61., 50., 48., 55.],
        [45., 41., 52., 33., 76., 40., 52., 53., 50., 57.],
        [27., 77., 52., 54., 41., 40., 39., 50., 48., 44.],
        [35., 45., 39., 49., 80., 55., 40., 50., 54., 60.],
        [26., 48., 43., 53., 60., 54., 49., 54., 53., 65.],
        [58., 41., 60., 33., 56., 59., 64., 38., 42., 60.],
        [45., 42., 29., 49., 60., 53., 41., 63., 62., 75.],
        [84., 32., 54., 51., 40., 63., 53., 40., 59., 35.],
        [47., 46., 51., 47., 57., 42., 68., 47., 58., 50.],
        [42., 37., 45., 50., 61., 52., 43., 61., 47., 76.],
        [83., 31., 50., 51., 36., 61., 45., 50., 64., 53.],
        [31., 77., 47., 56., 38., 44., 47., 45., 56., 46.],
        [54., 41., 49., 68., 47., 66., 44., 54., 62., 48.],
        [44., 40., 47., 45., 58., 41., 42., 63., 58., 80.],
        [54., 36., 56., 61., 42., 48., 34., 80., 36., 54.],
        [40., 49., 57., 68., 47., 51., 49., 49., 50., 54.],
        [32., 45., 45., 45., 73., 53., 47., 49., 49., 57.]], device='cuda:0')
Train accuarcate: 91.04%



iteration:
  156
    0   516   bit_w:-1  loss: 0.30493
    1   513   bit_w: 1  loss: 0.30423
    2   359   bit_w: 1  loss: 0.30427
    3   473   bit_w:-1  loss: 0.30383
    4   360   bit_w: 1  loss: 0.30419
   3904     73   1026    312    377    411   1872     97   1864    220
      1      0      1      0      0     -1      1      0      1      0
Train accuarcate: 91.14%
tensor([[48., 38., 51., 62., 40., 51., 30., 83., 40., 58.],
        [54., 50., 77., 62., 28., 56., 64., 37., 59., 38.],
        [29., 71., 54., 50., 41., 47., 43., 46., 45., 40.],
        [87., 29., 54., 53., 33., 53., 62., 50., 49., 55.],
        [45., 41., 52., 33., 76., 41., 52., 53., 50., 57.],
        [27., 77., 52., 54., 41., 41., 39., 50., 48., 44.],
        [35., 45., 39., 49., 80., 56., 40., 50., 54., 60.],
        [26., 48., 43., 53., 60., 55., 49., 54., 53., 65.],
        [58., 41., 60., 33., 56., 60., 64., 38., 42., 60.],
        [45., 42., 29., 49., 60., 54., 41., 63., 62., 75.],
        [84., 32., 54., 51., 40., 64., 53., 40., 59., 35.],
        [47., 46., 51., 47., 57., 43., 68., 47., 58., 50.],
        [42., 37., 45., 50., 61., 53., 43., 61., 47., 76.],
        [84., 31., 51., 51., 36., 61., 46., 50., 65., 53.],
        [31., 77., 47., 56., 38., 45., 47., 45., 56., 46.],
        [54., 41., 49., 68., 47., 67., 44., 54., 62., 48.],
        [44., 40., 47., 45., 58., 42., 42., 63., 58., 80.],
        [54., 36., 56., 61., 42., 49., 34., 80., 36., 54.],
        [41., 49., 58., 68., 47., 51., 50., 49., 51., 54.],
        [32., 45., 45., 45., 73., 54., 47., 49., 49., 57.]], device='cuda:0')
Train accuarcate: 91.16%



iteration:
  157
    0   432   bit_w:-1  loss: 0.30339
    1   487   bit_w:-1  loss: 0.30284
    2   605   bit_w:-1  loss: 0.30305
    3   376   bit_w:-1  loss: 0.30273
    4   411   bit_w: 1  loss: 0.30267
   5494   4672   3523   3381   4111   3147   3174   6101   1297   4351
      0     -1     -1     -1      0      0     -1      1      0      1
Train accuarcate: 91.22%
tensor([[48., 38., 51., 62., 40., 51., 30., 84., 40., 59.],
        [54., 51., 78., 63., 28., 56., 65., 37., 59., 38.],
        [29., 71., 54., 50., 41., 47., 43., 47., 45., 41.],
        [87., 29., 54., 53., 33., 53., 62., 51., 49., 56.],
        [45., 41., 52., 33., 76., 41., 52., 54., 50., 58.],
        [27., 77., 52., 54., 41., 41., 39., 51., 48., 45.],
        [35., 45., 39., 49., 80., 56., 40., 51., 54., 61.],
        [26., 49., 44., 54., 60., 55., 50., 54., 53., 65.],
        [58., 42., 61., 34., 56., 60., 65., 38., 42., 60.],
        [45., 42., 29., 49., 60., 54., 41., 64., 62., 76.],
        [84., 32., 54., 51., 40., 64., 53., 41., 59., 36.],
        [47., 47., 52., 48., 57., 43., 69., 47., 58., 50.],
        [42., 37., 45., 50., 61., 53., 43., 62., 47., 77.],
        [84., 31., 51., 51., 36., 61., 46., 51., 65., 54.],
        [31., 77., 47., 56., 38., 45., 47., 46., 56., 47.],
        [54., 41., 49., 68., 47., 67., 44., 55., 62., 49.],
        [44., 40., 47., 45., 58., 42., 42., 64., 58., 81.],
        [54., 36., 56., 61., 42., 49., 34., 81., 36., 55.],
        [41., 49., 58., 68., 47., 51., 50., 50., 51., 55.],
        [32., 45., 45., 45., 73., 54., 47., 50., 49., 58.]], device='cuda:0')
Train accuarcate: 91.14%



iteration:
  158
    0   573   bit_w:-1  loss: 0.30205
    1   209   bit_w:-1  loss: 0.30160
    2   556   bit_w: 1  loss: 0.30169
    3   601   bit_w:-1  loss: 0.30127
    4   154   bit_w: 1  loss: 0.30127
   1229   2470   2424   2561   3346   1463    389   1653   2072    933
      0      1      1      0      1      0     -1      1      0      0
Train accuarcate: 91.22%
tensor([[48., 38., 51., 62., 40., 51., 31., 84., 40., 59.],
        [54., 52., 79., 63., 29., 56., 65., 38., 59., 38.],
        [29., 71., 54., 50., 41., 47., 44., 47., 45., 41.],
        [87., 29., 54., 53., 33., 53., 63., 51., 49., 56.],
        [45., 42., 53., 33., 77., 41., 52., 55., 50., 58.],
        [27., 77., 52., 54., 41., 41., 40., 51., 48., 45.],
        [35., 45., 39., 49., 80., 56., 41., 51., 54., 61.],
        [26., 49., 44., 54., 60., 55., 51., 54., 53., 65.],
        [58., 42., 61., 34., 56., 60., 66., 38., 42., 60.],
        [45., 42., 29., 49., 60., 54., 42., 64., 62., 76.],
        [84., 33., 55., 51., 41., 64., 53., 42., 59., 36.],
        [47., 47., 52., 48., 57., 43., 70., 47., 58., 50.],
        [42., 37., 45., 50., 61., 53., 44., 62., 47., 77.],
        [84., 32., 52., 51., 37., 61., 46., 52., 65., 54.],
        [31., 77., 47., 56., 38., 45., 48., 46., 56., 47.],
        [54., 42., 50., 68., 48., 67., 44., 56., 62., 49.],
        [44., 40., 47., 45., 58., 42., 43., 64., 58., 81.],
        [54., 36., 56., 61., 42., 49., 35., 81., 36., 55.],
        [41., 49., 58., 68., 47., 51., 51., 50., 51., 55.],
        [32., 46., 46., 45., 74., 54., 47., 51., 49., 58.]], device='cuda:0')
Train accuarcate: 91.26%



iteration:
  159
    0   468   bit_w:-1  loss: 0.30077
    1   154   bit_w: 1  loss: 0.30036
    2   412   bit_w:-1  loss: 0.30017
    3   153   bit_w: 1  loss: 0.29989
    4   205   bit_w:-1  loss: 0.29989
   2932   6723   4840   4480   3121   4327   3599   3691   5206   4813
      0      0     -1     -1     -1      0      0     -1      1      0
Train accuarcate: 91.29%
tensor([[48., 38., 52., 63., 41., 51., 31., 85., 40., 59.],
        [54., 52., 79., 63., 29., 56., 65., 38., 60., 38.],
        [29., 71., 54., 50., 41., 47., 44., 47., 46., 41.],
        [87., 29., 54., 53., 33., 53., 63., 51., 50., 56.],
        [45., 42., 53., 33., 77., 41., 52., 55., 51., 58.],
        [27., 77., 52., 54., 41., 41., 40., 51., 49., 45.],
        [35., 45., 40., 50., 81., 56., 41., 52., 54., 61.],
        [26., 49., 44., 54., 60., 55., 51., 54., 54., 65.],
        [58., 42., 61., 34., 56., 60., 66., 38., 43., 60.],
        [45., 42., 30., 50., 61., 54., 42., 65., 62., 76.],
        [84., 33., 55., 51., 41., 64., 53., 42., 60., 36.],
        [47., 47., 53., 49., 58., 43., 70., 48., 58., 50.],
        [42., 37., 45., 50., 61., 53., 44., 62., 48., 77.],
        [84., 32., 53., 52., 38., 61., 46., 53., 65., 54.],
        [31., 77., 47., 56., 38., 45., 48., 46., 57., 47.],
        [54., 42., 50., 68., 48., 67., 44., 56., 63., 49.],
        [44., 40., 47., 45., 58., 42., 43., 64., 59., 81.],
        [54., 36., 57., 62., 43., 49., 35., 82., 36., 55.],
        [41., 49., 59., 69., 48., 51., 51., 51., 51., 55.],
        [32., 46., 46., 45., 74., 54., 47., 51., 50., 58.]], device='cuda:0')
Train accuarcate: 91.31%



iteration:
  160
    0   624   bit_w:-1  loss: 0.29950
    1   547   bit_w:-1  loss: 0.29914
    2   333   bit_w:-1  loss: 0.29934
    3   715   bit_w: 1  loss: 0.29900
    4   213   bit_w: 1  loss: 0.29917
   3783   4452   3242   4273   3832   3568   2622   4475   3905   5355
      0     -1     -1      0      0      0     -1      0      0      1
Train accuarcate: 91.28%
tensor([[48., 39., 53., 63., 41., 51., 32., 85., 40., 59.],
        [54., 52., 79., 63., 29., 56., 65., 38., 60., 39.],
        [29., 71., 54., 50., 41., 47., 44., 47., 46., 42.],
        [87., 30., 55., 53., 33., 53., 64., 51., 50., 56.],
        [45., 42., 53., 33., 77., 41., 52., 55., 51., 59.],
        [27., 77., 52., 54., 41., 41., 40., 51., 49., 46.],
        [35., 46., 41., 50., 81., 56., 42., 52., 54., 61.],
        [26., 49., 44., 54., 60., 55., 51., 54., 54., 66.],
        [58., 42., 61., 34., 56., 60., 66., 38., 43., 61.],
        [45., 42., 30., 50., 61., 54., 42., 65., 62., 77.],
        [84., 34., 56., 51., 41., 64., 54., 42., 60., 36.],
        [47., 47., 53., 49., 58., 43., 70., 48., 58., 51.],
        [42., 37., 45., 50., 61., 53., 44., 62., 48., 78.],
        [84., 32., 53., 52., 38., 61., 46., 53., 65., 55.],
        [31., 78., 48., 56., 38., 45., 49., 46., 57., 47.],
        [54., 43., 51., 68., 48., 67., 45., 56., 63., 49.],
        [44., 40., 47., 45., 58., 42., 43., 64., 59., 82.],
        [54., 37., 58., 62., 43., 49., 36., 82., 36., 55.],
        [41., 49., 59., 69., 48., 51., 51., 51., 51., 56.],
        [32., 46., 46., 45., 74., 54., 47., 51., 50., 59.]], device='cuda:0')
Train accuarcate: 91.32%



iteration:
  161
    0   462   bit_w:-1  loss: 0.29867
    1   456   bit_w:-1  loss: 0.29806
    2   459   bit_w: 1  loss: 0.29782
    3   344   bit_w:-1  loss: 0.29773
    4   436   bit_w:-1  loss: 0.29753
   3604   6012   3536   5508   1569   4190   3436   3525   3962   2626
      1      0     -1      1     -1      1      0      0     -1      0
Train accuarcate: 91.37%
tensor([[49., 39., 53., 64., 41., 52., 32., 85., 40., 59.],
        [55., 52., 79., 64., 29., 57., 65., 38., 60., 39.],
        [30., 71., 54., 51., 41., 48., 44., 47., 46., 42.],
        [87., 30., 56., 53., 34., 53., 64., 51., 51., 56.],
        [45., 42., 54., 33., 78., 41., 52., 55., 52., 59.],
        [28., 77., 52., 55., 41., 42., 40., 51., 49., 46.],
        [35., 46., 42., 50., 82., 56., 42., 52., 55., 61.],
        [27., 49., 44., 55., 60., 56., 51., 54., 54., 66.],
        [59., 42., 61., 35., 56., 61., 66., 38., 43., 61.],
        [45., 42., 31., 50., 62., 54., 42., 65., 63., 77.],
        [84., 34., 57., 51., 42., 64., 54., 42., 61., 36.],
        [48., 47., 53., 50., 58., 44., 70., 48., 58., 51.],
        [42., 37., 46., 50., 62., 53., 44., 62., 49., 78.],
        [84., 32., 54., 52., 39., 61., 46., 53., 66., 55.],
        [32., 78., 48., 57., 38., 46., 49., 46., 57., 47.],
        [55., 43., 51., 69., 48., 68., 45., 56., 63., 49.],
        [44., 40., 48., 45., 59., 42., 43., 64., 60., 82.],
        [55., 37., 58., 63., 43., 50., 36., 82., 36., 55.],
        [42., 49., 59., 70., 48., 52., 51., 51., 51., 56.],
        [32., 46., 47., 45., 75., 54., 47., 51., 51., 59.]], device='cuda:0')
Train accuarcate: 91.29%



iteration:
  162
    0   303   bit_w:-1  loss: 0.29717
    1    96   bit_w: 1  loss: 0.29689
    2   247   bit_w:-1  loss: 0.29689
    3   101   bit_w: 1  loss: 0.29643
    4   214   bit_w:-1  loss: 0.29674
   1193   4574   3475   2961   3354   1785   5410   3650   1912   3084
     -1      0      1      0      0     -1      0     -1      1      0
Train accuarcate: 91.35%
tensor([[49., 39., 54., 64., 41., 52., 32., 85., 41., 59.],
        [55., 52., 80., 64., 29., 57., 65., 38., 61., 39.],
        [30., 71., 55., 51., 41., 48., 44., 47., 47., 42.],
        [87., 30., 57., 53., 34., 53., 64., 51., 52., 56.],
        [45., 42., 55., 33., 78., 41., 52., 55., 53., 59.],
        [29., 77., 52., 55., 41., 43., 40., 52., 49., 46.],
        [35., 46., 43., 50., 82., 56., 42., 52., 56., 61.],
        [27., 49., 45., 55., 60., 56., 51., 54., 55., 66.],
        [60., 42., 61., 35., 56., 62., 66., 39., 43., 61.],
        [45., 42., 32., 50., 62., 54., 42., 65., 64., 77.],
        [84., 34., 58., 51., 42., 64., 54., 42., 62., 36.],
        [48., 47., 54., 50., 58., 44., 70., 48., 59., 51.],
        [42., 37., 47., 50., 62., 53., 44., 62., 50., 78.],
        [85., 32., 54., 52., 39., 62., 46., 54., 66., 55.],
        [32., 78., 49., 57., 38., 46., 49., 46., 58., 47.],
        [55., 43., 52., 69., 48., 68., 45., 56., 64., 49.],
        [44., 40., 49., 45., 59., 42., 43., 64., 61., 82.],
        [55., 37., 59., 63., 43., 50., 36., 82., 37., 55.],
        [42., 49., 60., 70., 48., 52., 51., 51., 52., 56.],
        [33., 46., 47., 45., 75., 55., 47., 52., 51., 59.]], device='cuda:0')
Train accuarcate: 91.39%



iteration:
  163
    0   462   bit_w:-1  loss: 0.29634
    1   351   bit_w:-1  loss: 0.29587
    2   442   bit_w:-1  loss: 0.29598
    3   610   bit_w: 1  loss: 0.29569
    4   650   bit_w:-1  loss: 0.29576
   5575   1257   4561   4440   4671   4981   4478   5342   3676   5061
      0     -1      0     -1     -1      0     -1     -1      0      0
Train accuarcate: 91.40%
tensor([[49., 39., 54., 64., 41., 52., 32., 85., 41., 59.],
        [55., 52., 80., 64., 29., 57., 65., 38., 61., 39.],
        [30., 72., 55., 52., 42., 48., 45., 48., 47., 42.],
        [87., 30., 57., 53., 34., 53., 64., 51., 52., 56.],
        [45., 42., 55., 33., 78., 41., 52., 55., 53., 59.],
        [29., 78., 52., 56., 42., 43., 41., 53., 49., 46.],
        [35., 46., 43., 50., 82., 56., 42., 52., 56., 61.],
        [27., 49., 45., 55., 60., 56., 51., 54., 55., 66.],
        [60., 42., 61., 35., 56., 62., 66., 39., 43., 61.],
        [45., 42., 32., 50., 62., 54., 42., 65., 64., 77.],
        [84., 34., 58., 51., 42., 64., 54., 42., 62., 36.],
        [48., 48., 54., 51., 59., 44., 71., 49., 59., 51.],
        [42., 37., 47., 50., 62., 53., 44., 62., 50., 78.],
        [85., 32., 54., 52., 39., 62., 46., 54., 66., 55.],
        [32., 79., 49., 58., 39., 46., 50., 47., 58., 47.],
        [55., 43., 52., 69., 48., 68., 45., 56., 64., 49.],
        [44., 40., 49., 45., 59., 42., 43., 64., 61., 82.],
        [55., 37., 59., 63., 43., 50., 36., 82., 37., 55.],
        [42., 49., 60., 70., 48., 52., 51., 51., 52., 56.],
        [33., 46., 47., 45., 75., 55., 47., 52., 51., 59.]], device='cuda:0')
Train accuarcate: 91.43%



iteration:
  164
    0   455   bit_w:-1  loss: 0.29538
    1   594   bit_w: 1  loss: 0.29496
    2   403   bit_w:-1  loss: 0.29510
    3   127   bit_w: 1  loss: 0.29462
    4   414   bit_w:-1  loss: 0.29487
   2108   6583   4667   3999   1353   2772   2529   5685   3370   2266
      0      0      0      0     -1      0     -1      0      0     -1
Train accuarcate: 91.36%
tensor([[49., 39., 54., 64., 41., 52., 32., 85., 41., 59.],
        [55., 52., 80., 64., 29., 57., 65., 38., 61., 39.],
        [30., 72., 55., 52., 42., 48., 45., 48., 47., 42.],
        [87., 30., 57., 53., 35., 53., 65., 51., 52., 57.],
        [45., 42., 55., 33., 79., 41., 53., 55., 53., 60.],
        [29., 78., 52., 56., 42., 43., 41., 53., 49., 46.],
        [35., 46., 43., 50., 83., 56., 43., 52., 56., 62.],
        [27., 49., 45., 55., 60., 56., 51., 54., 55., 66.],
        [60., 42., 61., 35., 57., 62., 67., 39., 43., 62.],
        [45., 42., 32., 50., 63., 54., 43., 65., 64., 78.],
        [84., 34., 58., 51., 43., 64., 55., 42., 62., 37.],
        [48., 48., 54., 51., 60., 44., 72., 49., 59., 52.],
        [42., 37., 47., 50., 62., 53., 44., 62., 50., 78.],
        [85., 32., 54., 52., 40., 62., 47., 54., 66., 56.],
        [32., 79., 49., 58., 39., 46., 50., 47., 58., 47.],
        [55., 43., 52., 69., 48., 68., 45., 56., 64., 49.],
        [44., 40., 49., 45., 59., 42., 43., 64., 61., 82.],
        [55., 37., 59., 63., 43., 50., 36., 82., 37., 55.],
        [42., 49., 60., 70., 49., 52., 52., 51., 52., 57.],
        [33., 46., 47., 45., 76., 55., 48., 52., 51., 60.]], device='cuda:0')
Train accuarcate: 91.44%



iteration:
  165
    0   341   bit_w:-1  loss: 0.29457
    1   304   bit_w: 1  loss: 0.29430
    2   537   bit_w: 1  loss: 0.29436
    3   717   bit_w:-1  loss: 0.29391
    4   470   bit_w: 1  loss: 0.29418
   3043      2   1907   1212    447   1115   1496    153    499     57
      1      0      1      1      0      1      0      0      0      0
Train accuarcate: 91.40%
tensor([[49., 39., 54., 64., 41., 52., 32., 85., 41., 59.],
        [55., 52., 80., 64., 29., 57., 65., 38., 61., 39.],
        [30., 72., 55., 52., 42., 48., 45., 48., 47., 42.],
        [87., 30., 57., 53., 35., 53., 65., 51., 52., 57.],
        [45., 42., 55., 33., 79., 41., 53., 55., 53., 60.],
        [29., 78., 52., 56., 42., 43., 41., 53., 49., 46.],
        [35., 46., 43., 50., 83., 56., 43., 52., 56., 62.],
        [27., 49., 45., 55., 60., 56., 51., 54., 55., 66.],
        [60., 42., 61., 35., 57., 62., 67., 39., 43., 62.],
        [45., 42., 32., 50., 63., 54., 43., 65., 64., 78.],
        [85., 34., 59., 52., 43., 65., 55., 42., 62., 37.],
        [49., 48., 55., 52., 60., 45., 72., 49., 59., 52.],
        [42., 37., 47., 50., 62., 53., 44., 62., 50., 78.],
        [85., 32., 54., 52., 40., 62., 47., 54., 66., 56.],
        [32., 79., 49., 58., 39., 46., 50., 47., 58., 47.],
        [56., 43., 53., 70., 48., 69., 45., 56., 64., 49.],
        [44., 40., 49., 45., 59., 42., 43., 64., 61., 82.],
        [55., 37., 59., 63., 43., 50., 36., 82., 37., 55.],
        [43., 49., 61., 71., 49., 53., 52., 51., 52., 57.],
        [33., 46., 47., 45., 76., 55., 48., 52., 51., 60.]], device='cuda:0')
Train accuarcate: 91.40%



iteration:
  166
    0   415   bit_w:-1  loss: 0.29389
    1   403   bit_w: 1  loss: 0.29362
    2   345   bit_w:-1  loss: 0.29335
    3   460   bit_w: 1  loss: 0.29274
    4   514   bit_w:-1  loss: 0.29299
   1433   6700   5102   5528   4943   4241   3444   4554   5368   4995
     -1      0      1     -1      0      0     -1     -1      1      0
Train accuarcate: 91.45%
tensor([[49., 39., 55., 64., 41., 52., 32., 85., 42., 59.],
        [55., 52., 81., 64., 29., 57., 65., 38., 62., 39.],
        [30., 72., 56., 52., 42., 48., 45., 48., 48., 42.],
        [88., 30., 57., 54., 35., 53., 66., 52., 52., 57.],
        [45., 42., 56., 33., 79., 41., 53., 55., 54., 60.],
        [29., 78., 53., 56., 42., 43., 41., 53., 50., 46.],
        [35., 46., 44., 50., 83., 56., 43., 52., 57., 62.],
        [27., 49., 46., 55., 60., 56., 51., 54., 56., 66.],
        [60., 42., 62., 35., 57., 62., 67., 39., 44., 62.],
        [45., 42., 33., 50., 63., 54., 43., 65., 65., 78.],
        [86., 34., 59., 53., 43., 65., 56., 43., 62., 37.],
        [49., 48., 56., 52., 60., 45., 72., 49., 60., 52.],
        [42., 37., 48., 50., 62., 53., 44., 62., 51., 78.],
        [86., 32., 54., 53., 40., 62., 48., 55., 66., 56.],
        [32., 79., 50., 58., 39., 46., 50., 47., 59., 47.],
        [57., 43., 53., 71., 48., 69., 46., 57., 64., 49.],
        [44., 40., 50., 45., 59., 42., 43., 64., 62., 82.],
        [55., 37., 60., 63., 43., 50., 36., 82., 38., 55.],
        [44., 49., 61., 72., 49., 53., 53., 52., 52., 57.],
        [33., 46., 48., 45., 76., 55., 48., 52., 52., 60.]], device='cuda:0')
Train accuarcate: 91.43%



iteration:
  167
    0   465   bit_w:-1  loss: 0.29254
    1   321   bit_w: 1  loss: 0.29195
    2   379   bit_w: 1  loss: 0.29212
    3   520   bit_w:-1  loss: 0.29185
    4   410   bit_w: 1  loss: 0.29175
    960   6209   1586   3655   1351   2575   2893   1535   2997   1741
     -1      1      0     -1      0      1      0      0      0      1
Train accuarcate: 91.51%
tensor([[50., 39., 55., 65., 41., 52., 32., 85., 42., 59.],
        [55., 53., 81., 64., 29., 58., 65., 38., 62., 40.],
        [30., 73., 56., 52., 42., 49., 45., 48., 48., 43.],
        [89., 30., 57., 55., 35., 53., 66., 52., 52., 57.],
        [46., 42., 56., 34., 79., 41., 53., 55., 54., 60.],
        [29., 79., 53., 56., 42., 44., 41., 53., 50., 47.],
        [35., 47., 44., 50., 83., 57., 43., 52., 57., 63.],
        [28., 49., 46., 56., 60., 56., 51., 54., 56., 66.],
        [61., 42., 62., 36., 57., 62., 67., 39., 44., 62.],
        [46., 42., 33., 51., 63., 54., 43., 65., 65., 78.],
        [87., 34., 59., 54., 43., 65., 56., 43., 62., 37.],
        [49., 49., 56., 52., 60., 46., 72., 49., 60., 53.],
        [43., 37., 48., 51., 62., 53., 44., 62., 51., 78.],
        [87., 32., 54., 54., 40., 62., 48., 55., 66., 56.],
        [32., 80., 50., 58., 39., 47., 50., 47., 59., 48.],
        [57., 44., 53., 71., 48., 70., 46., 57., 64., 50.],
        [45., 40., 50., 46., 59., 42., 43., 64., 62., 82.],
        [56., 37., 60., 64., 43., 50., 36., 82., 38., 55.],
        [44., 50., 61., 72., 49., 54., 53., 52., 52., 58.],
        [34., 46., 48., 46., 76., 55., 48., 52., 52., 60.]], device='cuda:0')
Train accuarcate: 91.44%



iteration:
  168
    0   207   bit_w:-1  loss: 0.29142
    1   606   bit_w: 1  loss: 0.29079
    2   465   bit_w:-1  loss: 0.29081
    3   180   bit_w:-1  loss: 0.29050
    4   510   bit_w: 1  loss: 0.29054
   3689   5941   2278   1697   2149   2523   2557   1677   2221   1718
      0      1      0      0      1      0      1     -1      1     -1
Train accuarcate: 91.51%
tensor([[50., 39., 55., 65., 41., 52., 32., 86., 42., 60.],
        [55., 54., 81., 64., 30., 58., 66., 38., 63., 40.],
        [30., 74., 56., 52., 43., 49., 46., 48., 49., 43.],
        [89., 30., 57., 55., 35., 53., 66., 53., 52., 58.],
        [46., 42., 56., 34., 79., 41., 53., 56., 54., 61.],
        [29., 80., 53., 56., 43., 44., 42., 53., 51., 47.],
        [35., 48., 44., 50., 84., 57., 44., 52., 58., 63.],
        [28., 49., 46., 56., 60., 56., 51., 55., 56., 67.],
        [61., 43., 62., 36., 58., 62., 68., 39., 45., 62.],
        [46., 42., 33., 51., 63., 54., 43., 66., 65., 79.],
        [87., 34., 59., 54., 43., 65., 56., 44., 62., 38.],
        [49., 50., 56., 52., 61., 46., 73., 49., 61., 53.],
        [43., 37., 48., 51., 62., 53., 44., 63., 51., 79.],
        [87., 32., 54., 54., 40., 62., 48., 56., 66., 57.],
        [32., 81., 50., 58., 40., 47., 51., 47., 60., 48.],
        [57., 44., 53., 71., 48., 70., 46., 58., 64., 51.],
        [45., 40., 50., 46., 59., 42., 43., 65., 62., 83.],
        [56., 37., 60., 64., 43., 50., 36., 83., 38., 56.],
        [44., 50., 61., 72., 49., 54., 53., 53., 52., 59.],
        [34., 46., 48., 46., 76., 55., 48., 53., 52., 61.]], device='cuda:0')
Train accuarcate: 91.57%



iteration:
  169
    0   276   bit_w:-1  loss: 0.29025
    1   186   bit_w: 1  loss: 0.28995
    2   266   bit_w: 1  loss: 0.28919
    3   372   bit_w:-1  loss: 0.28919
    4   240   bit_w: 1  loss: 0.28894
   4099   6222   5007   5271   1524   3412   2188   5383   4359   3612
      0      0      1      1     -1     -1     -1      0      0      0
Train accuarcate: 91.60%
tensor([[50., 39., 56., 66., 41., 52., 32., 86., 42., 60.],
        [55., 54., 82., 65., 30., 58., 66., 38., 63., 40.],
        [30., 74., 57., 53., 43., 49., 46., 48., 49., 43.],
        [89., 30., 58., 56., 35., 53., 66., 53., 52., 58.],
        [46., 42., 56., 34., 80., 42., 54., 56., 54., 61.],
        [29., 80., 54., 57., 43., 44., 42., 53., 51., 47.],
        [35., 48., 44., 50., 85., 58., 45., 52., 58., 63.],
        [28., 49., 46., 56., 61., 57., 52., 55., 56., 67.],
        [61., 43., 63., 37., 58., 62., 68., 39., 45., 62.],
        [46., 42., 34., 52., 63., 54., 43., 66., 65., 79.],
        [87., 34., 59., 54., 44., 66., 57., 44., 62., 38.],
        [49., 50., 56., 52., 62., 47., 74., 49., 61., 53.],
        [43., 37., 48., 51., 63., 54., 45., 63., 51., 79.],
        [87., 32., 55., 55., 40., 62., 48., 56., 66., 57.],
        [32., 81., 51., 59., 40., 47., 51., 47., 60., 48.],
        [57., 44., 53., 71., 49., 71., 47., 58., 64., 51.],
        [45., 40., 50., 46., 60., 43., 44., 65., 62., 83.],
        [56., 37., 61., 65., 43., 50., 36., 83., 38., 56.],
        [44., 50., 62., 73., 49., 54., 53., 53., 52., 59.],
        [34., 46., 49., 47., 76., 55., 48., 53., 52., 61.]], device='cuda:0')
Train accuarcate: 91.60%



iteration:
  170
    0   303   bit_w:-1  loss: 0.28862
    1    96   bit_w: 1  loss: 0.28839
    2   231   bit_w:-1  loss: 0.28833
    3   580   bit_w: 1  loss: 0.28796
    4   623   bit_w:-1  loss: 0.28823
   3508   6297   4484   3786   5290   3860   5714   4138   4104   5667
     -1      0      0      0      0     -1      0     -1     -1      0
Train accuarcate: 91.64%
tensor([[51., 39., 56., 66., 41., 53., 32., 87., 43., 60.],
        [55., 54., 82., 65., 30., 58., 66., 38., 63., 40.],
        [30., 74., 57., 53., 43., 49., 46., 48., 49., 43.],
        [89., 30., 58., 56., 35., 53., 66., 53., 52., 58.],
        [46., 42., 56., 34., 80., 42., 54., 56., 54., 61.],
        [29., 80., 54., 57., 43., 44., 42., 53., 51., 47.],
        [35., 48., 44., 50., 85., 58., 45., 52., 58., 63.],
        [28., 49., 46., 56., 61., 57., 52., 55., 56., 67.],
        [61., 43., 63., 37., 58., 62., 68., 39., 45., 62.],
        [46., 42., 34., 52., 63., 54., 43., 66., 65., 79.],
        [87., 34., 59., 54., 44., 66., 57., 44., 62., 38.],
        [49., 50., 56., 52., 62., 47., 74., 49., 61., 53.],
        [43., 37., 48., 51., 63., 54., 45., 63., 51., 79.],
        [87., 32., 55., 55., 40., 62., 48., 56., 66., 57.],
        [32., 81., 51., 59., 40., 47., 51., 47., 60., 48.],
        [57., 44., 53., 71., 49., 71., 47., 58., 64., 51.],
        [45., 40., 50., 46., 60., 43., 44., 65., 62., 83.],
        [57., 37., 61., 65., 43., 51., 36., 84., 39., 56.],
        [44., 50., 62., 73., 49., 54., 53., 53., 52., 59.],
        [34., 46., 49., 47., 76., 55., 48., 53., 52., 61.]], device='cuda:0')
Train accuarcate: 91.64%



iteration:
  171
    0   341   bit_w:-1  loss: 0.28794
    1   499   bit_w: 1  loss: 0.28767
    2   717   bit_w:-1  loss: 0.28771
    3   121   bit_w: 1  loss: 0.28727
    4   710   bit_w:-1  loss: 0.28755
   5736   6735   5903   5851   5226   5090   5894   3751   5548   3895
      0      0      0      0      0      0      0     -1     -1     -1
Train accuarcate: 91.65%
tensor([[51., 39., 56., 66., 41., 53., 32., 87., 43., 60.],
        [55., 54., 82., 65., 30., 58., 66., 38., 63., 40.],
        [30., 74., 57., 53., 43., 49., 46., 48., 49., 43.],
        [89., 30., 58., 56., 35., 53., 66., 53., 52., 58.],
        [46., 42., 56., 34., 80., 42., 54., 56., 54., 61.],
        [29., 80., 54., 57., 43., 44., 42., 53., 51., 47.],
        [35., 48., 44., 50., 85., 58., 45., 52., 58., 63.],
        [28., 49., 46., 56., 61., 57., 52., 55., 56., 67.],
        [61., 43., 63., 37., 58., 62., 68., 39., 45., 62.],
        [46., 42., 34., 52., 63., 54., 43., 67., 66., 80.],
        [87., 34., 59., 54., 44., 66., 57., 44., 62., 38.],
        [49., 50., 56., 52., 62., 47., 74., 49., 61., 53.],
        [43., 37., 48., 51., 63., 54., 45., 63., 51., 79.],
        [87., 32., 55., 55., 40., 62., 48., 56., 66., 57.],
        [32., 81., 51., 59., 40., 47., 51., 47., 60., 48.],
        [57., 44., 53., 71., 49., 71., 47., 58., 64., 51.],
        [45., 40., 50., 46., 60., 43., 44., 65., 62., 83.],
        [57., 37., 61., 65., 43., 51., 36., 84., 39., 56.],
        [44., 50., 62., 73., 49., 54., 53., 53., 52., 59.],
        [34., 46., 49., 47., 76., 55., 48., 53., 52., 61.]], device='cuda:0')
Train accuarcate: 91.65%



iteration:
  172
    0   622   bit_w:-1  loss: 0.28729
    1   133   bit_w: 1  loss: 0.28706
    2   220   bit_w: 1  loss: 0.28711
    3   444   bit_w:-1  loss: 0.28677
    4   663   bit_w: 1  loss: 0.28697
    234    188    414    417   1106   1427    421    177    747    655
      0      0      0      0      1      1      1      0      1      0
Train accuarcate: 91.67%
tensor([[51., 39., 56., 66., 41., 53., 32., 87., 43., 60.],
        [55., 54., 82., 65., 30., 58., 66., 38., 63., 40.],
        [30., 74., 57., 53., 43., 49., 46., 48., 49., 43.],
        [89., 30., 58., 56., 35., 53., 66., 53., 52., 58.],
        [46., 42., 56., 34., 80., 42., 54., 56., 54., 61.],
        [29., 80., 54., 57., 43., 44., 42., 53., 51., 47.],
        [35., 48., 44., 50., 85., 58., 45., 52., 58., 63.],
        [28., 49., 46., 56., 61., 57., 52., 55., 56., 67.],
        [61., 43., 63., 37., 59., 63., 69., 39., 46., 62.],
        [46., 42., 34., 52., 63., 54., 43., 67., 66., 80.],
        [87., 34., 59., 54., 44., 66., 57., 44., 62., 38.],
        [49., 50., 56., 52., 62., 47., 74., 49., 61., 53.],
        [43., 37., 48., 51., 63., 54., 45., 63., 51., 79.],
        [87., 32., 55., 55., 40., 62., 48., 56., 66., 57.],
        [32., 81., 51., 59., 40., 47., 51., 47., 60., 48.],
        [57., 44., 53., 71., 49., 71., 47., 58., 64., 51.],
        [45., 40., 50., 46., 60., 43., 44., 65., 62., 83.],
        [57., 37., 61., 65., 43., 51., 36., 84., 39., 56.],
        [44., 50., 62., 73., 49., 54., 53., 53., 52., 59.],
        [34., 46., 49., 47., 76., 55., 48., 53., 52., 61.]], device='cuda:0')
Train accuarcate: 91.71%



iteration:
  173
    0   622   bit_w:-1  loss: 0.28671
    1   163   bit_w: 1  loss: 0.28651
    2   131   bit_w: 1  loss: 0.28656
    3   444   bit_w:-1  loss: 0.28630
    4   192   bit_w: 1  loss: 0.28649
    500    732    466    148    775   1314   1346      1    546      2
      0      0      0      0      1      1      1      0      1      0
Train accuarcate: 91.68%
tensor([[51., 39., 56., 66., 41., 53., 32., 87., 43., 60.],
        [55., 54., 82., 65., 30., 58., 66., 38., 63., 40.],
        [30., 74., 57., 53., 43., 49., 46., 48., 49., 43.],
        [89., 30., 58., 56., 35., 53., 66., 53., 52., 58.],
        [46., 42., 56., 34., 80., 42., 54., 56., 54., 61.],
        [29., 80., 54., 57., 43., 44., 42., 53., 51., 47.],
        [35., 48., 44., 50., 85., 58., 45., 52., 58., 63.],
        [28., 49., 46., 56., 61., 57., 52., 55., 56., 67.],
        [61., 43., 63., 37., 60., 64., 70., 39., 47., 62.],
        [46., 42., 34., 52., 63., 54., 43., 67., 66., 80.],
        [87., 34., 59., 54., 44., 66., 57., 44., 62., 38.],
        [49., 50., 56., 52., 62., 47., 74., 49., 61., 53.],
        [43., 37., 48., 51., 63., 54., 45., 63., 51., 79.],
        [87., 32., 55., 55., 40., 62., 48., 56., 66., 57.],
        [32., 81., 51., 59., 40., 47., 51., 47., 60., 48.],
        [57., 44., 53., 71., 50., 72., 48., 58., 65., 51.],
        [45., 40., 50., 46., 60., 43., 44., 65., 62., 83.],
        [57., 37., 61., 65., 43., 51., 36., 84., 39., 56.],
        [44., 50., 62., 73., 49., 54., 53., 53., 52., 59.],
        [34., 46., 49., 47., 76., 55., 48., 53., 52., 61.]], device='cuda:0')
Train accuarcate: 91.67%



iteration:
  174
    0   622   bit_w:-1  loss: 0.28622
    1   692   bit_w: 1  loss: 0.28602
    2   305   bit_w:-1  loss: 0.28607
    3   707   bit_w: 1  loss: 0.28577
    4   481   bit_w:-1  loss: 0.28592
   3451   6551   4119   4456   5378   4411   5765   6165   5170   5867
     -1     -1     -1     -1      0     -1      0      0      0      0
Train accuarcate: 91.69%
tensor([[51., 39., 56., 66., 41., 53., 32., 87., 43., 60.],
        [55., 54., 82., 65., 30., 58., 66., 38., 63., 40.],
        [30., 74., 57., 53., 43., 49., 46., 48., 49., 43.],
        [89., 30., 58., 56., 35., 53., 66., 53., 52., 58.],
        [46., 42., 56., 34., 80., 42., 54., 56., 54., 61.],
        [29., 80., 54., 57., 43., 44., 42., 53., 51., 47.],
        [35., 48., 44., 50., 85., 58., 45., 52., 58., 63.],
        [28., 49., 46., 56., 61., 57., 52., 55., 56., 67.],
        [61., 43., 63., 37., 60., 64., 70., 39., 47., 62.],
        [46., 42., 34., 52., 63., 54., 43., 67., 66., 80.],
        [87., 34., 59., 54., 44., 66., 57., 44., 62., 38.],
        [49., 50., 56., 52., 62., 47., 74., 49., 61., 53.],
        [43., 37., 48., 51., 63., 54., 45., 63., 51., 79.],
        [87., 32., 55., 55., 40., 62., 48., 56., 66., 57.],
        [32., 81., 51., 59., 40., 47., 51., 47., 60., 48.],
        [57., 44., 53., 71., 50., 72., 48., 58., 65., 51.],
        [45., 40., 50., 46., 60., 43., 44., 65., 62., 83.],
        [57., 37., 61., 65., 43., 51., 36., 84., 39., 56.],
        [44., 50., 62., 73., 49., 54., 53., 53., 52., 59.],
        [34., 46., 49., 47., 76., 55., 48., 53., 52., 61.]], device='cuda:0')
Train accuarcate: 91.70%



iteration:
  175
    0   708   bit_w:-1  loss: 0.28567
    1   126   bit_w: 1  loss: 0.28543
    2   678   bit_w:-1  loss: 0.28549
    3   132   bit_w: 1  loss: 0.28507
    4   129   bit_w: 1  loss: 0.28531
   2573   2612   3626   2002    539   1053   4440      2   1315     21
      0      1      0      0      0      0      1      0      1      0
Train accuarcate: 91.69%
tensor([[51., 39., 56., 66., 41., 53., 32., 87., 43., 60.],
        [55., 55., 82., 65., 30., 58., 67., 38., 64., 40.],
        [30., 75., 57., 53., 43., 49., 47., 48., 50., 43.],
        [89., 31., 58., 56., 35., 53., 67., 53., 53., 58.],
        [46., 42., 56., 34., 80., 42., 54., 56., 54., 61.],
        [29., 80., 54., 57., 43., 44., 42., 53., 51., 47.],
        [35., 48., 44., 50., 85., 58., 45., 52., 58., 63.],
        [28., 49., 46., 56., 61., 57., 52., 55., 56., 67.],
        [61., 43., 63., 37., 60., 64., 70., 39., 47., 62.],
        [46., 42., 34., 52., 63., 54., 43., 67., 66., 80.],
        [87., 34., 59., 54., 44., 66., 57., 44., 62., 38.],
        [49., 50., 56., 52., 62., 47., 74., 49., 61., 53.],
        [43., 37., 48., 51., 63., 54., 45., 63., 51., 79.],
        [87., 32., 55., 55., 40., 62., 48., 56., 66., 57.],
        [32., 82., 51., 59., 40., 47., 52., 47., 61., 48.],
        [57., 45., 53., 71., 50., 72., 49., 58., 66., 51.],
        [45., 40., 50., 46., 60., 43., 44., 65., 62., 83.],
        [57., 37., 61., 65., 43., 51., 36., 84., 39., 56.],
        [44., 50., 62., 73., 49., 54., 53., 53., 52., 59.],
        [34., 46., 49., 47., 76., 55., 48., 53., 52., 61.]], device='cuda:0')
Train accuarcate: 91.72%



iteration:
  176
    0   375   bit_w:-1  loss: 0.28504
    1   287   bit_w: 1  loss: 0.28453
    2   509   bit_w:-1  loss: 0.28471
    3   708   bit_w: 1  loss: 0.28432
    4   606   bit_w:-1  loss: 0.28441
   1748   6455   2763   1613   3149   1286   1917   5848   2310   3815
     -1      0     -1      0     -1      0      0      1      0      1
Train accuarcate: 91.70%
tensor([[51., 39., 56., 66., 41., 53., 32., 88., 43., 61.],
        [56., 55., 83., 65., 31., 58., 67., 38., 64., 40.],
        [30., 75., 57., 53., 43., 49., 47., 49., 50., 44.],
        [89., 31., 58., 56., 35., 53., 67., 54., 53., 59.],
        [47., 42., 57., 34., 81., 42., 54., 56., 54., 61.],
        [29., 80., 54., 57., 43., 44., 42., 54., 51., 48.],
        [35., 48., 44., 50., 85., 58., 45., 53., 58., 64.],
        [28., 49., 46., 56., 61., 57., 52., 56., 56., 68.],
        [61., 43., 63., 37., 60., 64., 70., 40., 47., 63.],
        [47., 42., 35., 52., 64., 54., 43., 67., 66., 80.],
        [88., 34., 60., 54., 45., 66., 57., 44., 62., 38.],
        [49., 50., 56., 52., 62., 47., 74., 50., 61., 54.],
        [43., 37., 48., 51., 63., 54., 45., 64., 51., 80.],
        [88., 32., 56., 55., 41., 62., 48., 56., 66., 57.],
        [32., 82., 51., 59., 40., 47., 52., 48., 61., 49.],
        [57., 45., 53., 71., 50., 72., 49., 59., 66., 52.],
        [45., 40., 50., 46., 60., 43., 44., 66., 62., 84.],
        [57., 37., 61., 65., 43., 51., 36., 85., 39., 57.],
        [45., 50., 63., 73., 50., 54., 53., 53., 52., 59.],
        [34., 46., 49., 47., 76., 55., 48., 54., 52., 62.]], device='cuda:0')
Train accuarcate: 91.73%



iteration:
  177
    0   577   bit_w:-1  loss: 0.28389
    1   516   bit_w: 1  loss: 0.28354
    2   634   bit_w:-1  loss: 0.28340
    3   330   bit_w: 1  loss: 0.28301
    4   650   bit_w:-1  loss: 0.28313
   3386   6337   4352   1082   4040   1973   4397   5060   3891   4116
      0     -1      0     -1      0     -1      0      0      0      0
Train accuarcate: 91.77%
tensor([[51., 39., 56., 66., 41., 53., 32., 88., 43., 61.],
        [56., 56., 83., 66., 31., 59., 67., 38., 64., 40.],
        [30., 75., 57., 53., 43., 49., 47., 49., 50., 44.],
        [89., 32., 58., 57., 35., 54., 67., 54., 53., 59.],
        [47., 43., 57., 35., 81., 43., 54., 56., 54., 61.],
        [29., 80., 54., 57., 43., 44., 42., 54., 51., 48.],
        [35., 49., 44., 51., 85., 59., 45., 53., 58., 64.],
        [28., 49., 46., 56., 61., 57., 52., 56., 56., 68.],
        [61., 43., 63., 37., 60., 64., 70., 40., 47., 63.],
        [47., 42., 35., 52., 64., 54., 43., 67., 66., 80.],
        [88., 34., 60., 54., 45., 66., 57., 44., 62., 38.],
        [49., 50., 56., 52., 62., 47., 74., 50., 61., 54.],
        [43., 37., 48., 51., 63., 54., 45., 64., 51., 80.],
        [88., 33., 56., 56., 41., 63., 48., 56., 66., 57.],
        [32., 82., 51., 59., 40., 47., 52., 48., 61., 49.],
        [57., 46., 53., 72., 50., 73., 49., 59., 66., 52.],
        [45., 41., 50., 47., 60., 44., 44., 66., 62., 84.],
        [57., 37., 61., 65., 43., 51., 36., 85., 39., 57.],
        [45., 51., 63., 74., 50., 55., 53., 53., 52., 59.],
        [34., 46., 49., 47., 76., 55., 48., 54., 52., 62.]], device='cuda:0')
Train accuarcate: 91.72%



iteration:
  178
    0    96   bit_w:-1  loss: 0.28289
    1   276   bit_w: 1  loss: 0.28267
    2   121   bit_w:-1  loss: 0.28271
    3   332   bit_w: 1  loss: 0.28236
    4   472   bit_w:-1  loss: 0.28260
   5494   6716   4473   5490   5707   5303   4791   6246   5787   5948
      0      0     -1     -1      0      0     -1      0      0      0
Train accuarcate: 91.78%
tensor([[51., 39., 56., 66., 41., 53., 32., 88., 43., 61.],
        [56., 56., 84., 67., 31., 59., 68., 38., 64., 40.],
        [30., 75., 57., 53., 43., 49., 47., 49., 50., 44.],
        [89., 32., 58., 57., 35., 54., 67., 54., 53., 59.],
        [47., 43., 57., 35., 81., 43., 54., 56., 54., 61.],
        [29., 80., 54., 57., 43., 44., 42., 54., 51., 48.],
        [35., 49., 44., 51., 85., 59., 45., 53., 58., 64.],
        [28., 49., 46., 56., 61., 57., 52., 56., 56., 68.],
        [61., 43., 63., 37., 60., 64., 70., 40., 47., 63.],
        [47., 42., 35., 52., 64., 54., 43., 67., 66., 80.],
        [88., 34., 60., 54., 45., 66., 57., 44., 62., 38.],
        [49., 50., 57., 53., 62., 47., 75., 50., 61., 54.],
        [43., 37., 48., 51., 63., 54., 45., 64., 51., 80.],
        [88., 33., 56., 56., 41., 63., 48., 56., 66., 57.],
        [32., 82., 51., 59., 40., 47., 52., 48., 61., 49.],
        [57., 46., 53., 72., 50., 73., 49., 59., 66., 52.],
        [45., 41., 50., 47., 60., 44., 44., 66., 62., 84.],
        [57., 37., 61., 65., 43., 51., 36., 85., 39., 57.],
        [45., 51., 64., 75., 50., 55., 54., 53., 52., 59.],
        [34., 46., 49., 47., 76., 55., 48., 54., 52., 62.]], device='cuda:0')
Train accuarcate: 91.76%



iteration:
  179
    0   660   bit_w:-1  loss: 0.28236
    1   187   bit_w: 1  loss: 0.28187
    2   692   bit_w: 1  loss: 0.28191
    3   191   bit_w:-1  loss: 0.28160
    4   718   bit_w: 1  loss: 0.28189
   2573   1492   1998   1681   1419    888    467    498   1789   1464
      0      0      0      1      0      0      0      0      1      1
Train accuarcate: 91.80%
tensor([[51., 39., 56., 66., 41., 53., 32., 88., 43., 61.],
        [56., 56., 84., 67., 31., 59., 68., 38., 64., 40.],
        [30., 75., 57., 53., 43., 49., 47., 49., 50., 44.],
        [89., 32., 58., 57., 35., 54., 67., 54., 53., 59.],
        [47., 43., 57., 35., 81., 43., 54., 56., 54., 61.],
        [29., 80., 54., 57., 43., 44., 42., 54., 51., 48.],
        [35., 49., 44., 51., 85., 59., 45., 53., 58., 64.],
        [28., 49., 46., 56., 61., 57., 52., 56., 56., 68.],
        [61., 43., 63., 37., 60., 64., 70., 40., 47., 63.],
        [47., 42., 35., 52., 64., 54., 43., 67., 66., 80.],
        [88., 34., 60., 55., 45., 66., 57., 44., 63., 39.],
        [49., 50., 57., 53., 62., 47., 75., 50., 61., 54.],
        [43., 37., 48., 51., 63., 54., 45., 64., 51., 80.],
        [88., 33., 56., 56., 41., 63., 48., 56., 66., 57.],
        [32., 82., 51., 59., 40., 47., 52., 48., 61., 49.],
        [57., 46., 53., 72., 50., 73., 49., 59., 66., 52.],
        [45., 41., 50., 47., 60., 44., 44., 66., 62., 84.],
        [57., 37., 61., 65., 43., 51., 36., 85., 39., 57.],
        [45., 51., 64., 75., 50., 55., 54., 53., 52., 59.],
        [34., 46., 49., 47., 76., 55., 48., 54., 52., 62.]], device='cuda:0')
Train accuarcate: 91.67%



iteration:
  180
    0   369   bit_w:-1  loss: 0.28166
    1   554   bit_w: 1  loss: 0.28142
    2   634   bit_w: 1  loss: 0.28145
    3   317   bit_w:-1  loss: 0.28101
    4   508   bit_w: 1  loss: 0.28123
    782    172   2916   2164    399    736    279    155    749    306
      0      1      1      1      0      0      0      0      0      0
Train accuarcate: 91.84%
tensor([[51., 39., 56., 66., 41., 53., 32., 88., 43., 61.],
        [56., 57., 85., 68., 31., 59., 68., 38., 64., 40.],
        [30., 75., 57., 53., 43., 49., 47., 49., 50., 44.],
        [89., 32., 58., 57., 35., 54., 67., 54., 53., 59.],
        [47., 43., 57., 35., 81., 43., 54., 56., 54., 61.],
        [29., 80., 54., 57., 43., 44., 42., 54., 51., 48.],
        [35., 50., 45., 52., 85., 59., 45., 53., 58., 64.],
        [28., 49., 46., 56., 61., 57., 52., 56., 56., 68.],
        [61., 43., 63., 37., 60., 64., 70., 40., 47., 63.],
        [47., 42., 35., 52., 64., 54., 43., 67., 66., 80.],
        [88., 34., 60., 55., 45., 66., 57., 44., 63., 39.],
        [49., 50., 57., 53., 62., 47., 75., 50., 61., 54.],
        [43., 37., 48., 51., 63., 54., 45., 64., 51., 80.],
        [88., 33., 56., 56., 41., 63., 48., 56., 66., 57.],
        [32., 82., 51., 59., 40., 47., 52., 48., 61., 49.],
        [57., 47., 54., 73., 50., 73., 49., 59., 66., 52.],
        [45., 41., 50., 47., 60., 44., 44., 66., 62., 84.],
        [57., 37., 61., 65., 43., 51., 36., 85., 39., 57.],
        [45., 52., 65., 76., 50., 55., 54., 53., 52., 59.],
        [34., 46., 49., 47., 76., 55., 48., 54., 52., 62.]], device='cuda:0')
Train accuarcate: 91.70%



iteration:
  181
    0   660   bit_w:-1  loss: 0.28091
    1   545   bit_w:-1  loss: 0.28060
    2   610   bit_w:-1  loss: 0.28052
    3   470   bit_w: 1  loss: 0.28046
    4   555   bit_w:-1  loss: 0.28040
   5766   6355   4436   5969   5763   5222   5830   6165   5109   5852
      0     -1     -1      0      0      0      0      0     -1      0
Train accuarcate: 91.85%
tensor([[51., 39., 56., 66., 41., 53., 32., 88., 43., 61.],
        [56., 58., 86., 68., 31., 59., 68., 38., 65., 40.],
        [30., 75., 57., 53., 43., 49., 47., 49., 50., 44.],
        [89., 32., 58., 57., 35., 54., 67., 54., 53., 59.],
        [47., 43., 57., 35., 81., 43., 54., 56., 54., 61.],
        [29., 80., 54., 57., 43., 44., 42., 54., 51., 48.],
        [35., 50., 45., 52., 85., 59., 45., 53., 58., 64.],
        [28., 49., 46., 56., 61., 57., 52., 56., 56., 68.],
        [61., 43., 63., 37., 60., 64., 70., 40., 47., 63.],
        [47., 42., 35., 52., 64., 54., 43., 67., 66., 80.],
        [88., 34., 60., 55., 45., 66., 57., 44., 63., 39.],
        [49., 50., 57., 53., 62., 47., 75., 50., 61., 54.],
        [43., 37., 48., 51., 63., 54., 45., 64., 51., 80.],
        [88., 33., 56., 56., 41., 63., 48., 56., 66., 57.],
        [32., 82., 51., 59., 40., 47., 52., 48., 61., 49.],
        [57., 47., 54., 73., 50., 73., 49., 59., 66., 52.],
        [45., 41., 50., 47., 60., 44., 44., 66., 62., 84.],
        [57., 37., 61., 65., 43., 51., 36., 85., 39., 57.],
        [45., 53., 66., 76., 50., 55., 54., 53., 53., 59.],
        [34., 46., 49., 47., 76., 55., 48., 54., 52., 62.]], device='cuda:0')
Train accuarcate: 91.73%



iteration:
  182
    0   369   bit_w:-1  loss: 0.28017
    1   346   bit_w: 1  loss: 0.27993
    2   292   bit_w:-1  loss: 0.27971
    3   318   bit_w: 1  loss: 0.27943
    4   372   bit_w:-1  loss: 0.27934
   4274   6120   5466   5584   3993   4353   4324   4576   3897   3977
     -1      0      0      0      0     -1      0      0     -1     -1
Train accuarcate: 91.86%
tensor([[51., 39., 56., 66., 41., 53., 32., 88., 43., 61.],
        [56., 58., 86., 68., 31., 59., 68., 38., 65., 40.],
        [30., 75., 57., 53., 43., 49., 47., 49., 50., 44.],
        [89., 32., 58., 57., 35., 54., 67., 54., 53., 59.],
        [48., 43., 57., 35., 81., 44., 54., 56., 55., 62.],
        [29., 80., 54., 57., 43., 44., 42., 54., 51., 48.],
        [35., 50., 45., 52., 85., 59., 45., 53., 58., 64.],
        [29., 49., 46., 56., 61., 58., 52., 56., 57., 69.],
        [62., 43., 63., 37., 60., 65., 70., 40., 48., 64.],
        [48., 42., 35., 52., 64., 55., 43., 67., 67., 81.],
        [89., 34., 60., 55., 45., 67., 57., 44., 64., 40.],
        [50., 50., 57., 53., 62., 48., 75., 50., 62., 55.],
        [43., 37., 48., 51., 63., 54., 45., 64., 51., 80.],
        [88., 33., 56., 56., 41., 63., 48., 56., 66., 57.],
        [32., 82., 51., 59., 40., 47., 52., 48., 61., 49.],
        [57., 47., 54., 73., 50., 73., 49., 59., 66., 52.],
        [46., 41., 50., 47., 60., 45., 44., 66., 63., 85.],
        [57., 37., 61., 65., 43., 51., 36., 85., 39., 57.],
        [45., 53., 66., 76., 50., 55., 54., 53., 53., 59.],
        [34., 46., 49., 47., 76., 55., 48., 54., 52., 62.]], device='cuda:0')
Train accuarcate: 91.79%



iteration:
  183
    0   492   bit_w:-1  loss: 0.27899
    1   270   bit_w: 1  loss: 0.27861
    2   407   bit_w:-1  loss: 0.27868
    3   325   bit_w: 1  loss: 0.27842
    4   463   bit_w:-1  loss: 0.27843
   5403   2739   2338   3926   1838   2291   1046   3606   2027   2058
      1      1      0      0     -1      0     -1      1      0      0
Train accuarcate: 91.90%
tensor([[52., 40., 56., 66., 41., 53., 32., 89., 43., 61.],
        [57., 59., 86., 68., 31., 59., 68., 39., 65., 40.],
        [30., 75., 57., 53., 44., 49., 48., 49., 50., 44.],
        [90., 33., 58., 57., 35., 54., 67., 55., 53., 59.],
        [48., 43., 57., 35., 82., 44., 55., 56., 55., 62.],
        [29., 80., 54., 57., 44., 44., 43., 54., 51., 48.],
        [35., 50., 45., 52., 86., 59., 46., 53., 58., 64.],
        [30., 50., 46., 56., 61., 58., 52., 57., 57., 69.],
        [62., 43., 63., 37., 61., 65., 71., 40., 48., 64.],
        [48., 42., 35., 52., 65., 55., 44., 67., 67., 81.],
        [90., 35., 60., 55., 45., 67., 57., 45., 64., 40.],
        [51., 51., 57., 53., 62., 48., 75., 51., 62., 55.],
        [43., 37., 48., 51., 64., 54., 46., 64., 51., 80.],
        [89., 34., 56., 56., 41., 63., 48., 57., 66., 57.],
        [32., 82., 51., 59., 41., 47., 53., 48., 61., 49.],
        [58., 48., 54., 73., 50., 73., 49., 60., 66., 52.],
        [46., 41., 50., 47., 61., 45., 45., 66., 63., 85.],
        [58., 38., 61., 65., 43., 51., 36., 86., 39., 57.],
        [45., 53., 66., 76., 51., 55., 55., 53., 53., 59.],
        [35., 47., 49., 47., 76., 55., 48., 55., 52., 62.]], device='cuda:0')
Train accuarcate: 91.70%



iteration:
  184
    0   128   bit_w:-1  loss: 0.27804
    1   211   bit_w: 1  loss: 0.27781
    2   267   bit_w:-1  loss: 0.27761
    3   660   bit_w: 1  loss: 0.27734
    4   305   bit_w:-1  loss: 0.27749
   4798   4548   3726   4876   5567   4065   4253   4014   5162   5461
      0      0     -1     -1      0     -1      0      0      0     -1
Train accuarcate: 91.93%
tensor([[52., 40., 57., 67., 41., 54., 32., 89., 43., 62.],
        [57., 59., 87., 69., 31., 60., 68., 39., 65., 41.],
        [30., 75., 58., 54., 44., 50., 48., 49., 50., 45.],
        [90., 33., 58., 57., 35., 54., 67., 55., 53., 59.],
        [48., 43., 57., 35., 82., 44., 55., 56., 55., 62.],
        [29., 80., 55., 58., 44., 45., 43., 54., 51., 49.],
        [35., 50., 45., 52., 86., 59., 46., 53., 58., 64.],
        [30., 50., 47., 57., 61., 59., 52., 57., 57., 70.],
        [62., 43., 63., 37., 61., 65., 71., 40., 48., 64.],
        [48., 42., 35., 52., 65., 55., 44., 67., 67., 81.],
        [90., 35., 60., 55., 45., 67., 57., 45., 64., 40.],
        [51., 51., 57., 53., 62., 48., 75., 51., 62., 55.],
        [43., 37., 48., 51., 64., 54., 46., 64., 51., 80.],
        [89., 34., 56., 56., 41., 63., 48., 57., 66., 57.],
        [32., 82., 51., 59., 41., 47., 53., 48., 61., 49.],
        [58., 48., 54., 73., 50., 73., 49., 60., 66., 52.],
        [46., 41., 50., 47., 61., 45., 45., 66., 63., 85.],
        [58., 38., 62., 66., 43., 52., 36., 86., 39., 58.],
        [45., 53., 66., 76., 51., 55., 55., 53., 53., 59.],
        [35., 47., 49., 47., 76., 55., 48., 55., 52., 62.]], device='cuda:0')
Train accuarcate: 91.74%



iteration:
  185
    0   275   bit_w:-1  loss: 0.27724
    1    95   bit_w: 1  loss: 0.27705
    2   219   bit_w:-1  loss: 0.27707
    3    97   bit_w: 1  loss: 0.27676
    4   660   bit_w:-1  loss: 0.27692
   3560   5871   5364   3909   3736   1999   5772   4716   2626   4203
      0      0      0      0      0     -1      0      0     -1      0
Train accuarcate: 91.94%
tensor([[52., 40., 57., 67., 41., 54., 32., 89., 43., 62.],
        [57., 59., 87., 69., 31., 60., 68., 39., 65., 41.],
        [30., 75., 58., 54., 44., 50., 48., 49., 50., 45.],
        [90., 33., 58., 57., 35., 54., 67., 55., 53., 59.],
        [48., 43., 57., 35., 82., 45., 55., 56., 56., 62.],
        [29., 80., 55., 58., 44., 45., 43., 54., 51., 49.],
        [35., 50., 45., 52., 86., 60., 46., 53., 59., 64.],
        [30., 50., 47., 57., 61., 59., 52., 57., 57., 70.],
        [62., 43., 63., 37., 61., 66., 71., 40., 49., 64.],
        [48., 42., 35., 52., 65., 55., 44., 67., 67., 81.],
        [90., 35., 60., 55., 45., 67., 57., 45., 64., 40.],
        [51., 51., 57., 53., 62., 48., 75., 51., 62., 55.],
        [43., 37., 48., 51., 64., 54., 46., 64., 51., 80.],
        [89., 34., 56., 56., 41., 64., 48., 57., 67., 57.],
        [32., 82., 51., 59., 41., 47., 53., 48., 61., 49.],
        [58., 48., 54., 73., 50., 74., 49., 60., 67., 52.],
        [46., 41., 50., 47., 61., 46., 45., 66., 64., 85.],
        [58., 38., 62., 66., 43., 52., 36., 86., 39., 58.],
        [45., 53., 66., 76., 51., 56., 55., 53., 54., 59.],
        [35., 47., 49., 47., 76., 56., 48., 55., 53., 62.]], device='cuda:0')
Train accuarcate: 91.75%



iteration:
  186
    0   229   bit_w:-1  loss: 0.27668
    1   444   bit_w: 1  loss: 0.27646
    2   147   bit_w:-1  loss: 0.27653
    3   528   bit_w: 1  loss: 0.27624
    4   426   bit_w:-1  loss: 0.27643
   3598   6735   4908   5020   4051   5103   5500   5151   5684   5187
      0      0     -1     -1     -1      0      0     -1      0      0
Train accuarcate: 91.94%
tensor([[52., 40., 57., 67., 41., 54., 32., 89., 43., 62.],
        [57., 59., 87., 69., 31., 60., 68., 39., 65., 41.],
        [30., 75., 58., 54., 44., 50., 48., 49., 50., 45.],
        [90., 33., 58., 57., 35., 54., 67., 55., 53., 59.],
        [48., 43., 57., 35., 82., 45., 55., 56., 56., 62.],
        [29., 80., 55., 58., 44., 45., 43., 54., 51., 49.],
        [35., 50., 45., 52., 86., 60., 46., 53., 59., 64.],
        [30., 50., 47., 57., 61., 59., 52., 57., 57., 70.],
        [62., 43., 64., 38., 62., 66., 71., 41., 49., 64.],
        [48., 42., 35., 52., 65., 55., 44., 67., 67., 81.],
        [90., 35., 60., 55., 45., 67., 57., 45., 64., 40.],
        [51., 51., 57., 53., 62., 48., 75., 51., 62., 55.],
        [43., 37., 48., 51., 64., 54., 46., 64., 51., 80.],
        [89., 34., 56., 56., 41., 64., 48., 57., 67., 57.],
        [32., 82., 51., 59., 41., 47., 53., 48., 61., 49.],
        [58., 48., 54., 73., 50., 74., 49., 60., 67., 52.],
        [46., 41., 50., 47., 61., 46., 45., 66., 64., 85.],
        [58., 38., 63., 67., 44., 52., 36., 87., 39., 58.],
        [45., 53., 67., 77., 52., 56., 55., 54., 54., 59.],
        [35., 47., 49., 47., 76., 56., 48., 55., 53., 62.]], device='cuda:0')
Train accuarcate: 91.78%



iteration:
  187
    0   415   bit_w:-1  loss: 0.27621
    1   230   bit_w: 1  loss: 0.27601
    2   500   bit_w:-1  loss: 0.27606
    3   257   bit_w: 1  loss: 0.27574
    4   580   bit_w:-1  loss: 0.27596
   3305   6698   3455   5006   5358   4406   4440   6202   5213   5670
      0     -1     -1      0      0      0     -1      0      0      0
Train accuarcate: 91.95%
tensor([[52., 40., 57., 67., 41., 54., 32., 89., 43., 62.],
        [57., 60., 88., 69., 31., 60., 69., 39., 65., 41.],
        [30., 75., 58., 54., 44., 50., 48., 49., 50., 45.],
        [90., 33., 58., 57., 35., 54., 67., 55., 53., 59.],
        [48., 43., 57., 35., 82., 45., 55., 56., 56., 62.],
        [29., 80., 55., 58., 44., 45., 43., 54., 51., 49.],
        [35., 50., 45., 52., 86., 60., 46., 53., 59., 64.],
        [30., 51., 48., 57., 61., 59., 53., 57., 57., 70.],
        [62., 43., 64., 38., 62., 66., 71., 41., 49., 64.],
        [48., 42., 35., 52., 65., 55., 44., 67., 67., 81.],
        [90., 35., 60., 55., 45., 67., 57., 45., 64., 40.],
        [51., 51., 57., 53., 62., 48., 75., 51., 62., 55.],
        [43., 37., 48., 51., 64., 54., 46., 64., 51., 80.],
        [89., 35., 57., 56., 41., 64., 49., 57., 67., 57.],
        [32., 82., 51., 59., 41., 47., 53., 48., 61., 49.],
        [58., 48., 54., 73., 50., 74., 49., 60., 67., 52.],
        [46., 41., 50., 47., 61., 46., 45., 66., 64., 85.],
        [58., 38., 63., 67., 44., 52., 36., 87., 39., 58.],
        [45., 53., 67., 77., 52., 56., 55., 54., 54., 59.],
        [35., 47., 49., 47., 76., 56., 48., 55., 53., 62.]], device='cuda:0')
Train accuarcate: 91.81%



iteration:
  188
    0   125   bit_w:-1  loss: 0.27574
    1   180   bit_w: 1  loss: 0.27546
    2   287   bit_w:-1  loss: 0.27541
    3   398   bit_w: 1  loss: 0.27520
    4   564   bit_w:-1  loss: 0.27513
   5574   6347   4229   4967   5416   5054   5555   4227   5456   5657
      0      0     -1     -1      0      0      0     -1     -1      0
Train accuarcate: 91.95%
tensor([[52., 40., 57., 67., 41., 54., 32., 89., 43., 62.],
        [57., 60., 89., 70., 31., 60., 69., 40., 66., 41.],
        [30., 75., 58., 54., 44., 50., 48., 49., 50., 45.],
        [90., 33., 58., 57., 35., 54., 67., 55., 53., 59.],
        [48., 43., 57., 35., 82., 45., 55., 56., 56., 62.],
        [29., 80., 55., 58., 44., 45., 43., 54., 51., 49.],
        [35., 50., 46., 53., 86., 60., 46., 54., 60., 64.],
        [30., 51., 48., 57., 61., 59., 53., 57., 57., 70.],
        [62., 43., 64., 38., 62., 66., 71., 41., 49., 64.],
        [48., 42., 35., 52., 65., 55., 44., 67., 67., 81.],
        [90., 35., 60., 55., 45., 67., 57., 45., 64., 40.],
        [51., 51., 57., 53., 62., 48., 75., 51., 62., 55.],
        [43., 37., 48., 51., 64., 54., 46., 64., 51., 80.],
        [89., 35., 57., 56., 41., 64., 49., 57., 67., 57.],
        [32., 82., 51., 59., 41., 47., 53., 48., 61., 49.],
        [58., 48., 54., 73., 50., 74., 49., 60., 67., 52.],
        [46., 41., 50., 47., 61., 46., 45., 66., 64., 85.],
        [58., 38., 63., 67., 44., 52., 36., 87., 39., 58.],
        [45., 53., 67., 77., 52., 56., 55., 54., 54., 59.],
        [35., 47., 49., 47., 76., 56., 48., 55., 53., 62.]], device='cuda:0')
Train accuarcate: 91.86%



iteration:
  189
    0   126   bit_w:-1  loss: 0.27490
    1   346   bit_w: 1  loss: 0.27465
    2   370   bit_w: 1  loss: 0.27448
    3   320   bit_w:-1  loss: 0.27408
    4   454   bit_w: 1  loss: 0.27399
   3669      8    692    427   3691   1821   1263   1073   1803   3154
      1     -1      0     -1      1      0      0      0      1      1
Train accuarcate: 91.99%
tensor([[52., 41., 57., 68., 41., 54., 32., 89., 43., 62.],
        [57., 61., 89., 71., 31., 60., 69., 40., 66., 41.],
        [30., 76., 58., 55., 44., 50., 48., 49., 50., 45.],
        [90., 34., 58., 58., 35., 54., 67., 55., 53., 59.],
        [48., 44., 57., 36., 82., 45., 55., 56., 56., 62.],
        [29., 81., 55., 59., 44., 45., 43., 54., 51., 49.],
        [36., 50., 46., 53., 87., 60., 46., 54., 61., 65.],
        [30., 52., 48., 58., 61., 59., 53., 57., 57., 70.],
        [63., 43., 64., 38., 63., 66., 71., 41., 50., 65.],
        [48., 43., 35., 53., 65., 55., 44., 67., 67., 81.],
        [90., 36., 60., 56., 45., 67., 57., 45., 64., 40.],
        [51., 52., 57., 54., 62., 48., 75., 51., 62., 55.],
        [44., 37., 48., 51., 65., 54., 46., 64., 52., 81.],
        [90., 35., 57., 56., 42., 64., 49., 57., 68., 58.],
        [32., 83., 51., 60., 41., 47., 53., 48., 61., 49.],
        [58., 49., 54., 74., 50., 74., 49., 60., 67., 52.],
        [46., 42., 50., 48., 61., 46., 45., 66., 64., 85.],
        [58., 39., 63., 68., 44., 52., 36., 87., 39., 58.],
        [46., 53., 67., 77., 53., 56., 55., 54., 55., 60.],
        [35., 48., 49., 48., 76., 56., 48., 55., 53., 62.]], device='cuda:0')
Train accuarcate: 91.93%



iteration:
  190
    0   157   bit_w:-1  loss: 0.27355
    1   267   bit_w: 1  loss: 0.27306
    2   602   bit_w:-1  loss: 0.27308
    3   268   bit_w: 1  loss: 0.27268
    4   686   bit_w:-1  loss: 0.27287
   2684   5877   2891   3440   3714   2609   1646   5498   1902   4040
      0      0     -1      0      0     -1     -1      1     -1      0
Train accuarcate: 92.09%
tensor([[52., 41., 57., 68., 41., 54., 32., 90., 43., 62.],
        [57., 61., 89., 71., 31., 60., 69., 41., 66., 41.],
        [30., 76., 58., 55., 44., 50., 48., 50., 50., 45.],
        [90., 34., 58., 58., 35., 54., 67., 56., 53., 59.],
        [48., 44., 57., 36., 82., 45., 55., 57., 56., 62.],
        [29., 81., 55., 59., 44., 45., 43., 55., 51., 49.],
        [36., 50., 47., 53., 87., 61., 47., 54., 62., 65.],
        [30., 52., 48., 58., 61., 59., 53., 58., 57., 70.],
        [63., 43., 65., 38., 63., 67., 72., 41., 51., 65.],
        [48., 43., 35., 53., 65., 55., 44., 68., 67., 81.],
        [90., 36., 61., 56., 45., 68., 58., 45., 65., 40.],
        [51., 52., 58., 54., 62., 49., 76., 51., 63., 55.],
        [44., 37., 49., 51., 65., 55., 47., 64., 53., 81.],
        [90., 35., 58., 56., 42., 65., 50., 57., 69., 58.],
        [32., 83., 51., 60., 41., 47., 53., 49., 61., 49.],
        [58., 49., 54., 74., 50., 74., 49., 61., 67., 52.],
        [46., 42., 51., 48., 61., 47., 46., 66., 65., 85.],
        [58., 39., 63., 68., 44., 52., 36., 88., 39., 58.],
        [46., 53., 67., 77., 53., 56., 55., 55., 55., 60.],
        [35., 48., 49., 48., 76., 56., 48., 56., 53., 62.]], device='cuda:0')
Train accuarcate: 92.07%



iteration:
  191
    0   653   bit_w:-1  loss: 0.27254
    1   601   bit_w:-1  loss: 0.27227
    2   207   bit_w:-1  loss: 0.27188
    3   518   bit_w: 1  loss: 0.27190
    4   545   bit_w:-1  loss: 0.27193
   2285   5931   4019   2879   5350   3290   3702   4556   3336   5417
     -1      0     -1      0      0     -1      0      0      0      1
Train accuarcate: 92.09%
tensor([[52., 41., 57., 68., 41., 54., 32., 90., 43., 63.],
        [57., 61., 89., 71., 31., 60., 69., 41., 66., 42.],
        [30., 76., 58., 55., 44., 50., 48., 50., 50., 46.],
        [91., 34., 59., 58., 35., 55., 67., 56., 53., 59.],
        [48., 44., 57., 36., 82., 45., 55., 57., 56., 63.],
        [29., 81., 55., 59., 44., 45., 43., 55., 51., 50.],
        [36., 50., 47., 53., 87., 61., 47., 54., 62., 66.],
        [30., 52., 48., 58., 61., 59., 53., 58., 57., 71.],
        [63., 43., 65., 38., 63., 67., 72., 41., 51., 66.],
        [48., 43., 35., 53., 65., 55., 44., 68., 67., 82.],
        [91., 36., 62., 56., 45., 69., 58., 45., 65., 40.],
        [51., 52., 58., 54., 62., 49., 76., 51., 63., 56.],
        [44., 37., 49., 51., 65., 55., 47., 64., 53., 82.],
        [90., 35., 58., 56., 42., 65., 50., 57., 69., 59.],
        [32., 83., 51., 60., 41., 47., 53., 49., 61., 50.],
        [58., 49., 54., 74., 50., 74., 49., 61., 67., 53.],
        [46., 42., 51., 48., 61., 47., 46., 66., 65., 86.],
        [59., 39., 64., 68., 44., 53., 36., 88., 39., 58.],
        [47., 53., 68., 77., 53., 57., 55., 55., 55., 60.],
        [35., 48., 49., 48., 76., 56., 48., 56., 53., 63.]], device='cuda:0')
Train accuarcate: 91.99%



iteration:
  192
    0   371   bit_w:-1  loss: 0.27163
    1   458   bit_w: 1  loss: 0.27125
    2   539   bit_w:-1  loss: 0.27127
    3   457   bit_w: 1  loss: 0.27097
    4   488   bit_w: 1  loss: 0.27110
   1703   3862   4322    975   4029   1172   4955    974   4779   2974
      1      0      0     -1     -1      0      1      0      1      0
Train accuarcate: 92.12%
tensor([[52., 41., 57., 69., 42., 54., 32., 90., 43., 63.],
        [58., 61., 89., 71., 31., 60., 70., 41., 67., 42.],
        [30., 76., 58., 56., 45., 50., 48., 50., 50., 46.],
        [91., 34., 59., 59., 36., 55., 67., 56., 53., 59.],
        [49., 44., 57., 36., 82., 45., 56., 57., 57., 63.],
        [30., 81., 55., 59., 44., 45., 44., 55., 52., 50.],
        [36., 50., 47., 54., 88., 61., 47., 54., 62., 66.],
        [31., 52., 48., 58., 61., 59., 54., 58., 58., 71.],
        [64., 43., 65., 38., 63., 67., 73., 41., 52., 66.],
        [48., 43., 35., 54., 66., 55., 44., 68., 67., 82.],
        [91., 36., 62., 57., 46., 69., 58., 45., 65., 40.],
        [51., 52., 58., 55., 63., 49., 76., 51., 63., 56.],
        [45., 37., 49., 51., 65., 55., 48., 64., 54., 82.],
        [91., 35., 58., 56., 42., 65., 51., 57., 70., 59.],
        [32., 83., 51., 61., 42., 47., 53., 49., 61., 50.],
        [58., 49., 54., 75., 51., 74., 49., 61., 67., 53.],
        [47., 42., 51., 48., 61., 47., 47., 66., 66., 86.],
        [59., 39., 64., 69., 45., 53., 36., 88., 39., 58.],
        [47., 53., 68., 78., 54., 57., 55., 55., 55., 60.],
        [36., 48., 49., 48., 76., 56., 49., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 91.99%



iteration:
  193
    0   294   bit_w:-1  loss: 0.27074
    1   439   bit_w: 1  loss: 0.27026
    2   522   bit_w:-1  loss: 0.27031
    3   494   bit_w: 1  loss: 0.27017
    4   521   bit_w:-1  loss: 0.27023
   3307   2375   3526   3224   4475   2610   3188   3468   3075   3812
      0     -1      1      0      1     -1      0      0      0      0
Train accuarcate: 92.12%
tensor([[52., 41., 58., 69., 43., 54., 32., 90., 43., 63.],
        [58., 62., 89., 71., 31., 61., 70., 41., 67., 42.],
        [30., 76., 59., 56., 46., 50., 48., 50., 50., 46.],
        [91., 35., 59., 59., 36., 56., 67., 56., 53., 59.],
        [49., 45., 57., 36., 82., 46., 56., 57., 57., 63.],
        [30., 82., 55., 59., 44., 46., 44., 55., 52., 50.],
        [36., 50., 48., 54., 89., 61., 47., 54., 62., 66.],
        [31., 53., 48., 58., 61., 60., 54., 58., 58., 71.],
        [64., 44., 65., 38., 63., 68., 73., 41., 52., 66.],
        [48., 43., 36., 54., 67., 55., 44., 68., 67., 82.],
        [91., 36., 63., 57., 47., 69., 58., 45., 65., 40.],
        [51., 52., 59., 55., 64., 49., 76., 51., 63., 56.],
        [45., 38., 49., 51., 65., 56., 48., 64., 54., 82.],
        [91., 35., 59., 56., 43., 65., 51., 57., 70., 59.],
        [32., 84., 51., 61., 42., 48., 53., 49., 61., 50.],
        [58., 49., 55., 75., 52., 74., 49., 61., 67., 53.],
        [47., 42., 52., 48., 62., 47., 47., 66., 66., 86.],
        [59., 39., 65., 69., 46., 53., 36., 88., 39., 58.],
        [47., 53., 69., 78., 55., 57., 55., 55., 55., 60.],
        [36., 49., 49., 48., 76., 57., 49., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 92.01%



iteration:
  194
    0   581   bit_w:-1  loss: 0.26986
    1   319   bit_w: 1  loss: 0.26953
    2   208   bit_w: 1  loss: 0.26912
    3   539   bit_w:-1  loss: 0.26899
    4   263   bit_w: 1  loss: 0.26877
   4009    899   1592   3329   3436   3845   3813   5988   4540   5672
     -1      0      0      0     -1     -1     -1      1      0      1
Train accuarcate: 92.16%
tensor([[52., 41., 58., 69., 43., 54., 32., 91., 43., 64.],
        [59., 62., 89., 71., 32., 62., 71., 41., 67., 42.],
        [31., 76., 59., 56., 47., 51., 49., 50., 50., 46.],
        [91., 35., 59., 59., 36., 56., 67., 57., 53., 60.],
        [50., 45., 57., 36., 83., 47., 57., 57., 57., 63.],
        [31., 82., 55., 59., 45., 47., 45., 55., 52., 50.],
        [37., 50., 48., 54., 90., 62., 48., 54., 62., 66.],
        [31., 53., 48., 58., 61., 60., 54., 59., 58., 72.],
        [65., 44., 65., 38., 64., 69., 74., 41., 52., 66.],
        [48., 43., 36., 54., 67., 55., 44., 69., 67., 83.],
        [92., 36., 63., 57., 48., 70., 59., 45., 65., 40.],
        [52., 52., 59., 55., 65., 50., 77., 51., 63., 56.],
        [45., 38., 49., 51., 65., 56., 48., 65., 54., 83.],
        [91., 35., 59., 56., 43., 65., 51., 58., 70., 60.],
        [33., 84., 51., 61., 43., 49., 54., 49., 61., 50.],
        [59., 49., 55., 75., 53., 75., 50., 61., 67., 53.],
        [47., 42., 52., 48., 62., 47., 47., 67., 66., 87.],
        [59., 39., 65., 69., 46., 53., 36., 89., 39., 59.],
        [48., 53., 69., 78., 56., 58., 56., 55., 55., 60.],
        [37., 49., 49., 48., 77., 58., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 91.92%



iteration:
  195
    0   461   bit_w:-1  loss: 0.26847
    1   351   bit_w: 1  loss: 0.26791
    2   720   bit_w: 1  loss: 0.26805
    3   228   bit_w:-1  loss: 0.26773
    4   341   bit_w: 1  loss: 0.26792
    711    670    472   4042    604   1803    687    989   1031   1835
      0      0     -1      0      0      1      0      0      1      1
Train accuarcate: 92.14%
tensor([[52., 41., 59., 69., 43., 54., 32., 91., 43., 64.],
        [59., 62., 90., 71., 32., 62., 71., 41., 67., 42.],
        [31., 76., 60., 56., 47., 51., 49., 50., 50., 46.],
        [91., 35., 60., 59., 36., 56., 67., 57., 53., 60.],
        [50., 45., 58., 36., 83., 47., 57., 57., 57., 63.],
        [31., 82., 56., 59., 45., 47., 45., 55., 52., 50.],
        [37., 50., 48., 54., 90., 63., 48., 54., 63., 67.],
        [31., 53., 49., 58., 61., 60., 54., 59., 58., 72.],
        [65., 44., 66., 38., 64., 69., 74., 41., 52., 66.],
        [48., 43., 37., 54., 67., 55., 44., 69., 67., 83.],
        [92., 36., 64., 57., 48., 70., 59., 45., 65., 40.],
        [52., 52., 60., 55., 65., 50., 77., 51., 63., 56.],
        [45., 38., 50., 51., 65., 56., 48., 65., 54., 83.],
        [91., 35., 60., 56., 43., 65., 51., 58., 70., 60.],
        [33., 84., 52., 61., 43., 49., 54., 49., 61., 50.],
        [59., 49., 55., 75., 53., 76., 50., 61., 68., 54.],
        [47., 42., 53., 48., 62., 47., 47., 67., 66., 87.],
        [59., 39., 66., 69., 46., 53., 36., 89., 39., 59.],
        [48., 53., 69., 78., 56., 59., 56., 55., 56., 61.],
        [37., 49., 50., 48., 77., 58., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 91.92%



iteration:
  196
    0   318   bit_w:-1  loss: 0.26719
    1   407   bit_w: 1  loss: 0.26671
    2   523   bit_w: 1  loss: 0.26685
    3   379   bit_w: 1  loss: 0.26670
    4   436   bit_w:-1  loss: 0.26673
    888   5902   3308   4948   1363   2043   2999   1349   3643   1610
     -1      1      0      1      0      0      0      1      1      0
Train accuarcate: 92.22%
tensor([[53., 41., 59., 69., 43., 54., 32., 91., 43., 64.],
        [60., 62., 90., 71., 32., 62., 71., 41., 67., 42.],
        [31., 77., 60., 57., 47., 51., 49., 51., 51., 46.],
        [92., 35., 60., 59., 36., 56., 67., 57., 53., 60.],
        [51., 45., 58., 36., 83., 47., 57., 57., 57., 63.],
        [31., 83., 56., 60., 45., 47., 45., 56., 53., 50.],
        [38., 50., 48., 54., 90., 63., 48., 54., 63., 67.],
        [31., 54., 49., 59., 61., 60., 54., 60., 59., 72.],
        [65., 45., 66., 39., 64., 69., 74., 42., 53., 66.],
        [49., 43., 37., 54., 67., 55., 44., 69., 67., 83.],
        [92., 37., 64., 58., 48., 70., 59., 46., 66., 40.],
        [52., 53., 60., 56., 65., 50., 77., 52., 64., 56.],
        [46., 38., 50., 51., 65., 56., 48., 65., 54., 83.],
        [92., 35., 60., 56., 43., 65., 51., 58., 70., 60.],
        [33., 85., 52., 62., 43., 49., 54., 50., 62., 50.],
        [60., 49., 55., 75., 53., 76., 50., 61., 68., 54.],
        [48., 42., 53., 48., 62., 47., 47., 67., 66., 87.],
        [60., 39., 66., 69., 46., 53., 36., 89., 39., 59.],
        [48., 54., 69., 79., 56., 59., 56., 56., 57., 61.],
        [38., 49., 50., 48., 77., 58., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 91.92%



iteration:
  197
    0   456   bit_w:-1  loss: 0.26646
    1   403   bit_w: 1  loss: 0.26602
    2   104   bit_w:-1  loss: 0.26600
    3   710   bit_w: 1  loss: 0.26587
    4   535   bit_w:-1  loss: 0.26598
   2985   6732   4668   5891   3904   5144   3862   6039   5745   4625
      0      0      0     -1     -1     -1     -1      0      0     -1
Train accuarcate: 92.24%
tensor([[53., 41., 59., 69., 43., 54., 32., 91., 43., 64.],
        [60., 62., 90., 71., 32., 62., 71., 41., 67., 42.],
        [31., 77., 60., 57., 47., 51., 49., 51., 51., 46.],
        [92., 35., 60., 60., 37., 57., 68., 57., 53., 61.],
        [51., 45., 58., 37., 84., 48., 58., 57., 57., 64.],
        [31., 83., 56., 60., 45., 47., 45., 56., 53., 50.],
        [38., 50., 48., 54., 90., 63., 48., 54., 63., 67.],
        [31., 54., 49., 59., 61., 60., 54., 60., 59., 72.],
        [65., 45., 66., 40., 65., 70., 75., 42., 53., 67.],
        [49., 43., 37., 54., 67., 55., 44., 69., 67., 83.],
        [92., 37., 64., 59., 49., 71., 60., 46., 66., 41.],
        [52., 53., 60., 57., 66., 51., 78., 52., 64., 57.],
        [46., 38., 50., 51., 65., 56., 48., 65., 54., 83.],
        [92., 35., 60., 57., 44., 66., 52., 58., 70., 61.],
        [33., 85., 52., 62., 43., 49., 54., 50., 62., 50.],
        [60., 49., 55., 75., 53., 76., 50., 61., 68., 54.],
        [48., 42., 53., 49., 63., 48., 48., 67., 66., 88.],
        [60., 39., 66., 69., 46., 53., 36., 89., 39., 59.],
        [48., 54., 69., 79., 56., 59., 56., 56., 57., 61.],
        [38., 49., 50., 48., 77., 58., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 91.96%



iteration:
  198
    0   371   bit_w:-1  loss: 0.26572
    1   430   bit_w: 1  loss: 0.26541
    2   512   bit_w:-1  loss: 0.26533
    3   564   bit_w: 1  loss: 0.26504
    4   104   bit_w:-1  loss: 0.26520
   2361   6654   4515   5562   4898   4338   4062   5290   5072   5095
      0      0      0     -1      0     -1     -1     -1      0      0
Train accuarcate: 92.27%
tensor([[53., 41., 59., 69., 43., 54., 32., 91., 43., 64.],
        [60., 62., 90., 71., 32., 62., 71., 41., 67., 42.],
        [31., 77., 60., 57., 47., 51., 49., 51., 51., 46.],
        [92., 35., 60., 61., 37., 58., 69., 58., 53., 61.],
        [51., 45., 58., 38., 84., 49., 59., 58., 57., 64.],
        [31., 83., 56., 60., 45., 47., 45., 56., 53., 50.],
        [38., 50., 48., 55., 90., 64., 49., 55., 63., 67.],
        [31., 54., 49., 59., 61., 60., 54., 60., 59., 72.],
        [65., 45., 66., 40., 65., 70., 75., 42., 53., 67.],
        [49., 43., 37., 54., 67., 55., 44., 69., 67., 83.],
        [92., 37., 64., 60., 49., 72., 61., 47., 66., 41.],
        [52., 53., 60., 58., 66., 52., 79., 53., 64., 57.],
        [46., 38., 50., 51., 65., 56., 48., 65., 54., 83.],
        [92., 35., 60., 58., 44., 67., 53., 59., 70., 61.],
        [33., 85., 52., 62., 43., 49., 54., 50., 62., 50.],
        [60., 49., 55., 75., 53., 76., 50., 61., 68., 54.],
        [48., 42., 53., 50., 63., 49., 49., 68., 66., 88.],
        [60., 39., 66., 69., 46., 53., 36., 89., 39., 59.],
        [48., 54., 69., 79., 56., 59., 56., 56., 57., 61.],
        [38., 49., 50., 48., 77., 58., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 92.04%



iteration:
  199
    0   387   bit_w:-1  loss: 0.26498
    1   679   bit_w: 1  loss: 0.26479
    2   528   bit_w:-1  loss: 0.26483
    3   201   bit_w: 1  loss: 0.26450
    4   444   bit_w:-1  loss: 0.26473
   3881   6738   5121   6108   5618   5350   5167   6197   5736   5916
     -1      0     -1      0      0      0     -1      0      0      0
Train accuarcate: 92.29%
tensor([[53., 41., 59., 69., 43., 54., 32., 91., 43., 64.],
        [60., 62., 90., 71., 32., 62., 71., 41., 67., 42.],
        [31., 77., 60., 57., 47., 51., 49., 51., 51., 46.],
        [92., 35., 60., 61., 37., 58., 69., 58., 53., 61.],
        [51., 45., 58., 38., 84., 49., 59., 58., 57., 64.],
        [31., 83., 56., 60., 45., 47., 45., 56., 53., 50.],
        [38., 50., 48., 55., 90., 64., 49., 55., 63., 67.],
        [31., 54., 49., 59., 61., 60., 54., 60., 59., 72.],
        [65., 45., 66., 40., 65., 70., 75., 42., 53., 67.],
        [49., 43., 37., 54., 67., 55., 44., 69., 67., 83.],
        [92., 37., 64., 60., 49., 72., 61., 47., 66., 41.],
        [52., 53., 60., 58., 66., 52., 79., 53., 64., 57.],
        [46., 38., 50., 51., 65., 56., 48., 65., 54., 83.],
        [92., 35., 60., 58., 44., 67., 53., 59., 70., 61.],
        [33., 85., 52., 62., 43., 49., 54., 50., 62., 50.],
        [60., 49., 55., 75., 53., 76., 50., 61., 68., 54.],
        [48., 42., 53., 50., 63., 49., 49., 68., 66., 88.],
        [60., 39., 66., 69., 46., 53., 36., 89., 39., 59.],
        [49., 54., 70., 79., 56., 59., 57., 56., 57., 61.],
        [38., 49., 50., 48., 77., 58., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 92.09%



iteration:
  200
    0   304   bit_w:-1  loss: 0.26452
    1   679   bit_w: 1  loss: 0.26433
    2   151   bit_w:-1  loss: 0.26438
    3   233   bit_w:-1  loss: 0.26405
    4   314   bit_w:-1  loss: 0.26387
   4584   6736   5035   5504   5363   4740   5118   5714   4974   5348
     -1      0      0      0      0     -1     -1      0     -1     -1
Train accuarcate: 92.33%
tensor([[53., 41., 59., 69., 43., 54., 32., 91., 43., 64.],
        [60., 62., 90., 71., 32., 62., 71., 41., 67., 42.],
        [31., 77., 60., 57., 47., 51., 49., 51., 51., 46.],
        [92., 35., 60., 61., 37., 58., 69., 58., 53., 61.],
        [51., 45., 58., 38., 84., 49., 59., 58., 57., 64.],
        [31., 83., 56., 60., 45., 47., 45., 56., 53., 50.],
        [39., 50., 48., 55., 90., 65., 50., 55., 64., 68.],
        [31., 54., 49., 59., 61., 60., 54., 60., 59., 72.],
        [66., 45., 66., 40., 65., 71., 76., 42., 54., 68.],
        [49., 43., 37., 54., 67., 55., 44., 69., 67., 83.],
        [93., 37., 64., 60., 49., 73., 62., 47., 67., 42.],
        [53., 53., 60., 58., 66., 53., 80., 53., 65., 58.],
        [46., 38., 50., 51., 65., 56., 48., 65., 54., 83.],
        [92., 35., 60., 58., 44., 67., 53., 59., 70., 61.],
        [33., 85., 52., 62., 43., 49., 54., 50., 62., 50.],
        [61., 49., 55., 75., 53., 77., 51., 61., 69., 55.],
        [48., 42., 53., 50., 63., 49., 49., 68., 66., 88.],
        [60., 39., 66., 69., 46., 53., 36., 89., 39., 59.],
        [50., 54., 70., 79., 56., 60., 58., 56., 58., 62.],
        [38., 49., 50., 48., 77., 58., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 92.09%



iteration:
  201
    0   401   bit_w:-1  loss: 0.26363
    1   482   bit_w: 1  loss: 0.26324
    2   305   bit_w:-1  loss: 0.26340
    3   512   bit_w: 1  loss: 0.26304
    4   710   bit_w:-1  loss: 0.26295
   5594   6712   5848   4637   2373   3120   4427   4186   5024   2284
      0      0      0     -1     -1     -1      0      0      0      0
Train accuarcate: 92.36%
tensor([[53., 41., 59., 69., 43., 54., 32., 91., 43., 64.],
        [60., 62., 90., 71., 32., 62., 71., 41., 67., 42.],
        [31., 77., 60., 57., 47., 51., 49., 51., 51., 46.],
        [92., 35., 60., 61., 37., 58., 69., 58., 53., 61.],
        [51., 45., 58., 38., 84., 49., 59., 58., 57., 64.],
        [31., 83., 56., 60., 45., 47., 45., 56., 53., 50.],
        [39., 50., 48., 56., 91., 66., 50., 55., 64., 68.],
        [31., 54., 49., 60., 62., 61., 54., 60., 59., 72.],
        [66., 45., 66., 40., 65., 71., 76., 42., 54., 68.],
        [49., 43., 37., 55., 68., 56., 44., 69., 67., 83.],
        [93., 37., 64., 60., 49., 73., 62., 47., 67., 42.],
        [53., 53., 60., 58., 66., 53., 80., 53., 65., 58.],
        [46., 38., 50., 52., 66., 57., 48., 65., 54., 83.],
        [92., 35., 60., 58., 44., 67., 53., 59., 70., 61.],
        [33., 85., 52., 62., 43., 49., 54., 50., 62., 50.],
        [61., 49., 55., 75., 53., 77., 51., 61., 69., 55.],
        [48., 42., 53., 50., 63., 49., 49., 68., 66., 88.],
        [60., 39., 66., 69., 46., 53., 36., 89., 39., 59.],
        [50., 54., 70., 79., 56., 60., 58., 56., 58., 62.],
        [38., 49., 50., 49., 78., 59., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 92.14%



iteration:
  202
    0   219   bit_w:-1  loss: 0.26272
    1   500   bit_w: 1  loss: 0.26255
    2   304   bit_w: 1  loss: 0.26258
    3   360   bit_w:-1  loss: 0.26237
    4   611   bit_w: 1  loss: 0.26236
    230      6   1152     45     94    332    195     43    254     38
      0      0      1      0      0      1      0      0      0      0
Train accuarcate: 92.37%
tensor([[53., 41., 59., 69., 43., 54., 32., 91., 43., 64.],
        [60., 62., 91., 71., 32., 63., 71., 41., 67., 42.],
        [31., 77., 60., 57., 47., 51., 49., 51., 51., 46.],
        [92., 35., 60., 61., 37., 58., 69., 58., 53., 61.],
        [51., 45., 58., 38., 84., 49., 59., 58., 57., 64.],
        [31., 83., 56., 60., 45., 47., 45., 56., 53., 50.],
        [39., 50., 48., 56., 91., 66., 50., 55., 64., 68.],
        [31., 54., 49., 60., 62., 61., 54., 60., 59., 72.],
        [66., 45., 66., 40., 65., 71., 76., 42., 54., 68.],
        [49., 43., 37., 55., 68., 56., 44., 69., 67., 83.],
        [93., 37., 64., 60., 49., 73., 62., 47., 67., 42.],
        [53., 53., 60., 58., 66., 53., 80., 53., 65., 58.],
        [46., 38., 50., 52., 66., 57., 48., 65., 54., 83.],
        [92., 35., 60., 58., 44., 67., 53., 59., 70., 61.],
        [33., 85., 52., 62., 43., 49., 54., 50., 62., 50.],
        [61., 49., 55., 75., 53., 77., 51., 61., 69., 55.],
        [48., 42., 53., 50., 63., 49., 49., 68., 66., 88.],
        [60., 39., 66., 69., 46., 53., 36., 89., 39., 59.],
        [50., 54., 71., 79., 56., 61., 58., 56., 58., 62.],
        [38., 49., 50., 49., 78., 59., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 92.14%



iteration:
  203
    0   219   bit_w:-1  loss: 0.26213
    1    95   bit_w: 1  loss: 0.26196
    2   229   bit_w:-1  loss: 0.26203
    3   528   bit_w: 1  loss: 0.26180
    4   311   bit_w:-1  loss: 0.26196
   5462   6710   5642   5579   5113   3995   5876   5145   5107   5874
     -1      0      0     -1     -1      0      0     -1     -1      0
Train accuarcate: 92.39%
tensor([[53., 41., 59., 69., 43., 54., 32., 91., 43., 64.],
        [60., 62., 91., 71., 32., 63., 71., 41., 67., 42.],
        [31., 77., 60., 57., 47., 51., 49., 51., 51., 46.],
        [92., 35., 60., 61., 37., 58., 69., 58., 53., 61.],
        [51., 45., 58., 38., 84., 49., 59., 58., 57., 64.],
        [31., 83., 56., 60., 45., 47., 45., 56., 53., 50.],
        [39., 50., 48., 56., 91., 66., 50., 55., 64., 68.],
        [31., 54., 49., 60., 62., 61., 54., 60., 59., 72.],
        [67., 45., 66., 41., 66., 71., 76., 43., 55., 68.],
        [49., 43., 37., 55., 68., 56., 44., 69., 67., 83.],
        [93., 37., 64., 60., 49., 73., 62., 47., 67., 42.],
        [53., 53., 60., 58., 66., 53., 80., 53., 65., 58.],
        [46., 38., 50., 52., 66., 57., 48., 65., 54., 83.],
        [92., 35., 60., 58., 44., 67., 53., 59., 70., 61.],
        [33., 85., 52., 62., 43., 49., 54., 50., 62., 50.],
        [61., 49., 55., 75., 53., 77., 51., 61., 69., 55.],
        [48., 42., 53., 50., 63., 49., 49., 68., 66., 88.],
        [61., 39., 66., 70., 47., 53., 36., 90., 40., 59.],
        [50., 54., 71., 79., 56., 61., 58., 56., 58., 62.],
        [38., 49., 50., 49., 78., 59., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 92.19%



iteration:
  204
    0   356   bit_w:-1  loss: 0.26173
    1   553   bit_w: 1  loss: 0.26135
    2   716   bit_w:-1  loss: 0.26152
    3   360   bit_w: 1  loss: 0.26125
    4   501   bit_w:-1  loss: 0.26141
   3443   6729   4793   5694   4410   5225   4673   3712   4545   3574
      0      0     -1     -1      0      0      0     -1      0     -1
Train accuarcate: 92.40%
tensor([[53., 41., 59., 69., 43., 54., 32., 91., 43., 64.],
        [60., 62., 91., 71., 32., 63., 71., 41., 67., 42.],
        [31., 77., 60., 57., 47., 51., 49., 51., 51., 46.],
        [92., 35., 61., 62., 37., 58., 69., 59., 53., 62.],
        [51., 45., 58., 38., 84., 49., 59., 58., 57., 64.],
        [31., 83., 56., 60., 45., 47., 45., 56., 53., 50.],
        [39., 50., 48., 56., 91., 66., 50., 55., 64., 68.],
        [31., 54., 49., 60., 62., 61., 54., 60., 59., 72.],
        [67., 45., 66., 41., 66., 71., 76., 43., 55., 68.],
        [49., 43., 38., 56., 68., 56., 44., 70., 67., 84.],
        [93., 37., 64., 60., 49., 73., 62., 47., 67., 42.],
        [53., 53., 60., 58., 66., 53., 80., 53., 65., 58.],
        [46., 38., 50., 52., 66., 57., 48., 65., 54., 83.],
        [92., 35., 61., 59., 44., 67., 53., 60., 70., 62.],
        [33., 85., 52., 62., 43., 49., 54., 50., 62., 50.],
        [61., 49., 55., 75., 53., 77., 51., 61., 69., 55.],
        [48., 42., 54., 51., 63., 49., 49., 69., 66., 89.],
        [61., 39., 67., 71., 47., 53., 36., 91., 40., 60.],
        [50., 54., 71., 79., 56., 61., 58., 56., 58., 62.],
        [38., 49., 50., 49., 78., 59., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 92.20%



iteration:
  205
    0   567   bit_w:-1  loss: 0.26118
    1   543   bit_w: 1  loss: 0.26088
    2   569   bit_w:-1  loss: 0.26076
    3   571   bit_w: 1  loss: 0.26054
    4   545   bit_w:-1  loss: 0.26041
   1592   4038   2680   3946   4589   3037   4842   4424   3130   4801
      0      0      0      0      0      0     -1      0     -1      0
Train accuarcate: 92.46%
tensor([[53., 41., 59., 69., 43., 54., 32., 91., 43., 64.],
        [60., 62., 91., 71., 32., 63., 71., 41., 67., 42.],
        [31., 77., 60., 57., 47., 51., 50., 51., 52., 46.],
        [92., 35., 61., 62., 37., 58., 70., 59., 54., 62.],
        [51., 45., 58., 38., 84., 49., 59., 58., 57., 64.],
        [31., 83., 56., 60., 45., 47., 46., 56., 54., 50.],
        [39., 50., 48., 56., 91., 66., 50., 55., 64., 68.],
        [31., 54., 49., 60., 62., 61., 54., 60., 59., 72.],
        [67., 45., 66., 41., 66., 71., 77., 43., 56., 68.],
        [49., 43., 38., 56., 68., 56., 44., 70., 67., 84.],
        [93., 37., 64., 60., 49., 73., 63., 47., 68., 42.],
        [53., 53., 60., 58., 66., 53., 81., 53., 66., 58.],
        [46., 38., 50., 52., 66., 57., 48., 65., 54., 83.],
        [92., 35., 61., 59., 44., 67., 54., 60., 71., 62.],
        [33., 85., 52., 62., 43., 49., 55., 50., 63., 50.],
        [61., 49., 55., 75., 53., 77., 51., 61., 69., 55.],
        [48., 42., 54., 51., 63., 49., 49., 69., 66., 89.],
        [61., 39., 67., 71., 47., 53., 36., 91., 40., 60.],
        [50., 54., 71., 79., 56., 61., 58., 56., 58., 62.],
        [38., 49., 50., 49., 78., 59., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 92.28%



iteration:
  206
    0   162   bit_w:-1  loss: 0.26022
    1   330   bit_w: 1  loss: 0.26000
    2   275   bit_w:-1  loss: 0.26004
    3   329   bit_w: 1  loss: 0.25987
    4   383   bit_w:-1  loss: 0.25985
   4605   6555   4434   4631   3544   2996   3289   4390   4753   4061
     -1      0      0      0      0     -1     -1      0      0      0
Train accuarcate: 92.46%
tensor([[54., 41., 59., 69., 43., 55., 33., 91., 43., 64.],
        [60., 62., 91., 71., 32., 63., 71., 41., 67., 42.],
        [31., 77., 60., 57., 47., 51., 50., 51., 52., 46.],
        [93., 35., 61., 62., 37., 59., 71., 59., 54., 62.],
        [52., 45., 58., 38., 84., 50., 60., 58., 57., 64.],
        [31., 83., 56., 60., 45., 47., 46., 56., 54., 50.],
        [39., 50., 48., 56., 91., 66., 50., 55., 64., 68.],
        [31., 54., 49., 60., 62., 61., 54., 60., 59., 72.],
        [68., 45., 66., 41., 66., 72., 78., 43., 56., 68.],
        [49., 43., 38., 56., 68., 56., 44., 70., 67., 84.],
        [93., 37., 64., 60., 49., 73., 63., 47., 68., 42.],
        [53., 53., 60., 58., 66., 53., 81., 53., 66., 58.],
        [46., 38., 50., 52., 66., 57., 48., 65., 54., 83.],
        [92., 35., 61., 59., 44., 67., 54., 60., 71., 62.],
        [33., 85., 52., 62., 43., 49., 55., 50., 63., 50.],
        [62., 49., 55., 75., 53., 78., 52., 61., 69., 55.],
        [49., 42., 54., 51., 63., 50., 50., 69., 66., 89.],
        [61., 39., 67., 71., 47., 53., 36., 91., 40., 60.],
        [51., 54., 71., 79., 56., 62., 59., 56., 58., 62.],
        [38., 49., 50., 49., 78., 59., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 92.33%



iteration:
  207
    0   158   bit_w:-1  loss: 0.25964
    1   293   bit_w: 1  loss: 0.25920
    2   685   bit_w:-1  loss: 0.25926
    3   267   bit_w: 1  loss: 0.25906
    4   713   bit_w:-1  loss: 0.25909
   4441   6059   3737   3929   4497   3670   5663   5105   3251   4474
     -1      1     -1     -1      0      0      0      0      0      0
Train accuarcate: 92.49%
tensor([[55., 41., 60., 70., 43., 55., 33., 91., 43., 64.],
        [60., 63., 91., 71., 32., 63., 71., 41., 67., 42.],
        [31., 78., 60., 57., 47., 51., 50., 51., 52., 46.],
        [93., 36., 61., 62., 37., 59., 71., 59., 54., 62.],
        [52., 46., 58., 38., 84., 50., 60., 58., 57., 64.],
        [31., 84., 56., 60., 45., 47., 46., 56., 54., 50.],
        [39., 51., 48., 56., 91., 66., 50., 55., 64., 68.],
        [31., 55., 49., 60., 62., 61., 54., 60., 59., 72.],
        [69., 45., 67., 42., 66., 72., 78., 43., 56., 68.],
        [49., 44., 38., 56., 68., 56., 44., 70., 67., 84.],
        [94., 37., 65., 61., 49., 73., 63., 47., 68., 42.],
        [53., 54., 60., 58., 66., 53., 81., 53., 66., 58.],
        [47., 38., 51., 53., 66., 57., 48., 65., 54., 83.],
        [93., 35., 62., 60., 44., 67., 54., 60., 71., 62.],
        [33., 86., 52., 62., 43., 49., 55., 50., 63., 50.],
        [62., 50., 55., 75., 53., 78., 52., 61., 69., 55.],
        [49., 43., 54., 51., 63., 50., 50., 69., 66., 89.],
        [62., 39., 68., 72., 47., 53., 36., 91., 40., 60.],
        [51., 55., 71., 79., 56., 62., 59., 56., 58., 62.],
        [39., 49., 51., 50., 78., 59., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 92.31%



iteration:
  208
    0   304   bit_w:-1  loss: 0.25890
    1   369   bit_w: 1  loss: 0.25872
    2   510   bit_w:-1  loss: 0.25878
    3   398   bit_w: 1  loss: 0.25852
    4   500   bit_w:-1  loss: 0.25860
   4404   6736   3707   5560   5527   4448   5525   6205   5350   5921
      0      0     -1      0      0     -1      0      0     -1      0
Train accuarcate: 92.50%
tensor([[55., 41., 60., 70., 43., 55., 33., 91., 43., 64.],
        [60., 63., 91., 71., 32., 63., 71., 41., 67., 42.],
        [31., 78., 60., 57., 47., 51., 50., 51., 52., 46.],
        [93., 36., 61., 62., 37., 59., 71., 59., 54., 62.],
        [52., 46., 58., 38., 84., 50., 60., 58., 57., 64.],
        [31., 84., 56., 60., 45., 47., 46., 56., 54., 50.],
        [39., 51., 48., 56., 91., 66., 50., 55., 64., 68.],
        [31., 55., 49., 60., 62., 61., 54., 60., 59., 72.],
        [69., 45., 67., 42., 66., 72., 78., 43., 56., 68.],
        [49., 44., 38., 56., 68., 56., 44., 70., 67., 84.],
        [94., 37., 65., 61., 49., 73., 63., 47., 68., 42.],
        [53., 54., 60., 58., 66., 53., 81., 53., 66., 58.],
        [47., 38., 51., 53., 66., 57., 48., 65., 54., 83.],
        [93., 35., 62., 60., 44., 67., 54., 60., 71., 62.],
        [33., 86., 52., 62., 43., 49., 55., 50., 63., 50.],
        [62., 50., 55., 75., 53., 78., 52., 61., 69., 55.],
        [49., 43., 54., 51., 63., 50., 50., 69., 66., 89.],
        [62., 39., 68., 72., 47., 53., 36., 91., 40., 60.],
        [51., 55., 71., 79., 56., 62., 59., 56., 58., 62.],
        [39., 49., 51., 50., 78., 59., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 92.31%



iteration:
  209
    0   274   bit_w:-1  loss: 0.25839
    1   271   bit_w: 1  loss: 0.25812
    2   228   bit_w:-1  loss: 0.25800
    3   298   bit_w: 1  loss: 0.25799
    4   268   bit_w:-1  loss: 0.25725
   4108   3414   4379   3839   4472   4466   5398   5122   4518   4932
     -1      0      0     -1     -1      1      0     -1     -1      0
Train accuarcate: 92.56%
tensor([[55., 41., 60., 70., 43., 56., 33., 91., 43., 64.],
        [61., 63., 91., 72., 33., 63., 71., 42., 68., 42.],
        [32., 78., 60., 58., 48., 51., 50., 52., 53., 46.],
        [93., 36., 61., 62., 37., 60., 71., 59., 54., 62.],
        [52., 46., 58., 38., 84., 51., 60., 58., 57., 64.],
        [32., 84., 56., 61., 46., 47., 46., 57., 55., 50.],
        [39., 51., 48., 56., 91., 67., 50., 55., 64., 68.],
        [31., 55., 49., 60., 62., 62., 54., 60., 59., 72.],
        [69., 45., 67., 42., 66., 73., 78., 43., 56., 68.],
        [49., 44., 38., 56., 68., 57., 44., 70., 67., 84.],
        [95., 37., 65., 62., 50., 73., 63., 48., 69., 42.],
        [53., 54., 60., 58., 66., 54., 81., 53., 66., 58.],
        [47., 38., 51., 53., 66., 58., 48., 65., 54., 83.],
        [93., 35., 62., 60., 44., 68., 54., 60., 71., 62.],
        [33., 86., 52., 62., 43., 50., 55., 50., 63., 50.],
        [62., 50., 55., 75., 53., 79., 52., 61., 69., 55.],
        [49., 43., 54., 51., 63., 51., 50., 69., 66., 89.],
        [62., 39., 68., 72., 47., 54., 36., 91., 40., 60.],
        [52., 55., 71., 80., 57., 62., 59., 57., 59., 62.],
        [39., 49., 51., 50., 78., 60., 50., 56., 54., 63.]], device='cuda:0')
Train accuarcate: 92.33%



iteration:
  210
    0   580   bit_w:-1  loss: 0.25701
    1   206   bit_w: 1  loss: 0.25667
    2   237   bit_w:-1  loss: 0.25674
    3   320   bit_w: 1  loss: 0.25636
    4   666   bit_w:-1  loss: 0.25655
   3973   5417   3697   5004   5043   4259   4859   3987   4566   2682
      0      0     -1     -1      0      0      0      1     -1     -1
Train accuarcate: 92.57%
tensor([[55., 41., 61., 71., 43., 56., 33., 91., 44., 65.],
        [61., 63., 92., 73., 33., 63., 71., 42., 69., 43.],
        [32., 78., 60., 58., 48., 51., 50., 53., 53., 46.],
        [93., 36., 61., 62., 37., 60., 71., 60., 54., 62.],
        [52., 46., 58., 38., 84., 51., 60., 59., 57., 64.],
        [32., 84., 56., 61., 46., 47., 46., 58., 55., 50.],
        [39., 51., 48., 56., 91., 67., 50., 56., 64., 68.],
        [31., 55., 50., 61., 62., 62., 54., 60., 60., 73.],
        [69., 45., 68., 43., 66., 73., 78., 43., 57., 69.],
        [49., 44., 39., 57., 68., 57., 44., 70., 68., 85.],
        [95., 37., 65., 62., 50., 73., 63., 49., 69., 42.],
        [53., 54., 60., 58., 66., 54., 81., 54., 66., 58.],
        [47., 38., 52., 54., 66., 58., 48., 65., 55., 84.],
        [93., 35., 63., 61., 44., 68., 54., 60., 72., 63.],
        [33., 86., 53., 63., 43., 50., 55., 50., 64., 51.],
        [62., 50., 55., 75., 53., 79., 52., 62., 69., 55.],
        [49., 43., 54., 51., 63., 51., 50., 70., 66., 89.],
        [62., 39., 68., 72., 47., 54., 36., 92., 40., 60.],
        [52., 55., 72., 81., 57., 62., 59., 57., 60., 63.],
        [39., 49., 51., 50., 78., 60., 50., 57., 54., 63.]], device='cuda:0')
Train accuarcate: 92.40%



iteration:
  211
    0   237   bit_w:-1  loss: 0.25615
    1   181   bit_w: 1  loss: 0.25544
    2   709   bit_w: 1  loss: 0.25507
    3   263   bit_w:-1  loss: 0.25525
    4   155   bit_w: 1  loss: 0.25493
   1320   2102   3813   4361    204   1182    753    354   2342    767
      0      0      0      1     -1      0     -1      0      1      1
Train accuarcate: 92.64%
tensor([[55., 41., 61., 71., 44., 56., 34., 91., 44., 65.],
        [61., 63., 92., 74., 33., 63., 71., 42., 70., 44.],
        [32., 78., 60., 58., 49., 51., 51., 53., 53., 46.],
        [93., 36., 61., 62., 38., 60., 72., 60., 54., 62.],
        [52., 46., 58., 38., 85., 51., 61., 59., 57., 64.],
        [32., 84., 56., 61., 47., 47., 47., 58., 55., 50.],
        [39., 51., 48., 56., 92., 67., 51., 56., 64., 68.],
        [31., 55., 50., 61., 63., 62., 55., 60., 60., 73.],
        [69., 45., 68., 43., 67., 73., 79., 43., 57., 69.],
        [49., 44., 39., 57., 69., 57., 45., 70., 68., 85.],
        [95., 37., 65., 63., 50., 73., 63., 49., 70., 43.],
        [53., 54., 60., 58., 67., 54., 82., 54., 66., 58.],
        [47., 38., 52., 54., 67., 58., 49., 65., 55., 84.],
        [93., 35., 63., 61., 45., 68., 55., 60., 72., 63.],
        [33., 86., 53., 64., 43., 50., 55., 50., 65., 52.],
        [62., 50., 55., 76., 53., 79., 52., 62., 70., 56.],
        [49., 43., 54., 52., 63., 51., 50., 70., 67., 90.],
        [62., 39., 68., 72., 48., 54., 37., 92., 40., 60.],
        [52., 55., 72., 81., 58., 62., 60., 57., 60., 63.],
        [39., 49., 51., 50., 79., 60., 51., 57., 54., 63.]], device='cuda:0')
Train accuarcate: 92.52%



iteration:
  212
    0   352   bit_w:-1  loss: 0.25447
    1   408   bit_w:-1  loss: 0.25391
    2   378   bit_w: 1  loss: 0.25404
    3   463   bit_w:-1  loss: 0.25377
    4   219   bit_w: 1  loss: 0.25400
   5567   4589   1512   2129    669   3325   1510   1609   1326    622
      1      1      1      0      0      0      0      1      0     -1
Train accuarcate: 92.61%
tensor([[56., 42., 62., 71., 44., 56., 34., 92., 44., 65.],
        [62., 64., 93., 74., 33., 63., 71., 43., 70., 44.],
        [33., 79., 61., 58., 49., 51., 51., 54., 53., 46.],
        [94., 37., 62., 62., 38., 60., 72., 61., 54., 62.],
        [52., 46., 58., 38., 85., 51., 61., 59., 57., 65.],
        [32., 84., 56., 61., 47., 47., 47., 58., 55., 51.],
        [39., 51., 48., 56., 92., 67., 51., 56., 64., 69.],
        [31., 55., 50., 61., 63., 62., 55., 60., 60., 74.],
        [70., 46., 69., 43., 67., 73., 79., 44., 57., 69.],
        [49., 44., 39., 57., 69., 57., 45., 70., 68., 86.],
        [96., 38., 66., 63., 50., 73., 63., 50., 70., 43.],
        [54., 55., 61., 58., 67., 54., 82., 55., 66., 58.],
        [47., 38., 52., 54., 67., 58., 49., 65., 55., 85.],
        [94., 36., 64., 61., 45., 68., 55., 61., 72., 63.],
        [34., 87., 54., 64., 43., 50., 55., 51., 65., 52.],
        [62., 50., 55., 76., 53., 79., 52., 62., 70., 57.],
        [49., 43., 54., 52., 63., 51., 50., 70., 67., 91.],
        [63., 40., 69., 72., 48., 54., 37., 93., 40., 60.],
        [52., 55., 72., 81., 58., 62., 60., 57., 60., 64.],
        [39., 49., 51., 50., 79., 60., 51., 57., 54., 64.]], device='cuda:0')
Train accuarcate: 92.52%



iteration:
  213
    0   712   bit_w:-1  loss: 0.25374
    1   484   bit_w: 1  loss: 0.25359
    2   515   bit_w:-1  loss: 0.25349
    3   512   bit_w: 1  loss: 0.25318
    4   454   bit_w:-1  loss: 0.25303
   4353   4331   3993   5680   4701   4883   3412   3730   2743   4305
     -1      1     -1      0      0      0     -1     -1     -1      0
Train accuarcate: 92.63%
tensor([[57., 42., 63., 71., 44., 56., 35., 93., 45., 65.],
        [62., 65., 93., 74., 33., 63., 71., 43., 70., 44.],
        [33., 80., 61., 58., 49., 51., 51., 54., 53., 46.],
        [94., 38., 62., 62., 38., 60., 72., 61., 54., 62.],
        [52., 47., 58., 38., 85., 51., 61., 59., 57., 65.],
        [32., 85., 56., 61., 47., 47., 47., 58., 55., 51.],
        [39., 52., 48., 56., 92., 67., 51., 56., 64., 69.],
        [31., 56., 50., 61., 63., 62., 55., 60., 60., 74.],
        [71., 46., 70., 43., 67., 73., 80., 45., 58., 69.],
        [49., 45., 39., 57., 69., 57., 45., 70., 68., 86.],
        [96., 39., 66., 63., 50., 73., 63., 50., 70., 43.],
        [54., 56., 61., 58., 67., 54., 82., 55., 66., 58.],
        [47., 39., 52., 54., 67., 58., 49., 65., 55., 85.],
        [94., 37., 64., 61., 45., 68., 55., 61., 72., 63.],
        [34., 88., 54., 64., 43., 50., 55., 51., 65., 52.],
        [62., 51., 55., 76., 53., 79., 52., 62., 70., 57.],
        [49., 44., 54., 52., 63., 51., 50., 70., 67., 91.],
        [64., 40., 70., 72., 48., 54., 38., 94., 41., 60.],
        [53., 55., 73., 81., 58., 62., 61., 58., 61., 64.],
        [39., 50., 51., 50., 79., 60., 51., 57., 54., 64.]], device='cuda:0')
Train accuarcate: 92.51%



iteration:
  214
    0   493   bit_w:-1  loss: 0.25281
    1   437   bit_w: 1  loss: 0.25247
    2   256   bit_w: 1  loss: 0.25253
    3   664   bit_w:-1  loss: 0.25223
    4   563   bit_w: 1  loss: 0.25245
     54     47   1038   1668   1652    760   1494   2309    984   1445
      0      0      0      1      0      0      0      1      1      0
Train accuarcate: 92.66%
tensor([[57., 42., 63., 71., 44., 56., 35., 93., 45., 65.],
        [62., 65., 93., 74., 33., 63., 71., 43., 70., 44.],
        [33., 80., 61., 58., 49., 51., 51., 54., 53., 46.],
        [94., 38., 62., 62., 38., 60., 72., 61., 54., 62.],
        [52., 47., 58., 38., 85., 51., 61., 59., 57., 65.],
        [32., 85., 56., 61., 47., 47., 47., 58., 55., 51.],
        [39., 52., 48., 57., 92., 67., 51., 57., 65., 69.],
        [31., 56., 50., 61., 63., 62., 55., 60., 60., 74.],
        [71., 46., 70., 43., 67., 73., 80., 45., 58., 69.],
        [49., 45., 39., 58., 69., 57., 45., 71., 69., 86.],
        [96., 39., 66., 63., 50., 73., 63., 50., 70., 43.],
        [54., 56., 61., 58., 67., 54., 82., 55., 66., 58.],
        [47., 39., 52., 54., 67., 58., 49., 65., 55., 85.],
        [94., 37., 64., 61., 45., 68., 55., 61., 72., 63.],
        [34., 88., 54., 64., 43., 50., 55., 51., 65., 52.],
        [62., 51., 55., 76., 53., 79., 52., 62., 70., 57.],
        [49., 44., 54., 52., 63., 51., 50., 70., 67., 91.],
        [64., 40., 70., 72., 48., 54., 38., 94., 41., 60.],
        [53., 55., 73., 81., 58., 62., 61., 58., 61., 64.],
        [39., 50., 51., 50., 79., 60., 51., 57., 54., 64.]], device='cuda:0')
Train accuarcate: 92.51%



iteration:
  215
    0   433   bit_w:-1  loss: 0.25218
    1   515   bit_w: 1  loss: 0.25164
    2   277   bit_w: 1  loss: 0.25170
    3    96   bit_w:-1  loss: 0.25155
    4   324   bit_w: 1  loss: 0.25165
   1114   2639   2812   2680   1343   1235   2036   2511   2170   1726
      0      1     -1     -1      1      1      0      0      0      1
Train accuarcate: 92.67%
tensor([[57., 42., 64., 72., 44., 56., 35., 93., 45., 65.],
        [62., 65., 94., 75., 33., 63., 71., 43., 70., 44.],
        [33., 80., 62., 59., 49., 51., 51., 54., 53., 46.],
        [94., 38., 63., 63., 38., 60., 72., 61., 54., 62.],
        [52., 47., 59., 39., 85., 51., 61., 59., 57., 65.],
        [32., 85., 57., 62., 47., 47., 47., 58., 55., 51.],
        [39., 52., 49., 58., 92., 67., 51., 57., 65., 69.],
        [31., 56., 51., 62., 63., 62., 55., 60., 60., 74.],
        [71., 47., 70., 43., 68., 74., 80., 45., 58., 70.],
        [49., 45., 40., 59., 69., 57., 45., 71., 69., 86.],
        [96., 39., 67., 64., 50., 73., 63., 50., 70., 43.],
        [54., 56., 62., 59., 67., 54., 82., 55., 66., 58.],
        [47., 39., 53., 55., 67., 58., 49., 65., 55., 85.],
        [94., 37., 65., 62., 45., 68., 55., 61., 72., 63.],
        [34., 88., 55., 65., 43., 50., 55., 51., 65., 52.],
        [62., 51., 56., 77., 53., 79., 52., 62., 70., 57.],
        [49., 44., 55., 53., 63., 51., 50., 70., 67., 91.],
        [64., 40., 71., 73., 48., 54., 38., 94., 41., 60.],
        [53., 56., 73., 81., 59., 63., 61., 58., 61., 65.],
        [39., 50., 52., 51., 79., 60., 51., 57., 54., 64.]], device='cuda:0')
Train accuarcate: 92.49%



iteration:
  216
    0   714   bit_w:-1  loss: 0.25145
    1   599   bit_w: 1  loss: 0.25127
    2   212   bit_w:-1  loss: 0.25116
    3   712   bit_w: 1  loss: 0.25096
    4   512   bit_w:-1  loss: 0.25094
   2337   5384   3221   3810   4071   3519   4308   4384   3348   2781
      0      0      0      0     -1     -1      1      0     -1      0
Train accuarcate: 92.70%
tensor([[57., 42., 64., 72., 44., 56., 36., 93., 45., 65.],
        [62., 65., 94., 75., 34., 64., 71., 43., 71., 44.],
        [33., 80., 62., 59., 49., 51., 52., 54., 53., 46.],
        [94., 38., 63., 63., 39., 61., 72., 61., 55., 62.],
        [52., 47., 59., 39., 85., 51., 62., 59., 57., 65.],
        [32., 85., 57., 62., 47., 47., 48., 58., 55., 51.],
        [39., 52., 49., 58., 92., 67., 52., 57., 65., 69.],
        [31., 56., 51., 62., 63., 62., 56., 60., 60., 74.],
        [71., 47., 70., 43., 69., 75., 80., 45., 59., 70.],
        [49., 45., 40., 59., 69., 57., 46., 71., 69., 86.],
        [96., 39., 67., 64., 50., 73., 64., 50., 70., 43.],
        [54., 56., 62., 59., 67., 54., 83., 55., 66., 58.],
        [47., 39., 53., 55., 68., 59., 49., 65., 56., 85.],
        [94., 37., 65., 62., 46., 69., 55., 61., 73., 63.],
        [34., 88., 55., 65., 43., 50., 56., 51., 65., 52.],
        [62., 51., 56., 77., 53., 79., 53., 62., 70., 57.],
        [49., 44., 55., 53., 64., 52., 50., 70., 68., 91.],
        [64., 40., 71., 73., 48., 54., 39., 94., 41., 60.],
        [53., 56., 73., 81., 59., 63., 62., 58., 61., 65.],
        [39., 50., 52., 51., 79., 60., 52., 57., 54., 64.]], device='cuda:0')
Train accuarcate: 92.55%



iteration:
  217
    0   655   bit_w:-1  loss: 0.25071
    1   513   bit_w:-1  loss: 0.25036
    2   416   bit_w:-1  loss: 0.25039
    3   737   bit_w: 1  loss: 0.25024
    4   473   bit_w:-1  loss: 0.25032
   4027   6682   5415   5949   5721   5261   5565   6213   3889   5906
     -1      0     -1      0      0      0      0      0     -1      0
Train accuarcate: 92.71%
tensor([[57., 42., 64., 72., 44., 56., 36., 93., 45., 65.],
        [62., 65., 94., 75., 34., 64., 71., 43., 71., 44.],
        [33., 80., 62., 59., 49., 51., 52., 54., 53., 46.],
        [95., 38., 64., 63., 39., 61., 72., 61., 56., 62.],
        [52., 47., 59., 39., 85., 51., 62., 59., 57., 65.],
        [32., 85., 57., 62., 47., 47., 48., 58., 55., 51.],
        [39., 52., 49., 58., 92., 67., 52., 57., 65., 69.],
        [31., 56., 51., 62., 63., 62., 56., 60., 60., 74.],
        [71., 47., 70., 43., 69., 75., 80., 45., 59., 70.],
        [49., 45., 40., 59., 69., 57., 46., 71., 69., 86.],
        [96., 39., 67., 64., 50., 73., 64., 50., 70., 43.],
        [54., 56., 62., 59., 67., 54., 83., 55., 66., 58.],
        [47., 39., 53., 55., 68., 59., 49., 65., 56., 85.],
        [95., 37., 66., 62., 46., 69., 55., 61., 74., 63.],
        [34., 88., 55., 65., 43., 50., 56., 51., 65., 52.],
        [62., 51., 56., 77., 53., 79., 53., 62., 70., 57.],
        [49., 44., 55., 53., 64., 52., 50., 70., 68., 91.],
        [64., 40., 71., 73., 48., 54., 39., 94., 41., 60.],
        [53., 56., 73., 81., 59., 63., 62., 58., 61., 65.],
        [39., 50., 52., 51., 79., 60., 52., 57., 54., 64.]], device='cuda:0')
Train accuarcate: 92.53%



iteration:
  218
    0   329   bit_w:-1  loss: 0.25012
    1   325   bit_w: 1  loss: 0.24980
    2   360   bit_w:-1  loss: 0.24983
    3   174   bit_w: 1  loss: 0.24959
    4   445   bit_w:-1  loss: 0.24975
   2131   6737   5101   6033   5177   5379   5486   5542   4911   5359
     -1      0     -1      0      0      0      0      0     -1     -1
Train accuarcate: 92.70%
tensor([[57., 42., 64., 72., 44., 56., 36., 93., 45., 65.],
        [62., 65., 94., 75., 34., 64., 71., 43., 71., 44.],
        [33., 80., 62., 59., 49., 51., 52., 54., 53., 46.],
        [95., 38., 64., 63., 39., 61., 72., 61., 56., 62.],
        [52., 47., 59., 39., 85., 51., 62., 59., 57., 65.],
        [32., 85., 57., 62., 47., 47., 48., 58., 55., 51.],
        [39., 52., 49., 58., 92., 67., 52., 57., 65., 69.],
        [31., 56., 51., 62., 63., 62., 56., 60., 60., 74.],
        [71., 47., 70., 43., 69., 75., 80., 45., 59., 70.],
        [49., 45., 40., 59., 69., 57., 46., 71., 69., 86.],
        [97., 39., 68., 64., 50., 73., 64., 50., 71., 44.],
        [54., 56., 62., 59., 67., 54., 83., 55., 66., 58.],
        [47., 39., 53., 55., 68., 59., 49., 65., 56., 85.],
        [96., 37., 67., 62., 46., 69., 55., 61., 75., 64.],
        [34., 88., 55., 65., 43., 50., 56., 51., 65., 52.],
        [62., 51., 56., 77., 53., 79., 53., 62., 70., 57.],
        [49., 44., 55., 53., 64., 52., 50., 70., 68., 91.],
        [65., 40., 72., 73., 48., 54., 39., 94., 42., 61.],
        [53., 56., 73., 81., 59., 63., 62., 58., 61., 65.],
        [39., 50., 52., 51., 79., 60., 52., 57., 54., 64.]], device='cuda:0')
Train accuarcate: 92.55%



iteration:
  219
    0   272   bit_w:-1  loss: 0.24954
    1   186   bit_w:-1  loss: 0.24912
    2   128   bit_w:-1  loss: 0.24900
    3   553   bit_w: 1  loss: 0.24893
    4   330   bit_w:-1  loss: 0.24884
   1918   6451   3701   4393   5618   5126   5592   5729   3310   5063
     -1      0     -1     -1      0      1      0      0      0     -1
Train accuarcate: 92.76%
tensor([[57., 42., 64., 72., 44., 57., 36., 93., 45., 65.],
        [62., 65., 94., 75., 34., 65., 71., 43., 71., 44.],
        [33., 80., 62., 59., 49., 52., 52., 54., 53., 46.],
        [95., 38., 64., 63., 39., 62., 72., 61., 56., 62.],
        [52., 47., 59., 39., 85., 52., 62., 59., 57., 65.],
        [32., 85., 57., 62., 47., 48., 48., 58., 55., 51.],
        [39., 52., 49., 58., 92., 68., 52., 57., 65., 69.],
        [31., 56., 51., 62., 63., 63., 56., 60., 60., 74.],
        [71., 47., 70., 43., 69., 76., 80., 45., 59., 70.],
        [50., 45., 41., 60., 69., 57., 46., 71., 69., 87.],
        [98., 39., 69., 65., 50., 73., 64., 50., 71., 45.],
        [54., 56., 62., 59., 67., 55., 83., 55., 66., 58.],
        [47., 39., 53., 55., 68., 60., 49., 65., 56., 85.],
        [97., 37., 68., 63., 46., 69., 55., 61., 75., 65.],
        [34., 88., 55., 65., 43., 51., 56., 51., 65., 52.],
        [62., 51., 56., 77., 53., 80., 53., 62., 70., 57.],
        [49., 44., 55., 53., 64., 53., 50., 70., 68., 91.],
        [65., 40., 72., 73., 48., 55., 39., 94., 42., 61.],
        [53., 56., 73., 81., 59., 64., 62., 58., 61., 65.],
        [39., 50., 52., 51., 79., 61., 52., 57., 54., 64.]], device='cuda:0')
Train accuarcate: 92.55%



iteration:
  220
    0   410   bit_w:-1  loss: 0.24858
    1   578   bit_w: 1  loss: 0.24819
    2   466   bit_w:-1  loss: 0.24828
    3   604   bit_w: 1  loss: 0.24779
    4   300   bit_w: 1  loss: 0.24804
   4056   1211   2654   2814    773   2422   2309    900   3729   1173
     -1      1      0      1     -1      0      1     -1      1      0
Train accuarcate: 92.80%
tensor([[58., 42., 64., 72., 45., 57., 36., 94., 45., 65.],
        [62., 66., 94., 76., 34., 65., 72., 43., 72., 44.],
        [34., 80., 62., 59., 50., 52., 52., 55., 53., 46.],
        [95., 39., 64., 64., 39., 62., 73., 61., 57., 62.],
        [53., 47., 59., 39., 86., 52., 62., 60., 57., 65.],
        [33., 85., 57., 62., 48., 48., 48., 59., 55., 51.],
        [40., 52., 49., 58., 93., 68., 52., 58., 65., 69.],
        [32., 56., 51., 62., 64., 63., 56., 61., 60., 74.],
        [71., 48., 70., 44., 69., 76., 81., 45., 60., 70.],
        [51., 45., 41., 60., 70., 57., 46., 72., 69., 87.],
        [98., 40., 69., 66., 50., 73., 65., 50., 72., 45.],
        [54., 57., 62., 60., 67., 55., 84., 55., 67., 58.],
        [48., 39., 53., 55., 69., 60., 49., 66., 56., 85.],
        [97., 38., 68., 64., 46., 69., 56., 61., 76., 65.],
        [35., 88., 55., 65., 44., 51., 56., 52., 65., 52.],
        [63., 51., 56., 77., 54., 80., 53., 63., 70., 57.],
        [50., 44., 55., 53., 65., 53., 50., 71., 68., 91.],
        [66., 40., 72., 73., 49., 55., 39., 95., 42., 61.],
        [54., 56., 73., 81., 60., 64., 62., 59., 61., 65.],
        [40., 50., 52., 51., 80., 61., 52., 58., 54., 64.]], device='cuda:0')
Train accuarcate: 92.58%



iteration:
  221
    0   237   bit_w:-1  loss: 0.24752
    1   182   bit_w: 1  loss: 0.24723
    2   463   bit_w:-1  loss: 0.24736
    3   208   bit_w: 1  loss: 0.24709
    4   568   bit_w: 1  loss: 0.24725
   4545    865   3545   4436    259   2616   1880    318   3083   1321
      0      0     -1      0      0      0      0      0      0      1
Train accuarcate: 92.82%
tensor([[58., 42., 65., 72., 45., 57., 36., 94., 45., 65.],
        [62., 66., 94., 76., 34., 65., 72., 43., 72., 45.],
        [34., 80., 63., 59., 50., 52., 52., 55., 53., 46.],
        [95., 39., 64., 64., 39., 62., 73., 61., 57., 63.],
        [53., 47., 60., 39., 86., 52., 62., 60., 57., 65.],
        [33., 85., 58., 62., 48., 48., 48., 59., 55., 51.],
        [40., 52., 50., 58., 93., 68., 52., 58., 65., 69.],
        [32., 56., 52., 62., 64., 63., 56., 61., 60., 74.],
        [71., 48., 71., 44., 69., 76., 81., 45., 60., 70.],
        [51., 45., 42., 60., 70., 57., 46., 72., 69., 87.],
        [98., 40., 69., 66., 50., 73., 65., 50., 72., 46.],
        [54., 57., 62., 60., 67., 55., 84., 55., 67., 59.],
        [48., 39., 54., 55., 69., 60., 49., 66., 56., 85.],
        [97., 38., 68., 64., 46., 69., 56., 61., 76., 66.],
        [35., 88., 56., 65., 44., 51., 56., 52., 65., 52.],
        [63., 51., 57., 77., 54., 80., 53., 63., 70., 57.],
        [50., 44., 55., 53., 65., 53., 50., 71., 68., 92.],
        [66., 40., 73., 73., 49., 55., 39., 95., 42., 61.],
        [54., 56., 74., 81., 60., 64., 62., 59., 61., 65.],
        [40., 50., 53., 51., 80., 61., 52., 58., 54., 64.]], device='cuda:0')
Train accuarcate: 92.58%



iteration:
  222
    0   325   bit_w:-1  loss: 0.24702
    1   269   bit_w: 1  loss: 0.24656
    2   102   bit_w:-1  loss: 0.24667
    3   305   bit_w: 1  loss: 0.24642
    4   221   bit_w:-1  loss: 0.24670
   5795   6649   4930   4910   4595   4603   3514   5610   3930   4706
      0      0      0     -1      0     -1     -1      0      0     -1
Train accuarcate: 92.84%
tensor([[58., 42., 65., 72., 45., 57., 36., 94., 45., 65.],
        [62., 66., 94., 76., 34., 65., 72., 43., 72., 45.],
        [34., 80., 63., 59., 50., 52., 52., 55., 53., 46.],
        [95., 39., 64., 64., 39., 62., 73., 61., 57., 63.],
        [53., 47., 60., 39., 86., 52., 62., 60., 57., 65.],
        [33., 85., 58., 62., 48., 48., 48., 59., 55., 51.],
        [40., 52., 50., 59., 93., 69., 53., 58., 65., 70.],
        [32., 56., 52., 63., 64., 64., 57., 61., 60., 75.],
        [71., 48., 71., 44., 69., 76., 81., 45., 60., 70.],
        [51., 45., 42., 60., 70., 57., 46., 72., 69., 87.],
        [98., 40., 69., 66., 50., 73., 65., 50., 72., 46.],
        [54., 57., 62., 61., 67., 56., 85., 55., 67., 60.],
        [48., 39., 54., 55., 69., 60., 49., 66., 56., 85.],
        [97., 38., 68., 64., 46., 69., 56., 61., 76., 66.],
        [35., 88., 56., 65., 44., 51., 56., 52., 65., 52.],
        [63., 51., 57., 77., 54., 80., 53., 63., 70., 57.],
        [50., 44., 55., 53., 65., 53., 50., 71., 68., 92.],
        [66., 40., 73., 73., 49., 55., 39., 95., 42., 61.],
        [54., 56., 74., 81., 60., 64., 62., 59., 61., 65.],
        [40., 50., 53., 52., 80., 62., 53., 58., 54., 65.]], device='cuda:0')
Train accuarcate: 92.61%



iteration:
  223
    0   304   bit_w:-1  loss: 0.24654
    1   412   bit_w: 1  loss: 0.24638
    2   358   bit_w:-1  loss: 0.24639
    3   742   bit_w: 1  loss: 0.24622
    4   247   bit_w:-1  loss: 0.24631
   3696   6726   5827   6062   5532   4012   5383   6018   4811   5855
     -1      0      0      0      0     -1     -1     -1      0      0
Train accuarcate: 92.86%
tensor([[58., 42., 65., 72., 45., 57., 36., 94., 45., 65.],
        [62., 66., 94., 76., 34., 65., 72., 43., 72., 45.],
        [34., 80., 63., 59., 50., 52., 52., 55., 53., 46.],
        [95., 39., 64., 64., 39., 62., 73., 61., 57., 63.],
        [53., 47., 60., 39., 86., 52., 62., 60., 57., 65.],
        [33., 85., 58., 62., 48., 48., 48., 59., 55., 51.],
        [40., 52., 50., 59., 93., 69., 53., 58., 65., 70.],
        [32., 56., 52., 63., 64., 64., 57., 61., 60., 75.],
        [71., 48., 71., 44., 69., 76., 81., 45., 60., 70.],
        [51., 45., 42., 60., 70., 57., 46., 72., 69., 87.],
        [99., 40., 69., 66., 50., 74., 66., 51., 72., 46.],
        [55., 57., 62., 61., 67., 57., 86., 56., 67., 60.],
        [48., 39., 54., 55., 69., 60., 49., 66., 56., 85.],
        [97., 38., 68., 64., 46., 69., 56., 61., 76., 66.],
        [35., 88., 56., 65., 44., 51., 56., 52., 65., 52.],
        [63., 51., 57., 77., 54., 80., 53., 63., 70., 57.],
        [50., 44., 55., 53., 65., 53., 50., 71., 68., 92.],
        [66., 40., 73., 73., 49., 55., 39., 95., 42., 61.],
        [54., 56., 74., 81., 60., 64., 62., 59., 61., 65.],
        [40., 50., 53., 52., 80., 62., 53., 58., 54., 65.]], device='cuda:0')
Train accuarcate: 92.64%



iteration:
  224
    0   330   bit_w:-1  loss: 0.24613
    1   326   bit_w: 1  loss: 0.24590
    2   356   bit_w:-1  loss: 0.24585
    3   443   bit_w: 1  loss: 0.24560
    4   501   bit_w:-1  loss: 0.24567
   2739   6735   4777   6009   5055   5349   5141   5352   4830   5229
      0      0     -1      0     -1      0      0     -1     -1     -1
Train accuarcate: 92.89%
tensor([[58., 42., 65., 72., 45., 57., 36., 94., 45., 65.],
        [62., 66., 94., 76., 34., 65., 72., 43., 72., 45.],
        [34., 80., 63., 59., 50., 52., 52., 55., 53., 46.],
        [95., 39., 64., 64., 39., 62., 73., 61., 57., 63.],
        [53., 47., 60., 39., 86., 52., 62., 60., 57., 65.],
        [33., 85., 58., 62., 48., 48., 48., 59., 55., 51.],
        [40., 52., 50., 59., 93., 69., 53., 58., 65., 70.],
        [32., 56., 52., 63., 64., 64., 57., 61., 60., 75.],
        [71., 48., 71., 44., 69., 76., 81., 45., 60., 70.],
        [51., 45., 43., 60., 71., 57., 46., 73., 70., 88.],
        [99., 40., 70., 66., 51., 74., 66., 52., 73., 47.],
        [55., 57., 62., 61., 67., 57., 86., 56., 67., 60.],
        [48., 39., 54., 55., 69., 60., 49., 66., 56., 85.],
        [97., 38., 69., 64., 47., 69., 56., 62., 77., 67.],
        [35., 88., 56., 65., 44., 51., 56., 52., 65., 52.],
        [63., 51., 57., 77., 54., 80., 53., 63., 70., 57.],
        [50., 44., 55., 53., 65., 53., 50., 71., 68., 92.],
        [66., 40., 73., 73., 49., 55., 39., 95., 42., 61.],
        [54., 56., 74., 81., 60., 64., 62., 59., 61., 65.],
        [40., 50., 53., 52., 80., 62., 53., 58., 54., 65.]], device='cuda:0')
Train accuarcate: 92.69%



iteration:
  225
    0   678   bit_w:-1  loss: 0.24551
    1   444   bit_w: 1  loss: 0.24537
    2   742   bit_w:-1  loss: 0.24537
    3   554   bit_w: 1  loss: 0.24513
    4   708   bit_w:-1  loss: 0.24523
   5882   6688   5930   5713   5780   5274   5918   4448   5717   5248
      0      0      0     -1      0      0      0     -1      0     -1
Train accuarcate: 92.90%
tensor([[58., 42., 65., 72., 45., 57., 36., 94., 45., 65.],
        [62., 66., 94., 76., 34., 65., 72., 43., 72., 45.],
        [34., 80., 63., 59., 50., 52., 52., 55., 53., 46.],
        [95., 39., 64., 64., 39., 62., 73., 61., 57., 63.],
        [53., 47., 60., 39., 86., 52., 62., 60., 57., 65.],
        [33., 85., 58., 62., 48., 48., 48., 59., 55., 51.],
        [40., 52., 50., 59., 93., 69., 53., 58., 65., 70.],
        [32., 56., 52., 63., 64., 64., 57., 61., 60., 75.],
        [71., 48., 71., 44., 69., 76., 81., 45., 60., 70.],
        [51., 45., 43., 60., 71., 57., 46., 73., 70., 88.],
        [99., 40., 70., 66., 51., 74., 66., 52., 73., 47.],
        [55., 57., 62., 61., 67., 57., 86., 56., 67., 60.],
        [48., 39., 54., 56., 69., 60., 49., 67., 56., 86.],
        [97., 38., 69., 64., 47., 69., 56., 62., 77., 67.],
        [35., 88., 56., 65., 44., 51., 56., 52., 65., 52.],
        [63., 51., 57., 77., 54., 80., 53., 63., 70., 57.],
        [50., 44., 55., 53., 65., 53., 50., 71., 68., 92.],
        [66., 40., 73., 73., 49., 55., 39., 95., 42., 61.],
        [54., 56., 74., 81., 60., 64., 62., 59., 61., 65.],
        [40., 50., 53., 52., 80., 62., 53., 58., 54., 65.]], device='cuda:0')
Train accuarcate: 92.69%



iteration:
  226
    0   304   bit_w:-1  loss: 0.24507
    1   201   bit_w: 1  loss: 0.24492
    2   609   bit_w:-1  loss: 0.24492
    3   708   bit_w: 1  loss: 0.24476
    4   500   bit_w:-1  loss: 0.24484
   5067   6717   4130   5843   5630   4734   5591   6227   5288   5783
     -1     -1     -1      0      0     -1      0      0     -1      0
Train accuarcate: 92.89%
tensor([[58., 42., 65., 72., 45., 57., 36., 94., 45., 65.],
        [63., 67., 95., 76., 34., 66., 72., 43., 73., 45.],
        [34., 80., 63., 59., 50., 52., 52., 55., 53., 46.],
        [95., 39., 64., 64., 39., 62., 73., 61., 57., 63.],
        [53., 47., 60., 39., 86., 52., 62., 60., 57., 65.],
        [33., 85., 58., 62., 48., 48., 48., 59., 55., 51.],
        [40., 52., 50., 59., 93., 69., 53., 58., 65., 70.],
        [33., 57., 53., 63., 64., 65., 57., 61., 61., 75.],
        [71., 48., 71., 44., 69., 76., 81., 45., 60., 70.],
        [51., 45., 43., 60., 71., 57., 46., 73., 70., 88.],
        [99., 40., 70., 66., 51., 74., 66., 52., 73., 47.],
        [55., 57., 62., 61., 67., 57., 86., 56., 67., 60.],
        [48., 39., 54., 56., 69., 60., 49., 67., 56., 86.],
        [97., 38., 69., 64., 47., 69., 56., 62., 77., 67.],
        [35., 88., 56., 65., 44., 51., 56., 52., 65., 52.],
        [64., 52., 58., 77., 54., 81., 53., 63., 71., 57.],
        [50., 44., 55., 53., 65., 53., 50., 71., 68., 92.],
        [66., 40., 73., 73., 49., 55., 39., 95., 42., 61.],
        [55., 57., 75., 81., 60., 65., 62., 59., 62., 65.],
        [40., 50., 53., 52., 80., 62., 53., 58., 54., 65.]], device='cuda:0')
Train accuarcate: 92.69%



iteration:
  227
    0   567   bit_w:-1  loss: 0.24467
    1   542   bit_w: 1  loss: 0.24440
    2   544   bit_w:-1  loss: 0.24434
    3   570   bit_w: 1  loss: 0.24414
    4   312   bit_w:-1  loss: 0.24409
   3918   4570   4749   4996   5014   4247   4941   4620   4170   5324
     -1      1      0      0      0      0     -1     -1     -1      0
Train accuarcate: 92.90%
tensor([[ 58.,  43.,  65.,  72.,  45.,  57.,  36.,  94.,  45.,  65.],
        [ 63.,  68.,  95.,  76.,  34.,  66.,  72.,  43.,  73.,  45.],
        [ 35.,  80.,  63.,  59.,  50.,  52.,  53.,  56.,  54.,  46.],
        [ 95.,  40.,  64.,  64.,  39.,  62.,  73.,  61.,  57.,  63.],
        [ 53.,  48.,  60.,  39.,  86.,  52.,  62.,  60.,  57.,  65.],
        [ 34.,  85.,  58.,  62.,  48.,  48.,  49.,  60.,  56.,  51.],
        [ 40.,  53.,  50.,  59.,  93.,  69.,  53.,  58.,  65.,  70.],
        [ 33.,  58.,  53.,  63.,  64.,  65.,  57.,  61.,  61.,  75.],
        [ 72.,  48.,  71.,  44.,  69.,  76.,  82.,  46.,  61.,  70.],
        [ 52.,  45.,  43.,  60.,  71.,  57.,  47.,  74.,  71.,  88.],
        [100.,  40.,  70.,  66.,  51.,  74.,  67.,  53.,  74.,  47.],
        [ 55.,  58.,  62.,  61.,  67.,  57.,  86.,  56.,  67.,  60.],
        [ 48.,  40.,  54.,  56.,  69.,  60.,  49.,  67.,  56.,  86.],
        [ 97.,  39.,  69.,  64.,  47.,  69.,  56.,  62.,  77.,  67.],
        [ 35.,  89.,  56.,  65.,  44.,  51.,  56.,  52.,  65.,  52.],
        [ 64.,  53.,  58.,  77.,  54.,  81.,  53.,  63.,  71.,  57.],
        [ 50.,  45.,  55.,  53.,  65.,  53.,  50.,  71.,  68.,  92.],
        [ 66.,  41.,  73.,  73.,  49.,  55.,  39.,  95.,  42.,  61.],
        [ 55.,  58.,  75.,  81.,  60.,  65.,  62.,  59.,  62.,  65.],
        [ 40.,  51.,  53.,  52.,  80.,  62.,  53.,  58.,  54.,  65.]],
       device='cuda:0')
Train accuarcate: 92.70%



iteration:
  228
    0   267   bit_w:-1  loss: 0.24392
    1   270   bit_w: 1  loss: 0.24341
    2   274   bit_w: 1  loss: 0.24343
    3   294   bit_w:-1  loss: 0.24317
    4   174   bit_w: 1  loss: 0.24301
   2386    977   3100   2502   3370    501    192   1225   2751   2244
      0      0      1      1      1     -1      0      0      0     -1
Train accuarcate: 92.91%
tensor([[ 58.,  43.,  65.,  72.,  45.,  58.,  36.,  94.,  45.,  66.],
        [ 63.,  68.,  95.,  76.,  34.,  67.,  72.,  43.,  73.,  46.],
        [ 35.,  80.,  63.,  59.,  50.,  53.,  53.,  56.,  54.,  47.],
        [ 95.,  40.,  64.,  64.,  39.,  63.,  73.,  61.,  57.,  64.],
        [ 53.,  48.,  60.,  39.,  86.,  53.,  62.,  60.,  57.,  66.],
        [ 34.,  85.,  58.,  62.,  48.,  49.,  49.,  60.,  56.,  52.],
        [ 40.,  53.,  50.,  59.,  93.,  70.,  53.,  58.,  65.,  71.],
        [ 33.,  58.,  53.,  63.,  64.,  66.,  57.,  61.,  61.,  76.],
        [ 72.,  48.,  71.,  44.,  69.,  77.,  82.,  46.,  61.,  71.],
        [ 52.,  45.,  43.,  60.,  71.,  58.,  47.,  74.,  71.,  89.],
        [100.,  40.,  71.,  67.,  52.,  74.,  67.,  53.,  74.,  47.],
        [ 55.,  58.,  62.,  61.,  67.,  58.,  86.,  56.,  67.,  61.],
        [ 48.,  40.,  54.,  56.,  69.,  61.,  49.,  67.,  56.,  87.],
        [ 97.,  39.,  70.,  65.,  48.,  69.,  56.,  62.,  77.,  67.],
        [ 35.,  89.,  56.,  65.,  44.,  52.,  56.,  52.,  65.,  53.],
        [ 64.,  53.,  58.,  77.,  54.,  82.,  53.,  63.,  71.,  58.],
        [ 50.,  45.,  55.,  53.,  65.,  54.,  50.,  71.,  68.,  93.],
        [ 66.,  41.,  73.,  73.,  49.,  56.,  39.,  95.,  42.,  62.],
        [ 55.,  58.,  75.,  81.,  60.,  66.,  62.,  59.,  62.,  66.],
        [ 40.,  51.,  54.,  53.,  81.,  62.,  53.,  58.,  54.,  65.]],
       device='cuda:0')
Train accuarcate: 92.70%



iteration:
  229
    0   467   bit_w:-1  loss: 0.24263
    1   234   bit_w: 1  loss: 0.24225
    2   678   bit_w:-1  loss: 0.24225
    3   583   bit_w: 1  loss: 0.24210
    4   498   bit_w:-1  loss: 0.24204
   3226   6686   4527   3505   4398   4468   2873   5619   5485   5608
     -1      0      0     -1     -1      0     -1     -1      1      0
Train accuarcate: 92.95%
tensor([[ 58.,  43.,  65.,  72.,  45.,  58.,  36.,  94.,  46.,  66.],
        [ 63.,  68.,  95.,  76.,  34.,  67.,  72.,  43.,  74.,  46.],
        [ 35.,  80.,  63.,  59.,  50.,  53.,  53.,  56.,  55.,  47.],
        [ 95.,  40.,  64.,  64.,  39.,  63.,  73.,  61.,  58.,  64.],
        [ 53.,  48.,  60.,  39.,  86.,  53.,  62.,  60.,  58.,  66.],
        [ 34.,  85.,  58.,  62.,  48.,  49.,  49.,  60.,  57.,  52.],
        [ 40.,  53.,  50.,  59.,  93.,  70.,  53.,  58.,  66.,  71.],
        [ 33.,  58.,  53.,  63.,  64.,  66.,  57.,  61.,  62.,  76.],
        [ 72.,  48.,  71.,  44.,  69.,  77.,  82.,  46.,  62.,  71.],
        [ 52.,  45.,  43.,  60.,  71.,  58.,  47.,  74.,  72.,  89.],
        [100.,  40.,  71.,  67.,  52.,  74.,  67.,  53.,  75.,  47.],
        [ 55.,  58.,  62.,  61.,  67.,  58.,  86.,  56.,  68.,  61.],
        [ 48.,  40.,  54.,  56.,  69.,  61.,  49.,  67.,  57.,  87.],
        [ 97.,  39.,  70.,  65.,  48.,  69.,  56.,  62.,  78.,  67.],
        [ 35.,  89.,  56.,  65.,  44.,  52.,  56.,  52.,  66.,  53.],
        [ 64.,  53.,  58.,  77.,  54.,  82.,  53.,  63.,  72.,  58.],
        [ 50.,  45.,  55.,  53.,  65.,  54.,  50.,  71.,  69.,  93.],
        [ 66.,  41.,  73.,  73.,  49.,  56.,  39.,  95.,  43.,  62.],
        [ 55.,  58.,  75.,  81.,  60.,  66.,  62.,  59.,  63.,  66.],
        [ 40.,  51.,  54.,  53.,  81.,  62.,  53.,  58.,  55.,  65.]],
       device='cuda:0')
Train accuarcate: 92.74%



iteration:
  230
    0   686   bit_w:-1  loss: 0.24180
    1   215   bit_w: 1  loss: 0.24160
    2   346   bit_w:-1  loss: 0.24141
    3   545   bit_w: 1  loss: 0.24129
    4   519   bit_w:-1  loss: 0.24134
   4435   5572   5357   4017   2722   2590   3449   3227   3144   2733
      0      0      1     -1     -1      0      0     -1      0      1
Train accuarcate: 92.97%
tensor([[ 58.,  43.,  65.,  73.,  46.,  58.,  36.,  95.,  46.,  66.],
        [ 63.,  68.,  96.,  76.,  34.,  67.,  72.,  43.,  74.,  47.],
        [ 35.,  80.,  64.,  59.,  50.,  53.,  53.,  56.,  55.,  48.],
        [ 95.,  40.,  64.,  65.,  40.,  63.,  73.,  62.,  58.,  64.],
        [ 53.,  48.,  61.,  39.,  86.,  53.,  62.,  60.,  58.,  67.],
        [ 34.,  85.,  59.,  62.,  48.,  49.,  49.,  60.,  57.,  53.],
        [ 40.,  53.,  50.,  60.,  94.,  70.,  53.,  59.,  66.,  71.],
        [ 33.,  58.,  54.,  63.,  64.,  66.,  57.,  61.,  62.,  77.],
        [ 72.,  48.,  72.,  44.,  69.,  77.,  82.,  46.,  62.,  72.],
        [ 52.,  45.,  44.,  60.,  71.,  58.,  47.,  74.,  72.,  90.],
        [100.,  40.,  72.,  67.,  52.,  74.,  67.,  53.,  75.,  48.],
        [ 55.,  58.,  62.,  62.,  68.,  58.,  86.,  57.,  68.,  61.],
        [ 48.,  40.,  54.,  57.,  70.,  61.,  49.,  68.,  57.,  87.],
        [ 97.,  39.,  70.,  66.,  49.,  69.,  56.,  63.,  78.,  67.],
        [ 35.,  89.,  57.,  65.,  44.,  52.,  56.,  52.,  66.,  54.],
        [ 64.,  53.,  58.,  78.,  55.,  82.,  53.,  64.,  72.,  58.],
        [ 50.,  45.,  55.,  54.,  66.,  54.,  50.,  72.,  69.,  93.],
        [ 66.,  41.,  73.,  74.,  50.,  56.,  39.,  96.,  43.,  62.],
        [ 55.,  58.,  75.,  82.,  61.,  66.,  62.,  60.,  63.,  66.],
        [ 40.,  51.,  55.,  53.,  81.,  62.,  53.,  58.,  55.,  66.]],
       device='cuda:0')
Train accuarcate: 92.76%



iteration:
  231
    0   297   bit_w:-1  loss: 0.24098
    1   242   bit_w:-1  loss: 0.24049
    2   128   bit_w:-1  loss: 0.24063
    3   325   bit_w:-1  loss: 0.24049
    4   650   bit_w:-1  loss: 0.24039
   5171   5084   3847   3350   3732   5235   5851   4026   4134   4504
     -1     -1      0     -1     -1      0      1     -1      0      0
Train accuarcate: 93.02%
tensor([[ 58.,  43.,  65.,  73.,  46.,  58.,  37.,  95.,  46.,  66.],
        [ 63.,  68.,  96.,  76.,  34.,  67.,  73.,  43.,  74.,  47.],
        [ 35.,  80.,  64.,  59.,  50.,  53.,  54.,  56.,  55.,  48.],
        [ 95.,  40.,  64.,  65.,  40.,  63.,  74.,  62.,  58.,  64.],
        [ 53.,  48.,  61.,  39.,  86.,  53.,  63.,  60.,  58.,  67.],
        [ 34.,  85.,  59.,  62.,  48.,  49.,  50.,  60.,  57.,  53.],
        [ 40.,  53.,  50.,  60.,  94.,  70.,  54.,  59.,  66.,  71.],
        [ 33.,  58.,  54.,  63.,  64.,  66.,  58.,  61.,  62.,  77.],
        [ 72.,  48.,  72.,  44.,  69.,  77.,  83.,  46.,  62.,  72.],
        [ 53.,  46.,  44.,  61.,  72.,  58.,  47.,  75.,  72.,  90.],
        [100.,  40.,  72.,  67.,  52.,  74.,  68.,  53.,  75.,  48.],
        [ 55.,  58.,  62.,  62.,  68.,  58.,  87.,  57.,  68.,  61.],
        [ 48.,  40.,  54.,  57.,  70.,  61.,  50.,  68.,  57.,  87.],
        [ 97.,  39.,  70.,  66.,  49.,  69.,  57.,  63.,  78.,  67.],
        [ 35.,  89.,  57.,  65.,  44.,  52.,  57.,  52.,  66.,  54.],
        [ 64.,  53.,  58.,  78.,  55.,  82.,  54.,  64.,  72.,  58.],
        [ 50.,  45.,  55.,  54.,  66.,  54.,  51.,  72.,  69.,  93.],
        [ 66.,  41.,  73.,  74.,  50.,  56.,  40.,  96.,  43.,  62.],
        [ 55.,  58.,  75.,  82.,  61.,  66.,  63.,  60.,  63.,  66.],
        [ 41.,  52.,  55.,  54.,  82.,  62.,  53.,  59.,  55.,  66.]],
       device='cuda:0')
Train accuarcate: 92.82%



iteration:
  232
    0   658   bit_w:-1  loss: 0.24012
    1   655   bit_w: 1  loss: 0.23980
    2   206   bit_w:-1  loss: 0.23991
    3   203   bit_w: 1  loss: 0.23961
    4   596   bit_w:-1  loss: 0.23979
   2048   4039   2237   2634   3447   2182   4077   3800   2467   3242
      0     -1      1      0      0      0      0      0      1     -1
Train accuarcate: 93.06%
tensor([[ 58.,  43.,  66.,  73.,  46.,  58.,  37.,  95.,  47.,  66.],
        [ 63.,  69.,  96.,  76.,  34.,  67.,  73.,  43.,  74.,  48.],
        [ 35.,  80.,  65.,  59.,  50.,  53.,  54.,  56.,  56.,  48.],
        [ 95.,  40.,  65.,  65.,  40.,  63.,  74.,  62.,  59.,  64.],
        [ 53.,  49.,  61.,  39.,  86.,  53.,  63.,  60.,  58.,  68.],
        [ 34.,  85.,  60.,  62.,  48.,  49.,  50.,  60.,  58.,  53.],
        [ 40.,  54.,  50.,  60.,  94.,  70.,  54.,  59.,  66.,  72.],
        [ 33.,  58.,  55.,  63.,  64.,  66.,  58.,  61.,  63.,  77.],
        [ 72.,  48.,  73.,  44.,  69.,  77.,  83.,  46.,  63.,  72.],
        [ 53.,  46.,  45.,  61.,  72.,  58.,  47.,  75.,  73.,  90.],
        [100.,  41.,  72.,  67.,  52.,  74.,  68.,  53.,  75.,  49.],
        [ 55.,  59.,  62.,  62.,  68.,  58.,  87.,  57.,  68.,  62.],
        [ 48.,  41.,  54.,  57.,  70.,  61.,  50.,  68.,  57.,  88.],
        [ 97.,  39.,  71.,  66.,  49.,  69.,  57.,  63.,  79.,  67.],
        [ 35.,  89.,  58.,  65.,  44.,  52.,  57.,  52.,  67.,  54.],
        [ 64.,  54.,  58.,  78.,  55.,  82.,  54.,  64.,  72.,  59.],
        [ 50.,  46.,  55.,  54.,  66.,  54.,  51.,  72.,  69.,  94.],
        [ 66.,  42.,  73.,  74.,  50.,  56.,  40.,  96.,  43.,  63.],
        [ 55.,  58.,  76.,  82.,  61.,  66.,  63.,  60.,  64.,  66.],
        [ 41.,  52.,  56.,  54.,  82.,  62.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.79%



iteration:
  233
    0   300   bit_w:-1  loss: 0.23949
    1   186   bit_w: 1  loss: 0.23913
    2   269   bit_w: 1  loss: 0.23912
    3   238   bit_w:-1  loss: 0.23886
    4   228   bit_w:-1  loss: 0.23849
   3799   3912   4637   4804   3744   4600   3610   3530   4122   3733
      1     -1      0     -1     -1      1      0     -1      0      0
Train accuarcate: 93.12%
tensor([[ 58.,  44.,  66.,  74.,  47.,  58.,  37.,  96.,  47.,  66.],
        [ 63.,  70.,  96.,  77.,  35.,  67.,  73.,  44.,  74.,  48.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 96.,  40.,  65.,  65.,  40.,  64.,  74.,  62.,  59.,  64.],
        [ 53.,  50.,  61.,  40.,  87.,  53.,  63.,  61.,  58.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  50.,  61.,  95.,  70.,  54.,  60.,  66.,  72.],
        [ 33.,  59.,  55.,  64.,  65.,  66.,  58.,  62.,  63.,  77.],
        [ 73.,  48.,  73.,  44.,  69.,  78.,  83.,  46.,  63.,  72.],
        [ 53.,  47.,  45.,  62.,  73.,  58.,  47.,  76.,  73.,  90.],
        [101.,  41.,  72.,  67.,  52.,  75.,  68.,  53.,  75.,  49.],
        [ 55.,  60.,  62.,  63.,  69.,  58.,  87.,  58.,  68.,  62.],
        [ 48.,  42.,  54.,  58.,  71.,  61.,  50.,  69.,  57.,  88.],
        [ 98.,  39.,  71.,  66.,  49.,  70.,  57.,  63.,  79.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 65.,  54.,  58.,  78.,  55.,  83.,  54.,  64.,  72.,  59.],
        [ 50.,  47.,  55.,  55.,  67.,  54.,  51.,  73.,  69.,  94.],
        [ 66.,  43.,  73.,  75.,  51.,  56.,  40.,  97.,  43.,  63.],
        [ 55.,  59.,  76.,  83.,  62.,  66.,  63.,  61.,  64.,  66.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.79%



iteration:
  234
    0   580   bit_w:-1  loss: 0.23830
    1   496   bit_w: 1  loss: 0.23802
    2   415   bit_w: 1  loss: 0.23809
    3   579   bit_w:-1  loss: 0.23774
    4   635   bit_w: 1  loss: 0.23785
   2210     53   1708    645    843    424   2071    353    295    205
      0      0      1      0      0      0      0      1      0      0
Train accuarcate: 93.13%
tensor([[ 58.,  44.,  66.,  74.,  47.,  58.,  37.,  96.,  47.,  66.],
        [ 63.,  70.,  96.,  77.,  35.,  67.,  73.,  44.,  74.,  48.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 96.,  40.,  65.,  65.,  40.,  64.,  74.,  62.,  59.,  64.],
        [ 53.,  50.,  61.,  40.,  87.,  53.,  63.,  61.,  58.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  50.,  61.,  95.,  70.,  54.,  60.,  66.,  72.],
        [ 33.,  59.,  55.,  64.,  65.,  66.,  58.,  62.,  63.,  77.],
        [ 73.,  48.,  73.,  44.,  69.,  78.,  83.,  46.,  63.,  72.],
        [ 53.,  47.,  45.,  62.,  73.,  58.,  47.,  76.,  73.,  90.],
        [101.,  41.,  72.,  67.,  52.,  75.,  68.,  53.,  75.,  49.],
        [ 55.,  60.,  63.,  63.,  69.,  58.,  87.,  59.,  68.,  62.],
        [ 48.,  42.,  54.,  58.,  71.,  61.,  50.,  69.,  57.,  88.],
        [ 98.,  39.,  71.,  66.,  49.,  70.,  57.,  63.,  79.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 65.,  54.,  59.,  78.,  55.,  83.,  54.,  65.,  72.,  59.],
        [ 50.,  47.,  55.,  55.,  67.,  54.,  51.,  73.,  69.,  94.],
        [ 66.,  43.,  73.,  75.,  51.,  56.,  40.,  97.,  43.,  63.],
        [ 55.,  59.,  76.,  83.,  62.,  66.,  63.,  61.,  64.,  66.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.83%



iteration:
  235
    0   553   bit_w:-1  loss: 0.23762
    1   375   bit_w: 1  loss: 0.23741
    2   320   bit_w:-1  loss: 0.23739
    3   720   bit_w: 1  loss: 0.23719
    4   666   bit_w: 1  loss: 0.23724
    168     32    473   1633   1139   1276    471    147   1744   1480
      0      0      1      0      0      0      0      0      1      1
Train accuarcate: 93.14%
tensor([[ 58.,  44.,  66.,  74.,  47.,  58.,  37.,  96.,  47.,  66.],
        [ 63.,  70.,  97.,  77.,  35.,  67.,  73.,  44.,  75.,  49.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 96.,  40.,  65.,  65.,  40.,  64.,  74.,  62.,  59.,  64.],
        [ 53.,  50.,  61.,  40.,  87.,  53.,  63.,  61.,  58.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  51.,  61.,  95.,  70.,  54.,  60.,  67.,  73.],
        [ 33.,  59.,  56.,  64.,  65.,  66.,  58.,  62.,  64.,  78.],
        [ 73.,  48.,  73.,  44.,  69.,  78.,  83.,  46.,  63.,  72.],
        [ 53.,  47.,  46.,  62.,  73.,  58.,  47.,  76.,  74.,  91.],
        [101.,  41.,  72.,  67.,  52.,  75.,  68.,  53.,  75.,  49.],
        [ 55.,  60.,  63.,  63.,  69.,  58.,  87.,  59.,  68.,  62.],
        [ 48.,  42.,  54.,  58.,  71.,  61.,  50.,  69.,  57.,  88.],
        [ 98.,  39.,  71.,  66.,  49.,  70.,  57.,  63.,  79.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 65.,  54.,  59.,  78.,  55.,  83.,  54.,  65.,  72.,  59.],
        [ 50.,  47.,  55.,  55.,  67.,  54.,  51.,  73.,  69.,  94.],
        [ 66.,  43.,  73.,  75.,  51.,  56.,  40.,  97.,  43.,  63.],
        [ 55.,  59.,  77.,  83.,  62.,  66.,  63.,  61.,  65.,  67.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.83%



iteration:
  236
    0   553   bit_w:-1  loss: 0.23701
    1   549   bit_w: 1  loss: 0.23685
    2   385   bit_w:-1  loss: 0.23671
    3   564   bit_w: 1  loss: 0.23667
    4   131   bit_w:-1  loss: 0.23662
   3423   5996   4787   5026   5170   4549   4466   5995   4960   5635
     -1      0      0     -1      0      0     -1      0     -1      0
Train accuarcate: 93.16%
tensor([[ 58.,  44.,  66.,  74.,  47.,  58.,  37.,  96.,  47.,  66.],
        [ 63.,  70.,  97.,  77.,  35.,  67.,  73.,  44.,  75.,  49.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 96.,  40.,  65.,  65.,  40.,  64.,  74.,  62.,  59.,  64.],
        [ 53.,  50.,  61.,  40.,  87.,  53.,  63.,  61.,  58.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  51.,  61.,  95.,  70.,  54.,  60.,  67.,  73.],
        [ 33.,  59.,  56.,  64.,  65.,  66.,  58.,  62.,  64.,  78.],
        [ 73.,  48.,  73.,  44.,  69.,  78.,  83.,  46.,  63.,  72.],
        [ 54.,  47.,  46.,  63.,  73.,  58.,  48.,  76.,  75.,  91.],
        [102.,  41.,  72.,  68.,  52.,  75.,  69.,  53.,  76.,  49.],
        [ 55.,  60.,  63.,  63.,  69.,  58.,  87.,  59.,  68.,  62.],
        [ 48.,  42.,  54.,  58.,  71.,  61.,  50.,  69.,  57.,  88.],
        [ 99.,  39.,  71.,  67.,  49.,  70.,  58.,  63.,  80.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 66.,  54.,  59.,  79.,  55.,  83.,  55.,  65.,  73.,  59.],
        [ 50.,  47.,  55.,  55.,  67.,  54.,  51.,  73.,  69.,  94.],
        [ 66.,  43.,  73.,  75.,  51.,  56.,  40.,  97.,  43.,  63.],
        [ 55.,  59.,  77.,  83.,  62.,  66.,  63.,  61.,  65.,  67.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.82%



iteration:
  237
    0   274   bit_w:-1  loss: 0.23646
    1   160   bit_w: 1  loss: 0.23622
    2   708   bit_w:-1  loss: 0.23625
    3   387   bit_w: 1  loss: 0.23601
    4   715   bit_w:-1  loss: 0.23608
   5448   6715   5757   5726   4912   4328   5885   3792   4765   4380
      0      0      0     -1      0     -1      0     -1      0      0
Train accuarcate: 93.18%
tensor([[ 58.,  44.,  66.,  74.,  47.,  58.,  37.,  96.,  47.,  66.],
        [ 63.,  70.,  97.,  77.,  35.,  67.,  73.,  44.,  75.,  49.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 96.,  40.,  65.,  65.,  40.,  64.,  74.,  62.,  59.,  64.],
        [ 53.,  50.,  61.,  40.,  87.,  53.,  63.,  61.,  58.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  51.,  61.,  95.,  70.,  54.,  60.,  67.,  73.],
        [ 33.,  59.,  56.,  64.,  65.,  66.,  58.,  62.,  64.,  78.],
        [ 73.,  48.,  73.,  44.,  69.,  78.,  83.,  46.,  63.,  72.],
        [ 54.,  47.,  46.,  63.,  73.,  58.,  48.,  76.,  75.,  91.],
        [102.,  41.,  72.,  69.,  52.,  76.,  69.,  54.,  76.,  49.],
        [ 55.,  60.,  63.,  63.,  69.,  58.,  87.,  59.,  68.,  62.],
        [ 48.,  42.,  54.,  58.,  71.,  61.,  50.,  69.,  57.,  88.],
        [ 99.,  39.,  71.,  67.,  49.,  70.,  58.,  63.,  80.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 66.,  54.,  59.,  79.,  55.,  83.,  55.,  65.,  73.,  59.],
        [ 50.,  47.,  55.,  56.,  67.,  55.,  51.,  74.,  69.,  94.],
        [ 66.,  43.,  73.,  75.,  51.,  56.,  40.,  97.,  43.,  63.],
        [ 55.,  59.,  77.,  83.,  62.,  66.,  63.,  61.,  65.,  67.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.84%



iteration:
  238
    0   712   bit_w:-1  loss: 0.23590
    1   455   bit_w: 1  loss: 0.23574
    2   510   bit_w:-1  loss: 0.23560
    3   162   bit_w: 1  loss: 0.23545
    4   565   bit_w:-1  loss: 0.23556
   4430   6722   4477   4630   5659   4290   5843   4256   5424   4728
      0      0      0     -1      0     -1      0      0      0     -1
Train accuarcate: 93.19%
tensor([[ 58.,  44.,  66.,  75.,  47.,  59.,  37.,  96.,  47.,  67.],
        [ 63.,  70.,  97.,  77.,  35.,  67.,  73.,  44.,  75.,  49.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 96.,  40.,  65.,  65.,  40.,  64.,  74.,  62.,  59.,  64.],
        [ 53.,  50.,  61.,  40.,  87.,  53.,  63.,  61.,  58.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  51.,  61.,  95.,  70.,  54.,  60.,  67.,  73.],
        [ 33.,  59.,  56.,  64.,  65.,  66.,  58.,  62.,  64.,  78.],
        [ 73.,  48.,  73.,  44.,  69.,  78.,  83.,  46.,  63.,  72.],
        [ 54.,  47.,  46.,  63.,  73.,  58.,  48.,  76.,  75.,  91.],
        [102.,  41.,  72.,  69.,  52.,  76.,  69.,  54.,  76.,  49.],
        [ 55.,  60.,  63.,  63.,  69.,  58.,  87.,  59.,  68.,  62.],
        [ 48.,  42.,  54.,  58.,  71.,  61.,  50.,  69.,  57.,  88.],
        [ 99.,  39.,  71.,  67.,  49.,  70.,  58.,  63.,  80.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 66.,  54.,  59.,  79.,  55.,  83.,  55.,  65.,  73.,  59.],
        [ 50.,  47.,  55.,  56.,  67.,  55.,  51.,  74.,  69.,  94.],
        [ 66.,  43.,  73.,  76.,  51.,  57.,  40.,  97.,  43.,  64.],
        [ 55.,  59.,  77.,  83.,  62.,  66.,  63.,  61.,  65.,  67.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.79%



iteration:
  239
    0   455   bit_w:-1  loss: 0.23539
    1   486   bit_w: 1  loss: 0.23512
    2   397   bit_w:-1  loss: 0.23509
    3   514   bit_w: 1  loss: 0.23499
    4   485   bit_w:-1  loss: 0.23481
   1521   6736   4894   5863   3735   4922   4865   5788   5469   5148
     -1      0      0      0     -1      0     -1     -1     -1      0
Train accuarcate: 93.22%
tensor([[ 58.,  44.,  66.,  75.,  47.,  59.,  37.,  96.,  47.,  67.],
        [ 63.,  70.,  97.,  77.,  35.,  67.,  73.,  44.,  75.,  49.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 97.,  40.,  65.,  65.,  41.,  64.,  75.,  63.,  60.,  64.],
        [ 54.,  50.,  61.,  40.,  88.,  53.,  64.,  62.,  59.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  51.,  61.,  95.,  70.,  54.,  60.,  67.,  73.],
        [ 33.,  59.,  56.,  64.,  65.,  66.,  58.,  62.,  64.,  78.],
        [ 74.,  48.,  73.,  44.,  70.,  78.,  84.,  47.,  64.,  72.],
        [ 54.,  47.,  46.,  63.,  73.,  58.,  48.,  76.,  75.,  91.],
        [103.,  41.,  72.,  69.,  53.,  76.,  70.,  55.,  77.,  49.],
        [ 56.,  60.,  63.,  63.,  70.,  58.,  88.,  60.,  69.,  62.],
        [ 48.,  42.,  54.,  58.,  71.,  61.,  50.,  69.,  57.,  88.],
        [100.,  39.,  71.,  67.,  50.,  70.,  59.,  64.,  81.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 66.,  54.,  59.,  79.,  55.,  83.,  55.,  65.,  73.,  59.],
        [ 50.,  47.,  55.,  56.,  67.,  55.,  51.,  74.,  69.,  94.],
        [ 66.,  43.,  73.,  76.,  51.,  57.,  40.,  97.,  43.,  64.],
        [ 55.,  59.,  77.,  83.,  62.,  66.,  63.,  61.,  65.,  67.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.82%



iteration:
  240
    0   715   bit_w:-1  loss: 0.23464
    1   162   bit_w: 1  loss: 0.23451
    2   710   bit_w:-1  loss: 0.23452
    3   132   bit_w: 1  loss: 0.23433
    4   720   bit_w:-1  loss: 0.23444
   5911   6729   5942   5800   5406   5113   5918   3276   5535   3758
      0      0      0     -1      0     -1      0      0     -1     -1
Train accuarcate: 93.24%
tensor([[ 58.,  44.,  66.,  75.,  47.,  59.,  37.,  96.,  47.,  67.],
        [ 63.,  70.,  97.,  77.,  35.,  67.,  73.,  44.,  75.,  49.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 97.,  40.,  65.,  65.,  41.,  64.,  75.,  63.,  60.,  64.],
        [ 54.,  50.,  61.,  40.,  88.,  53.,  64.,  62.,  59.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  51.,  61.,  95.,  70.,  54.,  60.,  67.,  73.],
        [ 33.,  59.,  56.,  64.,  65.,  66.,  58.,  62.,  64.,  78.],
        [ 74.,  48.,  73.,  44.,  70.,  78.,  84.,  47.,  64.,  72.],
        [ 54.,  47.,  46.,  64.,  73.,  59.,  48.,  76.,  76.,  92.],
        [103.,  41.,  72.,  69.,  53.,  76.,  70.,  55.,  77.,  49.],
        [ 56.,  60.,  63.,  63.,  70.,  58.,  88.,  60.,  69.,  62.],
        [ 48.,  42.,  54.,  58.,  71.,  61.,  50.,  69.,  57.,  88.],
        [100.,  39.,  71.,  67.,  50.,  70.,  59.,  64.,  81.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 66.,  54.,  59.,  79.,  55.,  83.,  55.,  65.,  73.,  59.],
        [ 50.,  47.,  55.,  57.,  67.,  56.,  51.,  74.,  70.,  95.],
        [ 66.,  43.,  73.,  76.,  51.,  57.,  40.,  97.,  43.,  64.],
        [ 55.,  59.,  77.,  83.,  62.,  66.,  63.,  61.,  65.,  67.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.84%



iteration:
  241
    0   340   bit_w:-1  loss: 0.23431
    1   163   bit_w: 1  loss: 0.23418
    2   741   bit_w:-1  loss: 0.23421
    3   134   bit_w: 1  loss: 0.23400
    4   718   bit_w:-1  loss: 0.23413
   5873   6740   5933   6074   5619   5346   5912   4747   5784   4782
      0      0      0      0      0      0      0     -1     -1     -1
Train accuarcate: 93.25%
tensor([[ 58.,  44.,  66.,  75.,  47.,  59.,  37.,  96.,  47.,  67.],
        [ 63.,  70.,  97.,  77.,  35.,  67.,  73.,  44.,  75.,  49.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 97.,  40.,  65.,  65.,  41.,  64.,  75.,  63.,  60.,  64.],
        [ 54.,  50.,  61.,  40.,  88.,  53.,  64.,  62.,  59.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  51.,  61.,  95.,  70.,  54.,  60.,  67.,  73.],
        [ 33.,  59.,  56.,  64.,  65.,  66.,  58.,  62.,  64.,  78.],
        [ 74.,  48.,  73.,  44.,  70.,  78.,  84.,  47.,  64.,  72.],
        [ 54.,  47.,  46.,  64.,  73.,  59.,  48.,  76.,  76.,  92.],
        [103.,  41.,  72.,  69.,  53.,  76.,  70.,  55.,  77.,  49.],
        [ 56.,  60.,  63.,  63.,  70.,  58.,  88.,  60.,  69.,  62.],
        [ 48.,  42.,  54.,  58.,  71.,  61.,  50.,  69.,  57.,  88.],
        [100.,  39.,  71.,  67.,  50.,  70.,  59.,  64.,  81.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 66.,  54.,  59.,  79.,  55.,  83.,  55.,  65.,  73.,  59.],
        [ 50.,  47.,  55.,  57.,  67.,  56.,  51.,  74.,  70.,  95.],
        [ 66.,  43.,  73.,  76.,  51.,  57.,  40.,  97.,  43.,  64.],
        [ 55.,  59.,  77.,  83.,  62.,  66.,  63.,  61.,  65.,  67.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.81%



iteration:
  242
    0   396   bit_w:-1  loss: 0.23399
    1   444   bit_w: 1  loss: 0.23388
    2   319   bit_w:-1  loss: 0.23386
    3   344   bit_w: 1  loss: 0.23347
    4   370   bit_w:-1  loss: 0.23363
   3408   6578   5663   4972   3469   2699   2867   4874   2887   3655
      0      0      0      0     -1      0      0      0      0     -1
Train accuarcate: 93.24%
tensor([[ 58.,  44.,  66.,  75.,  47.,  59.,  37.,  96.,  47.,  67.],
        [ 63.,  70.,  97.,  77.,  35.,  67.,  73.,  44.,  75.,  49.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 97.,  40.,  65.,  65.,  41.,  64.,  75.,  63.,  60.,  64.],
        [ 54.,  50.,  61.,  40.,  88.,  53.,  64.,  62.,  59.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  51.,  61.,  95.,  70.,  54.,  60.,  67.,  73.],
        [ 33.,  59.,  56.,  64.,  65.,  66.,  58.,  62.,  64.,  78.],
        [ 74.,  48.,  73.,  44.,  71.,  78.,  84.,  47.,  64.,  73.],
        [ 54.,  47.,  46.,  64.,  73.,  59.,  48.,  76.,  76.,  92.],
        [103.,  41.,  72.,  69.,  53.,  76.,  70.,  55.,  77.,  49.],
        [ 56.,  60.,  63.,  63.,  70.,  58.,  88.,  60.,  69.,  62.],
        [ 48.,  42.,  54.,  58.,  71.,  61.,  50.,  69.,  57.,  88.],
        [100.,  39.,  71.,  67.,  50.,  70.,  59.,  64.,  81.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 66.,  54.,  59.,  79.,  55.,  83.,  55.,  65.,  73.,  59.],
        [ 50.,  47.,  55.,  57.,  67.,  56.,  51.,  74.,  70.,  95.],
        [ 66.,  43.,  73.,  76.,  51.,  57.,  40.,  97.,  43.,  64.],
        [ 55.,  59.,  77.,  83.,  62.,  66.,  63.,  61.,  65.,  67.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.82%



iteration:
  243
    0   712   bit_w:-1  loss: 0.23344
    1   134   bit_w: 1  loss: 0.23331
    2   717   bit_w:-1  loss: 0.23334
    3   104   bit_w: 1  loss: 0.23315
    4   305   bit_w:-1  loss: 0.23326
   5908   6729   5944   5859   5469   5003   5912   3682   5502   3709
      0      0      0     -1      0     -1      0     -1     -1      0
Train accuarcate: 93.28%
tensor([[ 58.,  44.,  66.,  76.,  47.,  60.,  37.,  97.,  48.,  67.],
        [ 63.,  70.,  97.,  77.,  35.,  67.,  73.,  44.,  75.,  49.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 97.,  40.,  65.,  65.,  41.,  64.,  75.,  63.,  60.,  64.],
        [ 54.,  50.,  61.,  40.,  88.,  53.,  64.,  62.,  59.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  51.,  61.,  95.,  70.,  54.,  60.,  67.,  73.],
        [ 33.,  59.,  56.,  64.,  65.,  66.,  58.,  62.,  64.,  78.],
        [ 74.,  48.,  73.,  44.,  71.,  78.,  84.,  47.,  64.,  73.],
        [ 54.,  47.,  46.,  64.,  73.,  59.,  48.,  76.,  76.,  92.],
        [103.,  41.,  72.,  69.,  53.,  76.,  70.,  55.,  77.,  49.],
        [ 56.,  60.,  63.,  63.,  70.,  58.,  88.,  60.,  69.,  62.],
        [ 48.,  42.,  54.,  58.,  71.,  61.,  50.,  69.,  57.,  88.],
        [100.,  39.,  71.,  67.,  50.,  70.,  59.,  64.,  81.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 66.,  54.,  59.,  79.,  55.,  83.,  55.,  65.,  73.,  59.],
        [ 50.,  47.,  55.,  57.,  67.,  56.,  51.,  74.,  70.,  95.],
        [ 66.,  43.,  73.,  77.,  51.,  58.,  40.,  98.,  44.,  64.],
        [ 55.,  59.,  77.,  83.,  62.,  66.,  63.,  61.,  65.,  67.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.84%



iteration:
  244
    0   332   bit_w:-1  loss: 0.23312
    1   256   bit_w: 1  loss: 0.23300
    2   581   bit_w:-1  loss: 0.23303
    3   444   bit_w: 1  loss: 0.23284
    4   526   bit_w: 1  loss: 0.23292
    794      7   1074    259    203     98    648    669     77     29
      0      0      1      0      0      0      0      1      0      0
Train accuarcate: 93.29%
tensor([[ 58.,  44.,  66.,  76.,  47.,  60.,  37.,  97.,  48.,  67.],
        [ 63.,  70.,  97.,  77.,  35.,  67.,  73.,  44.,  75.,  49.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 97.,  40.,  65.,  65.,  41.,  64.,  75.,  63.,  60.,  64.],
        [ 54.,  50.,  61.,  40.,  88.,  53.,  64.,  62.,  59.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  51.,  61.,  95.,  70.,  54.,  60.,  67.,  73.],
        [ 33.,  59.,  56.,  64.,  65.,  66.,  58.,  62.,  64.,  78.],
        [ 74.,  48.,  73.,  44.,  71.,  78.,  84.,  47.,  64.,  73.],
        [ 54.,  47.,  46.,  64.,  73.,  59.,  48.,  76.,  76.,  92.],
        [103.,  41.,  72.,  69.,  53.,  76.,  70.,  55.,  77.,  49.],
        [ 56.,  60.,  63.,  63.,  70.,  58.,  88.,  60.,  69.,  62.],
        [ 48.,  42.,  54.,  58.,  71.,  61.,  50.,  69.,  57.,  88.],
        [100.,  39.,  71.,  67.,  50.,  70.,  59.,  64.,  81.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 66.,  54.,  59.,  79.,  55.,  83.,  55.,  65.,  73.,  59.],
        [ 50.,  47.,  55.,  57.,  67.,  56.,  51.,  74.,  70.,  95.],
        [ 66.,  43.,  73.,  77.,  51.,  58.,  40.,  98.,  44.,  64.],
        [ 55.,  59.,  77.,  83.,  62.,  66.,  63.,  61.,  65.,  67.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.86%



iteration:
  245
    0   332   bit_w:-1  loss: 0.23278
    1   666   bit_w: 1  loss: 0.23267
    2   611   bit_w: 1  loss: 0.23268
    3   162   bit_w:-1  loss: 0.23250
    4   501   bit_w: 1  loss: 0.23261
     31      8   1016     33    120     75     62     11     64    112
      0      0      1      0      0      0      0      0      0      1
Train accuarcate: 93.30%
tensor([[ 58.,  44.,  66.,  76.,  47.,  60.,  37.,  97.,  48.,  67.],
        [ 63.,  70.,  98.,  77.,  35.,  67.,  73.,  44.,  75.,  50.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 97.,  40.,  65.,  65.,  41.,  64.,  75.,  63.,  60.,  64.],
        [ 54.,  50.,  61.,  40.,  88.,  53.,  64.,  62.,  59.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  51.,  61.,  95.,  70.,  54.,  60.,  67.,  73.],
        [ 33.,  59.,  57.,  64.,  65.,  66.,  58.,  62.,  64.,  79.],
        [ 74.,  48.,  73.,  44.,  71.,  78.,  84.,  47.,  64.,  73.],
        [ 54.,  47.,  46.,  64.,  73.,  59.,  48.,  76.,  76.,  92.],
        [103.,  41.,  72.,  69.,  53.,  76.,  70.,  55.,  77.,  49.],
        [ 56.,  60.,  63.,  63.,  70.,  58.,  88.,  60.,  69.,  62.],
        [ 48.,  42.,  54.,  58.,  71.,  61.,  50.,  69.,  57.,  88.],
        [100.,  39.,  71.,  67.,  50.,  70.,  59.,  64.,  81.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 66.,  54.,  59.,  79.,  55.,  83.,  55.,  65.,  73.,  59.],
        [ 50.,  47.,  55.,  57.,  67.,  56.,  51.,  74.,  70.,  95.],
        [ 66.,  43.,  73.,  77.,  51.,  58.,  40.,  98.,  44.,  64.],
        [ 55.,  59.,  78.,  83.,  62.,  66.,  63.,  61.,  65.,  68.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.87%



iteration:
  246
    0   332   bit_w:-1  loss: 0.23247
    1   707   bit_w: 1  loss: 0.23237
    2   150   bit_w:-1  loss: 0.23239
    3   742   bit_w: 1  loss: 0.23220
    4   178   bit_w: 1  loss: 0.23226
    626     29    878   1484    558    624    271   1808    914    798
      0      0      0      1      0      0      0      1      0      1
Train accuarcate: 93.33%
tensor([[ 58.,  44.,  66.,  76.,  47.,  60.,  37.,  97.,  48.,  67.],
        [ 63.,  70.,  98.,  77.,  35.,  67.,  73.,  44.,  75.,  50.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 97.,  40.,  65.,  65.,  41.,  64.,  75.,  63.,  60.,  64.],
        [ 54.,  50.,  61.,  40.,  88.,  53.,  64.,  62.,  59.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  51.,  61.,  95.,  70.,  54.,  60.,  67.,  73.],
        [ 33.,  59.,  57.,  64.,  65.,  66.,  58.,  62.,  64.,  79.],
        [ 74.,  48.,  73.,  44.,  71.,  78.,  84.,  47.,  64.,  73.],
        [ 54.,  47.,  46.,  64.,  73.,  59.,  48.,  76.,  76.,  92.],
        [103.,  41.,  72.,  69.,  53.,  76.,  70.,  55.,  77.,  49.],
        [ 56.,  60.,  63.,  63.,  70.,  58.,  88.,  60.,  69.,  62.],
        [ 48.,  42.,  54.,  59.,  71.,  61.,  50.,  70.,  57.,  89.],
        [100.,  39.,  71.,  67.,  50.,  70.,  59.,  64.,  81.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 66.,  54.,  59.,  79.,  55.,  83.,  55.,  65.,  73.,  59.],
        [ 50.,  47.,  55.,  57.,  67.,  56.,  51.,  74.,  70.,  95.],
        [ 66.,  43.,  73.,  77.,  51.,  58.,  40.,  98.,  44.,  64.],
        [ 55.,  59.,  78.,  83.,  62.,  66.,  63.,  61.,  65.,  68.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.88%



iteration:
  247
    0   664   bit_w:-1  loss: 0.23211
    1    99   bit_w: 1  loss: 0.23199
    2   249   bit_w:-1  loss: 0.23203
    3   103   bit_w: 1  loss: 0.23182
    4    96   bit_w: 1  loss: 0.23195
    202     79   1563    274     55    119   3529      0     31      0
      0      0      0      1      0      0      1      0      0      0
Train accuarcate: 93.34%
tensor([[ 58.,  44.,  66.,  76.,  47.,  60.,  37.,  97.,  48.,  67.],
        [ 63.,  70.,  98.,  78.,  35.,  67.,  74.,  44.,  75.,  50.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 97.,  40.,  65.,  65.,  41.,  64.,  75.,  63.,  60.,  64.],
        [ 54.,  50.,  61.,  40.,  88.,  53.,  64.,  62.,  59.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  51.,  61.,  95.,  70.,  54.,  60.,  67.,  73.],
        [ 33.,  59.,  57.,  64.,  65.,  66.,  58.,  62.,  64.,  79.],
        [ 74.,  48.,  73.,  44.,  71.,  78.,  84.,  47.,  64.,  73.],
        [ 54.,  47.,  46.,  64.,  73.,  59.,  48.,  76.,  76.,  92.],
        [103.,  41.,  72.,  69.,  53.,  76.,  70.,  55.,  77.,  49.],
        [ 56.,  60.,  63.,  64.,  70.,  58.,  89.,  60.,  69.,  62.],
        [ 48.,  42.,  54.,  59.,  71.,  61.,  50.,  70.,  57.,  89.],
        [100.,  39.,  71.,  67.,  50.,  70.,  59.,  64.,  81.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 66.,  54.,  59.,  79.,  55.,  83.,  55.,  65.,  73.,  59.],
        [ 50.,  47.,  55.,  57.,  67.,  56.,  51.,  74.,  70.,  95.],
        [ 66.,  43.,  73.,  77.,  51.,  58.,  40.,  98.,  44.,  64.],
        [ 55.,  59.,  78.,  83.,  62.,  66.,  63.,  61.,  65.,  68.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.88%



iteration:
  248
    0   664   bit_w:-1  loss: 0.23180
    1   514   bit_w: 1  loss: 0.23168
    2   512   bit_w:-1  loss: 0.23145
    3   370   bit_w: 1  loss: 0.23125
    4   445   bit_w:-1  loss: 0.23136
   3920   6727   4836   5647   5438   4864   5204   6184   5190   5787
      0      0     -1      0      0      0     -1      0     -1      0
Train accuarcate: 93.36%
tensor([[ 58.,  44.,  66.,  76.,  47.,  60.,  37.,  97.,  48.,  67.],
        [ 63.,  70.,  98.,  78.,  35.,  67.,  74.,  44.,  75.,  50.],
        [ 36.,  80.,  65.,  59.,  50.,  54.,  54.,  56.,  56.,  48.],
        [ 97.,  40.,  66.,  65.,  41.,  64.,  76.,  63.,  61.,  64.],
        [ 54.,  50.,  61.,  40.,  88.,  53.,  64.,  62.,  59.,  68.],
        [ 35.,  85.,  60.,  62.,  48.,  50.,  50.,  60.,  58.,  53.],
        [ 40.,  55.,  51.,  61.,  95.,  70.,  54.,  60.,  67.,  73.],
        [ 33.,  59.,  57.,  64.,  65.,  66.,  58.,  62.,  64.,  79.],
        [ 74.,  48.,  73.,  44.,  71.,  78.,  84.,  47.,  64.,  73.],
        [ 54.,  47.,  46.,  64.,  73.,  59.,  48.,  76.,  76.,  92.],
        [103.,  41.,  73.,  69.,  53.,  76.,  71.,  55.,  78.,  49.],
        [ 56.,  60.,  64.,  64.,  70.,  58.,  90.,  60.,  70.,  62.],
        [ 48.,  42.,  54.,  59.,  71.,  61.,  50.,  70.,  57.,  89.],
        [100.,  39.,  72.,  67.,  50.,  70.,  60.,  64.,  82.,  67.],
        [ 35.,  90.,  58.,  66.,  45.,  52.,  57.,  53.,  67.,  54.],
        [ 66.,  54.,  59.,  79.,  55.,  83.,  55.,  65.,  73.,  59.],
        [ 50.,  47.,  55.,  57.,  67.,  56.,  51.,  74.,  70.,  95.],
        [ 66.,  43.,  73.,  77.,  51.,  58.,  40.,  98.,  44.,  64.],
        [ 55.,  59.,  78.,  83.,  62.,  66.,  63.,  61.,  65.,  68.],
        [ 42.,  52.,  56.,  54.,  82.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.93%



iteration:
  249
    0   126   bit_w:-1  loss: 0.23120
    1   240   bit_w: 1  loss: 0.23099
    2   184   bit_w:-1  loss: 0.23090
    3   297   bit_w: 1  loss: 0.23075
    4   186   bit_w:-1  loss: 0.23084
   2125   5363   2574   3347   5502   2598   2114   6070   2483   4589
      1      1      0      0      1     -1      0      0      0     -1
Train accuarcate: 93.35%
tensor([[ 59.,  45.,  66.,  76.,  48.,  60.,  37.,  97.,  48.,  67.],
        [ 63.,  70.,  98.,  78.,  35.,  68.,  74.,  44.,  75.,  51.],
        [ 37.,  81.,  65.,  59.,  51.,  54.,  54.,  56.,  56.,  48.],
        [ 98.,  41.,  66.,  65.,  42.,  64.,  76.,  63.,  61.,  64.],
        [ 55.,  51.,  61.,  40.,  89.,  53.,  64.,  62.,  59.,  68.],
        [ 36.,  86.,  60.,  62.,  49.,  50.,  50.,  60.,  58.,  53.],
        [ 41.,  56.,  51.,  61.,  96.,  70.,  54.,  60.,  67.,  73.],
        [ 34.,  60.,  57.,  64.,  66.,  66.,  58.,  62.,  64.,  79.],
        [ 74.,  48.,  73.,  44.,  71.,  79.,  84.,  47.,  64.,  74.],
        [ 55.,  48.,  46.,  64.,  74.,  59.,  48.,  76.,  76.,  92.],
        [103.,  41.,  73.,  69.,  53.,  77.,  71.,  55.,  78.,  50.],
        [ 57.,  61.,  64.,  64.,  71.,  58.,  90.,  60.,  70.,  62.],
        [ 49.,  43.,  54.,  59.,  72.,  61.,  50.,  70.,  57.,  89.],
        [100.,  39.,  72.,  67.,  50.,  71.,  60.,  64.,  82.,  68.],
        [ 35.,  90.,  58.,  66.,  45.,  53.,  57.,  53.,  67.,  55.],
        [ 66.,  54.,  59.,  79.,  55.,  84.,  55.,  65.,  73.,  60.],
        [ 51.,  48.,  55.,  57.,  68.,  56.,  51.,  74.,  70.,  95.],
        [ 67.,  44.,  73.,  77.,  52.,  58.,  40.,  98.,  44.,  64.],
        [ 56.,  60.,  78.,  83.,  63.,  66.,  63.,  61.,  65.,  68.],
        [ 43.,  53.,  56.,  54.,  83.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 93.00%



iteration:
  250
    0   322   bit_w:-1  loss: 0.23061
    1   238   bit_w: 1  loss: 0.23013
    2   499   bit_w:-1  loss: 0.23007
    3   584   bit_w: 1  loss: 0.23000
    4   331   bit_w:-1  loss: 0.22999
   4550   4643   5184   3539   5548   4260   4828   5535   4773   5793
      0      0      0     -1      0      0     -1     -1     -1      0
Train accuarcate: 93.37%
tensor([[ 59.,  45.,  66.,  76.,  48.,  60.,  37.,  97.,  48.,  67.],
        [ 63.,  70.,  98.,  78.,  35.,  68.,  74.,  44.,  75.,  51.],
        [ 37.,  81.,  65.,  59.,  51.,  54.,  54.,  56.,  56.,  48.],
        [ 98.,  41.,  66.,  65.,  42.,  64.,  76.,  63.,  61.,  64.],
        [ 55.,  51.,  61.,  40.,  89.,  53.,  64.,  62.,  59.,  68.],
        [ 36.,  86.,  60.,  63.,  49.,  50.,  51.,  61.,  59.,  53.],
        [ 41.,  56.,  51.,  61.,  96.,  70.,  54.,  60.,  67.,  73.],
        [ 34.,  60.,  57.,  64.,  66.,  66.,  58.,  62.,  64.,  79.],
        [ 74.,  48.,  73.,  44.,  71.,  79.,  84.,  47.,  64.,  74.],
        [ 55.,  48.,  46.,  64.,  74.,  59.,  48.,  76.,  76.,  92.],
        [103.,  41.,  73.,  69.,  53.,  77.,  71.,  55.,  78.,  50.],
        [ 57.,  61.,  64.,  64.,  71.,  58.,  90.,  60.,  70.,  62.],
        [ 49.,  43.,  54.,  59.,  72.,  61.,  50.,  70.,  57.,  89.],
        [100.,  39.,  72.,  67.,  50.,  71.,  60.,  64.,  82.,  68.],
        [ 35.,  90.,  58.,  66.,  45.,  53.,  57.,  53.,  67.,  55.],
        [ 66.,  54.,  59.,  80.,  55.,  84.,  56.,  66.,  74.,  60.],
        [ 51.,  48.,  55.,  57.,  68.,  56.,  51.,  74.,  70.,  95.],
        [ 67.,  44.,  73.,  77.,  52.,  58.,  40.,  98.,  44.,  64.],
        [ 56.,  60.,  78.,  83.,  63.,  66.,  63.,  61.,  65.,  68.],
        [ 43.,  53.,  56.,  54.,  83.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.99%



iteration:
  251
    0   623   bit_w:-1  loss: 0.22987
    1   265   bit_w:-1  loss: 0.22967
    2   210   bit_w: 1  loss: 0.22945
    3   270   bit_w: 1  loss: 0.22936
    4   452   bit_w:-1  loss: 0.22933
   4527   6447   5140   5454   5357   4299   5440   5672   5037   5493
      0      0     -1      0      0      0      0      0     -1     -1
Train accuarcate: 93.41%
tensor([[ 59.,  45.,  66.,  76.,  48.,  60.,  37.,  97.,  48.,  67.],
        [ 63.,  70.,  98.,  78.,  35.,  68.,  74.,  44.,  75.,  51.],
        [ 37.,  81.,  65.,  59.,  51.,  54.,  54.,  56.,  56.,  48.],
        [ 98.,  41.,  66.,  65.,  42.,  64.,  76.,  63.,  61.,  64.],
        [ 55.,  51.,  61.,  40.,  89.,  53.,  64.,  62.,  59.,  68.],
        [ 36.,  86.,  60.,  63.,  49.,  50.,  51.,  61.,  59.,  53.],
        [ 41.,  56.,  51.,  61.,  96.,  70.,  54.,  60.,  67.,  73.],
        [ 34.,  60.,  58.,  64.,  66.,  66.,  58.,  62.,  65.,  80.],
        [ 74.,  48.,  73.,  44.,  71.,  79.,  84.,  47.,  64.,  74.],
        [ 55.,  48.,  46.,  64.,  74.,  59.,  48.,  76.,  76.,  92.],
        [103.,  41.,  73.,  69.,  53.,  77.,  71.,  55.,  78.,  50.],
        [ 57.,  61.,  64.,  64.,  71.,  58.,  90.,  60.,  70.,  62.],
        [ 49.,  43.,  54.,  59.,  72.,  61.,  50.,  70.,  57.,  89.],
        [100.,  39.,  72.,  67.,  50.,  71.,  60.,  64.,  82.,  68.],
        [ 35.,  90.,  58.,  66.,  45.,  53.,  57.,  53.,  67.,  55.],
        [ 66.,  54.,  59.,  80.,  55.,  84.,  56.,  66.,  74.,  60.],
        [ 51.,  48.,  55.,  57.,  68.,  56.,  51.,  74.,  70.,  95.],
        [ 67.,  44.,  73.,  77.,  52.,  58.,  40.,  98.,  44.,  64.],
        [ 56.,  60.,  79.,  83.,  63.,  66.,  63.,  61.,  66.,  69.],
        [ 43.,  53.,  56.,  54.,  83.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 92.98%



iteration:
  252
    0   710   bit_w:-1  loss: 0.22920
    1   416   bit_w: 1  loss: 0.22908
    2   331   bit_w:-1  loss: 0.22909
    3   501   bit_w: 1  loss: 0.22894
    4   714   bit_w:-1  loss: 0.22899
   4687   6704   5869   5773   5369   4982   5807   2908   5202   3869
      0      0      0     -1      0     -1      0     -1     -1      0
Train accuarcate: 93.44%
tensor([[ 59.,  45.,  66.,  76.,  48.,  60.,  37.,  97.,  48.,  67.],
        [ 63.,  70.,  98.,  78.,  35.,  68.,  74.,  44.,  75.,  51.],
        [ 37.,  81.,  65.,  59.,  51.,  54.,  54.,  56.,  56.,  48.],
        [ 98.,  41.,  66.,  65.,  42.,  64.,  76.,  63.,  61.,  64.],
        [ 55.,  51.,  61.,  40.,  89.,  53.,  64.,  62.,  59.,  68.],
        [ 36.,  86.,  60.,  63.,  49.,  50.,  51.,  61.,  59.,  53.],
        [ 41.,  56.,  51.,  61.,  96.,  70.,  54.,  60.,  67.,  73.],
        [ 34.,  60.,  58.,  64.,  66.,  66.,  58.,  62.,  65.,  80.],
        [ 74.,  48.,  73.,  44.,  71.,  79.,  84.,  47.,  64.,  74.],
        [ 55.,  48.,  46.,  65.,  74.,  60.,  48.,  77.,  77.,  92.],
        [103.,  41.,  73.,  69.,  53.,  77.,  71.,  55.,  78.,  50.],
        [ 57.,  61.,  64.,  64.,  71.,  58.,  90.,  60.,  70.,  62.],
        [ 49.,  43.,  54.,  60.,  72.,  62.,  50.,  71.,  58.,  89.],
        [100.,  39.,  72.,  67.,  50.,  71.,  60.,  64.,  82.,  68.],
        [ 35.,  90.,  58.,  66.,  45.,  53.,  57.,  53.,  67.,  55.],
        [ 66.,  54.,  59.,  80.,  55.,  84.,  56.,  66.,  74.,  60.],
        [ 51.,  48.,  55.,  58.,  68.,  57.,  51.,  75.,  71.,  95.],
        [ 67.,  44.,  73.,  77.,  52.,  58.,  40.,  98.,  44.,  64.],
        [ 56.,  60.,  79.,  83.,  63.,  66.,  63.,  61.,  66.,  69.],
        [ 43.,  53.,  56.,  54.,  83.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 93.04%



iteration:
  253
    0   332   bit_w:-1  loss: 0.22886
    1   679   bit_w: 1  loss: 0.22875
    2   276   bit_w:-1  loss: 0.22878
    3   256   bit_w: 1  loss: 0.22859
    4   151   bit_w:-1  loss: 0.22869
   4459   6478   3198   3309   5375   4054   4832   6188   4598   5841
     -1      0      0      0      0     -1      0      0     -1      0
Train accuarcate: 93.47%
tensor([[ 59.,  45.,  66.,  76.,  48.,  60.,  37.,  97.,  48.,  67.],
        [ 64.,  70.,  98.,  78.,  35.,  69.,  74.,  44.,  76.,  51.],
        [ 37.,  81.,  65.,  59.,  51.,  54.,  54.,  56.,  56.,  48.],
        [ 98.,  41.,  66.,  65.,  42.,  64.,  76.,  63.,  61.,  64.],
        [ 56.,  51.,  61.,  40.,  89.,  54.,  64.,  62.,  60.,  68.],
        [ 36.,  86.,  60.,  63.,  49.,  50.,  51.,  61.,  59.,  53.],
        [ 42.,  56.,  51.,  61.,  96.,  71.,  54.,  60.,  68.,  73.],
        [ 34.,  60.,  58.,  64.,  66.,  66.,  58.,  62.,  65.,  80.],
        [ 74.,  48.,  73.,  44.,  71.,  79.,  84.,  47.,  64.,  74.],
        [ 55.,  48.,  46.,  65.,  74.,  60.,  48.,  77.,  77.,  92.],
        [104.,  41.,  73.,  69.,  53.,  78.,  71.,  55.,  79.,  50.],
        [ 58.,  61.,  64.,  64.,  71.,  59.,  90.,  60.,  71.,  62.],
        [ 49.,  43.,  54.,  60.,  72.,  62.,  50.,  71.,  58.,  89.],
        [100.,  39.,  72.,  67.,  50.,  71.,  60.,  64.,  82.,  68.],
        [ 35.,  90.,  58.,  66.,  45.,  53.,  57.,  53.,  67.,  55.],
        [ 67.,  54.,  59.,  80.,  55.,  85.,  56.,  66.,  75.,  60.],
        [ 51.,  48.,  55.,  58.,  68.,  57.,  51.,  75.,  71.,  95.],
        [ 67.,  44.,  73.,  77.,  52.,  58.,  40.,  98.,  44.,  64.],
        [ 57.,  60.,  79.,  83.,  63.,  67.,  63.,  61.,  67.,  69.],
        [ 43.,  53.,  56.,  54.,  83.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 93.05%



iteration:
  254
    0   123   bit_w:-1  loss: 0.22855
    1   233   bit_w: 1  loss: 0.22836
    2   607   bit_w:-1  loss: 0.22826
    3   260   bit_w: 1  loss: 0.22817
    4   637   bit_w:-1  loss: 0.22809
   5387   6559   3511   4228   5466   4849   5301   6226   5467   5807
      0     -1     -1     -1     -1      0     -1      0      0      0
Train accuarcate: 93.48%
tensor([[ 59.,  45.,  66.,  76.,  48.,  60.,  37.,  97.,  48.,  67.],
        [ 64.,  71.,  99.,  79.,  36.,  69.,  75.,  44.,  76.,  51.],
        [ 37.,  81.,  65.,  59.,  51.,  54.,  54.,  56.,  56.,  48.],
        [ 98.,  41.,  66.,  65.,  42.,  64.,  76.,  63.,  61.,  64.],
        [ 56.,  51.,  61.,  40.,  89.,  54.,  64.,  62.,  60.,  68.],
        [ 36.,  86.,  60.,  63.,  49.,  50.,  51.,  61.,  59.,  53.],
        [ 42.,  56.,  51.,  61.,  96.,  71.,  54.,  60.,  68.,  73.],
        [ 34.,  61.,  59.,  65.,  67.,  66.,  59.,  62.,  65.,  80.],
        [ 74.,  48.,  73.,  44.,  71.,  79.,  84.,  47.,  64.,  74.],
        [ 55.,  48.,  46.,  65.,  74.,  60.,  48.,  77.,  77.,  92.],
        [104.,  41.,  73.,  69.,  53.,  78.,  71.,  55.,  79.,  50.],
        [ 58.,  61.,  64.,  64.,  71.,  59.,  90.,  60.,  71.,  62.],
        [ 49.,  43.,  54.,  60.,  72.,  62.,  50.,  71.,  58.,  89.],
        [100.,  40.,  73.,  68.,  51.,  71.,  61.,  64.,  82.,  68.],
        [ 35.,  90.,  58.,  66.,  45.,  53.,  57.,  53.,  67.,  55.],
        [ 67.,  54.,  59.,  80.,  55.,  85.,  56.,  66.,  75.,  60.],
        [ 51.,  48.,  55.,  58.,  68.,  57.,  51.,  75.,  71.,  95.],
        [ 67.,  44.,  73.,  77.,  52.,  58.,  40.,  98.,  44.,  64.],
        [ 57.,  61.,  80.,  84.,  64.,  67.,  64.,  61.,  67.,  69.],
        [ 43.,  53.,  56.,  54.,  83.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 93.06%



iteration:
  255
    0   416   bit_w:-1  loss: 0.22797
    1   440   bit_w: 1  loss: 0.22785
    2   607   bit_w:-1  loss: 0.22774
    3   374   bit_w: 1  loss: 0.22751
    4   415   bit_w:-1  loss: 0.22763
   4303   6666   4085   5535   5543   5167   5301   6164   5422   5628
     -1     -1     -1      0      0      0     -1      0      0      0
Train accuarcate: 93.49%
tensor([[ 59.,  45.,  66.,  76.,  48.,  60.,  37.,  97.,  48.,  67.],
        [ 65.,  72., 100.,  79.,  36.,  69.,  76.,  44.,  76.,  51.],
        [ 37.,  81.,  65.,  59.,  51.,  54.,  54.,  56.,  56.,  48.],
        [ 98.,  41.,  66.,  65.,  42.,  64.,  76.,  63.,  61.,  64.],
        [ 56.,  51.,  61.,  40.,  89.,  54.,  64.,  62.,  60.,  68.],
        [ 36.,  86.,  60.,  63.,  49.,  50.,  51.,  61.,  59.,  53.],
        [ 42.,  56.,  51.,  61.,  96.,  71.,  54.,  60.,  68.,  73.],
        [ 34.,  61.,  59.,  65.,  67.,  66.,  59.,  62.,  65.,  80.],
        [ 74.,  48.,  73.,  44.,  71.,  79.,  84.,  47.,  64.,  74.],
        [ 55.,  48.,  46.,  65.,  74.,  60.,  48.,  77.,  77.,  92.],
        [105.,  42.,  74.,  69.,  53.,  78.,  72.,  55.,  79.,  50.],
        [ 58.,  61.,  64.,  64.,  71.,  59.,  90.,  60.,  71.,  62.],
        [ 49.,  43.,  54.,  60.,  72.,  62.,  50.,  71.,  58.,  89.],
        [100.,  40.,  73.,  68.,  51.,  71.,  61.,  64.,  82.,  68.],
        [ 35.,  90.,  58.,  66.,  45.,  53.,  57.,  53.,  67.,  55.],
        [ 67.,  54.,  59.,  80.,  55.,  85.,  56.,  66.,  75.,  60.],
        [ 51.,  48.,  55.,  58.,  68.,  57.,  51.,  75.,  71.,  95.],
        [ 67.,  44.,  73.,  77.,  52.,  58.,  40.,  98.,  44.,  64.],
        [ 57.,  61.,  80.,  84.,  64.,  67.,  64.,  61.,  67.,  69.],
        [ 43.,  53.,  56.,  54.,  83.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 93.10%



iteration:
  256
    0   369   bit_w:-1  loss: 0.22751
    1   122   bit_w: 1  loss: 0.22738
    2   285   bit_w: 1  loss: 0.22735
    3   400   bit_w:-1  loss: 0.22717
    4   316   bit_w: 1  loss: 0.22716
    548     55   1498   1012    390    817    589   2091   1135    749
      0      0      1      1      0      0      0      0      1      0
Train accuarcate: 93.48%
tensor([[ 59.,  45.,  66.,  76.,  48.,  60.,  37.,  97.,  48.,  67.],
        [ 65.,  72., 101.,  80.,  36.,  69.,  76.,  44.,  77.,  51.],
        [ 37.,  81.,  65.,  59.,  51.,  54.,  54.,  56.,  56.,  48.],
        [ 98.,  41.,  66.,  65.,  42.,  64.,  76.,  63.,  61.,  64.],
        [ 56.,  51.,  61.,  40.,  89.,  54.,  64.,  62.,  60.,  68.],
        [ 36.,  86.,  60.,  63.,  49.,  50.,  51.,  61.,  59.,  53.],
        [ 42.,  56.,  52.,  62.,  96.,  71.,  54.,  60.,  69.,  73.],
        [ 34.,  61.,  59.,  65.,  67.,  66.,  59.,  62.,  65.,  80.],
        [ 74.,  48.,  73.,  44.,  71.,  79.,  84.,  47.,  64.,  74.],
        [ 55.,  48.,  46.,  65.,  74.,  60.,  48.,  77.,  77.,  92.],
        [105.,  42.,  74.,  69.,  53.,  78.,  72.,  55.,  79.,  50.],
        [ 58.,  61.,  65.,  65.,  71.,  59.,  90.,  60.,  72.,  62.],
        [ 49.,  43.,  54.,  60.,  72.,  62.,  50.,  71.,  58.,  89.],
        [100.,  40.,  73.,  68.,  51.,  71.,  61.,  64.,  82.,  68.],
        [ 35.,  90.,  58.,  66.,  45.,  53.,  57.,  53.,  67.,  55.],
        [ 67.,  54.,  59.,  80.,  55.,  85.,  56.,  66.,  75.,  60.],
        [ 51.,  48.,  55.,  58.,  68.,  57.,  51.,  75.,  71.,  95.],
        [ 67.,  44.,  73.,  77.,  52.,  58.,  40.,  98.,  44.,  64.],
        [ 57.,  61.,  81.,  85.,  64.,  67.,  64.,  61.,  68.,  69.],
        [ 43.,  53.,  56.,  54.,  83.,  63.,  53.,  59.,  56.,  66.]],
       device='cuda:0')
Train accuarcate: 93.19%



iteration:
  257
    0   163   bit_w:-1  loss: 0.22704
    1   345   bit_w: 1  loss: 0.22692
    2   371   bit_w:-1  loss: 0.22683
    3   453   bit_w: 1  loss: 0.22666
    4   320   bit_w: 1  loss: 0.22671
   4085    691    889   2320   3357   3748   4448   2050   4110   3527
      0      0      0      0      0     -1      0     -1      0      1
Train accuarcate: 93.50%
tensor([[ 59.,  45.,  66.,  76.,  48.,  61.,  37.,  98.,  48.,  67.],
        [ 65.,  72., 101.,  80.,  36.,  70.,  76.,  45.,  77.,  51.],
        [ 37.,  81.,  65.,  59.,  51.,  55.,  54.,  57.,  56.,  48.],
        [ 98.,  41.,  66.,  65.,  42.,  64.,  76.,  63.,  61.,  65.],
        [ 56.,  51.,  61.,  40.,  89.,  55.,  64.,  63.,  60.,  68.],
        [ 36.,  86.,  60.,  63.,  49.,  51.,  51.,  62.,  59.,  53.],
        [ 42.,  56.,  52.,  62.,  96.,  72.,  54.,  61.,  69.,  73.],
        [ 34.,  61.,  59.,  65.,  67.,  66.,  59.,  62.,  65.,  81.],
        [ 74.,  48.,  73.,  44.,  71.,  80.,  84.,  48.,  64.,  74.],
        [ 55.,  48.,  46.,  65.,  74.,  61.,  48.,  78.,  77.,  92.],
        [105.,  42.,  74.,  69.,  53.,  79.,  72.,  56.,  79.,  50.],
        [ 58.,  61.,  65.,  65.,  71.,  60.,  90.,  61.,  72.,  62.],
        [ 49.,  43.,  54.,  60.,  72.,  62.,  50.,  71.,  58.,  90.],
        [100.,  40.,  73.,  68.,  51.,  71.,  61.,  64.,  82.,  69.],
        [ 35.,  90.,  58.,  66.,  45.,  54.,  57.,  54.,  67.,  55.],
        [ 67.,  54.,  59.,  80.,  55.,  85.,  56.,  66.,  75.,  61.],
        [ 51.,  48.,  55.,  58.,  68.,  58.,  51.,  76.,  71.,  95.],
        [ 67.,  44.,  73.,  77.,  52.,  59.,  40.,  99.,  44.,  64.],
        [ 57.,  61.,  81.,  85.,  64.,  67.,  64.,  61.,  68.,  70.],
        [ 43.,  53.,  56.,  54.,  83.,  63.,  53.,  59.,  56.,  67.]],
       device='cuda:0')
Train accuarcate: 93.14%



iteration:
  258
    0   134   bit_w:-1  loss: 0.22658
    1   654   bit_w: 1  loss: 0.22642
    2   265   bit_w: 1  loss: 0.22637
    3   345   bit_w:-1  loss: 0.22602
    4   370   bit_w:-1  loss: 0.22602
   4186   6649   5764   5833   2325   4390   3870   5694   4957   3798
      0      0      1      1     -1      0     -1      0     -1      0
Train accuarcate: 93.52%
tensor([[ 59.,  45.,  67.,  77.,  48.,  61.,  37.,  98.,  48.,  67.],
        [ 65.,  72., 102.,  81.,  36.,  70.,  76.,  45.,  77.,  51.],
        [ 37.,  81.,  66.,  60.,  51.,  55.,  54.,  57.,  56.,  48.],
        [ 98.,  41.,  67.,  66.,  42.,  64.,  76.,  63.,  61.,  65.],
        [ 56.,  51.,  62.,  41.,  89.,  55.,  64.,  63.,  60.,  68.],
        [ 36.,  86.,  61.,  64.,  49.,  51.,  51.,  62.,  59.,  53.],
        [ 42.,  56.,  52.,  62.,  97.,  72.,  55.,  61.,  70.,  73.],
        [ 34.,  61.,  60.,  66.,  67.,  66.,  59.,  62.,  65.,  81.],
        [ 74.,  48.,  73.,  44.,  72.,  80.,  85.,  48.,  65.,  74.],
        [ 55.,  48.,  47.,  66.,  74.,  61.,  48.,  78.,  77.,  92.],
        [105.,  42.,  75.,  70.,  53.,  79.,  72.,  56.,  79.,  50.],
        [ 58.,  61.,  65.,  65.,  72.,  60.,  91.,  61.,  73.,  62.],
        [ 49.,  43.,  55.,  61.,  72.,  62.,  50.,  71.,  58.,  90.],
        [100.,  40.,  73.,  68.,  52.,  71.,  62.,  64.,  83.,  69.],
        [ 35.,  90.,  59.,  67.,  45.,  54.,  57.,  54.,  67.,  55.],
        [ 67.,  54.,  60.,  81.,  55.,  85.,  56.,  66.,  75.,  61.],
        [ 51.,  48.,  56.,  59.,  68.,  58.,  51.,  76.,  71.,  95.],
        [ 67.,  44.,  74.,  78.,  52.,  59.,  40.,  99.,  44.,  64.],
        [ 57.,  61.,  82.,  86.,  64.,  67.,  64.,  61.,  68.,  70.],
        [ 43.,  53.,  56.,  54.,  84.,  63.,  54.,  59.,  57.,  67.]],
       device='cuda:0')
Train accuarcate: 93.19%



iteration:
  259
    0   490   bit_w:-1  loss: 0.22574
    1   208   bit_w: 1  loss: 0.22541
    2   426   bit_w: 1  loss: 0.22535
    3   262   bit_w: 1  loss: 0.22526
    4   205   bit_w: 1  loss: 0.22520
   3664     15    922   2166   1149   1986   1162   1561   1680   2165
      1     -1      0      0      0      1      0      0     -1      1
Train accuarcate: 93.53%
tensor([[ 60.,  45.,  67.,  77.,  48.,  62.,  37.,  98.,  48.,  68.],
        [ 65.,  73., 102.,  81.,  36.,  70.,  76.,  45.,  78.,  51.],
        [ 37.,  82.,  66.,  60.,  51.,  55.,  54.,  57.,  57.,  48.],
        [ 99.,  41.,  67.,  66.,  42.,  65.,  76.,  63.,  61.,  66.],
        [ 56.,  52.,  62.,  41.,  89.,  55.,  64.,  63.,  61.,  68.],
        [ 36.,  87.,  61.,  64.,  49.,  51.,  51.,  62.,  60.,  53.],
        [ 42.,  57.,  52.,  62.,  97.,  72.,  55.,  61.,  71.,  73.],
        [ 35.,  61.,  60.,  66.,  67.,  67.,  59.,  62.,  65.,  82.],
        [ 74.,  49.,  73.,  44.,  72.,  80.,  85.,  48.,  66.,  74.],
        [ 55.,  49.,  47.,  66.,  74.,  61.,  48.,  78.,  78.,  92.],
        [106.,  42.,  75.,  70.,  53.,  80.,  72.,  56.,  79.,  51.],
        [ 59.,  61.,  65.,  65.,  72.,  61.,  91.,  61.,  73.,  63.],
        [ 49.,  44.,  55.,  61.,  72.,  62.,  50.,  71.,  59.,  90.],
        [101.,  40.,  73.,  68.,  52.,  72.,  62.,  64.,  83.,  70.],
        [ 35.,  91.,  59.,  67.,  45.,  54.,  57.,  54.,  68.,  55.],
        [ 68.,  54.,  60.,  81.,  55.,  86.,  56.,  66.,  75.,  62.],
        [ 51.,  49.,  56.,  59.,  68.,  58.,  51.,  76.,  72.,  95.],
        [ 68.,  44.,  74.,  78.,  52.,  60.,  40.,  99.,  44.,  65.],
        [ 57.,  62.,  82.,  86.,  64.,  67.,  64.,  61.,  69.,  70.],
        [ 43.,  54.,  56.,  54.,  84.,  63.,  54.,  59.,  58.,  67.]],
       device='cuda:0')
Train accuarcate: 93.14%



iteration:
  260
    0   459   bit_w:-1  loss: 0.22491
    1   377   bit_w:-1  loss: 0.22450
    2   325   bit_w: 1  loss: 0.22457
    3   179   bit_w: 1  loss: 0.22439
    4   333   bit_w:-1  loss: 0.22441
   5421   2992   4480   5193   4190   2869   3022   6100   3087   4345
      1      0     -1      0     -1     -1     -1      1      0      0
Train accuarcate: 93.57%
tensor([[ 61.,  45.,  67.,  77.,  48.,  62.,  37.,  99.,  48.,  68.],
        [ 65.,  73., 103.,  81.,  37.,  71.,  77.,  45.,  78.,  51.],
        [ 38.,  82.,  66.,  60.,  51.,  55.,  54.,  58.,  57.,  48.],
        [100.,  41.,  67.,  66.,  42.,  65.,  76.,  64.,  61.,  66.],
        [ 57.,  52.,  62.,  41.,  89.,  55.,  64.,  64.,  61.,  68.],
        [ 37.,  87.,  61.,  64.,  49.,  51.,  51.,  63.,  60.,  53.],
        [ 43.,  57.,  52.,  62.,  97.,  72.,  55.,  62.,  71.,  73.],
        [ 36.,  61.,  60.,  66.,  67.,  67.,  59.,  63.,  65.,  82.],
        [ 74.,  49.,  74.,  44.,  73.,  81.,  86.,  48.,  66.,  74.],
        [ 56.,  49.,  47.,  66.,  74.,  61.,  48.,  79.,  78.,  92.],
        [107.,  42.,  75.,  70.,  53.,  80.,  72.,  57.,  79.,  51.],
        [ 59.,  61.,  66.,  65.,  73.,  62.,  92.,  61.,  73.,  63.],
        [ 49.,  44.,  56.,  61.,  73.,  63.,  51.,  71.,  59.,  90.],
        [102.,  40.,  73.,  68.,  52.,  72.,  62.,  65.,  83.,  70.],
        [ 35.,  91.,  60.,  67.,  46.,  55.,  58.,  54.,  68.,  55.],
        [ 69.,  54.,  60.,  81.,  55.,  86.,  56.,  67.,  75.,  62.],
        [ 52.,  49.,  56.,  59.,  68.,  58.,  51.,  77.,  72.,  95.],
        [ 69.,  44.,  74.,  78.,  52.,  60.,  40., 100.,  44.,  65.],
        [ 58.,  62.,  82.,  86.,  64.,  67.,  64.,  62.,  69.,  70.],
        [ 44.,  54.,  56.,  54.,  84.,  63.,  54.,  60.,  58.,  67.]],
       device='cuda:0')
Train accuarcate: 93.13%



iteration:
  261
    0   371   bit_w:-1  loss: 0.22418
    1   346   bit_w: 1  loss: 0.22394
    2   133   bit_w:-1  loss: 0.22389
    3   249   bit_w: 1  loss: 0.22387
    4   396   bit_w:-1  loss: 0.22382
   4137   6493   5668   6034   4156   4964   5070   5712   5488   4247
      0      0      0      0      0      0     -1      0     -1     -1
Train accuarcate: 93.61%
tensor([[ 61.,  45.,  67.,  77.,  48.,  62.,  37.,  99.,  48.,  68.],
        [ 65.,  73., 103.,  81.,  37.,  71.,  77.,  45.,  78.,  51.],
        [ 38.,  82.,  66.,  60.,  51.,  55.,  54.,  58.,  57.,  48.],
        [100.,  41.,  67.,  66.,  42.,  65.,  76.,  64.,  61.,  66.],
        [ 57.,  52.,  62.,  41.,  89.,  55.,  65.,  64.,  62.,  69.],
        [ 37.,  87.,  61.,  64.,  49.,  51.,  51.,  63.,  60.,  53.],
        [ 43.,  57.,  52.,  62.,  97.,  72.,  55.,  62.,  71.,  73.],
        [ 36.,  61.,  60.,  66.,  67.,  67.,  59.,  63.,  65.,  82.],
        [ 74.,  49.,  74.,  44.,  73.,  81.,  87.,  48.,  67.,  75.],
        [ 56.,  49.,  47.,  66.,  74.,  61.,  49.,  79.,  79.,  93.],
        [107.,  42.,  75.,  70.,  53.,  80.,  73.,  57.,  80.,  52.],
        [ 59.,  61.,  66.,  65.,  73.,  62.,  93.,  61.,  74.,  64.],
        [ 49.,  44.,  56.,  61.,  73.,  63.,  51.,  71.,  59.,  90.],
        [102.,  40.,  73.,  68.,  52.,  72.,  62.,  65.,  83.,  70.],
        [ 35.,  91.,  60.,  67.,  46.,  55.,  58.,  54.,  68.,  55.],
        [ 69.,  54.,  60.,  81.,  55.,  86.,  56.,  67.,  75.,  62.],
        [ 52.,  49.,  56.,  59.,  68.,  58.,  52.,  77.,  73.,  96.],
        [ 69.,  44.,  74.,  78.,  52.,  60.,  40., 100.,  44.,  65.],
        [ 58.,  62.,  82.,  86.,  64.,  67.,  64.,  62.,  69.,  70.],
        [ 44.,  54.,  56.,  54.,  84.,  63.,  54.,  60.,  58.,  67.]],
       device='cuda:0')
Train accuarcate: 93.15%



iteration:
  262
    0   459   bit_w:-1  loss: 0.22369
    1   461   bit_w: 1  loss: 0.22317
    2   360   bit_w:-1  loss: 0.22310
    3   305   bit_w: 1  loss: 0.22308
    4    75   bit_w:-1  loss: 0.22306
   4823   6711   5378   5786   5352   5045   4147   6227   4913   5282
     -1      0      0      0      0      0     -1      0     -1      0
Train accuarcate: 93.62%
tensor([[ 61.,  45.,  67.,  77.,  48.,  62.,  37.,  99.,  48.,  68.],
        [ 66.,  73., 103.,  81.,  37.,  71.,  78.,  45.,  79.,  51.],
        [ 38.,  82.,  66.,  60.,  51.,  55.,  54.,  58.,  57.,  48.],
        [100.,  41.,  67.,  66.,  42.,  65.,  76.,  64.,  61.,  66.],
        [ 57.,  52.,  62.,  41.,  89.,  55.,  65.,  64.,  62.,  69.],
        [ 37.,  87.,  61.,  64.,  49.,  51.,  51.,  63.,  60.,  53.],
        [ 43.,  57.,  52.,  62.,  97.,  72.,  55.,  62.,  71.,  73.],
        [ 36.,  61.,  60.,  66.,  67.,  67.,  59.,  63.,  65.,  82.],
        [ 74.,  49.,  74.,  44.,  73.,  81.,  87.,  48.,  67.,  75.],
        [ 56.,  49.,  47.,  66.,  74.,  61.,  49.,  79.,  79.,  93.],
        [107.,  42.,  75.,  70.,  53.,  80.,  73.,  57.,  80.,  52.],
        [ 59.,  61.,  66.,  65.,  73.,  62.,  93.,  61.,  74.,  64.],
        [ 49.,  44.,  56.,  61.,  73.,  63.,  51.,  71.,  59.,  90.],
        [102.,  40.,  73.,  68.,  52.,  72.,  62.,  65.,  83.,  70.],
        [ 35.,  91.,  60.,  67.,  46.,  55.,  58.,  54.,  68.,  55.],
        [ 69.,  54.,  60.,  81.,  55.,  86.,  56.,  67.,  75.,  62.],
        [ 52.,  49.,  56.,  59.,  68.,  58.,  52.,  77.,  73.,  96.],
        [ 69.,  44.,  74.,  78.,  52.,  60.,  40., 100.,  44.,  65.],
        [ 58.,  62.,  82.,  86.,  64.,  67.,  64.,  62.,  69.,  70.],
        [ 44.,  54.,  56.,  54.,  84.,  63.,  54.,  60.,  58.,  67.]],
       device='cuda:0')
Train accuarcate: 93.18%



iteration:
  263
    0   133   bit_w:-1  loss: 0.22294
    1   368   bit_w: 1  loss: 0.22285
    2   344   bit_w:-1  loss: 0.22284
    3   607   bit_w: 1  loss: 0.22259
    4   552   bit_w:-1  loss: 0.22267
   2267   6466   4079   5305   3059   3477   3426   4729   4722   3162
      0      0     -1      1     -1      0      0      0      0     -1
Train accuarcate: 93.65%
tensor([[ 61.,  45.,  67.,  78.,  48.,  62.,  37.,  99.,  48.,  68.],
        [ 66.,  73., 103.,  82.,  37.,  71.,  78.,  45.,  79.,  51.],
        [ 38.,  82.,  66.,  61.,  51.,  55.,  54.,  58.,  57.,  48.],
        [100.,  41.,  68.,  66.,  43.,  65.,  76.,  64.,  61.,  67.],
        [ 57.,  52.,  63.,  41.,  90.,  55.,  65.,  64.,  62.,  70.],
        [ 37.,  87.,  61.,  65.,  49.,  51.,  51.,  63.,  60.,  53.],
        [ 43.,  57.,  53.,  62.,  98.,  72.,  55.,  62.,  71.,  74.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  82.],
        [ 74.,  49.,  74.,  45.,  73.,  81.,  87.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  66.,  75.,  61.,  49.,  79.,  79.,  94.],
        [107.,  42.,  76.,  70.,  54.,  80.,  73.,  57.,  80.,  53.],
        [ 59.,  61.,  67.,  65.,  74.,  62.,  93.,  61.,  74.,  65.],
        [ 49.,  44.,  57.,  61.,  74.,  63.,  51.,  71.,  59.,  91.],
        [102.,  40.,  74.,  68.,  53.,  72.,  62.,  65.,  83.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  55.],
        [ 69.,  54.,  60.,  82.,  55.,  86.,  56.,  67.,  75.,  62.],
        [ 52.,  49.,  57.,  59.,  69.,  58.,  52.,  77.,  73.,  97.],
        [ 69.,  44.,  74.,  79.,  52.,  60.,  40., 100.,  44.,  65.],
        [ 58.,  62.,  82.,  87.,  64.,  67.,  64.,  62.,  69.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  67.]],
       device='cuda:0')
Train accuarcate: 93.10%



iteration:
  264
    0   126   bit_w:-1  loss: 0.22246
    1   236   bit_w:-1  loss: 0.22224
    2   634   bit_w:-1  loss: 0.22216
    3   693   bit_w: 1  loss: 0.22200
    4   192   bit_w:-1  loss: 0.22210
   4286   6462   4691   5132   5514   3951   4070   6046   4587   5218
      0     -1      0      0      0     -1     -1      0     -1      0
Train accuarcate: 93.67%
tensor([[ 61.,  45.,  67.,  78.,  48.,  62.,  37.,  99.,  48.,  68.],
        [ 66.,  73., 103.,  82.,  37.,  71.,  78.,  45.,  79.,  51.],
        [ 38.,  82.,  66.,  61.,  51.,  55.,  54.,  58.,  57.,  48.],
        [100.,  42.,  68.,  66.,  43.,  66.,  77.,  64.,  62.,  67.],
        [ 57.,  52.,  63.,  41.,  90.,  55.,  65.,  64.,  62.,  70.],
        [ 37.,  87.,  61.,  65.,  49.,  51.,  51.,  63.,  60.,  53.],
        [ 43.,  57.,  53.,  62.,  98.,  72.,  55.,  62.,  71.,  74.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  82.],
        [ 74.,  49.,  74.,  45.,  73.,  81.,  87.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  66.,  75.,  61.,  49.,  79.,  79.,  94.],
        [107.,  42.,  76.,  70.,  54.,  80.,  73.,  57.,  80.,  53.],
        [ 59.,  61.,  67.,  65.,  74.,  62.,  93.,  61.,  74.,  65.],
        [ 49.,  44.,  57.,  61.,  74.,  63.,  51.,  71.,  59.,  91.],
        [102.,  41.,  74.,  68.,  53.,  73.,  63.,  65.,  84.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  55.],
        [ 69.,  55.,  60.,  82.,  55.,  87.,  57.,  67.,  76.,  62.],
        [ 52.,  49.,  57.,  59.,  69.,  58.,  52.,  77.,  73.,  97.],
        [ 69.,  44.,  74.,  79.,  52.,  60.,  40., 100.,  44.,  65.],
        [ 58.,  63.,  82.,  87.,  64.,  68.,  65.,  62.,  70.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  67.]],
       device='cuda:0')
Train accuarcate: 93.14%



iteration:
  265
    0   303   bit_w:-1  loss: 0.22197
    1   300   bit_w:-1  loss: 0.22178
    2   296   bit_w:-1  loss: 0.22164
    3   213   bit_w: 1  loss: 0.22149
    4   718   bit_w:-1  loss: 0.22152
   5572   6706   5928   6040   5702   4926   5737   4898   5562   5543
      0      0      0      0      0     -1     -1     -1      0      0
Train accuarcate: 93.69%
tensor([[ 61.,  45.,  67.,  78.,  48.,  62.,  37.,  99.,  48.,  68.],
        [ 66.,  73., 103.,  82.,  37.,  71.,  78.,  45.,  79.,  51.],
        [ 38.,  82.,  66.,  61.,  51.,  55.,  54.,  58.,  57.,  48.],
        [100.,  42.,  68.,  66.,  43.,  66.,  77.,  64.,  62.,  67.],
        [ 57.,  52.,  63.,  41.,  90.,  55.,  65.,  64.,  62.,  70.],
        [ 37.,  87.,  61.,  65.,  49.,  51.,  51.,  63.,  60.,  53.],
        [ 43.,  57.,  53.,  62.,  98.,  72.,  55.,  62.,  71.,  74.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  82.],
        [ 74.,  49.,  74.,  45.,  73.,  81.,  87.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  66.,  75.,  61.,  49.,  79.,  79.,  94.],
        [107.,  42.,  76.,  70.,  54.,  80.,  73.,  57.,  80.,  53.],
        [ 59.,  61.,  67.,  65.,  74.,  63.,  94.,  62.,  74.,  65.],
        [ 49.,  44.,  57.,  61.,  74.,  63.,  51.,  71.,  59.,  91.],
        [102.,  41.,  74.,  68.,  53.,  73.,  63.,  65.,  84.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  55.],
        [ 69.,  55.,  60.,  82.,  55.,  87.,  57.,  67.,  76.,  62.],
        [ 52.,  49.,  57.,  59.,  69.,  58.,  52.,  77.,  73.,  97.],
        [ 69.,  44.,  74.,  79.,  52.,  61.,  41., 101.,  44.,  65.],
        [ 58.,  63.,  82.,  87.,  64.,  68.,  65.,  62.,  70.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  67.]],
       device='cuda:0')
Train accuarcate: 93.21%



iteration:
  266
    0   133   bit_w:-1  loss: 0.22140
    1   368   bit_w: 1  loss: 0.22131
    2   163   bit_w:-1  loss: 0.22130
    3   739   bit_w: 1  loss: 0.22112
    4   220   bit_w:-1  loss: 0.22123
   5643   6445   5735   6044   5061   3640   5494   6240   5296   5941
      0     -1      0      0     -1     -1     -1      0      0      0
Train accuarcate: 93.68%
tensor([[ 61.,  45.,  67.,  78.,  48.,  62.,  37.,  99.,  48.,  68.],
        [ 66.,  73., 103.,  82.,  37.,  71.,  78.,  45.,  79.,  51.],
        [ 38.,  82.,  66.,  61.,  51.,  55.,  54.,  58.,  57.,  48.],
        [100.,  42.,  68.,  66.,  43.,  66.,  77.,  64.,  62.,  67.],
        [ 57.,  52.,  63.,  41.,  90.,  55.,  65.,  64.,  62.,  70.],
        [ 37.,  87.,  61.,  65.,  49.,  51.,  51.,  63.,  60.,  53.],
        [ 43.,  57.,  53.,  62.,  98.,  72.,  55.,  62.,  71.,  74.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  82.],
        [ 74.,  50.,  74.,  45.,  74.,  82.,  88.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  66.,  75.,  61.,  49.,  79.,  79.,  94.],
        [107.,  42.,  76.,  70.,  54.,  80.,  73.,  57.,  80.,  53.],
        [ 59.,  61.,  67.,  65.,  74.,  63.,  94.,  62.,  74.,  65.],
        [ 49.,  44.,  57.,  61.,  74.,  63.,  51.,  71.,  59.,  91.],
        [102.,  41.,  74.,  68.,  53.,  73.,  63.,  65.,  84.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  55.],
        [ 69.,  55.,  60.,  82.,  55.,  87.,  57.,  67.,  76.,  62.],
        [ 52.,  49.,  57.,  59.,  69.,  58.,  52.,  77.,  73.,  97.],
        [ 69.,  44.,  74.,  79.,  52.,  61.,  41., 101.,  44.,  65.],
        [ 58.,  63.,  82.,  87.,  64.,  68.,  65.,  62.,  70.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  67.]],
       device='cuda:0')
Train accuarcate: 93.22%



iteration:
  267
    0   622   bit_w:-1  loss: 0.22112
    1   265   bit_w:-1  loss: 0.22099
    2   182   bit_w:-1  loss: 0.22064
    3   237   bit_w:-1  loss: 0.22054
    4   434   bit_w: 1  loss: 0.22046
   1713   5280   4629   4124   5190   3279   3533   3353   4122   4270
     -1     -1      0      0     -1      0      0      0      0      1
Train accuarcate: 93.69%
tensor([[ 62.,  46.,  67.,  78.,  49.,  62.,  37.,  99.,  48.,  68.],
        [ 66.,  73., 103.,  82.,  37.,  71.,  78.,  45.,  79.,  52.],
        [ 38.,  82.,  66.,  61.,  51.,  55.,  54.,  58.,  57.,  49.],
        [101.,  43.,  68.,  66.,  44.,  66.,  77.,  64.,  62.,  67.],
        [ 57.,  52.,  63.,  41.,  90.,  55.,  65.,  64.,  62.,  71.],
        [ 37.,  87.,  61.,  65.,  49.,  51.,  51.,  63.,  60.,  54.],
        [ 43.,  57.,  53.,  62.,  98.,  72.,  55.,  62.,  71.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  83.],
        [ 75.,  51.,  74.,  45.,  75.,  82.,  88.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  66.,  75.,  61.,  49.,  79.,  79.,  95.],
        [107.,  42.,  76.,  70.,  54.,  80.,  73.,  57.,  80.,  54.],
        [ 59.,  61.,  67.,  65.,  74.,  63.,  94.,  62.,  74.,  66.],
        [ 49.,  44.,  57.,  61.,  74.,  63.,  51.,  71.,  59.,  92.],
        [103.,  42.,  74.,  68.,  54.,  73.,  63.,  65.,  84.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  56.],
        [ 69.,  55.,  60.,  82.,  55.,  87.,  57.,  67.,  76.,  63.],
        [ 52.,  49.,  57.,  59.,  69.,  58.,  52.,  77.,  73.,  98.],
        [ 70.,  45.,  74.,  79.,  53.,  61.,  41., 101.,  44.,  65.],
        [ 59.,  64.,  82.,  87.,  65.,  68.,  65.,  62.,  70.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  68.]],
       device='cuda:0')
Train accuarcate: 93.23%



iteration:
  268
    0   715   bit_w:-1  loss: 0.22034
    1   631   bit_w: 1  loss: 0.22024
    2   547   bit_w: 1  loss: 0.22002
    3   292   bit_w: 1  loss: 0.21983
    4   204   bit_w:-1  loss: 0.21997
   5223   2499   3390   4040   3777   4329   5087   4403   4549   4144
      0     -1      0      0     -1     -1      0     -1      0      0
Train accuarcate: 93.71%
tensor([[ 62.,  47.,  67.,  78.,  50.,  63.,  37., 100.,  48.,  68.],
        [ 66.,  74., 103.,  82.,  38.,  72.,  78.,  46.,  79.,  52.],
        [ 38.,  83.,  66.,  61.,  52.,  56.,  54.,  59.,  57.,  49.],
        [101.,  43.,  68.,  66.,  44.,  66.,  77.,  64.,  62.,  67.],
        [ 57.,  53.,  63.,  41.,  91.,  56.,  65.,  65.,  62.,  71.],
        [ 37.,  88.,  61.,  65.,  50.,  52.,  51.,  64.,  60.,  54.],
        [ 43.,  57.,  53.,  62.,  98.,  72.,  55.,  62.,  71.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  83.],
        [ 75.,  51.,  74.,  45.,  75.,  82.,  88.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  66.,  75.,  61.,  49.,  79.,  79.,  95.],
        [107.,  42.,  76.,  70.,  54.,  80.,  73.,  57.,  80.,  54.],
        [ 59.,  61.,  67.,  65.,  74.,  63.,  94.,  62.,  74.,  66.],
        [ 49.,  44.,  57.,  61.,  74.,  63.,  51.,  71.,  59.,  92.],
        [103.,  43.,  74.,  68.,  55.,  74.,  63.,  66.,  84.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  56.],
        [ 69.,  56.,  60.,  82.,  56.,  88.,  57.,  68.,  76.,  63.],
        [ 52.,  50.,  57.,  59.,  70.,  59.,  52.,  78.,  73.,  98.],
        [ 70.,  45.,  74.,  79.,  53.,  61.,  41., 101.,  44.,  65.],
        [ 59.,  65.,  82.,  87.,  66.,  69.,  65.,  63.,  70.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  68.]],
       device='cuda:0')
Train accuarcate: 93.27%



iteration:
  269
    0   598   bit_w:-1  loss: 0.21972
    1   572   bit_w: 1  loss: 0.21943
    2   527   bit_w:-1  loss: 0.21939
    3   443   bit_w: 1  loss: 0.21931
    4   472   bit_w:-1  loss: 0.21933
   3849   6119   4408   4313   5707   3822   5389   6189   3567   5871
      0      0     -1      0      0      0     -1      0     -1      0
Train accuarcate: 93.73%
tensor([[ 62.,  47.,  67.,  78.,  50.,  63.,  37., 100.,  48.,  68.],
        [ 66.,  74., 103.,  82.,  38.,  72.,  78.,  46.,  79.,  52.],
        [ 38.,  83.,  66.,  61.,  52.,  56.,  54.,  59.,  57.,  49.],
        [101.,  43.,  68.,  66.,  44.,  66.,  77.,  64.,  62.,  67.],
        [ 57.,  53.,  63.,  41.,  91.,  56.,  65.,  65.,  62.,  71.],
        [ 37.,  88.,  61.,  65.,  50.,  52.,  51.,  64.,  60.,  54.],
        [ 43.,  57.,  53.,  62.,  98.,  72.,  55.,  62.,  71.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  83.],
        [ 75.,  51.,  74.,  45.,  75.,  82.,  88.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  66.,  75.,  61.,  49.,  79.,  79.,  95.],
        [107.,  42.,  77.,  70.,  54.,  80.,  74.,  57.,  81.,  54.],
        [ 59.,  61.,  68.,  65.,  74.,  63.,  95.,  62.,  75.,  66.],
        [ 49.,  44.,  57.,  61.,  74.,  63.,  51.,  71.,  59.,  92.],
        [103.,  43.,  75.,  68.,  55.,  74.,  64.,  66.,  85.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  56.],
        [ 69.,  56.,  61.,  82.,  56.,  88.,  58.,  68.,  77.,  63.],
        [ 52.,  50.,  57.,  59.,  70.,  59.,  52.,  78.,  73.,  98.],
        [ 70.,  45.,  74.,  79.,  53.,  61.,  41., 101.,  44.,  65.],
        [ 59.,  65.,  82.,  87.,  66.,  69.,  65.,  63.,  70.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  68.]],
       device='cuda:0')
Train accuarcate: 93.27%



iteration:
  270
    0   248   bit_w:-1  loss: 0.21921
    1    95   bit_w: 1  loss: 0.21912
    2   688   bit_w: 1  loss: 0.21914
    3   604   bit_w:-1  loss: 0.21892
    4   129   bit_w: 1  loss: 0.21880
    564   1122   1663    781    166    549   1295    150    922    188
      1      0      1      1      0      0      1      0      1      0
Train accuarcate: 93.74%
tensor([[ 62.,  47.,  67.,  78.,  50.,  63.,  37., 100.,  48.,  68.],
        [ 66.,  74., 103.,  82.,  38.,  72.,  78.,  46.,  79.,  52.],
        [ 39.,  83.,  67.,  62.,  52.,  56.,  55.,  59.,  58.,  49.],
        [101.,  43.,  68.,  66.,  44.,  66.,  77.,  64.,  62.,  67.],
        [ 58.,  53.,  64.,  42.,  91.,  56.,  66.,  65.,  63.,  71.],
        [ 37.,  88.,  61.,  65.,  50.,  52.,  51.,  64.,  60.,  54.],
        [ 43.,  57.,  53.,  62.,  98.,  72.,  55.,  62.,  71.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  83.],
        [ 75.,  51.,  74.,  45.,  75.,  82.,  88.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  66.,  75.,  61.,  49.,  79.,  79.,  95.],
        [107.,  42.,  77.,  70.,  54.,  80.,  74.,  57.,  81.,  54.],
        [ 59.,  61.,  68.,  65.,  74.,  63.,  95.,  62.,  75.,  66.],
        [ 49.,  44.,  57.,  61.,  74.,  63.,  51.,  71.,  59.,  92.],
        [104.,  43.,  76.,  69.,  55.,  74.,  65.,  66.,  86.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  56.],
        [ 70.,  56.,  62.,  83.,  56.,  88.,  59.,  68.,  78.,  63.],
        [ 52.,  50.,  57.,  59.,  70.,  59.,  52.,  78.,  73.,  98.],
        [ 70.,  45.,  74.,  79.,  53.,  61.,  41., 101.,  44.,  65.],
        [ 59.,  65.,  82.,  87.,  66.,  69.,  65.,  63.,  70.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  68.]],
       device='cuda:0')
Train accuarcate: 93.26%



iteration:
  271
    0   129   bit_w:-1  loss: 0.21868
    1   159   bit_w: 1  loss: 0.21848
    2   332   bit_w:-1  loss: 0.21849
    3   161   bit_w: 1  loss: 0.21837
    4   244   bit_w:-1  loss: 0.21838
   2711   5774   3981   4770   4418   3421   3963   4001   3872   4597
      0      0      0      0      0     -1      0      0      0      0
Train accuarcate: 93.77%
tensor([[ 62.,  47.,  67.,  78.,  50.,  64.,  37., 100.,  48.,  68.],
        [ 66.,  74., 103.,  82.,  38.,  72.,  78.,  46.,  79.,  52.],
        [ 39.,  83.,  67.,  62.,  52.,  57.,  55.,  59.,  58.,  49.],
        [101.,  43.,  68.,  66.,  44.,  66.,  77.,  64.,  62.,  67.],
        [ 58.,  53.,  64.,  42.,  91.,  57.,  66.,  65.,  63.,  71.],
        [ 37.,  88.,  61.,  65.,  50.,  52.,  51.,  64.,  60.,  54.],
        [ 43.,  57.,  53.,  62.,  98.,  73.,  55.,  62.,  71.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  83.],
        [ 75.,  51.,  74.,  45.,  75.,  82.,  88.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  66.,  75.,  62.,  49.,  79.,  79.,  95.],
        [107.,  42.,  77.,  70.,  54.,  80.,  74.,  57.,  81.,  54.],
        [ 59.,  61.,  68.,  65.,  74.,  63.,  95.,  62.,  75.,  66.],
        [ 49.,  44.,  57.,  61.,  74.,  64.,  51.,  71.,  59.,  92.],
        [104.,  43.,  76.,  69.,  55.,  74.,  65.,  66.,  86.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  56.],
        [ 70.,  56.,  62.,  83.,  56.,  89.,  59.,  68.,  78.,  63.],
        [ 52.,  50.,  57.,  59.,  70.,  59.,  52.,  78.,  73.,  98.],
        [ 70.,  45.,  74.,  79.,  53.,  61.,  41., 101.,  44.,  65.],
        [ 59.,  65.,  82.,  87.,  66.,  69.,  65.,  63.,  70.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  68.]],
       device='cuda:0')
Train accuarcate: 93.30%



iteration:
  272
    0   191   bit_w:-1  loss: 0.21827
    1   638   bit_w: 1  loss: 0.21818
    2   611   bit_w: 1  loss: 0.21821
    3   360   bit_w:-1  loss: 0.21805
    4   304   bit_w: 1  loss: 0.21813
    117      5    906     54    134    340     22     40    305    110
      0      0      1      0      0      1      0      0      0      0
Train accuarcate: 93.78%
tensor([[ 62.,  47.,  67.,  78.,  50.,  64.,  37., 100.,  48.,  68.],
        [ 66.,  74., 104.,  82.,  38.,  73.,  78.,  46.,  79.,  52.],
        [ 39.,  83.,  67.,  62.,  52.,  57.,  55.,  59.,  58.,  49.],
        [101.,  43.,  68.,  66.,  44.,  66.,  77.,  64.,  62.,  67.],
        [ 58.,  53.,  64.,  42.,  91.,  57.,  66.,  65.,  63.,  71.],
        [ 37.,  88.,  61.,  65.,  50.,  52.,  51.,  64.,  60.,  54.],
        [ 43.,  57.,  53.,  62.,  98.,  73.,  55.,  62.,  71.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  83.],
        [ 75.,  51.,  74.,  45.,  75.,  82.,  88.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  66.,  75.,  62.,  49.,  79.,  79.,  95.],
        [107.,  42.,  77.,  70.,  54.,  80.,  74.,  57.,  81.,  54.],
        [ 59.,  61.,  68.,  65.,  74.,  63.,  95.,  62.,  75.,  66.],
        [ 49.,  44.,  57.,  61.,  74.,  64.,  51.,  71.,  59.,  92.],
        [104.,  43.,  76.,  69.,  55.,  74.,  65.,  66.,  86.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  56.],
        [ 70.,  56.,  62.,  83.,  56.,  89.,  59.,  68.,  78.,  63.],
        [ 52.,  50.,  57.,  59.,  70.,  59.,  52.,  78.,  73.,  98.],
        [ 70.,  45.,  74.,  79.,  53.,  61.,  41., 101.,  44.,  65.],
        [ 59.,  65.,  83.,  87.,  66.,  70.,  65.,  63.,  70.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  68.]],
       device='cuda:0')
Train accuarcate: 93.33%



iteration:
  273
    0   622   bit_w:-1  loss: 0.21802
    1   265   bit_w:-1  loss: 0.21791
    2   242   bit_w:-1  loss: 0.21782
    3   262   bit_w: 1  loss: 0.21765
    4   368   bit_w:-1  loss: 0.21761
   4169   6513   5274   5024   5399   4229   5847   5599   4911   4901
     -1      0      0      0      0     -1      0      0     -1     -1
Train accuarcate: 93.80%
tensor([[ 62.,  47.,  67.,  78.,  50.,  64.,  37., 100.,  48.,  68.],
        [ 66.,  74., 104.,  82.,  38.,  73.,  78.,  46.,  79.,  52.],
        [ 39.,  83.,  67.,  62.,  52.,  57.,  55.,  59.,  58.,  49.],
        [101.,  43.,  68.,  66.,  44.,  66.,  77.,  64.,  62.,  67.],
        [ 58.,  53.,  64.,  42.,  91.,  57.,  66.,  65.,  63.,  71.],
        [ 37.,  88.,  61.,  65.,  50.,  52.,  51.,  64.,  60.,  54.],
        [ 43.,  57.,  53.,  62.,  98.,  73.,  55.,  62.,  71.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  83.],
        [ 75.,  51.,  74.,  45.,  75.,  82.,  88.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  66.,  75.,  62.,  49.,  79.,  79.,  95.],
        [107.,  42.,  77.,  70.,  54.,  80.,  74.,  57.,  81.,  54.],
        [ 59.,  61.,  68.,  65.,  74.,  63.,  95.,  62.,  75.,  66.],
        [ 50.,  44.,  57.,  61.,  74.,  65.,  51.,  71.,  60.,  93.],
        [104.,  43.,  76.,  69.,  55.,  74.,  65.,  66.,  86.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  56.],
        [ 70.,  56.,  62.,  83.,  56.,  89.,  59.,  68.,  78.,  63.],
        [ 52.,  50.,  57.,  59.,  70.,  59.,  52.,  78.,  73.,  98.],
        [ 70.,  45.,  74.,  79.,  53.,  61.,  41., 101.,  44.,  65.],
        [ 59.,  65.,  83.,  87.,  66.,  70.,  65.,  63.,  70.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  68.]],
       device='cuda:0')
Train accuarcate: 93.33%



iteration:
  274
    0   272   bit_w:-1  loss: 0.21749
    1   327   bit_w:-1  loss: 0.21708
    2   339   bit_w:-1  loss: 0.21705
    3   322   bit_w: 1  loss: 0.21697
    4   536   bit_w:-1  loss: 0.21691
   4477   6674   4233   5239   3930   5381   5844   4326   4221   4629
      0     -1     -1     -1     -1      0      0     -1      0      0
Train accuarcate: 93.82%
tensor([[ 62.,  48.,  68.,  79.,  51.,  64.,  37., 101.,  48.,  68.],
        [ 66.,  74., 104.,  82.,  38.,  73.,  78.,  46.,  79.,  52.],
        [ 39.,  83.,  67.,  62.,  52.,  57.,  55.,  59.,  58.,  49.],
        [101.,  43.,  68.,  66.,  44.,  66.,  77.,  64.,  62.,  67.],
        [ 58.,  54.,  65.,  43.,  92.,  57.,  66.,  66.,  63.,  71.],
        [ 37.,  88.,  61.,  65.,  50.,  52.,  51.,  64.,  60.,  54.],
        [ 43.,  58.,  54.,  63.,  99.,  73.,  55.,  63.,  71.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  83.],
        [ 75.,  51.,  74.,  45.,  75.,  82.,  88.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  66.,  75.,  62.,  49.,  79.,  79.,  95.],
        [107.,  42.,  77.,  70.,  54.,  80.,  74.,  57.,  81.,  54.],
        [ 59.,  61.,  68.,  65.,  74.,  63.,  95.,  62.,  75.,  66.],
        [ 50.,  45.,  58.,  62.,  75.,  65.,  51.,  72.,  60.,  93.],
        [104.,  44.,  77.,  70.,  56.,  74.,  65.,  67.,  86.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  56.],
        [ 70.,  56.,  62.,  83.,  56.,  89.,  59.,  68.,  78.,  63.],
        [ 52.,  51.,  58.,  60.,  71.,  59.,  52.,  79.,  73.,  98.],
        [ 70.,  46.,  75.,  80.,  54.,  61.,  41., 102.,  44.,  65.],
        [ 59.,  65.,  83.,  87.,  66.,  70.,  65.,  63.,  70.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  68.]],
       device='cuda:0')
Train accuarcate: 93.33%



iteration:
  275
    0   191   bit_w:-1  loss: 0.21682
    1   508   bit_w: 1  loss: 0.21672
    2   359   bit_w:-1  loss: 0.21673
    3   470   bit_w: 1  loss: 0.21655
    4   651   bit_w: 1  loss: 0.21664
   1836    362   1600   2162    450    798   1209    420    723    167
      0      0      1      1      0      1      0      1      0      0
Train accuarcate: 93.83%
tensor([[ 62.,  48.,  68.,  79.,  51.,  64.,  37., 101.,  48.,  68.],
        [ 66.,  74., 104.,  82.,  38.,  73.,  78.,  46.,  79.,  52.],
        [ 39.,  83.,  67.,  62.,  52.,  57.,  55.,  59.,  58.,  49.],
        [101.,  43.,  68.,  66.,  44.,  66.,  77.,  64.,  62.,  67.],
        [ 58.,  54.,  65.,  43.,  92.,  57.,  66.,  66.,  63.,  71.],
        [ 37.,  88.,  61.,  65.,  50.,  52.,  51.,  64.,  60.,  54.],
        [ 43.,  58.,  54.,  63.,  99.,  73.,  55.,  63.,  71.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  83.],
        [ 75.,  51.,  74.,  45.,  75.,  82.,  88.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  66.,  75.,  62.,  49.,  79.,  79.,  95.],
        [107.,  42.,  78.,  71.,  54.,  81.,  74.,  58.,  81.,  54.],
        [ 59.,  61.,  69.,  66.,  74.,  64.,  95.,  63.,  75.,  66.],
        [ 50.,  45.,  58.,  62.,  75.,  65.,  51.,  72.,  60.,  93.],
        [104.,  44.,  77.,  70.,  56.,  74.,  65.,  67.,  86.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  56.],
        [ 70.,  56.,  63.,  84.,  56.,  90.,  59.,  69.,  78.,  63.],
        [ 52.,  51.,  58.,  60.,  71.,  59.,  52.,  79.,  73.,  98.],
        [ 70.,  46.,  75.,  80.,  54.,  61.,  41., 102.,  44.,  65.],
        [ 59.,  65.,  84.,  88.,  66.,  71.,  65.,  64.,  70.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  68.]],
       device='cuda:0')
Train accuarcate: 93.29%



iteration:
  276
    0   622   bit_w:-1  loss: 0.21649
    1   516   bit_w: 1  loss: 0.21636
    2   486   bit_w:-1  loss: 0.21618
    3   489   bit_w: 1  loss: 0.21593
    4   332   bit_w:-1  loss: 0.21603
   3563   6633   5116   4549   5380   4614   4638   6212   4187   5462
     -1      0     -1      0      0      0      0      0     -1      0
Train accuarcate: 93.86%
tensor([[ 62.,  48.,  68.,  79.,  51.,  64.,  37., 101.,  48.,  68.],
        [ 67.,  74., 105.,  82.,  38.,  73.,  78.,  46.,  80.,  52.],
        [ 39.,  83.,  67.,  62.,  52.,  57.,  55.,  59.,  58.,  49.],
        [101.,  43.,  68.,  66.,  44.,  66.,  77.,  64.,  62.,  67.],
        [ 58.,  54.,  65.,  43.,  92.,  57.,  66.,  66.,  63.,  71.],
        [ 37.,  88.,  61.,  65.,  50.,  52.,  51.,  64.,  60.,  54.],
        [ 43.,  58.,  54.,  63.,  99.,  73.,  55.,  63.,  71.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  83.],
        [ 75.,  51.,  74.,  45.,  75.,  82.,  88.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  66.,  75.,  62.,  49.,  79.,  79.,  95.],
        [107.,  42.,  78.,  71.,  54.,  81.,  74.,  58.,  81.,  54.],
        [ 59.,  61.,  69.,  66.,  74.,  64.,  95.,  63.,  75.,  66.],
        [ 50.,  45.,  58.,  62.,  75.,  65.,  51.,  72.,  60.,  93.],
        [104.,  44.,  77.,  70.,  56.,  74.,  65.,  67.,  86.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  56.],
        [ 70.,  56.,  63.,  84.,  56.,  90.,  59.,  69.,  78.,  63.],
        [ 52.,  51.,  58.,  60.,  71.,  59.,  52.,  79.,  73.,  98.],
        [ 70.,  46.,  75.,  80.,  54.,  61.,  41., 102.,  44.,  65.],
        [ 60.,  65.,  85.,  88.,  66.,  71.,  65.,  64.,  71.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  68.]],
       device='cuda:0')
Train accuarcate: 93.30%



iteration:
  277
    0   486   bit_w:-1  loss: 0.21592
    1   405   bit_w:-1  loss: 0.21557
    2    95   bit_w:-1  loss: 0.21559
    3   205   bit_w: 1  loss: 0.21545
    4    97   bit_w:-1  loss: 0.21555
   5802   6085   4445   5922   5568   5276   3661   6230   3807   5661
     -1     -1     -1      0      0      0     -1      0      0      0
Train accuarcate: 93.88%
tensor([[ 62.,  48.,  68.,  79.,  51.,  64.,  37., 101.,  48.,  68.],
        [ 68.,  75., 106.,  82.,  38.,  73.,  79.,  46.,  80.,  52.],
        [ 39.,  83.,  67.,  62.,  52.,  57.,  55.,  59.,  58.,  49.],
        [101.,  43.,  68.,  66.,  44.,  66.,  77.,  64.,  62.,  67.],
        [ 58.,  54.,  65.,  43.,  92.,  57.,  66.,  66.,  63.,  71.],
        [ 37.,  88.,  61.,  65.,  50.,  52.,  51.,  64.,  60.,  54.],
        [ 43.,  58.,  54.,  63.,  99.,  73.,  55.,  63.,  71.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  83.],
        [ 75.,  51.,  74.,  45.,  75.,  82.,  88.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  66.,  75.,  62.,  49.,  79.,  79.,  95.],
        [107.,  42.,  78.,  71.,  54.,  81.,  74.,  58.,  81.,  54.],
        [ 60.,  62.,  70.,  66.,  74.,  64.,  96.,  63.,  75.,  66.],
        [ 50.,  45.,  58.,  62.,  75.,  65.,  51.,  72.,  60.,  93.],
        [104.,  44.,  77.,  70.,  56.,  74.,  65.,  67.,  86.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  56.],
        [ 70.,  56.,  63.,  84.,  56.,  90.,  59.,  69.,  78.,  63.],
        [ 52.,  51.,  58.,  60.,  71.,  59.,  52.,  79.,  73.,  98.],
        [ 70.,  46.,  75.,  80.,  54.,  61.,  41., 102.,  44.,  65.],
        [ 61.,  66.,  86.,  88.,  66.,  71.,  66.,  64.,  71.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  68.]],
       device='cuda:0')
Train accuarcate: 93.30%



iteration:
  278
    0   595   bit_w:-1  loss: 0.21538
    1   543   bit_w: 1  loss: 0.21523
    2   541   bit_w: 1  loss: 0.21522
    3   654   bit_w:-1  loss: 0.21498
    4   582   bit_w:-1  loss: 0.21507
   3171   6587   4967   2071   5373   2408   5852   4986   4656   5110
      0      0      0     -1      0     -1      0      0      0     -1
Train accuarcate: 93.89%
tensor([[ 62.,  48.,  68.,  79.,  51.,  64.,  37., 101.,  48.,  68.],
        [ 68.,  75., 106.,  82.,  38.,  73.,  79.,  46.,  80.,  52.],
        [ 39.,  83.,  67.,  62.,  52.,  57.,  55.,  59.,  58.,  49.],
        [101.,  43.,  68.,  66.,  44.,  66.,  77.,  64.,  62.,  67.],
        [ 58.,  54.,  65.,  43.,  92.,  57.,  66.,  66.,  63.,  71.],
        [ 37.,  88.,  61.,  65.,  50.,  52.,  51.,  64.,  60.,  54.],
        [ 43.,  58.,  54.,  63.,  99.,  73.,  55.,  63.,  71.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  65.,  83.],
        [ 75.,  51.,  74.,  45.,  75.,  82.,  88.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  67.,  75.,  63.,  49.,  79.,  79.,  96.],
        [107.,  42.,  78.,  72.,  54.,  82.,  74.,  58.,  81.,  55.],
        [ 60.,  62.,  70.,  66.,  74.,  64.,  96.,  63.,  75.,  66.],
        [ 50.,  45.,  58.,  62.,  75.,  65.,  51.,  72.,  60.,  93.],
        [104.,  44.,  77.,  70.,  56.,  74.,  65.,  67.,  86.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  68.,  56.],
        [ 70.,  56.,  63.,  85.,  56.,  91.,  59.,  69.,  78.,  64.],
        [ 52.,  51.,  58.,  60.,  71.,  59.,  52.,  79.,  73.,  98.],
        [ 70.,  46.,  75.,  80.,  54.,  61.,  41., 102.,  44.,  65.],
        [ 61.,  66.,  86.,  88.,  66.,  71.,  66.,  64.,  71.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  58.,  68.]],
       device='cuda:0')
Train accuarcate: 93.35%



iteration:
  279
    0   272   bit_w:-1  loss: 0.21483
    1   356   bit_w: 1  loss: 0.21453
    2   275   bit_w:-1  loss: 0.21467
    3   132   bit_w: 1  loss: 0.21422
    4   217   bit_w: 1  loss: 0.21449
   1852    571   1084    613   1142   2148   2357    753   1076    864
      0      0      0      0      0      1      1      0     -1      0
Train accuarcate: 93.87%
tensor([[ 62.,  48.,  68.,  79.,  51.,  64.,  37., 101.,  49.,  68.],
        [ 68.,  75., 106.,  82.,  38.,  73.,  79.,  46.,  81.,  52.],
        [ 39.,  83.,  67.,  62.,  52.,  57.,  55.,  59.,  59.,  49.],
        [101.,  43.,  68.,  66.,  44.,  67.,  78.,  64.,  62.,  67.],
        [ 58.,  54.,  65.,  43.,  92.,  57.,  66.,  66.,  64.,  71.],
        [ 37.,  88.,  61.,  65.,  50.,  52.,  51.,  64.,  61.,  54.],
        [ 43.,  58.,  54.,  63.,  99.,  73.,  55.,  63.,  72.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  66.,  83.],
        [ 75.,  51.,  74.,  45.,  75.,  83.,  89.,  48.,  67.,  75.],
        [ 56.,  49.,  48.,  67.,  75.,  63.,  49.,  79.,  80.,  96.],
        [107.,  42.,  78.,  72.,  54.,  82.,  74.,  58.,  82.,  55.],
        [ 60.,  62.,  70.,  66.,  74.,  64.,  96.,  63.,  76.,  66.],
        [ 50.,  45.,  58.,  62.,  75.,  65.,  51.,  72.,  61.,  93.],
        [104.,  44.,  77.,  70.,  56.,  74.,  65.,  67.,  87.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  69.,  56.],
        [ 70.,  56.,  63.,  85.,  56.,  91.,  59.,  69.,  79.,  64.],
        [ 52.,  51.,  58.,  60.,  71.,  59.,  52.,  79.,  74.,  98.],
        [ 70.,  46.,  75.,  80.,  54.,  61.,  41., 102.,  45.,  65.],
        [ 61.,  66.,  86.,  88.,  66.,  71.,  66.,  64.,  72.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  59.,  68.]],
       device='cuda:0')
Train accuarcate: 93.40%



iteration:
  280
    0   655   bit_w:-1  loss: 0.21427
    1   544   bit_w:-1  loss: 0.21394
    2   584   bit_w:-1  loss: 0.21396
    3   708   bit_w: 1  loss: 0.21384
    4   736   bit_w:-1  loss: 0.21397
   5628   4779   5179   5981   5303   5289   5879   5203   4627   5599
      0     -1     -1      0     -1      0      0     -1      0      0
Train accuarcate: 93.88%
tensor([[ 62.,  48.,  68.,  79.,  51.,  64.,  37., 101.,  49.,  68.],
        [ 68.,  75., 106.,  82.,  38.,  73.,  79.,  46.,  81.,  52.],
        [ 39.,  84.,  68.,  62.,  53.,  57.,  55.,  60.,  59.,  49.],
        [101.,  44.,  69.,  66.,  45.,  67.,  78.,  65.,  62.,  67.],
        [ 58.,  54.,  65.,  43.,  92.,  57.,  66.,  66.,  64.,  71.],
        [ 37.,  89.,  62.,  65.,  51.,  52.,  51.,  65.,  61.,  54.],
        [ 43.,  58.,  54.,  63.,  99.,  73.,  55.,  63.,  72.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  66.,  83.],
        [ 75.,  51.,  74.,  45.,  75.,  83.,  89.,  48.,  67.,  75.],
        [ 56.,  50.,  49.,  67.,  76.,  63.,  49.,  80.,  80.,  96.],
        [107.,  42.,  78.,  72.,  54.,  82.,  74.,  58.,  82.,  55.],
        [ 60.,  62.,  70.,  66.,  74.,  64.,  96.,  63.,  76.,  66.],
        [ 50.,  45.,  58.,  62.,  75.,  65.,  51.,  72.,  61.,  93.],
        [104.,  44.,  77.,  70.,  56.,  74.,  65.,  67.,  87.,  71.],
        [ 35.,  91.,  60.,  68.,  46.,  55.,  58.,  54.,  69.,  56.],
        [ 70.,  56.,  63.,  85.,  56.,  91.,  59.,  69.,  79.,  64.],
        [ 52.,  51.,  58.,  60.,  71.,  59.,  52.,  79.,  74.,  98.],
        [ 70.,  46.,  75.,  80.,  54.,  61.,  41., 102.,  45.,  65.],
        [ 61.,  66.,  86.,  88.,  66.,  71.,  66.,  64.,  72.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  59.,  68.]],
       device='cuda:0')
Train accuarcate: 93.41%



iteration:
  281
    0   189   bit_w:-1  loss: 0.21379
    1   606   bit_w: 1  loss: 0.21363
    2   126   bit_w:-1  loss: 0.21361
    3   579   bit_w: 1  loss: 0.21352
    4   159   bit_w:-1  loss: 0.21354
   3905   4186   4007   4563   4123   3731   4035   6121   3731   5759
     -1     -1      0     -1      0      0      0      0     -1      0
Train accuarcate: 93.89%
tensor([[ 62.,  48.,  68.,  79.,  51.,  64.,  37., 101.,  49.,  68.],
        [ 68.,  75., 106.,  82.,  38.,  73.,  79.,  46.,  81.,  52.],
        [ 39.,  84.,  68.,  62.,  53.,  57.,  55.,  60.,  59.,  49.],
        [101.,  44.,  69.,  66.,  45.,  67.,  78.,  65.,  62.,  67.],
        [ 58.,  54.,  65.,  43.,  92.,  57.,  66.,  66.,  64.,  71.],
        [ 37.,  89.,  62.,  65.,  51.,  52.,  51.,  65.,  61.,  54.],
        [ 44.,  59.,  54.,  64.,  99.,  73.,  55.,  63.,  73.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  66.,  83.],
        [ 75.,  51.,  74.,  45.,  75.,  83.,  89.,  48.,  67.,  75.],
        [ 56.,  50.,  49.,  67.,  76.,  63.,  49.,  80.,  80.,  96.],
        [107.,  42.,  78.,  72.,  54.,  82.,  74.,  58.,  82.,  55.],
        [ 60.,  62.,  70.,  66.,  74.,  64.,  96.,  63.,  76.,  66.],
        [ 50.,  45.,  58.,  62.,  75.,  65.,  51.,  72.,  61.,  93.],
        [104.,  44.,  77.,  70.,  56.,  74.,  65.,  67.,  87.,  71.],
        [ 36.,  92.,  60.,  69.,  46.,  55.,  58.,  54.,  70.,  56.],
        [ 71.,  57.,  63.,  86.,  56.,  91.,  59.,  69.,  80.,  64.],
        [ 52.,  51.,  58.,  60.,  71.,  59.,  52.,  79.,  74.,  98.],
        [ 70.,  46.,  75.,  80.,  54.,  61.,  41., 102.,  45.,  65.],
        [ 61.,  66.,  86.,  88.,  66.,  71.,  66.,  64.,  72.,  70.],
        [ 44.,  54.,  56.,  55.,  84.,  63.,  54.,  60.,  59.,  68.]],
       device='cuda:0')
Train accuarcate: 93.37%



iteration:
  282
    0   414   bit_w:-1  loss: 0.21339
    1   348   bit_w: 1  loss: 0.21327
    2   400   bit_w:-1  loss: 0.21323
    3   321   bit_w: 1  loss: 0.21306
    4   425   bit_w:-1  loss: 0.21297
   2037   6738   5272   5941   2132   4621   3805   5629   5454   3024
     -1      0      0      0     -1      0     -1      0      0     -1
Train accuarcate: 93.89%
tensor([[ 62.,  48.,  68.,  79.,  51.,  64.,  37., 101.,  49.,  68.],
        [ 68.,  75., 106.,  82.,  38.,  73.,  79.,  46.,  81.,  52.],
        [ 39.,  84.,  68.,  62.,  53.,  57.,  55.,  60.,  59.,  49.],
        [102.,  44.,  69.,  66.,  46.,  67.,  79.,  65.,  62.,  68.],
        [ 59.,  54.,  65.,  43.,  93.,  57.,  67.,  66.,  64.,  72.],
        [ 37.,  89.,  62.,  65.,  51.,  52.,  51.,  65.,  61.,  54.],
        [ 44.,  59.,  54.,  64.,  99.,  73.,  55.,  63.,  73.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  66.,  83.],
        [ 76.,  51.,  74.,  45.,  76.,  83.,  90.,  48.,  67.,  76.],
        [ 57.,  50.,  49.,  67.,  77.,  63.,  50.,  80.,  80.,  97.],
        [108.,  42.,  78.,  72.,  55.,  82.,  75.,  58.,  82.,  56.],
        [ 61.,  62.,  70.,  66.,  75.,  64.,  97.,  63.,  76.,  67.],
        [ 51.,  45.,  58.,  62.,  76.,  65.,  52.,  72.,  61.,  94.],
        [105.,  44.,  77.,  70.,  57.,  74.,  66.,  67.,  87.,  72.],
        [ 36.,  92.,  60.,  69.,  46.,  55.,  58.,  54.,  70.,  56.],
        [ 71.,  57.,  63.,  86.,  56.,  91.,  59.,  69.,  80.,  64.],
        [ 53.,  51.,  58.,  60.,  72.,  59.,  53.,  79.,  74.,  99.],
        [ 70.,  46.,  75.,  80.,  54.,  61.,  41., 102.,  45.,  65.],
        [ 61.,  66.,  86.,  88.,  66.,  71.,  66.,  64.,  72.,  70.],
        [ 45.,  54.,  56.,  55.,  85.,  63.,  55.,  60.,  59.,  69.]],
       device='cuda:0')
Train accuarcate: 93.36%



iteration:
  283
    0   344   bit_w:-1  loss: 0.21279
    1   430   bit_w: 1  loss: 0.21239
    2   256   bit_w:-1  loss: 0.21244
    3   443   bit_w: 1  loss: 0.21225
    4   174   bit_w:-1  loss: 0.21240
   4183   6724   5442   5332   4988   4354   5339   4044   5316   4869
      0      0     -1     -1      0      0      0     -1      0      0
Train accuarcate: 93.91%
tensor([[ 62.,  48.,  68.,  79.,  51.,  64.,  37., 101.,  49.,  68.],
        [ 68.,  75., 106.,  82.,  38.,  73.,  79.,  46.,  81.,  52.],
        [ 39.,  84.,  68.,  62.,  53.,  57.,  55.,  60.,  59.,  49.],
        [102.,  44.,  70.,  67.,  46.,  67.,  79.,  66.,  62.,  68.],
        [ 59.,  54.,  66.,  44.,  93.,  57.,  67.,  67.,  64.,  72.],
        [ 37.,  89.,  62.,  65.,  51.,  52.,  51.,  65.,  61.,  54.],
        [ 44.,  59.,  55.,  65.,  99.,  73.,  55.,  64.,  73.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  66.,  83.],
        [ 76.,  51.,  74.,  45.,  76.,  83.,  90.,  48.,  67.,  76.],
        [ 57.,  50.,  49.,  67.,  77.,  63.,  50.,  80.,  80.,  97.],
        [108.,  42.,  79.,  73.,  55.,  82.,  75.,  59.,  82.,  56.],
        [ 61.,  62.,  71.,  67.,  75.,  64.,  97.,  64.,  76.,  67.],
        [ 51.,  45.,  58.,  62.,  76.,  65.,  52.,  72.,  61.,  94.],
        [105.,  44.,  78.,  71.,  57.,  74.,  66.,  68.,  87.,  72.],
        [ 36.,  92.,  60.,  69.,  46.,  55.,  58.,  54.,  70.,  56.],
        [ 71.,  57.,  64.,  87.,  56.,  91.,  59.,  70.,  80.,  64.],
        [ 53.,  51.,  59.,  61.,  72.,  59.,  53.,  80.,  74.,  99.],
        [ 70.,  46.,  75.,  80.,  54.,  61.,  41., 102.,  45.,  65.],
        [ 61.,  66.,  87.,  89.,  66.,  71.,  66.,  65.,  72.,  70.],
        [ 45.,  54.,  56.,  55.,  85.,  63.,  55.,  60.,  59.,  69.]],
       device='cuda:0')
Train accuarcate: 93.36%



iteration:
  284
    0   623   bit_w:-1  loss: 0.21229
    1   459   bit_w: 1  loss: 0.21213
    2   345   bit_w:-1  loss: 0.21205
    3   443   bit_w: 1  loss: 0.21175
    4   442   bit_w: 1  loss: 0.21196
   1709    792   2537    747   1746    492   3336    493   1696   1016
      1      0      0      1      1      0      1      1      0      0
Train accuarcate: 93.94%
tensor([[ 62.,  48.,  68.,  79.,  51.,  64.,  37., 101.,  49.,  68.],
        [ 69.,  75., 106.,  83.,  39.,  73.,  80.,  47.,  81.,  52.],
        [ 39.,  84.,  68.,  62.,  53.,  57.,  55.,  60.,  59.,  49.],
        [102.,  44.,  70.,  67.,  46.,  67.,  79.,  66.,  62.,  68.],
        [ 59.,  54.,  66.,  44.,  93.,  57.,  67.,  67.,  64.,  72.],
        [ 37.,  89.,  62.,  65.,  51.,  52.,  51.,  65.,  61.,  54.],
        [ 44.,  59.,  55.,  65.,  99.,  73.,  55.,  64.,  73.,  75.],
        [ 36.,  61.,  60.,  67.,  67.,  67.,  59.,  63.,  66.,  83.],
        [ 77.,  51.,  74.,  46.,  77.,  83.,  91.,  49.,  67.,  76.],
        [ 57.,  50.,  49.,  67.,  77.,  63.,  50.,  80.,  80.,  97.],
        [108.,  42.,  79.,  73.,  55.,  82.,  75.,  59.,  82.,  56.],
        [ 62.,  62.,  71.,  68.,  76.,  64.,  98.,  65.,  76.,  67.],
        [ 51.,  45.,  58.,  62.,  76.,  65.,  52.,  72.,  61.,  94.],
        [105.,  44.,  78.,  71.,  57.,  74.,  66.,  68.,  87.,  72.],
        [ 36.,  92.,  60.,  69.,  46.,  55.,  58.,  54.,  70.,  56.],
        [ 71.,  57.,  64.,  87.,  56.,  91.,  59.,  70.,  80.,  64.],
        [ 53.,  51.,  59.,  61.,  72.,  59.,  53.,  80.,  74.,  99.],
        [ 70.,  46.,  75.,  80.,  54.,  61.,  41., 102.,  45.,  65.],
        [ 61.,  66.,  87.,  89.,  66.,  71.,  66.,  65.,  72.,  70.],
        [ 45.,  54.,  56.,  55.,  85.,  63.,  55.,  60.,  59.,  69.]],
       device='cuda:0')
Train accuarcate: 93.39%



iteration:
  285
    0   595   bit_w:-1  loss: 0.21183
    1   456   bit_w:-1  loss: 0.21165
    2   371   bit_w:-1  loss: 0.21157
    3   425   bit_w: 1  loss: 0.21152
    4   258   bit_w:-1  loss: 0.21146
   2785   6735   4712   5827   4524   4788   4949   6024   5321   4853
     -1     -1      1      0      0      0     -1      0     -1     -1
Train accuarcate: 93.97%
tensor([[ 62.,  48.,  69.,  79.,  51.,  64.,  37., 101.,  49.,  68.],
        [ 69.,  75., 107.,  83.,  39.,  73.,  80.,  47.,  81.,  52.],
        [ 39.,  84.,  69.,  62.,  53.,  57.,  55.,  60.,  59.,  49.],
        [102.,  44.,  71.,  67.,  46.,  67.,  79.,  66.,  62.,  68.],
        [ 60.,  55.,  66.,  44.,  93.,  57.,  68.,  67.,  65.,  73.],
        [ 37.,  89.,  63.,  65.,  51.,  52.,  51.,  65.,  61.,  54.],
        [ 44.,  59.,  56.,  65.,  99.,  73.,  55.,  64.,  73.,  75.],
        [ 36.,  61.,  61.,  67.,  67.,  67.,  59.,  63.,  66.,  83.],
        [ 77.,  51.,  75.,  46.,  77.,  83.,  91.,  49.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  77.,  63.,  50.,  80.,  80.,  97.],
        [109.,  43.,  79.,  73.,  55.,  82.,  76.,  59.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  76.,  64.,  99.,  65.,  77.,  68.],
        [ 51.,  45.,  59.,  62.,  76.,  65.,  52.,  72.,  61.,  94.],
        [105.,  44.,  79.,  71.,  57.,  74.,  66.,  68.,  87.,  72.],
        [ 36.,  92.,  61.,  69.,  46.,  55.,  58.,  54.,  70.,  56.],
        [ 71.,  57.,  65.,  87.,  56.,  91.,  59.,  70.,  80.,  64.],
        [ 54.,  52.,  59.,  61.,  72.,  59.,  54.,  80.,  75., 100.],
        [ 70.,  46.,  76.,  80.,  54.,  61.,  41., 102.,  45.,  65.],
        [ 61.,  66.,  88.,  89.,  66.,  71.,  66.,  65.,  72.,  70.],
        [ 45.,  54.,  57.,  55.,  85.,  63.,  55.,  60.,  59.,  69.]],
       device='cuda:0')
Train accuarcate: 93.46%



iteration:
  286
    0   524   bit_w:-1  loss: 0.21127
    1   633   bit_w:-1  loss: 0.21110
    2   471   bit_w:-1  loss: 0.21105
    3   190   bit_w: 1  loss: 0.21103
    4   712   bit_w:-1  loss: 0.21098
   3659   6741   5612   4351   5682   4490   5015   6087   5234   5833
     -1      0      0     -1      0     -1      0     -1      0      0
Train accuarcate: 93.99%
tensor([[ 62.,  48.,  69.,  79.,  51.,  64.,  37., 101.,  49.,  68.],
        [ 69.,  75., 107.,  83.,  39.,  73.,  80.,  47.,  81.,  52.],
        [ 39.,  84.,  69.,  62.,  53.,  57.,  55.,  60.,  59.,  49.],
        [102.,  44.,  71.,  67.,  46.,  67.,  79.,  66.,  62.,  68.],
        [ 60.,  55.,  66.,  44.,  93.,  57.,  68.,  67.,  65.,  73.],
        [ 37.,  89.,  63.,  65.,  51.,  52.,  51.,  65.,  61.,  54.],
        [ 44.,  59.,  56.,  65.,  99.,  73.,  55.,  64.,  73.,  75.],
        [ 36.,  61.,  61.,  67.,  67.,  67.,  59.,  63.,  66.,  83.],
        [ 77.,  51.,  75.,  46.,  77.,  83.,  91.,  49.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  77.,  63.,  50.,  80.,  80.,  97.],
        [110.,  43.,  79.,  74.,  55.,  83.,  76.,  60.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  76.,  64.,  99.,  65.,  77.,  68.],
        [ 51.,  45.,  59.,  62.,  76.,  65.,  52.,  72.,  61.,  94.],
        [106.,  44.,  79.,  72.,  57.,  75.,  66.,  69.,  87.,  72.],
        [ 36.,  92.,  61.,  69.,  46.,  55.,  58.,  54.,  70.,  56.],
        [ 71.,  57.,  65.,  87.,  56.,  91.,  59.,  70.,  80.,  64.],
        [ 54.,  52.,  59.,  61.,  72.,  59.,  54.,  80.,  75., 100.],
        [ 70.,  46.,  76.,  80.,  54.,  61.,  41., 102.,  45.,  65.],
        [ 62.,  66.,  88.,  90.,  66.,  72.,  66.,  66.,  72.,  70.],
        [ 45.,  54.,  57.,  55.,  85.,  63.,  55.,  60.,  59.,  69.]],
       device='cuda:0')
Train accuarcate: 93.53%



iteration:
  287
    0   155   bit_w:-1  loss: 0.21085
    1   267   bit_w:-1  loss: 0.21045
    2   535   bit_w:-1  loss: 0.21041
    3   216   bit_w: 1  loss: 0.21036
    4   563   bit_w:-1  loss: 0.21033
   5517   4517   5215   4733   5675   5345   5616   6241   5569   5903
      0     -1      0     -1     -1      0      0      0      0      0
Train accuarcate: 94.01%
tensor([[ 62.,  48.,  69.,  79.,  51.,  64.,  37., 101.,  49.,  68.],
        [ 69.,  76., 107.,  84.,  40.,  73.,  80.,  47.,  81.,  52.],
        [ 39.,  84.,  69.,  62.,  53.,  57.,  55.,  60.,  59.,  49.],
        [102.,  45.,  71.,  68.,  47.,  67.,  79.,  66.,  62.,  68.],
        [ 60.,  55.,  66.,  44.,  93.,  57.,  68.,  67.,  65.,  73.],
        [ 37.,  89.,  63.,  65.,  51.,  52.,  51.,  65.,  61.,  54.],
        [ 44.,  59.,  56.,  65.,  99.,  73.,  55.,  64.,  73.,  75.],
        [ 36.,  61.,  61.,  67.,  67.,  67.,  59.,  63.,  66.,  83.],
        [ 77.,  51.,  75.,  46.,  77.,  83.,  91.,  49.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  77.,  63.,  50.,  80.,  80.,  97.],
        [110.,  43.,  79.,  74.,  55.,  83.,  76.,  60.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  76.,  64.,  99.,  65.,  77.,  68.],
        [ 51.,  45.,  59.,  62.,  76.,  65.,  52.,  72.,  61.,  94.],
        [106.,  44.,  79.,  72.,  57.,  75.,  66.,  69.,  87.,  72.],
        [ 36.,  93.,  61.,  70.,  47.,  55.,  58.,  54.,  70.,  56.],
        [ 71.,  57.,  65.,  87.,  56.,  91.,  59.,  70.,  80.,  64.],
        [ 54.,  52.,  59.,  61.,  72.,  59.,  54.,  80.,  75., 100.],
        [ 70.,  46.,  76.,  80.,  54.,  61.,  41., 102.,  45.,  65.],
        [ 62.,  66.,  88.,  90.,  66.,  72.,  66.,  66.,  72.,  70.],
        [ 45.,  54.,  57.,  55.,  85.,  63.,  55.,  60.,  59.,  69.]],
       device='cuda:0')
Train accuarcate: 93.60%



iteration:
  288
    0   153   bit_w:-1  loss: 0.21022
    1   236   bit_w:-1  loss: 0.20986
    2    74   bit_w:-1  loss: 0.20985
    3   273   bit_w: 1  loss: 0.20977
    4   101   bit_w:-1  loss: 0.20983
   5162   6203   4995   5520   5606   4749   3227   6254   5131   5882
     -1     -1      0      0     -1     -1     -1      0      0      0
Train accuarcate: 94.03%
tensor([[ 62.,  48.,  69.,  79.,  51.,  64.,  37., 101.,  49.,  68.],
        [ 69.,  76., 107.,  84.,  40.,  73.,  80.,  47.,  81.,  52.],
        [ 39.,  84.,  69.,  62.,  53.,  57.,  55.,  60.,  59.,  49.],
        [103.,  46.,  71.,  68.,  48.,  68.,  80.,  66.,  62.,  68.],
        [ 60.,  55.,  66.,  44.,  93.,  57.,  68.,  67.,  65.,  73.],
        [ 37.,  89.,  63.,  65.,  51.,  52.,  51.,  65.,  61.,  54.],
        [ 44.,  59.,  56.,  65.,  99.,  73.,  55.,  64.,  73.,  75.],
        [ 36.,  61.,  61.,  67.,  67.,  67.,  59.,  63.,  66.,  83.],
        [ 77.,  51.,  75.,  46.,  77.,  83.,  91.,  49.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  77.,  63.,  50.,  80.,  80.,  97.],
        [110.,  43.,  79.,  74.,  55.,  83.,  76.,  60.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  76.,  64.,  99.,  65.,  77.,  68.],
        [ 51.,  45.,  59.,  62.,  76.,  65.,  52.,  72.,  61.,  94.],
        [106.,  44.,  79.,  72.,  57.,  75.,  66.,  69.,  87.,  72.],
        [ 36.,  93.,  61.,  70.,  47.,  55.,  58.,  54.,  70.,  56.],
        [ 71.,  57.,  65.,  87.,  56.,  91.,  59.,  70.,  80.,  64.],
        [ 54.,  52.,  59.,  61.,  72.,  59.,  54.,  80.,  75., 100.],
        [ 70.,  46.,  76.,  80.,  54.,  61.,  41., 102.,  45.,  65.],
        [ 62.,  66.,  88.,  90.,  66.,  72.,  66.,  66.,  72.,  70.],
        [ 45.,  54.,  57.,  55.,  85.,  63.,  55.,  60.,  59.,  69.]],
       device='cuda:0')
Train accuarcate: 93.59%



iteration:
  289
    0   153   bit_w:-1  loss: 0.20970
    1   296   bit_w:-1  loss: 0.20946
    2   710   bit_w:-1  loss: 0.20942
    3   328   bit_w: 1  loss: 0.20937
    4   717   bit_w:-1  loss: 0.20934
   5799   6507   4568   3452   5686   5267   5874   5664   5104   5349
      0      0     -1     -1      0      0      0      0     -1     -1
Train accuarcate: 94.03%
tensor([[ 62.,  48.,  69.,  79.,  51.,  64.,  37., 101.,  49.,  68.],
        [ 69.,  76., 107.,  84.,  40.,  73.,  80.,  47.,  81.,  52.],
        [ 39.,  84.,  69.,  62.,  53.,  57.,  55.,  60.,  59.,  49.],
        [103.,  46.,  71.,  68.,  48.,  68.,  80.,  66.,  62.,  68.],
        [ 60.,  55.,  66.,  44.,  93.,  57.,  68.,  67.,  65.,  73.],
        [ 37.,  89.,  63.,  65.,  51.,  52.,  51.,  65.,  61.,  54.],
        [ 44.,  59.,  56.,  65.,  99.,  73.,  55.,  64.,  73.,  75.],
        [ 36.,  61.,  61.,  67.,  67.,  67.,  59.,  63.,  66.,  83.],
        [ 77.,  51.,  75.,  46.,  77.,  83.,  91.,  49.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  77.,  63.,  50.,  80.,  80.,  97.],
        [110.,  43.,  79.,  74.,  55.,  83.,  76.,  60.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  76.,  64.,  99.,  65.,  77.,  68.],
        [ 51.,  45.,  59.,  62.,  76.,  65.,  52.,  72.,  61.,  94.],
        [106.,  44.,  79.,  72.,  57.,  75.,  66.,  69.,  87.,  72.],
        [ 36.,  93.,  61.,  70.,  47.,  55.,  58.,  54.,  70.,  56.],
        [ 71.,  57.,  65.,  87.,  56.,  91.,  59.,  70.,  80.,  64.],
        [ 54.,  52.,  59.,  61.,  72.,  59.,  54.,  80.,  75., 100.],
        [ 70.,  46.,  76.,  80.,  54.,  61.,  41., 102.,  45.,  65.],
        [ 62.,  66.,  88.,  90.,  66.,  72.,  66.,  66.,  72.,  70.],
        [ 45.,  54.,  57.,  55.,  85.,  63.,  55.,  60.,  59.,  69.]],
       device='cuda:0')
Train accuarcate: 93.58%



iteration:
  290
    0   128   bit_w:-1  loss: 0.20921
    1   215   bit_w: 1  loss: 0.20903
    2   270   bit_w:-1  loss: 0.20890
    3   214   bit_w: 1  loss: 0.20880
    4   332   bit_w:-1  loss: 0.20860
   4910   5688   4332   5209   5251   4035   3316   3761   4856   4407
      0      0      0      0      1     -1      0      0      0     -1
Train accuarcate: 94.02%
tensor([[ 62.,  48.,  69.,  79.,  51.,  65.,  37., 101.,  49.,  69.],
        [ 69.,  76., 107.,  84.,  40.,  74.,  80.,  47.,  81.,  53.],
        [ 39.,  84.,  69.,  62.,  54.,  57.,  55.,  60.,  59.,  49.],
        [103.,  46.,  71.,  68.,  48.,  69.,  80.,  66.,  62.,  69.],
        [ 60.,  55.,  66.,  44.,  94.,  57.,  68.,  67.,  65.,  73.],
        [ 37.,  89.,  63.,  65.,  52.,  52.,  51.,  65.,  61.,  54.],
        [ 44.,  59.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  75.],
        [ 36.,  61.,  61.,  67.,  68.,  67.,  59.,  63.,  66.,  83.],
        [ 77.,  51.,  75.,  46.,  78.,  83.,  91.,  49.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  77.,  64.,  50.,  80.,  80.,  98.],
        [110.,  43.,  79.,  74.,  56.,  83.,  76.,  60.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  77.,  64.,  99.,  65.,  77.,  68.],
        [ 51.,  45.,  59.,  62.,  77.,  65.,  52.,  72.,  61.,  94.],
        [106.,  44.,  79.,  72.,  58.,  75.,  66.,  69.,  87.,  72.],
        [ 36.,  93.,  61.,  70.,  48.,  55.,  58.,  54.,  70.,  56.],
        [ 71.,  57.,  65.,  87.,  56.,  92.,  59.,  70.,  80.,  65.],
        [ 54.,  52.,  59.,  61.,  73.,  59.,  54.,  80.,  75., 100.],
        [ 70.,  46.,  76.,  80.,  54.,  62.,  41., 102.,  45.,  66.],
        [ 62.,  66.,  88.,  90.,  67.,  72.,  66.,  66.,  72.,  70.],
        [ 45.,  54.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  69.]],
       device='cuda:0')
Train accuarcate: 93.58%



iteration:
  291
    0   377   bit_w:-1  loss: 0.20841
    1   432   bit_w:-1  loss: 0.20796
    2   663   bit_w: 1  loss: 0.20801
    3   513   bit_w:-1  loss: 0.20786
    4   567   bit_w: 1  loss: 0.20762
   4184   2083   2923   1924   1488   2325   1119   5659    597   1603
      0      1      1      0      0      0      0      1      0     -1
Train accuarcate: 94.03%
tensor([[ 62.,  49.,  70.,  79.,  51.,  65.,  37., 102.,  49.,  69.],
        [ 69.,  76., 107.,  84.,  40.,  74.,  80.,  47.,  81.,  54.],
        [ 39.,  85.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  46.,  71.,  68.,  48.,  69.,  80.,  66.,  62.,  70.],
        [ 60.,  56.,  67.,  44.,  94.,  57.,  68.,  68.,  65.,  73.],
        [ 37.,  90.,  64.,  65.,  52.,  52.,  51.,  66.,  61.,  54.],
        [ 44.,  59.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  76.],
        [ 36.,  61.,  61.,  67.,  68.,  67.,  59.,  63.,  66.,  84.],
        [ 77.,  52.,  76.,  46.,  78.,  83.,  91.,  50.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  77.,  64.,  50.,  80.,  80.,  99.],
        [110.,  44.,  80.,  74.,  56.,  83.,  76.,  61.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  77.,  64.,  99.,  65.,  77.,  69.],
        [ 51.,  45.,  59.,  62.,  77.,  65.,  52.,  72.,  61.,  95.],
        [106.,  44.,  79.,  72.,  58.,  75.,  66.,  69.,  87.,  73.],
        [ 36.,  93.,  61.,  70.,  48.,  55.,  58.,  54.,  70.,  57.],
        [ 71.,  58.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 54.,  53.,  60.,  61.,  73.,  59.,  54.,  81.,  75., 100.],
        [ 70.,  47.,  77.,  80.,  54.,  62.,  41., 103.,  45.,  66.],
        [ 62.,  66.,  88.,  90.,  67.,  72.,  66.,  66.,  72.,  71.],
        [ 45.,  54.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.58%



iteration:
  292
    0   402   bit_w:-1  loss: 0.20743
    1   405   bit_w: 1  loss: 0.20714
    2   284   bit_w:-1  loss: 0.20708
    3   470   bit_w: 1  loss: 0.20705
    4   339   bit_w:-1  loss: 0.20702
   3997   6716   5647   5716   4172   4352   3996   5307   5339   4969
     -1     -1      0      0      0      0     -1     -1     -1      0
Train accuarcate: 94.07%
tensor([[ 62.,  49.,  70.,  79.,  51.,  65.,  37., 102.,  49.,  69.],
        [ 69.,  76., 107.,  84.,  40.,  74.,  80.,  47.,  81.,  54.],
        [ 39.,  85.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  46.,  71.,  68.,  48.,  69.,  80.,  66.,  62.,  70.],
        [ 60.,  56.,  67.,  44.,  94.,  57.,  68.,  68.,  65.,  73.],
        [ 37.,  90.,  64.,  65.,  52.,  52.,  51.,  66.,  61.,  54.],
        [ 44.,  59.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  76.],
        [ 36.,  61.,  61.,  67.,  68.,  67.,  59.,  63.,  66.,  84.],
        [ 77.,  52.,  76.,  46.,  78.,  83.,  91.,  50.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  77.,  64.,  50.,  80.,  80.,  99.],
        [110.,  44.,  80.,  74.,  56.,  83.,  76.,  61.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  77.,  64.,  99.,  65.,  77.,  69.],
        [ 52.,  46.,  59.,  62.,  77.,  65.,  53.,  73.,  62.,  95.],
        [106.,  44.,  79.,  72.,  58.,  75.,  66.,  69.,  87.,  73.],
        [ 36.,  93.,  61.,  70.,  48.,  55.,  58.,  54.,  70.,  57.],
        [ 71.,  58.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 54.,  53.,  60.,  61.,  73.,  59.,  54.,  81.,  75., 100.],
        [ 70.,  47.,  77.,  80.,  54.,  62.,  41., 103.,  45.,  66.],
        [ 62.,  66.,  88.,  90.,  67.,  72.,  66.,  66.,  72.,  71.],
        [ 45.,  54.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.60%



iteration:
  293
    0   567   bit_w:-1  loss: 0.20688
    1   380   bit_w:-1  loss: 0.20665
    2   550   bit_w:-1  loss: 0.20667
    3   496   bit_w: 1  loss: 0.20646
    4   594   bit_w:-1  loss: 0.20654
   3983   6497   3050   3229   5262   3719   5030   6088   3631   5213
      0     -1      0     -1      0      0      0      0     -1      0
Train accuarcate: 94.06%
tensor([[ 62.,  49.,  70.,  79.,  51.,  65.,  37., 102.,  49.,  69.],
        [ 69.,  76., 107.,  84.,  40.,  74.,  80.,  47.,  81.,  54.],
        [ 39.,  85.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  46.,  71.,  68.,  48.,  69.,  80.,  66.,  62.,  70.],
        [ 60.,  56.,  67.,  44.,  94.,  57.,  68.,  68.,  65.,  73.],
        [ 37.,  90.,  64.,  65.,  52.,  52.,  51.,  66.,  61.,  54.],
        [ 44.,  59.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  76.],
        [ 36.,  62.,  61.,  68.,  68.,  67.,  59.,  63.,  67.,  84.],
        [ 77.,  52.,  76.,  46.,  78.,  83.,  91.,  50.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  77.,  64.,  50.,  80.,  80.,  99.],
        [110.,  44.,  80.,  74.,  56.,  83.,  76.,  61.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  77.,  64.,  99.,  65.,  77.,  69.],
        [ 52.,  46.,  59.,  62.,  77.,  65.,  53.,  73.,  62.,  95.],
        [106.,  44.,  79.,  72.,  58.,  75.,  66.,  69.,  87.,  73.],
        [ 36.,  93.,  61.,  70.,  48.,  55.,  58.,  54.,  70.,  57.],
        [ 71.,  58.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 54.,  53.,  60.,  61.,  73.,  59.,  54.,  81.,  75., 100.],
        [ 70.,  47.,  77.,  80.,  54.,  62.,  41., 103.,  45.,  66.],
        [ 62.,  66.,  88.,  90.,  67.,  72.,  66.,  66.,  72.,  71.],
        [ 45.,  54.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.68%



iteration:
  294
    0   603   bit_w:-1  loss: 0.20643
    1   265   bit_w:-1  loss: 0.20620
    2   579   bit_w:-1  loss: 0.20610
    3   488   bit_w: 1  loss: 0.20602
    4   149   bit_w:-1  loss: 0.20599
   2048   5469   4776   3423   5456   3084   3988   4239   5135   4990
      0     -1      0      0      0     -1      0     -1      0      0
Train accuarcate: 94.09%
tensor([[ 62.,  49.,  70.,  79.,  51.,  65.,  37., 102.,  49.,  69.],
        [ 69.,  77., 107.,  84.,  40.,  75.,  80.,  48.,  81.,  54.],
        [ 39.,  85.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  47.,  71.,  68.,  48.,  70.,  80.,  67.,  62.,  70.],
        [ 60.,  56.,  67.,  44.,  94.,  57.,  68.,  68.,  65.,  73.],
        [ 37.,  90.,  64.,  65.,  52.,  52.,  51.,  66.,  61.,  54.],
        [ 44.,  59.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  76.],
        [ 36.,  62.,  61.,  68.,  68.,  67.,  59.,  63.,  67.,  84.],
        [ 77.,  52.,  76.,  46.,  78.,  83.,  91.,  50.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  77.,  64.,  50.,  80.,  80.,  99.],
        [110.,  45.,  80.,  74.,  56.,  84.,  76.,  62.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  77.,  64.,  99.,  65.,  77.,  69.],
        [ 52.,  47.,  59.,  62.,  77.,  66.,  53.,  74.,  62.,  95.],
        [106.,  44.,  79.,  72.,  58.,  75.,  66.,  69.,  87.,  73.],
        [ 36.,  93.,  61.,  70.,  48.,  55.,  58.,  54.,  70.,  57.],
        [ 71.,  58.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 54.,  53.,  60.,  61.,  73.,  59.,  54.,  81.,  75., 100.],
        [ 70.,  48.,  77.,  80.,  54.,  63.,  41., 104.,  45.,  66.],
        [ 62.,  67.,  88.,  90.,  67.,  73.,  66.,  67.,  72.,  71.],
        [ 45.,  54.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.66%



iteration:
  295
    0   134   bit_w:-1  loss: 0.20589
    1   368   bit_w: 1  loss: 0.20580
    2   249   bit_w:-1  loss: 0.20583
    3   677   bit_w: 1  loss: 0.20568
    4   707   bit_w: 1  loss: 0.20578
    107     19     26    235    132     78      5    668     49    283
      0      0      0      1      0      0      0      1      0      1
Train accuarcate: 94.09%
tensor([[ 62.,  49.,  70.,  79.,  51.,  65.,  37., 102.,  49.,  69.],
        [ 69.,  77., 107.,  84.,  40.,  75.,  80.,  48.,  81.,  54.],
        [ 39.,  85.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  47.,  71.,  68.,  48.,  70.,  80.,  67.,  62.,  70.],
        [ 60.,  56.,  67.,  44.,  94.,  57.,  68.,  68.,  65.,  73.],
        [ 37.,  90.,  64.,  65.,  52.,  52.,  51.,  66.,  61.,  54.],
        [ 44.,  59.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  76.],
        [ 36.,  62.,  61.,  68.,  68.,  67.,  59.,  63.,  67.,  84.],
        [ 77.,  52.,  76.,  46.,  78.,  83.,  91.,  50.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  77.,  64.,  50.,  80.,  80.,  99.],
        [110.,  45.,  80.,  74.,  56.,  84.,  76.,  62.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  77.,  64.,  99.,  65.,  77.,  69.],
        [ 52.,  47.,  59.,  62.,  77.,  66.,  53.,  74.,  62.,  95.],
        [106.,  44.,  79.,  72.,  58.,  75.,  66.,  69.,  87.,  73.],
        [ 36.,  93.,  61.,  70.,  48.,  55.,  58.,  54.,  70.,  57.],
        [ 71.,  58.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 54.,  53.,  60.,  61.,  73.,  59.,  54.,  81.,  75., 100.],
        [ 70.,  48.,  77.,  80.,  54.,  63.,  41., 104.,  45.,  66.],
        [ 62.,  67.,  88.,  90.,  67.,  73.,  66.,  67.,  72.,  71.],
        [ 45.,  54.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.66%



iteration:
  296
    0   134   bit_w:-1  loss: 0.20567
    1   501   bit_w: 1  loss: 0.20560
    2   249   bit_w:-1  loss: 0.20562
    3   445   bit_w: 1  loss: 0.20548
    4   104   bit_w:-1  loss: 0.20556
   5814   6633   5811   6089   5586   4656   5141   6258   5662   5947
      0      0      0      0     -1     -1     -1      0      0      0
Train accuarcate: 94.10%
tensor([[ 62.,  49.,  70.,  79.,  51.,  65.,  37., 102.,  49.,  69.],
        [ 69.,  77., 107.,  84.,  40.,  75.,  80.,  48.,  81.,  54.],
        [ 39.,  85.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  47.,  71.,  68.,  48.,  70.,  80.,  67.,  62.,  70.],
        [ 60.,  56.,  67.,  44.,  94.,  57.,  68.,  68.,  65.,  73.],
        [ 37.,  90.,  64.,  65.,  52.,  52.,  51.,  66.,  61.,  54.],
        [ 44.,  59.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  76.],
        [ 36.,  62.,  61.,  68.,  68.,  67.,  59.,  63.,  67.,  84.],
        [ 77.,  52.,  76.,  46.,  79.,  84.,  92.,  50.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  77.,  64.,  50.,  80.,  80.,  99.],
        [110.,  45.,  80.,  74.,  56.,  84.,  76.,  62.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  77.,  64.,  99.,  65.,  77.,  69.],
        [ 52.,  47.,  59.,  62.,  77.,  66.,  53.,  74.,  62.,  95.],
        [106.,  44.,  79.,  72.,  58.,  75.,  66.,  69.,  87.,  73.],
        [ 36.,  93.,  61.,  70.,  48.,  55.,  58.,  54.,  70.,  57.],
        [ 71.,  58.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 54.,  53.,  60.,  61.,  73.,  59.,  54.,  81.,  75., 100.],
        [ 70.,  48.,  77.,  80.,  54.,  63.,  41., 104.,  45.,  66.],
        [ 62.,  67.,  88.,  90.,  67.,  73.,  66.,  67.,  72.,  71.],
        [ 45.,  54.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.64%



iteration:
  297
    0   581   bit_w:-1  loss: 0.20546
    1   348   bit_w: 1  loss: 0.20535
    2   294   bit_w:-1  loss: 0.20523
    3   320   bit_w: 1  loss: 0.20509
    4   277   bit_w:-1  loss: 0.20510
   4839   3143   3808   5524   5614   4836   5501   4813   5163   5568
     -1      0      0      0      0     -1      0      0     -1      0
Train accuarcate: 94.11%
tensor([[ 62.,  49.,  70.,  79.,  51.,  65.,  37., 102.,  49.,  69.],
        [ 70.,  77., 107.,  84.,  40.,  76.,  80.,  48.,  82.,  54.],
        [ 39.,  85.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  47.,  71.,  68.,  48.,  70.,  80.,  67.,  62.,  70.],
        [ 60.,  56.,  67.,  44.,  94.,  57.,  68.,  68.,  65.,  73.],
        [ 38.,  90.,  64.,  65.,  52.,  53.,  51.,  66.,  62.,  54.],
        [ 44.,  59.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  76.],
        [ 37.,  62.,  61.,  68.,  68.,  68.,  59.,  63.,  68.,  84.],
        [ 77.,  52.,  76.,  46.,  79.,  84.,  92.,  50.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  77.,  64.,  50.,  80.,  80.,  99.],
        [110.,  45.,  80.,  74.,  56.,  84.,  76.,  62.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  77.,  64.,  99.,  65.,  77.,  69.],
        [ 52.,  47.,  59.,  62.,  77.,  66.,  53.,  74.,  62.,  95.],
        [106.,  44.,  79.,  72.,  58.,  75.,  66.,  69.,  87.,  73.],
        [ 37.,  93.,  61.,  70.,  48.,  56.,  58.,  54.,  71.,  57.],
        [ 71.,  58.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 54.,  53.,  60.,  61.,  73.,  59.,  54.,  81.,  75., 100.],
        [ 70.,  48.,  77.,  80.,  54.,  63.,  41., 104.,  45.,  66.],
        [ 63.,  67.,  88.,  90.,  67.,  74.,  66.,  67.,  73.,  71.],
        [ 45.,  54.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.68%



iteration:
  298
    0   554   bit_w:-1  loss: 0.20498
    1   609   bit_w: 1  loss: 0.20483
    2   387   bit_w:-1  loss: 0.20479
    3   692   bit_w: 1  loss: 0.20470
    4   445   bit_w:-1  loss: 0.20474
   3798   6733   4613   5920   5657   5319   5025   6191   5704   5896
      0      0     -1      0      0      0     -1      0     -1      0
Train accuarcate: 94.11%
tensor([[ 62.,  49.,  70.,  79.,  51.,  65.,  37., 102.,  49.,  69.],
        [ 70.,  77., 107.,  84.,  40.,  76.,  80.,  48.,  82.,  54.],
        [ 39.,  85.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  47.,  71.,  68.,  48.,  70.,  80.,  67.,  62.,  70.],
        [ 60.,  56.,  67.,  44.,  94.,  57.,  68.,  68.,  65.,  73.],
        [ 38.,  90.,  64.,  65.,  52.,  53.,  51.,  66.,  62.,  54.],
        [ 44.,  59.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  76.],
        [ 37.,  62.,  61.,  68.,  68.,  68.,  59.,  63.,  68.,  84.],
        [ 77.,  52.,  76.,  46.,  79.,  84.,  92.,  50.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  77.,  64.,  50.,  80.,  80.,  99.],
        [110.,  45.,  80.,  74.,  56.,  84.,  76.,  62.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  77.,  64.,  99.,  65.,  77.,  69.],
        [ 52.,  47.,  59.,  62.,  77.,  66.,  53.,  74.,  62.,  95.],
        [106.,  44.,  79.,  72.,  58.,  75.,  66.,  69.,  87.,  73.],
        [ 37.,  93.,  61.,  70.,  48.,  56.,  58.,  54.,  71.,  57.],
        [ 71.,  58.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 54.,  53.,  60.,  61.,  73.,  59.,  54.,  81.,  75., 100.],
        [ 70.,  48.,  77.,  80.,  54.,  63.,  41., 104.,  45.,  66.],
        [ 63.,  67.,  88.,  90.,  67.,  74.,  66.,  67.,  73.,  71.],
        [ 45.,  54.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.72%



iteration:
  299
    0   396   bit_w:-1  loss: 0.20465
    1   121   bit_w: 1  loss: 0.20457
    2   713   bit_w: 1  loss: 0.20460
    3   375   bit_w:-1  loss: 0.20444
    4   293   bit_w: 1  loss: 0.20437
   1090   2147   1127   1000    433    878    572   3624   1263   1432
      0      0      0      1      0      1      0      0      1      0
Train accuarcate: 94.13%
tensor([[ 62.,  49.,  70.,  80.,  51.,  66.,  37., 102.,  50.,  69.],
        [ 70.,  77., 107.,  85.,  40.,  77.,  80.,  48.,  83.,  54.],
        [ 39.,  85.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  47.,  71.,  69.,  48.,  71.,  80.,  67.,  63.,  70.],
        [ 60.,  56.,  67.,  44.,  94.,  57.,  68.,  68.,  65.,  73.],
        [ 38.,  90.,  64.,  65.,  52.,  53.,  51.,  66.,  62.,  54.],
        [ 44.,  59.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  76.],
        [ 37.,  62.,  61.,  69.,  68.,  69.,  59.,  63.,  69.,  84.],
        [ 77.,  52.,  76.,  46.,  79.,  84.,  92.,  50.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  77.,  64.,  50.,  80.,  80.,  99.],
        [110.,  45.,  80.,  74.,  56.,  84.,  76.,  62.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  77.,  64.,  99.,  65.,  77.,  69.],
        [ 52.,  47.,  59.,  63.,  77.,  67.,  53.,  74.,  63.,  95.],
        [106.,  44.,  79.,  72.,  58.,  75.,  66.,  69.,  87.,  73.],
        [ 37.,  93.,  61.,  71.,  48.,  57.,  58.,  54.,  72.,  57.],
        [ 71.,  58.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 54.,  53.,  60.,  61.,  73.,  59.,  54.,  81.,  75., 100.],
        [ 70.,  48.,  77.,  81.,  54.,  64.,  41., 104.,  46.,  66.],
        [ 63.,  67.,  88.,  90.,  67.,  74.,  66.,  67.,  73.,  71.],
        [ 45.,  54.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.74%



iteration:
  300
    0   622   bit_w:-1  loss: 0.20426
    1   349   bit_w: 1  loss: 0.20416
    2   384   bit_w: 1  loss: 0.20411
    3   389   bit_w:-1  loss: 0.20394
    4   359   bit_w: 1  loss: 0.20406
   4306   3201   1398   3633   1786   2516   3889   1583   3173   1819
      0      0      0      0      1      0      1      0      0      1
Train accuarcate: 94.13%
tensor([[ 62.,  49.,  70.,  80.,  51.,  66.,  37., 102.,  50.,  69.],
        [ 70.,  77., 107.,  85.,  41.,  77.,  81.,  48.,  83.,  55.],
        [ 39.,  85.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  47.,  71.,  69.,  49.,  71.,  81.,  67.,  63.,  71.],
        [ 60.,  56.,  67.,  44.,  94.,  57.,  68.,  68.,  65.,  73.],
        [ 38.,  90.,  64.,  65.,  52.,  53.,  51.,  66.,  62.,  54.],
        [ 44.,  59.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  76.],
        [ 37.,  62.,  61.,  69.,  68.,  69.,  59.,  63.,  69.,  84.],
        [ 77.,  52.,  76.,  46.,  79.,  84.,  92.,  50.,  67.,  76.],
        [ 57.,  50.,  50.,  67.,  78.,  64.,  51.,  80.,  80., 100.],
        [110.,  45.,  80.,  74.,  56.,  84.,  76.,  62.,  83.,  57.],
        [ 63.,  63.,  71.,  68.,  77.,  64.,  99.,  65.,  77.,  69.],
        [ 52.,  47.,  59.,  63.,  77.,  67.,  53.,  74.,  63.,  95.],
        [106.,  44.,  79.,  72.,  59.,  75.,  67.,  69.,  87.,  74.],
        [ 37.,  93.,  61.,  71.,  49.,  57.,  59.,  54.,  72.,  58.],
        [ 71.,  58.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 54.,  53.,  60.,  61.,  73.,  59.,  54.,  81.,  75., 100.],
        [ 70.,  48.,  77.,  81.,  55.,  64.,  42., 104.,  46.,  67.],
        [ 63.,  67.,  88.,  90.,  68.,  74.,  67.,  67.,  73.,  72.],
        [ 45.,  54.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.75%



iteration:
  301
    0   257   bit_w:-1  loss: 0.20395
    1   397   bit_w: 1  loss: 0.20387
    2   708   bit_w:-1  loss: 0.20382
    3   303   bit_w: 1  loss: 0.20375
    4   302   bit_w:-1  loss: 0.20376
   4816   6730   5415   5618   5502   5224   5781   4253   5154   5475
     -1      0     -1     -1      0      0      0     -1     -1      0
Train accuarcate: 94.15%
tensor([[ 62.,  49.,  70.,  80.,  51.,  66.,  37., 102.,  50.,  69.],
        [ 70.,  77., 107.,  85.,  41.,  77.,  81.,  48.,  83.,  55.],
        [ 39.,  85.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  47.,  71.,  69.,  49.,  71.,  81.,  67.,  63.,  71.],
        [ 60.,  56.,  67.,  44.,  94.,  57.,  68.,  68.,  65.,  73.],
        [ 38.,  90.,  64.,  65.,  52.,  53.,  51.,  66.,  62.,  54.],
        [ 44.,  59.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  76.],
        [ 37.,  62.,  61.,  69.,  68.,  69.,  59.,  63.,  69.,  84.],
        [ 77.,  52.,  76.,  46.,  79.,  84.,  92.,  50.,  67.,  76.],
        [ 58.,  50.,  51.,  68.,  78.,  64.,  51.,  81.,  81., 100.],
        [111.,  45.,  81.,  75.,  56.,  84.,  76.,  63.,  84.,  57.],
        [ 63.,  63.,  71.,  68.,  77.,  64.,  99.,  65.,  77.,  69.],
        [ 52.,  47.,  59.,  63.,  77.,  67.,  53.,  74.,  63.,  95.],
        [106.,  44.,  79.,  72.,  59.,  75.,  67.,  69.,  87.,  74.],
        [ 37.,  93.,  61.,  71.,  49.,  57.,  59.,  54.,  72.,  58.],
        [ 71.,  58.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 54.,  53.,  60.,  61.,  73.,  59.,  54.,  81.,  75., 100.],
        [ 70.,  48.,  77.,  81.,  55.,  64.,  42., 104.,  46.,  67.],
        [ 64.,  67.,  89.,  91.,  68.,  74.,  67.,  68.,  74.,  72.],
        [ 45.,  54.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.80%



iteration:
  302
    0   622   bit_w:-1  loss: 0.20366
    1   537   bit_w: 1  loss: 0.20357
    2   277   bit_w: 1  loss: 0.20358
    3   413   bit_w:-1  loss: 0.20343
    4   303   bit_w: 1  loss: 0.20348
    873      4    853    366    142    895     83    143    428     54
      1      0      0      1      0      1      0      0      0      0
Train accuarcate: 94.16%
tensor([[ 62.,  49.,  70.,  80.,  51.,  66.,  37., 102.,  50.,  69.],
        [ 70.,  77., 107.,  85.,  41.,  77.,  81.,  48.,  83.,  55.],
        [ 39.,  85.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  47.,  71.,  69.,  49.,  71.,  81.,  67.,  63.,  71.],
        [ 60.,  56.,  67.,  44.,  94.,  57.,  68.,  68.,  65.,  73.],
        [ 38.,  90.,  64.,  65.,  52.,  53.,  51.,  66.,  62.,  54.],
        [ 44.,  59.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  76.],
        [ 37.,  62.,  61.,  69.,  68.,  69.,  59.,  63.,  69.,  84.],
        [ 77.,  52.,  76.,  46.,  79.,  84.,  92.,  50.,  67.,  76.],
        [ 58.,  50.,  51.,  68.,  78.,  64.,  51.,  81.,  81., 100.],
        [111.,  45.,  81.,  75.,  56.,  84.,  76.,  63.,  84.,  57.],
        [ 63.,  63.,  71.,  68.,  77.,  64.,  99.,  65.,  77.,  69.],
        [ 52.,  47.,  59.,  63.,  77.,  67.,  53.,  74.,  63.,  95.],
        [106.,  44.,  79.,  72.,  59.,  75.,  67.,  69.,  87.,  74.],
        [ 37.,  93.,  61.,  71.,  49.,  57.,  59.,  54.,  72.,  58.],
        [ 71.,  58.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 54.,  53.,  60.,  61.,  73.,  59.,  54.,  81.,  75., 100.],
        [ 70.,  48.,  77.,  81.,  55.,  64.,  42., 104.,  46.,  67.],
        [ 64.,  67.,  89.,  91.,  68.,  74.,  67.,  68.,  74.,  72.],
        [ 45.,  54.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.81%



iteration:
  303
    0   352   bit_w:-1  loss: 0.20338
    1   384   bit_w: 1  loss: 0.20306
    2   382   bit_w: 1  loss: 0.20308
    3   441   bit_w:-1  loss: 0.20290
    4   416   bit_w: 1  loss: 0.20293
   2179      8   2511    432   2768    317   2056   3388   1516   2375
      1     -1      1      0      1      0      0      0      1      0
Train accuarcate: 94.13%
tensor([[ 63.,  49.,  71.,  80.,  52.,  66.,  37., 102.,  51.,  69.],
        [ 70.,  78., 107.,  85.,  41.,  77.,  81.,  48.,  83.,  55.],
        [ 39.,  86.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  48.,  71.,  69.,  49.,  71.,  81.,  67.,  63.,  71.],
        [ 61.,  56.,  68.,  44.,  95.,  57.,  68.,  68.,  66.,  73.],
        [ 38.,  91.,  64.,  65.,  52.,  53.,  51.,  66.,  62.,  54.],
        [ 44.,  60.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  76.],
        [ 37.,  63.,  61.,  69.,  68.,  69.,  59.,  63.,  69.,  84.],
        [ 77.,  53.,  76.,  46.,  79.,  84.,  92.,  50.,  67.,  76.],
        [ 59.,  50.,  52.,  68.,  79.,  64.,  51.,  81.,  82., 100.],
        [111.,  46.,  81.,  75.,  56.,  84.,  76.,  63.,  84.,  57.],
        [ 63.,  64.,  71.,  68.,  77.,  64.,  99.,  65.,  77.,  69.],
        [ 53.,  47.,  60.,  63.,  78.,  67.,  53.,  74.,  64.,  95.],
        [106.,  45.,  79.,  72.,  59.,  75.,  67.,  69.,  87.,  74.],
        [ 37.,  94.,  61.,  71.,  49.,  57.,  59.,  54.,  72.,  58.],
        [ 71.,  59.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 55.,  53.,  61.,  61.,  74.,  59.,  54.,  81.,  76., 100.],
        [ 71.,  48.,  78.,  81.,  56.,  64.,  42., 104.,  47.,  67.],
        [ 64.,  68.,  89.,  91.,  68.,  74.,  67.,  68.,  74.,  72.],
        [ 45.,  55.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.84%



iteration:
  304
    0   719   bit_w:-1  loss: 0.20284
    1   501   bit_w: 1  loss: 0.20276
    2   677   bit_w:-1  loss: 0.20277
    3    93   bit_w: 1  loss: 0.20262
    4   739   bit_w:-1  loss: 0.20269
   5915   6726   5940   5936   5762   5376   5918   5012   5815   5168
      0      0      0     -1      0     -1      0     -1      0     -1
Train accuarcate: 94.14%
tensor([[ 63.,  49.,  71.,  81.,  52.,  67.,  37., 103.,  51.,  70.],
        [ 70.,  78., 107.,  85.,  41.,  77.,  81.,  48.,  83.,  55.],
        [ 39.,  86.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  48.,  71.,  69.,  49.,  71.,  81.,  67.,  63.,  71.],
        [ 61.,  56.,  68.,  44.,  95.,  57.,  68.,  68.,  66.,  73.],
        [ 38.,  91.,  64.,  65.,  52.,  53.,  51.,  66.,  62.,  54.],
        [ 44.,  60.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  76.],
        [ 37.,  63.,  61.,  69.,  68.,  69.,  59.,  63.,  69.,  84.],
        [ 77.,  53.,  76.,  46.,  79.,  84.,  92.,  50.,  67.,  76.],
        [ 59.,  50.,  52.,  68.,  79.,  64.,  51.,  81.,  82., 100.],
        [111.,  46.,  81.,  75.,  56.,  84.,  76.,  63.,  84.,  57.],
        [ 63.,  64.,  71.,  68.,  77.,  64.,  99.,  65.,  77.,  69.],
        [ 53.,  47.,  60.,  63.,  78.,  67.,  53.,  74.,  64.,  95.],
        [106.,  45.,  79.,  72.,  59.,  75.,  67.,  69.,  87.,  74.],
        [ 37.,  94.,  61.,  71.,  49.,  57.,  59.,  54.,  72.,  58.],
        [ 71.,  59.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 55.,  53.,  61.,  61.,  74.,  59.,  54.,  81.,  76., 100.],
        [ 71.,  48.,  78.,  82.,  56.,  65.,  42., 105.,  47.,  68.],
        [ 64.,  68.,  89.,  91.,  68.,  74.,  67.,  68.,  74.,  72.],
        [ 45.,  55.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.86%



iteration:
  305
    0    95   bit_w:-1  loss: 0.20260
    1   368   bit_w: 1  loss: 0.20253
    2   101   bit_w:-1  loss: 0.20254
    3   742   bit_w: 1  loss: 0.20240
    4   501   bit_w:-1  loss: 0.20248
   5802   6702   4546   5929   5813   5354   3543   6262   5826   5948
      0      0     -1     -1      0      0     -1      0      0      0
Train accuarcate: 94.14%
tensor([[ 63.,  49.,  71.,  81.,  52.,  67.,  37., 103.,  51.,  70.],
        [ 70.,  78., 107.,  85.,  41.,  77.,  81.,  48.,  83.,  55.],
        [ 39.,  86.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  48.,  71.,  69.,  49.,  71.,  81.,  67.,  63.,  71.],
        [ 61.,  56.,  68.,  44.,  95.,  57.,  68.,  68.,  66.,  73.],
        [ 38.,  91.,  64.,  65.,  52.,  53.,  51.,  66.,  62.,  54.],
        [ 44.,  60.,  56.,  65., 100.,  73.,  55.,  64.,  73.,  76.],
        [ 37.,  63.,  61.,  69.,  68.,  69.,  59.,  63.,  69.,  84.],
        [ 77.,  53.,  76.,  46.,  79.,  84.,  92.,  50.,  67.,  76.],
        [ 59.,  50.,  52.,  68.,  79.,  64.,  51.,  81.,  82., 100.],
        [111.,  46.,  81.,  75.,  56.,  84.,  76.,  63.,  84.,  57.],
        [ 63.,  64.,  72.,  69.,  77.,  64., 100.,  65.,  77.,  69.],
        [ 53.,  47.,  60.,  63.,  78.,  67.,  53.,  74.,  64.,  95.],
        [106.,  45.,  79.,  72.,  59.,  75.,  67.,  69.,  87.,  74.],
        [ 37.,  94.,  61.,  71.,  49.,  57.,  59.,  54.,  72.,  58.],
        [ 71.,  59.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 55.,  53.,  61.,  61.,  74.,  59.,  54.,  81.,  76., 100.],
        [ 71.,  48.,  78.,  82.,  56.,  65.,  42., 105.,  47.,  68.],
        [ 64.,  68.,  89.,  91.,  68.,  74.,  67.,  68.,  74.,  72.],
        [ 45.,  55.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.85%



iteration:
  306
    0   472   bit_w:-1  loss: 0.20240
    1   273   bit_w: 1  loss: 0.20230
    2   528   bit_w:-1  loss: 0.20230
    3   742   bit_w: 1  loss: 0.20217
    4   327   bit_w:-1  loss: 0.20223
   4160   6648   3415   5258   4023   5094   4664   4313   4501   3618
      0      0     -1      0      0     -1      0      0      0      0
Train accuarcate: 94.15%
tensor([[ 63.,  49.,  71.,  81.,  52.,  67.,  37., 103.,  51.,  70.],
        [ 70.,  78., 107.,  85.,  41.,  77.,  81.,  48.,  83.,  55.],
        [ 39.,  86.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  48.,  72.,  69.,  49.,  72.,  81.,  67.,  63.,  71.],
        [ 61.,  56.,  69.,  44.,  95.,  58.,  68.,  68.,  66.,  73.],
        [ 38.,  91.,  64.,  65.,  52.,  53.,  51.,  66.,  62.,  54.],
        [ 44.,  60.,  57.,  65., 100.,  74.,  55.,  64.,  73.,  76.],
        [ 37.,  63.,  61.,  69.,  68.,  69.,  59.,  63.,  69.,  84.],
        [ 77.,  53.,  76.,  46.,  79.,  84.,  92.,  50.,  67.,  76.],
        [ 59.,  50.,  52.,  68.,  79.,  64.,  51.,  81.,  82., 100.],
        [111.,  46.,  81.,  75.,  56.,  84.,  76.,  63.,  84.,  57.],
        [ 63.,  64.,  73.,  69.,  77.,  65., 100.,  65.,  77.,  69.],
        [ 53.,  47.,  60.,  63.,  78.,  67.,  53.,  74.,  64.,  95.],
        [106.,  45.,  80.,  72.,  59.,  76.,  67.,  69.,  87.,  74.],
        [ 37.,  94.,  61.,  71.,  49.,  57.,  59.,  54.,  72.,  58.],
        [ 71.,  59.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 55.,  53.,  62.,  61.,  74.,  60.,  54.,  81.,  76., 100.],
        [ 71.,  48.,  79.,  82.,  56.,  66.,  42., 105.,  47.,  68.],
        [ 64.,  68.,  90.,  91.,  68.,  75.,  67.,  68.,  74.,  72.],
        [ 45.,  55.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.88%



iteration:
  307
    0   579   bit_w:-1  loss: 0.20214
    1   349   bit_w:-1  loss: 0.20188
    2   284   bit_w:-1  loss: 0.20192
    3   330   bit_w: 1  loss: 0.20181
    4   417   bit_w:-1  loss: 0.20190
   5844   6706   5569   4064   5743   4533   5552   6109   5168   5856
      0     -1     -1     -1      0      0      0     -1     -1      0
Train accuarcate: 94.17%
tensor([[ 63.,  49.,  71.,  81.,  52.,  67.,  37., 103.,  51.,  70.],
        [ 70.,  79., 108.,  86.,  41.,  77.,  81.,  49.,  84.,  55.],
        [ 39.,  86.,  70.,  62.,  54.,  57.,  55.,  61.,  59.,  49.],
        [103.,  48.,  72.,  69.,  49.,  72.,  81.,  67.,  63.,  71.],
        [ 61.,  56.,  69.,  44.,  95.,  58.,  68.,  68.,  66.,  73.],
        [ 38.,  91.,  64.,  65.,  52.,  53.,  51.,  66.,  62.,  54.],
        [ 44.,  60.,  57.,  65., 100.,  74.,  55.,  64.,  73.,  76.],
        [ 37.,  63.,  61.,  69.,  68.,  69.,  59.,  63.,  69.,  84.],
        [ 77.,  53.,  76.,  46.,  79.,  84.,  92.,  50.,  67.,  76.],
        [ 59.,  50.,  52.,  68.,  79.,  64.,  51.,  81.,  82., 100.],
        [111.,  46.,  81.,  75.,  56.,  84.,  76.,  63.,  84.,  57.],
        [ 63.,  64.,  73.,  69.,  77.,  65., 100.,  65.,  77.,  69.],
        [ 53.,  47.,  60.,  63.,  78.,  67.,  53.,  74.,  64.,  95.],
        [106.,  45.,  80.,  72.,  59.,  76.,  67.,  69.,  87.,  74.],
        [ 37.,  94.,  61.,  71.,  49.,  57.,  59.,  54.,  72.,  58.],
        [ 71.,  59.,  66.,  87.,  56.,  92.,  59.,  71.,  80.,  65.],
        [ 55.,  53.,  62.,  61.,  74.,  60.,  54.,  81.,  76., 100.],
        [ 71.,  48.,  79.,  82.,  56.,  66.,  42., 105.,  47.,  68.],
        [ 64.,  68.,  90.,  91.,  68.,  75.,  67.,  68.,  74.,  72.],
        [ 45.,  55.,  57.,  55.,  86.,  63.,  55.,  60.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.84%



iteration:
  308
    0   150   bit_w:-1  loss: 0.20181
    1   351   bit_w: 1  loss: 0.20162
    2   461   bit_w:-1  loss: 0.20152
    3   545   bit_w: 1  loss: 0.20139
    4   322   bit_w:-1  loss: 0.20128
   5033   5241   3804   3568   3388   3771   4482   5549   3454   4141
      0      0      0     -1      0     -1      0      1      0     -1
Train accuarcate: 94.22%
tensor([[ 63.,  49.,  71.,  81.,  52.,  67.,  37., 104.,  51.,  70.],
        [ 70.,  79., 108.,  87.,  41.,  78.,  81.,  49.,  84.,  56.],
        [ 39.,  86.,  70.,  62.,  54.,  57.,  55.,  62.,  59.,  49.],
        [103.,  48.,  72.,  69.,  49.,  72.,  81.,  68.,  63.,  71.],
        [ 61.,  56.,  69.,  44.,  95.,  58.,  68.,  69.,  66.,  73.],
        [ 38.,  91.,  64.,  65.,  52.,  53.,  51.,  67.,  62.,  54.],
        [ 44.,  60.,  57.,  65., 100.,  74.,  55.,  65.,  73.,  76.],
        [ 37.,  63.,  61.,  70.,  68.,  70.,  59.,  63.,  69.,  85.],
        [ 77.,  53.,  76.,  46.,  79.,  84.,  92.,  51.,  67.,  76.],
        [ 59.,  50.,  52.,  68.,  79.,  64.,  51.,  82.,  82., 100.],
        [111.,  46.,  81.,  76.,  56.,  85.,  76.,  63.,  84.,  58.],
        [ 63.,  64.,  73.,  70.,  77.,  66., 100.,  65.,  77.,  70.],
        [ 53.,  47.,  60.,  64.,  78.,  68.,  53.,  74.,  64.,  96.],
        [106.,  45.,  80.,  72.,  59.,  76.,  67.,  70.,  87.,  74.],
        [ 37.,  94.,  61.,  71.,  49.,  57.,  59.,  55.,  72.,  58.],
        [ 71.,  59.,  66.,  88.,  56.,  93.,  59.,  71.,  80.,  66.],
        [ 55.,  53.,  62.,  62.,  74.,  61.,  54.,  81.,  76., 101.],
        [ 71.,  48.,  79.,  82.,  56.,  66.,  42., 106.,  47.,  68.],
        [ 64.,  68.,  90.,  92.,  68.,  76.,  67.,  68.,  74.,  73.],
        [ 45.,  55.,  57.,  55.,  86.,  63.,  55.,  61.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.83%



iteration:
  309
    0   548   bit_w:-1  loss: 0.20120
    1   489   bit_w:-1  loss: 0.20088
    2   332   bit_w:-1  loss: 0.20096
    3   294   bit_w: 1  loss: 0.20073
    4   546   bit_w:-1  loss: 0.20081
   4960   5874   2442   5467   3679   4734   2449   4856   3568   4289
      1      0      0     -1      0      0     -1      0     -1      0
Train accuarcate: 94.23%
tensor([[ 63.,  49.,  71.,  82.,  52.,  67.,  38., 104.,  52.,  70.],
        [ 71.,  79., 108.,  87.,  41.,  78.,  81.,  49.,  84.,  56.],
        [ 40.,  86.,  70.,  62.,  54.,  57.,  55.,  62.,  59.,  49.],
        [104.,  48.,  72.,  69.,  49.,  72.,  81.,  68.,  63.,  71.],
        [ 62.,  56.,  69.,  44.,  95.,  58.,  68.,  69.,  66.,  73.],
        [ 39.,  91.,  64.,  65.,  52.,  53.,  51.,  67.,  62.,  54.],
        [ 45.,  60.,  57.,  65., 100.,  74.,  55.,  65.,  73.,  76.],
        [ 38.,  63.,  61.,  70.,  68.,  70.,  59.,  63.,  69.,  85.],
        [ 77.,  53.,  76.,  47.,  79.,  84.,  93.,  51.,  68.,  76.],
        [ 60.,  50.,  52.,  68.,  79.,  64.,  51.,  82.,  82., 100.],
        [112.,  46.,  81.,  76.,  56.,  85.,  76.,  63.,  84.,  58.],
        [ 64.,  64.,  73.,  70.,  77.,  66., 100.,  65.,  77.,  70.],
        [ 54.,  47.,  60.,  64.,  78.,  68.,  53.,  74.,  64.,  96.],
        [107.,  45.,  80.,  72.,  59.,  76.,  67.,  70.,  87.,  74.],
        [ 38.,  94.,  61.,  71.,  49.,  57.,  59.,  55.,  72.,  58.],
        [ 72.,  59.,  66.,  88.,  56.,  93.,  59.,  71.,  80.,  66.],
        [ 55.,  53.,  62.,  63.,  74.,  61.,  55.,  81.,  77., 101.],
        [ 72.,  48.,  79.,  82.,  56.,  66.,  42., 106.,  47.,  68.],
        [ 65.,  68.,  90.,  92.,  68.,  76.,  67.,  68.,  74.,  73.],
        [ 46.,  55.,  57.,  55.,  86.,  63.,  55.,  61.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.79%



iteration:
  310
    0   153   bit_w:-1  loss: 0.20073
    1   236   bit_w: 1  loss: 0.20042
    2   301   bit_w: 1  loss: 0.20044
    3   347   bit_w:-1  loss: 0.20034
    4   480   bit_w: 1  loss: 0.20034
   2948    226   1571   1066   1324    904    436   4443   1926   3421
      0      0      1      1     -1      0      0      0      0      0
Train accuarcate: 94.24%
tensor([[ 63.,  49.,  72.,  83.,  52.,  67.,  38., 104.,  52.,  70.],
        [ 71.,  79., 108.,  87.,  42.,  78.,  81.,  49.,  84.,  56.],
        [ 40.,  86.,  70.,  62.,  55.,  57.,  55.,  62.,  59.,  49.],
        [104.,  48.,  72.,  69.,  50.,  72.,  81.,  68.,  63.,  71.],
        [ 62.,  56.,  69.,  44.,  96.,  58.,  68.,  69.,  66.,  73.],
        [ 39.,  91.,  64.,  65.,  53.,  53.,  51.,  67.,  62.,  54.],
        [ 45.,  60.,  57.,  65., 101.,  74.,  55.,  65.,  73.,  76.],
        [ 38.,  63.,  62.,  71.,  68.,  70.,  59.,  63.,  69.,  85.],
        [ 77.,  53.,  76.,  47.,  80.,  84.,  93.,  51.,  68.,  76.],
        [ 60.,  50.,  53.,  69.,  79.,  64.,  51.,  82.,  82., 100.],
        [112.,  46.,  81.,  76.,  57.,  85.,  76.,  63.,  84.,  58.],
        [ 64.,  64.,  74.,  71.,  77.,  66., 100.,  65.,  77.,  70.],
        [ 54.,  47.,  61.,  65.,  78.,  68.,  53.,  74.,  64.,  96.],
        [107.,  45.,  81.,  73.,  59.,  76.,  67.,  70.,  87.,  74.],
        [ 38.,  94.,  61.,  71.,  50.,  57.,  59.,  55.,  72.,  58.],
        [ 72.,  59.,  66.,  88.,  57.,  93.,  59.,  71.,  80.,  66.],
        [ 55.,  53.,  62.,  63.,  75.,  61.,  55.,  81.,  77., 101.],
        [ 72.,  48.,  80.,  83.,  56.,  66.,  42., 106.,  47.,  68.],
        [ 65.,  68.,  90.,  92.,  69.,  76.,  67.,  68.,  74.,  73.],
        [ 46.,  55.,  57.,  55.,  87.,  63.,  55.,  61.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.88%



iteration:
  311
    0   355   bit_w:-1  loss: 0.20017
    1   240   bit_w:-1  loss: 0.19995
    2   720   bit_w:-1  loss: 0.19992
    3   536   bit_w: 1  loss: 0.19989
    4   125   bit_w:-1  loss: 0.19986
   4187   6646   3762   4745   5578   5238   4936   3775   4633   3687
     -1      0     -1      0      0      0      0      0     -1     -1
Train accuarcate: 94.25%
tensor([[ 64.,  49.,  73.,  83.,  52.,  67.,  38., 104.,  53.,  71.],
        [ 72.,  79., 109.,  87.,  42.,  78.,  81.,  49.,  85.,  57.],
        [ 40.,  86.,  70.,  62.,  55.,  57.,  55.,  62.,  59.,  49.],
        [105.,  48.,  73.,  69.,  50.,  72.,  81.,  68.,  64.,  72.],
        [ 62.,  56.,  69.,  44.,  96.,  58.,  68.,  69.,  66.,  73.],
        [ 39.,  91.,  64.,  65.,  53.,  53.,  51.,  67.,  62.,  54.],
        [ 45.,  60.,  57.,  65., 101.,  74.,  55.,  65.,  73.,  76.],
        [ 38.,  63.,  62.,  71.,  68.,  70.,  59.,  63.,  69.,  85.],
        [ 77.,  53.,  76.,  47.,  80.,  84.,  93.,  51.,  68.,  76.],
        [ 61.,  50.,  54.,  69.,  79.,  64.,  51.,  82.,  83., 101.],
        [112.,  46.,  81.,  76.,  57.,  85.,  76.,  63.,  84.,  58.],
        [ 64.,  64.,  74.,  71.,  77.,  66., 100.,  65.,  77.,  70.],
        [ 55.,  47.,  62.,  65.,  78.,  68.,  53.,  74.,  65.,  97.],
        [107.,  45.,  81.,  73.,  59.,  76.,  67.,  70.,  87.,  74.],
        [ 38.,  94.,  61.,  71.,  50.,  57.,  59.,  55.,  72.,  58.],
        [ 72.,  59.,  66.,  88.,  57.,  93.,  59.,  71.,  80.,  66.],
        [ 56.,  53.,  63.,  63.,  75.,  61.,  55.,  81.,  78., 102.],
        [ 73.,  48.,  81.,  83.,  56.,  66.,  42., 106.,  48.,  69.],
        [ 65.,  68.,  90.,  92.,  69.,  76.,  67.,  68.,  74.,  73.],
        [ 46.,  55.,  57.,  55.,  87.,  63.,  55.,  61.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.88%



iteration:
  312
    0   301   bit_w:-1  loss: 0.19976
    1   298   bit_w:-1  loss: 0.19948
    2   360   bit_w:-1  loss: 0.19945
    3    94   bit_w: 1  loss: 0.19934
    4    93   bit_w: 1  loss: 0.19939
    819   5672   2188   2971   1616   4542   5365   1145   1505   1916
      0      0      0      0      0      1      1      0      0      0
Train accuarcate: 94.28%
tensor([[ 64.,  49.,  73.,  83.,  52.,  68.,  39., 104.,  53.,  71.],
        [ 72.,  79., 109.,  87.,  42.,  79.,  82.,  49.,  85.,  57.],
        [ 40.,  86.,  70.,  62.,  55.,  58.,  56.,  62.,  59.,  49.],
        [105.,  48.,  73.,  69.,  50.,  72.,  81.,  68.,  64.,  72.],
        [ 62.,  56.,  69.,  44.,  96.,  59.,  69.,  69.,  66.,  73.],
        [ 39.,  91.,  64.,  65.,  53.,  54.,  52.,  67.,  62.,  54.],
        [ 45.,  60.,  57.,  65., 101.,  75.,  56.,  65.,  73.,  76.],
        [ 38.,  63.,  62.,  71.,  68.,  71.,  60.,  63.,  69.,  85.],
        [ 77.,  53.,  76.,  47.,  80.,  85.,  94.,  51.,  68.,  76.],
        [ 61.,  50.,  54.,  69.,  79.,  64.,  51.,  82.,  83., 101.],
        [112.,  46.,  81.,  76.,  57.,  85.,  76.,  63.,  84.,  58.],
        [ 64.,  64.,  74.,  71.,  77.,  66., 100.,  65.,  77.,  70.],
        [ 55.,  47.,  62.,  65.,  78.,  68.,  53.,  74.,  65.,  97.],
        [107.,  45.,  81.,  73.,  59.,  76.,  67.,  70.,  87.,  74.],
        [ 38.,  94.,  61.,  71.,  50.,  58.,  60.,  55.,  72.,  58.],
        [ 72.,  59.,  66.,  88.,  57.,  94.,  60.,  71.,  80.,  66.],
        [ 56.,  53.,  63.,  63.,  75.,  61.,  55.,  81.,  78., 102.],
        [ 73.,  48.,  81.,  83.,  56.,  66.,  42., 106.,  48.,  69.],
        [ 65.,  68.,  90.,  92.,  69.,  77.,  68.,  68.,  74.,  73.],
        [ 46.,  55.,  57.,  55.,  87.,  63.,  55.,  61.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.89%



iteration:
  313
    0   153   bit_w:-1  loss: 0.19928
    1   294   bit_w:-1  loss: 0.19903
    2   100   bit_w:-1  loss: 0.19902
    3   358   bit_w: 1  loss: 0.19899
    4   535   bit_w:-1  loss: 0.19897
   5742   5408   4991   4248   5806   5159   4807   6255   5455   5922
      0     -1      0     -1     -1      0      0      0     -1      0
Train accuarcate: 94.30%
tensor([[ 64.,  49.,  73.,  83.,  52.,  68.,  39., 104.,  53.,  71.],
        [ 72.,  80., 109.,  88.,  43.,  79.,  82.,  49.,  86.,  57.],
        [ 40.,  86.,  70.,  62.,  55.,  58.,  56.,  62.,  59.,  49.],
        [105.,  49.,  73.,  70.,  51.,  72.,  81.,  68.,  65.,  72.],
        [ 62.,  56.,  69.,  44.,  96.,  59.,  69.,  69.,  66.,  73.],
        [ 39.,  91.,  64.,  65.,  53.,  54.,  52.,  67.,  62.,  54.],
        [ 45.,  60.,  57.,  65., 101.,  75.,  56.,  65.,  73.,  76.],
        [ 38.,  63.,  62.,  71.,  68.,  71.,  60.,  63.,  69.,  85.],
        [ 77.,  53.,  76.,  47.,  80.,  85.,  94.,  51.,  68.,  76.],
        [ 61.,  50.,  54.,  69.,  79.,  64.,  51.,  82.,  83., 101.],
        [112.,  46.,  81.,  76.,  57.,  85.,  76.,  63.,  84.,  58.],
        [ 64.,  64.,  74.,  71.,  77.,  66., 100.,  65.,  77.,  70.],
        [ 55.,  47.,  62.,  65.,  78.,  68.,  53.,  74.,  65.,  97.],
        [107.,  45.,  81.,  73.,  59.,  76.,  67.,  70.,  87.,  74.],
        [ 38.,  95.,  61.,  72.,  51.,  58.,  60.,  55.,  73.,  58.],
        [ 72.,  59.,  66.,  88.,  57.,  94.,  60.,  71.,  80.,  66.],
        [ 56.,  53.,  63.,  63.,  75.,  61.,  55.,  81.,  78., 102.],
        [ 73.,  48.,  81.,  83.,  56.,  66.,  42., 106.,  48.,  69.],
        [ 65.,  68.,  90.,  92.,  69.,  77.,  68.,  68.,  74.,  73.],
        [ 46.,  55.,  57.,  55.,  87.,  63.,  55.,  61.,  59.,  70.]],
       device='cuda:0')
Train accuarcate: 93.90%



iteration:
  314
    0   153   bit_w:-1  loss: 0.19884
    1   208   bit_w: 1  loss: 0.19862
    2   288   bit_w: 1  loss: 0.19858
    3   213   bit_w:-1  loss: 0.19835
    4   152   bit_w:-1  loss: 0.19848
   2803   2643   1884   1971   4760   3380   3903   5595   3281   3944
      0     -1      0      0      0      0      0      1      1     -1
Train accuarcate: 94.35%
tensor([[ 64.,  49.,  73.,  83.,  52.,  68.,  39., 105.,  54.,  71.],
        [ 72.,  81., 109.,  88.,  43.,  79.,  82.,  49.,  86.,  58.],
        [ 40.,  87.,  70.,  62.,  55.,  58.,  56.,  62.,  59.,  50.],
        [105.,  49.,  73.,  70.,  51.,  72.,  81.,  69.,  66.,  72.],
        [ 62.,  56.,  69.,  44.,  96.,  59.,  69.,  70.,  67.,  73.],
        [ 39.,  92.,  64.,  65.,  53.,  54.,  52.,  67.,  62.,  55.],
        [ 45.,  60.,  57.,  65., 101.,  75.,  56.,  66.,  74.,  76.],
        [ 38.,  63.,  62.,  71.,  68.,  71.,  60.,  64.,  70.,  85.],
        [ 77.,  53.,  76.,  47.,  80.,  85.,  94.,  52.,  69.,  76.],
        [ 61.,  50.,  54.,  69.,  79.,  64.,  51.,  83.,  84., 101.],
        [112.,  47.,  81.,  76.,  57.,  85.,  76.,  63.,  84.,  59.],
        [ 64.,  64.,  74.,  71.,  77.,  66., 100.,  66.,  78.,  70.],
        [ 55.,  48.,  62.,  65.,  78.,  68.,  53.,  74.,  65.,  98.],
        [107.,  45.,  81.,  73.,  59.,  76.,  67.,  71.,  88.,  74.],
        [ 38.,  96.,  61.,  72.,  51.,  58.,  60.,  55.,  73.,  59.],
        [ 72.,  60.,  66.,  88.,  57.,  94.,  60.,  71.,  80.,  67.],
        [ 56.,  53.,  63.,  63.,  75.,  61.,  55.,  82.,  79., 102.],
        [ 73.,  48.,  81.,  83.,  56.,  66.,  42., 107.,  49.,  69.],
        [ 65.,  68.,  90.,  92.,  69.,  77.,  68.,  69.,  75.,  73.],
        [ 46.,  55.,  57.,  55.,  87.,  63.,  55.,  62.,  60.,  70.]],
       device='cuda:0')
Train accuarcate: 94.01%



iteration:
  315
    0   181   bit_w:-1  loss: 0.19832
    1   237   bit_w: 1  loss: 0.19803
    2   246   bit_w:-1  loss: 0.19800
    3    98   bit_w: 1  loss: 0.19791
    4   738   bit_w:-1  loss: 0.19796
   3922   6562   3538   2788   4974   3512   5542   5528   3298   4908
      0      0      0      0      1      0      0      0      0     -1
Train accuarcate: 94.35%
tensor([[ 64.,  49.,  73.,  83.,  53.,  68.,  39., 105.,  54.,  71.],
        [ 72.,  81., 109.,  88.,  44.,  79.,  82.,  49.,  86.,  58.],
        [ 40.,  87.,  70.,  62.,  56.,  58.,  56.,  62.,  59.,  50.],
        [105.,  49.,  73.,  70.,  52.,  72.,  81.,  69.,  66.,  72.],
        [ 62.,  56.,  69.,  44.,  97.,  59.,  69.,  70.,  67.,  73.],
        [ 39.,  92.,  64.,  65.,  54.,  54.,  52.,  67.,  62.,  55.],
        [ 45.,  60.,  57.,  65., 102.,  75.,  56.,  66.,  74.,  76.],
        [ 38.,  63.,  62.,  71.,  69.,  71.,  60.,  64.,  70.,  85.],
        [ 77.,  53.,  76.,  47.,  81.,  85.,  94.,  52.,  69.,  76.],
        [ 61.,  50.,  54.,  69.,  80.,  64.,  51.,  83.,  84., 101.],
        [112.,  47.,  81.,  76.,  57.,  85.,  76.,  63.,  84.,  60.],
        [ 64.,  64.,  74.,  71.,  78.,  66., 100.,  66.,  78.,  70.],
        [ 55.,  48.,  62.,  65.,  79.,  68.,  53.,  74.,  65.,  98.],
        [107.,  45.,  81.,  73.,  60.,  76.,  67.,  71.,  88.,  74.],
        [ 38.,  96.,  61.,  72.,  52.,  58.,  60.,  55.,  73.,  59.],
        [ 72.,  60.,  66.,  88.,  58.,  94.,  60.,  71.,  80.,  67.],
        [ 56.,  53.,  63.,  63.,  75.,  61.,  55.,  82.,  79., 103.],
        [ 73.,  48.,  81.,  83.,  57.,  66.,  42., 107.,  49.,  69.],
        [ 65.,  68.,  90.,  92.,  70.,  77.,  68.,  69.,  75.,  73.],
        [ 46.,  55.,  57.,  55.,  88.,  63.,  55.,  62.,  60.,  70.]],
       device='cuda:0')
Train accuarcate: 94.05%



iteration:
  316
    0   378   bit_w:-1  loss: 0.19779
    1   516   bit_w:-1  loss: 0.19738
    2   460   bit_w:-1  loss: 0.19740
    3   237   bit_w: 1  loss: 0.19715
    4   407   bit_w:-1  loss: 0.19731
   5844   1740   2407   3298   3084   4363   2895   5642   1215   4500
      0      1     -1      0      0      0     -1     -1      0      1
Train accuarcate: 94.35%
tensor([[ 64.,  50.,  73.,  83.,  53.,  68.,  39., 105.,  54.,  72.],
        [ 72.,  82., 109.,  88.,  44.,  79.,  82.,  49.,  86.,  59.],
        [ 40.,  87.,  71.,  62.,  56.,  58.,  57.,  63.,  59.,  50.],
        [105.,  50.,  73.,  70.,  52.,  72.,  81.,  69.,  66.,  73.],
        [ 62.,  57.,  69.,  44.,  97.,  59.,  69.,  70.,  67.,  74.],
        [ 39.,  92.,  65.,  65.,  54.,  54.,  53.,  68.,  62.,  55.],
        [ 45.,  61.,  57.,  65., 102.,  75.,  56.,  66.,  74.,  77.],
        [ 38.,  63.,  63.,  71.,  69.,  71.,  61.,  65.,  70.,  85.],
        [ 77.,  54.,  76.,  47.,  81.,  85.,  94.,  52.,  69.,  77.],
        [ 61.,  51.,  54.,  69.,  80.,  64.,  51.,  83.,  84., 102.],
        [112.,  48.,  81.,  76.,  57.,  85.,  76.,  63.,  84.,  61.],
        [ 64.,  64.,  75.,  71.,  78.,  66., 101.,  67.,  78.,  70.],
        [ 55.,  49.,  62.,  65.,  79.,  68.,  53.,  74.,  65.,  99.],
        [107.,  46.,  81.,  73.,  60.,  76.,  67.,  71.,  88.,  75.],
        [ 38.,  97.,  61.,  72.,  52.,  58.,  60.,  55.,  73.,  60.],
        [ 72.,  61.,  66.,  88.,  58.,  94.,  60.,  71.,  80.,  68.],
        [ 56.,  54.,  63.,  63.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 73.,  49.,  81.,  83.,  57.,  66.,  42., 107.,  49.,  70.],
        [ 65.,  69.,  90.,  92.,  70.,  77.,  68.,  69.,  75.,  74.],
        [ 46.,  56.,  57.,  55.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 93.91%



iteration:
  317
    0   300   bit_w:-1  loss: 0.19713
    1   208   bit_w: 1  loss: 0.19694
    2   219   bit_w:-1  loss: 0.19689
    3   125   bit_w: 1  loss: 0.19679
    4   509   bit_w:-1  loss: 0.19684
   3551   6661   4874   5664   4202   3878   5589   4373   4596   4897
     -1      0      0      1      0     -1      0     -1      0      0
Train accuarcate: 94.36%
tensor([[ 65.,  50.,  73.,  83.,  53.,  69.,  39., 106.,  54.,  72.],
        [ 72.,  82., 109.,  89.,  44.,  79.,  82.,  49.,  86.,  59.],
        [ 40.,  87.,  71.,  63.,  56.,  58.,  57.,  63.,  59.,  50.],
        [105.,  50.,  73.,  71.,  52.,  72.,  81.,  69.,  66.,  73.],
        [ 63.,  57.,  69.,  44.,  97.,  60.,  69.,  71.,  67.,  74.],
        [ 39.,  92.,  65.,  66.,  54.,  54.,  53.,  68.,  62.,  55.],
        [ 46.,  61.,  57.,  65., 102.,  76.,  56.,  67.,  74.,  77.],
        [ 38.,  63.,  63.,  72.,  69.,  71.,  61.,  65.,  70.,  85.],
        [ 78.,  54.,  76.,  47.,  81.,  86.,  94.,  53.,  69.,  77.],
        [ 62.,  51.,  54.,  69.,  80.,  65.,  51.,  84.,  84., 102.],
        [113.,  48.,  81.,  76.,  57.,  86.,  76.,  64.,  84.,  61.],
        [ 65.,  64.,  75.,  71.,  78.,  67., 101.,  68.,  78.,  70.],
        [ 56.,  49.,  62.,  65.,  79.,  69.,  53.,  75.,  65.,  99.],
        [107.,  46.,  81.,  74.,  60.,  76.,  67.,  71.,  88.,  75.],
        [ 38.,  97.,  61.,  73.,  52.,  58.,  60.,  55.,  73.,  60.],
        [ 72.,  61.,  66.,  89.,  58.,  94.,  60.,  71.,  80.,  68.],
        [ 56.,  54.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 73.,  49.,  81.,  84.,  57.,  66.,  42., 107.,  49.,  70.],
        [ 65.,  69.,  90.,  93.,  70.,  77.,  68.,  69.,  75.,  74.],
        [ 46.,  56.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 93.93%



iteration:
  318
    0   180   bit_w:-1  loss: 0.19663
    1   263   bit_w: 1  loss: 0.19644
    2   400   bit_w: 1  loss: 0.19638
    3   461   bit_w: 1  loss: 0.19625
    4   683   bit_w:-1  loss: 0.19627
   3822   4939   2600    701   5045   2343   4273   3426   3029   4284
      0      1      0      0      0     -1      0      0     -1      0
Train accuarcate: 94.34%
tensor([[ 65.,  50.,  73.,  83.,  53.,  70.,  39., 106.,  55.,  72.],
        [ 72.,  82., 109.,  89.,  44.,  80.,  82.,  49.,  87.,  59.],
        [ 40.,  88.,  71.,  63.,  56.,  58.,  57.,  63.,  59.,  50.],
        [105.,  51.,  73.,  71.,  52.,  72.,  81.,  69.,  66.,  73.],
        [ 63.,  58.,  69.,  44.,  97.,  60.,  69.,  71.,  67.,  74.],
        [ 39.,  93.,  65.,  66.,  54.,  54.,  53.,  68.,  62.,  55.],
        [ 46.,  61.,  57.,  65., 102.,  77.,  56.,  67.,  75.,  77.],
        [ 38.,  64.,  63.,  72.,  69.,  71.,  61.,  65.,  70.,  85.],
        [ 78.,  55.,  76.,  47.,  81.,  86.,  94.,  53.,  69.,  77.],
        [ 62.,  52.,  54.,  69.,  80.,  65.,  51.,  84.,  84., 102.],
        [113.,  48.,  81.,  76.,  57.,  87.,  76.,  64.,  85.,  61.],
        [ 65.,  65.,  75.,  71.,  78.,  67., 101.,  68.,  78.,  70.],
        [ 56.,  50.,  62.,  65.,  79.,  69.,  53.,  75.,  65.,  99.],
        [107.,  47.,  81.,  74.,  60.,  76.,  67.,  71.,  88.,  75.],
        [ 38.,  98.,  61.,  73.,  52.,  58.,  60.,  55.,  73.,  60.],
        [ 72.,  61.,  66.,  89.,  58.,  95.,  60.,  71.,  81.,  68.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 73.,  49.,  81.,  84.,  57.,  67.,  42., 107.,  50.,  70.],
        [ 65.,  69.,  90.,  93.,  70.,  78.,  68.,  69.,  76.,  74.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 93.91%



iteration:
  319
    0   354   bit_w:-1  loss: 0.19609
    1   409   bit_w:-1  loss: 0.19583
    2   285   bit_w: 1  loss: 0.19591
    3   464   bit_w:-1  loss: 0.19564
    4   445   bit_w: 1  loss: 0.19561
   4539   5810   1600    618    218   1330    601    856    805    317
      1      0      1      0      0      0      0      0      0      1
Train accuarcate: 94.38%
tensor([[ 65.,  50.,  73.,  83.,  53.,  70.,  39., 106.,  55.,  72.],
        [ 73.,  82., 110.,  89.,  44.,  80.,  82.,  49.,  87.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  74.,  71.,  52.,  72.,  81.,  69.,  66.,  74.],
        [ 63.,  58.,  69.,  44.,  97.,  60.,  69.,  71.,  67.,  74.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  61.,  57.,  65., 102.,  77.,  56.,  67.,  75.,  77.],
        [ 38.,  64.,  63.,  72.,  69.,  71.,  61.,  65.,  70.,  85.],
        [ 78.,  55.,  76.,  47.,  81.,  86.,  94.,  53.,  69.,  77.],
        [ 62.,  52.,  54.,  69.,  80.,  65.,  51.,  84.,  84., 102.],
        [114.,  48.,  82.,  76.,  57.,  87.,  76.,  64.,  85.,  62.],
        [ 66.,  65.,  76.,  71.,  78.,  67., 101.,  68.,  78.,  71.],
        [ 56.,  50.,  62.,  65.,  79.,  69.,  53.,  75.,  65.,  99.],
        [108.,  47.,  82.,  74.,  60.,  76.,  67.,  71.,  88.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  95.,  60.,  71.,  81.,  69.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  91.,  93.,  70.,  78.,  68.,  69.,  76.,  75.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 93.97%



iteration:
  320
    0   623   bit_w:-1  loss: 0.19553
    1   293   bit_w:-1  loss: 0.19539
    2   210   bit_w: 1  loss: 0.19531
    3   569   bit_w: 1  loss: 0.19514
    4   367   bit_w:-1  loss: 0.19512
   4976   6379   5541   4842   5259   4311   5659   3974   5203   5365
      0      0     -1      0      0      0      0     -1     -1     -1
Train accuarcate: 94.37%
tensor([[ 65.,  50.,  73.,  83.,  53.,  70.,  39., 106.,  55.,  72.],
        [ 73.,  82., 110.,  89.,  44.,  80.,  82.,  49.,  87.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  74.,  71.,  52.,  72.,  81.,  69.,  66.,  74.],
        [ 63.,  58.,  69.,  44.,  97.,  60.,  69.,  71.,  67.,  74.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  61.,  57.,  65., 102.,  77.,  56.,  67.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 78.,  55.,  76.,  47.,  81.,  86.,  94.,  53.,  69.,  77.],
        [ 62.,  52.,  55.,  69.,  80.,  65.,  51.,  85.,  85., 103.],
        [114.,  48.,  82.,  76.,  57.,  87.,  76.,  64.,  85.,  62.],
        [ 66.,  65.,  76.,  71.,  78.,  67., 101.,  68.,  78.,  71.],
        [ 56.,  50.,  62.,  65.,  79.,  69.,  53.,  75.,  65.,  99.],
        [108.,  47.,  82.,  74.,  60.,  76.,  67.,  71.,  88.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  95.,  60.,  71.,  81.,  69.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  91.,  93.,  70.,  78.,  68.,  69.,  76.,  75.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 93.96%



iteration:
  321
    0   396   bit_w:-1  loss: 0.19504
    1   659   bit_w: 1  loss: 0.19497
    2   688   bit_w:-1  loss: 0.19491
    3    93   bit_w: 1  loss: 0.19481
    4   136   bit_w:-1  loss: 0.19488
   5790   6719   5930   6009   5340   5239   5889   5927   5713   5291
      0      0      0     -1     -1     -1      0      0     -1     -1
Train accuarcate: 94.38%
tensor([[ 65.,  50.,  73.,  83.,  53.,  70.,  39., 106.,  55.,  72.],
        [ 73.,  82., 110.,  89.,  44.,  80.,  82.,  49.,  87.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  74.,  71.,  52.,  72.,  81.,  69.,  66.,  74.],
        [ 63.,  58.,  69.,  45.,  98.,  61.,  69.,  71.,  68.,  75.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  61.,  57.,  65., 102.,  77.,  56.,  67.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 78.,  55.,  76.,  47.,  81.,  86.,  94.,  53.,  69.,  77.],
        [ 62.,  52.,  55.,  69.,  80.,  65.,  51.,  85.,  85., 103.],
        [114.,  48.,  82.,  76.,  57.,  87.,  76.,  64.,  85.,  62.],
        [ 66.,  65.,  76.,  71.,  78.,  67., 101.,  68.,  78.,  71.],
        [ 56.,  50.,  62.,  65.,  79.,  69.,  53.,  75.,  65.,  99.],
        [108.,  47.,  82.,  74.,  60.,  76.,  67.,  71.,  88.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  95.,  60.,  71.,  81.,  69.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  91.,  93.,  70.,  78.,  68.,  69.,  76.,  75.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 93.97%



iteration:
  322
    0   583   bit_w:-1  loss: 0.19480
    1   370   bit_w: 1  loss: 0.19471
    2   471   bit_w:-1  loss: 0.19471
    3   203   bit_w: 1  loss: 0.19461
    4   132   bit_w:-1  loss: 0.19461
   5200   6243   4521   5862   5482   4942   4712   6229   5546   5937
      0      0     -1     -1      0      0     -1      0     -1      0
Train accuarcate: 94.38%
tensor([[ 65.,  50.,  73.,  83.,  53.,  70.,  39., 106.,  55.,  72.],
        [ 73.,  82., 111.,  90.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  74.,  71.,  52.,  72.,  81.,  69.,  66.,  74.],
        [ 63.,  58.,  69.,  45.,  98.,  61.,  69.,  71.,  68.,  75.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  61.,  57.,  65., 102.,  77.,  56.,  67.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 78.,  55.,  76.,  47.,  81.,  86.,  94.,  53.,  69.,  77.],
        [ 62.,  52.,  55.,  69.,  80.,  65.,  51.,  85.,  85., 103.],
        [114.,  48.,  82.,  76.,  57.,  87.,  76.,  64.,  85.,  62.],
        [ 66.,  65.,  76.,  71.,  78.,  67., 101.,  68.,  78.,  71.],
        [ 56.,  50.,  62.,  65.,  79.,  69.,  53.,  75.,  65.,  99.],
        [108.,  47.,  82.,  74.,  60.,  76.,  67.,  71.,  88.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  95.,  60.,  71.,  81.,  69.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  94.,  70.,  78.,  69.,  69.,  77.,  75.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 93.97%



iteration:
  323
    0   592   bit_w:-1  loss: 0.19453
    1   371   bit_w: 1  loss: 0.19447
    2   287   bit_w:-1  loss: 0.19438
    3   148   bit_w: 1  loss: 0.19423
    4    98   bit_w:-1  loss: 0.19426
   5573   6683   4295   5176   5686   5091   4634   4395   5276   5672
      0      0     -1     -1      0      0      0      0      0      0
Train accuarcate: 94.39%
tensor([[ 65.,  50.,  73.,  83.,  53.,  70.,  39., 106.,  55.,  72.],
        [ 73.,  82., 111.,  90.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  74.,  71.,  52.,  72.,  81.,  69.,  66.,  74.],
        [ 63.,  58.,  69.,  45.,  98.,  61.,  69.,  71.,  68.,  75.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  61.,  57.,  65., 102.,  77.,  56.,  67.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 78.,  55.,  76.,  47.,  81.,  86.,  94.,  53.,  69.,  77.],
        [ 62.,  52.,  55.,  69.,  80.,  65.,  51.,  85.,  85., 103.],
        [114.,  48.,  82.,  76.,  57.,  87.,  76.,  64.,  85.,  62.],
        [ 66.,  65.,  76.,  71.,  78.,  67., 101.,  68.,  78.,  71.],
        [ 56.,  50.,  62.,  65.,  79.,  69.,  53.,  75.,  65.,  99.],
        [108.,  47.,  82.,  74.,  60.,  76.,  67.,  71.,  88.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  95.,  60.,  71.,  81.,  69.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  94.,  70.,  78.,  69.,  69.,  77.,  75.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 94.01%



iteration:
  324
    0   146   bit_w:-1  loss: 0.19419
    1   690   bit_w: 1  loss: 0.19412
    2   692   bit_w:-1  loss: 0.19412
    3   333   bit_w: 1  loss: 0.19403
    4   134   bit_w:-1  loss: 0.19409
   5832   6639   5616   5772   5430   5086   5697   6232   5774   5744
      0      0      0     -1     -1      0     -1      0      0     -1
Train accuarcate: 94.38%
tensor([[ 65.,  50.,  73.,  83.,  53.,  70.,  39., 106.,  55.,  72.],
        [ 73.,  82., 111.,  90.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  74.,  71.,  52.,  72.,  81.,  69.,  66.,  74.],
        [ 63.,  58.,  69.,  45.,  98.,  61.,  69.,  71.,  68.,  75.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  61.,  57.,  65., 102.,  77.,  56.,  67.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 78.,  55.,  76.,  48.,  82.,  86.,  95.,  53.,  69.,  78.],
        [ 62.,  52.,  55.,  69.,  80.,  65.,  51.,  85.,  85., 103.],
        [114.,  48.,  82.,  76.,  57.,  87.,  76.,  64.,  85.,  62.],
        [ 66.,  65.,  76.,  71.,  78.,  67., 101.,  68.,  78.,  71.],
        [ 56.,  50.,  62.,  65.,  79.,  69.,  53.,  75.,  65.,  99.],
        [108.,  47.,  82.,  74.,  60.,  76.,  67.,  71.,  88.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  95.,  60.,  71.,  81.,  69.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  95.,  71.,  78.,  70.,  69.,  77.,  76.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 94.00%



iteration:
  325
    0   664   bit_w:-1  loss: 0.19400
    1   514   bit_w: 1  loss: 0.19391
    2   483   bit_w:-1  loss: 0.19379
    3   397   bit_w: 1  loss: 0.19359
    4   690   bit_w:-1  loss: 0.19374
   3111   6709   4729   5656   4385   4841   5388   5883   5258   4922
      0      0     -1      0      0      0     -1      0     -1      0
Train accuarcate: 94.39%
tensor([[ 65.,  50.,  73.,  83.,  53.,  70.,  39., 106.,  55.,  72.],
        [ 73.,  82., 111.,  90.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  75.,  71.,  52.,  72.,  82.,  69.,  67.,  74.],
        [ 63.,  58.,  69.,  45.,  98.,  61.,  69.,  71.,  68.,  75.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  61.,  57.,  65., 102.,  77.,  56.,  67.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 78.,  55.,  76.,  48.,  82.,  86.,  95.,  53.,  69.,  78.],
        [ 62.,  52.,  55.,  69.,  80.,  65.,  51.,  85.,  85., 103.],
        [114.,  48.,  83.,  76.,  57.,  87.,  77.,  64.,  86.,  62.],
        [ 66.,  65.,  77.,  71.,  78.,  67., 102.,  68.,  79.,  71.],
        [ 56.,  50.,  62.,  65.,  79.,  69.,  53.,  75.,  65.,  99.],
        [108.,  47.,  83.,  74.,  60.,  76.,  68.,  71.,  89.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  95.,  60.,  71.,  81.,  69.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  95.,  71.,  78.,  70.,  69.,  77.,  76.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 94.02%



iteration:
  326
    0   716   bit_w:-1  loss: 0.19366
    1   577   bit_w: 1  loss: 0.19357
    2   443   bit_w:-1  loss: 0.19352
    3   621   bit_w: 1  loss: 0.19346
    4   565   bit_w:-1  loss: 0.19349
   4855   6736   5228   5810   5537   5008   5734   5965   5674   5623
     -1      0     -1     -1      0     -1      0      0      0      0
Train accuarcate: 94.41%
tensor([[ 65.,  50.,  73.,  83.,  53.,  70.,  39., 106.,  55.,  72.],
        [ 73.,  82., 111.,  90.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  75.,  71.,  52.,  72.,  82.,  69.,  67.,  74.],
        [ 63.,  58.,  69.,  45.,  98.,  61.,  69.,  71.,  68.,  75.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  61.,  57.,  65., 102.,  77.,  56.,  67.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 78.,  55.,  76.,  48.,  82.,  86.,  95.,  53.,  69.,  78.],
        [ 62.,  52.,  55.,  69.,  80.,  65.,  51.,  85.,  85., 103.],
        [114.,  48.,  83.,  76.,  57.,  87.,  77.,  64.,  86.,  62.],
        [ 66.,  65.,  77.,  71.,  78.,  67., 102.,  68.,  79.,  71.],
        [ 56.,  50.,  62.,  65.,  79.,  69.,  53.,  75.,  65.,  99.],
        [108.,  47.,  83.,  74.,  60.,  76.,  68.,  71.,  89.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  95.,  60.,  71.,  81.,  69.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  95.,  71.,  78.,  70.,  69.,  77.,  76.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 94.02%



iteration:
  327
    0   606   bit_w:-1  loss: 0.19341
    1   492   bit_w:-1  loss: 0.19317
    2   360   bit_w:-1  loss: 0.19315
    3   719   bit_w: 1  loss: 0.19313
    4    75   bit_w:-1  loss: 0.19312
   5534   6624   5074   5678   5093   5046   5259   6145   4880   5590
      0     -1      0      0     -1      0     -1      0     -1      0
Train accuarcate: 94.43%
tensor([[ 65.,  50.,  73.,  83.,  53.,  70.,  39., 106.,  55.,  72.],
        [ 73.,  82., 111.,  90.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  75.,  71.,  52.,  72.,  82.,  69.,  67.,  74.],
        [ 63.,  59.,  69.,  45.,  99.,  61.,  70.,  71.,  69.,  75.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  61.,  57.,  65., 102.,  77.,  56.,  67.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 78.,  56.,  76.,  48.,  83.,  86.,  96.,  53.,  70.,  78.],
        [ 62.,  52.,  55.,  69.,  80.,  65.,  51.,  85.,  85., 103.],
        [114.,  48.,  83.,  76.,  57.,  87.,  77.,  64.,  86.,  62.],
        [ 66.,  65.,  77.,  71.,  78.,  67., 102.,  68.,  79.,  71.],
        [ 56.,  50.,  62.,  65.,  79.,  69.,  53.,  75.,  65.,  99.],
        [108.,  47.,  83.,  74.,  60.,  76.,  68.,  71.,  89.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  95.,  60.,  71.,  81.,  69.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  95.,  71.,  78.,  70.,  69.,  77.,  76.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 94.00%



iteration:
  328
    0   130   bit_w:-1  loss: 0.19303
    1   244   bit_w:-1  loss: 0.19290
    2   329   bit_w:-1  loss: 0.19278
    3   176   bit_w: 1  loss: 0.19276
    4   647   bit_w:-1  loss: 0.19274
   2794   6722   4669   5596   5576   5383   5818   5558   4992   5470
     -1      0     -1     -1      0      0      0      0      0     -1
Train accuarcate: 94.44%
tensor([[ 65.,  50.,  73.,  83.,  53.,  70.,  39., 106.,  55.,  72.],
        [ 73.,  82., 111.,  90.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  75.,  71.,  52.,  72.,  82.,  69.,  67.,  74.],
        [ 63.,  59.,  69.,  45.,  99.,  61.,  70.,  71.,  69.,  75.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  61.,  57.,  65., 102.,  77.,  56.,  67.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 78.,  56.,  76.,  48.,  83.,  86.,  96.,  53.,  70.,  78.],
        [ 63.,  52.,  56.,  70.,  80.,  65.,  51.,  85.,  85., 104.],
        [115.,  48.,  84.,  77.,  57.,  87.,  77.,  64.,  86.,  63.],
        [ 66.,  65.,  77.,  71.,  78.,  67., 102.,  68.,  79.,  71.],
        [ 56.,  50.,  62.,  65.,  79.,  69.,  53.,  75.,  65.,  99.],
        [108.,  47.,  83.,  74.,  60.,  76.,  68.,  71.,  89.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  95.,  60.,  71.,  81.,  69.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  95.,  71.,  78.,  70.,  69.,  77.,  76.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 94.01%



iteration:
  329
    0   301   bit_w:-1  loss: 0.19262
    1   186   bit_w: 1  loss: 0.19233
    2    71   bit_w:-1  loss: 0.19231
    3   158   bit_w: 1  loss: 0.19225
    4   244   bit_w:-1  loss: 0.19215
   3997   6497   5466   5786   3424   3744   4846   3742   4652   4857
      0     -1      0      0     -1     -1     -1     -1      0      0
Train accuarcate: 94.47%
tensor([[ 65.,  51.,  73.,  83.,  54.,  71.,  40., 107.,  55.,  72.],
        [ 73.,  82., 111.,  90.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  75.,  71.,  52.,  72.,  82.,  69.,  67.,  74.],
        [ 63.,  60.,  69.,  45., 100.,  62.,  71.,  72.,  69.,  75.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  62.,  57.,  65., 103.,  78.,  57.,  68.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 78.,  56.,  76.,  48.,  83.,  86.,  96.,  53.,  70.,  78.],
        [ 63.,  53.,  56.,  70.,  81.,  66.,  52.,  86.,  85., 104.],
        [115.,  48.,  84.,  77.,  57.,  87.,  77.,  64.,  86.,  63.],
        [ 66.,  66.,  77.,  71.,  79.,  68., 103.,  69.,  79.,  71.],
        [ 56.,  51.,  62.,  65.,  80.,  70.,  54.,  76.,  65.,  99.],
        [108.,  47.,  83.,  74.,  60.,  76.,  68.,  71.,  89.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  95.,  60.,  71.,  81.,  69.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  95.,  71.,  78.,  70.,  69.,  77.,  76.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 94.01%



iteration:
  330
    0   130   bit_w:-1  loss: 0.19205
    1   240   bit_w: 1  loss: 0.19191
    2   185   bit_w:-1  loss: 0.19179
    3   244   bit_w: 1  loss: 0.19164
    4   640   bit_w:-1  loss: 0.19166
   4862   5815   3987   4797   5275   3574   3938   6164   4205   5207
      0      0      0      0      0     -1      0      0     -1     -1
Train accuarcate: 94.49%
tensor([[ 65.,  51.,  73.,  83.,  54.,  71.,  40., 107.,  55.,  72.],
        [ 73.,  82., 111.,  90.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  75.,  71.,  52.,  72.,  82.,  69.,  67.,  74.],
        [ 63.,  60.,  69.,  45., 100.,  62.,  71.,  72.,  69.,  75.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  62.,  57.,  65., 103.,  78.,  57.,  68.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 78.,  56.,  76.,  48.,  83.,  86.,  96.,  53.,  70.,  78.],
        [ 63.,  53.,  56.,  70.,  81.,  66.,  52.,  86.,  85., 104.],
        [115.,  48.,  84.,  77.,  57.,  87.,  77.,  64.,  86.,  63.],
        [ 66.,  66.,  77.,  71.,  79.,  68., 103.,  69.,  79.,  71.],
        [ 56.,  51.,  62.,  65.,  80.,  70.,  54.,  76.,  65.,  99.],
        [108.,  47.,  83.,  74.,  60.,  76.,  68.,  71.,  89.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  96.,  60.,  71.,  82.,  70.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  95.,  71.,  78.,  70.,  69.,  77.,  76.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 93.96%



iteration:
  331
    0   248   bit_w:-1  loss: 0.19158
    1   659   bit_w: 1  loss: 0.19150
    2   715   bit_w:-1  loss: 0.19148
    3    93   bit_w: 1  loss: 0.19136
    4   537   bit_w:-1  loss: 0.19142
   4380   6738   4552   5453   5615   4204   5836   6092   5438   5814
      0      0      0     -1     -1     -1      0      0     -1      0
Train accuarcate: 94.49%
tensor([[ 65.,  51.,  73.,  83.,  54.,  71.,  40., 107.,  55.,  72.],
        [ 73.,  82., 111.,  90.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  75.,  71.,  52.,  72.,  82.,  69.,  67.,  74.],
        [ 63.,  60.,  69.,  45., 100.,  62.,  71.,  72.,  69.,  75.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  62.,  57.,  65., 103.,  78.,  57.,  68.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 78.,  56.,  76.,  48.,  83.,  86.,  96.,  53.,  70.,  78.],
        [ 63.,  53.,  56.,  70.,  81.,  66.,  52.,  86.,  85., 104.],
        [115.,  48.,  84.,  77.,  57.,  87.,  77.,  64.,  86.,  63.],
        [ 66.,  66.,  77.,  71.,  79.,  68., 103.,  69.,  79.,  71.],
        [ 56.,  51.,  62.,  65.,  80.,  70.,  54.,  76.,  65.,  99.],
        [108.,  47.,  83.,  74.,  60.,  76.,  68.,  71.,  89.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  96.,  60.,  71.,  82.,  70.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  95.,  71.,  78.,  70.,  69.,  77.,  76.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 93.94%



iteration:
  332
    0   572   bit_w:-1  loss: 0.19133
    1   570   bit_w: 1  loss: 0.19109
    2   331   bit_w: 1  loss: 0.19106
    3   662   bit_w:-1  loss: 0.19098
    4   106   bit_w: 1  loss: 0.19096
   2501    710    959    462    171    565    786    153   2136     95
      1      0      0      0      0      0      1      1      1      0
Train accuarcate: 94.51%
tensor([[ 65.,  51.,  73.,  83.,  54.,  71.,  40., 107.,  55.,  72.],
        [ 73.,  82., 111.,  90.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  75.,  71.,  52.,  72.,  82.,  69.,  67.,  74.],
        [ 63.,  60.,  69.,  45., 100.,  62.,  71.,  72.,  69.,  75.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  62.,  57.,  65., 103.,  78.,  57.,  68.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 78.,  56.,  76.,  48.,  83.,  86.,  96.,  53.,  70.,  78.],
        [ 63.,  53.,  56.,  70.,  81.,  66.,  52.,  86.,  85., 104.],
        [115.,  48.,  84.,  77.,  57.,  87.,  77.,  64.,  86.,  63.],
        [ 67.,  66.,  77.,  71.,  79.,  68., 104.,  70.,  80.,  71.],
        [ 56.,  51.,  62.,  65.,  80.,  70.,  54.,  76.,  65.,  99.],
        [108.,  47.,  83.,  74.,  60.,  76.,  68.,  71.,  89.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  96.,  60.,  71.,  82.,  70.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  95.,  71.,  78.,  70.,  69.,  77.,  76.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 93.95%



iteration:
  333
    0   622   bit_w:-1  loss: 0.19088
    1   538   bit_w:-1  loss: 0.19080
    2   426   bit_w:-1  loss: 0.19070
    3   663   bit_w: 1  loss: 0.19068
    4   747   bit_w:-1  loss: 0.19067
   3261   6729   4947   5761   5782   5251   5749   6257   5583   5912
     -1     -1     -1      0      0      0     -1      0     -1     -1
Train accuarcate: 94.52%
tensor([[ 65.,  51.,  73.,  83.,  54.,  71.,  40., 107.,  55.,  72.],
        [ 73.,  82., 111.,  90.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  75.,  71.,  52.,  72.,  82.,  69.,  67.,  74.],
        [ 63.,  60.,  69.,  45., 100.,  62.,  71.,  72.,  69.,  75.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  62.,  57.,  65., 103.,  78.,  57.,  68.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 78.,  56.,  76.,  48.,  83.,  86.,  96.,  53.,  70.,  78.],
        [ 63.,  53.,  56.,  70.,  81.,  66.,  52.,  86.,  85., 104.],
        [115.,  48.,  84.,  77.,  57.,  87.,  77.,  64.,  86.,  63.],
        [ 67.,  66.,  77.,  71.,  79.,  68., 104.,  70.,  80.,  71.],
        [ 56.,  51.,  62.,  65.,  80.,  70.,  54.,  76.,  65.,  99.],
        [108.,  47.,  83.,  74.,  60.,  76.,  68.,  71.,  89.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  96.,  60.,  71.,  82.,  70.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  95.,  71.,  78.,  70.,  69.,  77.,  76.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 93.95%



iteration:
  334
    0   131   bit_w:-1  loss: 0.19059
    1   213   bit_w:-1  loss: 0.19048
    2   203   bit_w:-1  loss: 0.19037
    3   303   bit_w: 1  loss: 0.19035
    4   500   bit_w:-1  loss: 0.19031
   5216   6073   4876   5078   5552   5034   5143   5900   5509   5928
      0     -1      0      0     -1     -1     -1     -1      0      0
Train accuarcate: 94.54%
tensor([[ 65.,  51.,  73.,  83.,  54.,  71.,  40., 107.,  55.,  72.],
        [ 73.,  82., 111.,  90.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  75.,  71.,  52.,  72.,  82.,  69.,  67.,  74.],
        [ 63.,  60.,  69.,  45., 100.,  62.,  71.,  72.,  69.,  75.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  62.,  57.,  65., 103.,  78.,  57.,  68.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 78.,  56.,  76.,  48.,  83.,  86.,  96.,  53.,  70.,  78.],
        [ 63.,  53.,  56.,  70.,  81.,  66.,  52.,  86.,  85., 104.],
        [115.,  48.,  84.,  77.,  57.,  87.,  77.,  64.,  86.,  63.],
        [ 67.,  66.,  77.,  71.,  79.,  68., 104.,  70.,  80.,  71.],
        [ 56.,  51.,  62.,  65.,  80.,  70.,  54.,  76.,  65.,  99.],
        [108.,  47.,  83.,  74.,  60.,  76.,  68.,  71.,  89.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  96.,  60.,  71.,  82.,  70.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  95.,  71.,  78.,  70.,  69.,  77.,  76.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 94.02%



iteration:
  335
    0   572   bit_w:-1  loss: 0.19024
    1   659   bit_w:-1  loss: 0.18999
    2    95   bit_w:-1  loss: 0.18997
    3   569   bit_w: 1  loss: 0.18989
    4    99   bit_w:-1  loss: 0.18983
   5790   6506   5482   5966   5810   5292   4506   6171   4851   5909
     -1      0     -1      0      0      0     -1      0     -1      0
Train accuarcate: 94.54%
tensor([[ 65.,  51.,  73.,  83.,  54.,  71.,  40., 107.,  55.,  72.],
        [ 73.,  82., 111.,  90.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  63.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  75.,  71.,  52.,  72.,  82.,  69.,  67.,  74.],
        [ 63.,  60.,  69.,  45., 100.,  62.,  71.,  72.,  69.,  75.],
        [ 40.,  93.,  66.,  66.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  62.,  57.,  65., 103.,  78.,  57.,  68.,  75.,  77.],
        [ 38.,  64.,  64.,  72.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 79.,  56.,  77.,  48.,  83.,  86.,  97.,  53.,  71.,  78.],
        [ 63.,  53.,  56.,  70.,  81.,  66.,  52.,  86.,  85., 104.],
        [115.,  48.,  84.,  77.,  57.,  87.,  77.,  64.,  86.,  63.],
        [ 67.,  66.,  77.,  71.,  79.,  68., 104.,  70.,  80.,  71.],
        [ 56.,  51.,  62.,  65.,  80.,  70.,  54.,  76.,  65.,  99.],
        [108.,  47.,  83.,  74.,  60.,  76.,  68.,  71.,  89.,  76.],
        [ 39.,  98.,  62.,  73.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  89.,  58.,  96.,  60.,  71.,  82.,  70.],
        [ 56.,  55.,  63.,  64.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  84.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  95.,  71.,  78.,  70.,  69.,  77.,  76.],
        [ 46.,  57.,  57.,  56.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 94.01%



iteration:
  336
    0   321   bit_w:-1  loss: 0.18975
    1   348   bit_w: 1  loss: 0.18948
    2   277   bit_w: 1  loss: 0.18948
    3   720   bit_w:-1  loss: 0.18939
    4   397   bit_w: 1  loss: 0.18944
   1273     12    179    940   1108   1588    882    253   1944    743
      0      0      0     -1      1      1      0      0      1      0
Train accuarcate: 94.56%
tensor([[ 65.,  51.,  73.,  84.,  54.,  71.,  40., 107.,  55.,  72.],
        [ 73.,  82., 111.,  91.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  64.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  51.,  75.,  72.,  52.,  72.,  82.,  69.,  67.,  74.],
        [ 63.,  60.,  69.,  46., 100.,  62.,  71.,  72.,  69.,  75.],
        [ 40.,  93.,  66.,  67.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  62.,  57.,  66., 103.,  78.,  57.,  68.,  75.,  77.],
        [ 38.,  64.,  64.,  73.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 79.,  56.,  77.,  48.,  84.,  87.,  97.,  53.,  72.,  78.],
        [ 63.,  53.,  56.,  71.,  81.,  66.,  52.,  86.,  85., 104.],
        [115.,  48.,  84.,  78.,  57.,  87.,  77.,  64.,  86.,  63.],
        [ 67.,  66.,  77.,  72.,  79.,  68., 104.,  70.,  80.,  71.],
        [ 56.,  51.,  62.,  66.,  80.,  70.,  54.,  76.,  65.,  99.],
        [108.,  47.,  83.,  75.,  60.,  76.,  68.,  71.,  89.,  76.],
        [ 39.,  98.,  62.,  74.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  90.,  58.,  96.,  60.,  71.,  82.,  70.],
        [ 56.,  55.,  63.,  65.,  75.,  61.,  55.,  82.,  79., 104.],
        [ 74.,  49.,  82.,  85.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  95.,  72.,  79.,  70.,  69.,  78.,  76.],
        [ 46.,  57.,  57.,  57.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 94.13%



iteration:
  337
    0   182   bit_w:-1  loss: 0.18928
    1   576   bit_w:-1  loss: 0.18898
    2   692   bit_w:-1  loss: 0.18897
    3   471   bit_w: 1  loss: 0.18888
    4   593   bit_w:-1  loss: 0.18890
   3299   6033   3569   3015   5542   3846   3840   6115   3646   4514
      0     -1     -1      0      0     -1      0      0      0     -1
Train accuarcate: 94.60%
tensor([[ 65.,  51.,  73.,  84.,  54.,  71.,  40., 107.,  55.,  72.],
        [ 73.,  82., 111.,  91.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  64.,  56.,  58.,  57.,  63.,  59.,  51.],
        [106.,  52.,  76.,  72.,  52.,  73.,  82.,  69.,  67.,  75.],
        [ 63.,  60.,  69.,  46., 100.,  62.,  71.,  72.,  69.,  75.],
        [ 40.,  93.,  66.,  67.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  62.,  57.,  66., 103.,  78.,  57.,  68.,  75.,  77.],
        [ 38.,  64.,  64.,  73.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 79.,  57.,  78.,  48.,  84.,  88.,  97.,  53.,  72.,  79.],
        [ 63.,  53.,  56.,  71.,  81.,  66.,  52.,  86.,  85., 104.],
        [115.,  49.,  85.,  78.,  57.,  88.,  77.,  64.,  86.,  64.],
        [ 67.,  66.,  77.,  72.,  79.,  68., 104.,  70.,  80.,  71.],
        [ 56.,  51.,  62.,  66.,  80.,  70.,  54.,  76.,  65.,  99.],
        [108.,  47.,  83.,  75.,  60.,  76.,  68.,  71.,  89.,  76.],
        [ 39.,  98.,  62.,  74.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  90.,  58.,  96.,  60.,  71.,  82.,  70.],
        [ 56.,  56.,  64.,  65.,  75.,  62.,  55.,  82.,  79., 105.],
        [ 74.,  49.,  82.,  85.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  95.,  72.,  79.,  70.,  69.,  78.,  76.],
        [ 46.,  57.,  57.,  57.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 94.16%



iteration:
  338
    0   354   bit_w:-1  loss: 0.18879
    1   407   bit_w: 1  loss: 0.18851
    2   677   bit_w:-1  loss: 0.18853
    3   378   bit_w: 1  loss: 0.18839
    4   414   bit_w:-1  loss: 0.18835
   2081   6736   4460   5636   4139   4916   4961   3106   5658   5085
     -1      0      0      0     -1     -1      0     -1      0      0
Train accuarcate: 94.62%
tensor([[ 66.,  51.,  73.,  84.,  55.,  72.,  40., 108.,  55.,  72.],
        [ 73.,  82., 111.,  91.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  64.,  56.,  58.,  57.,  63.,  59.,  51.],
        [107.,  52.,  76.,  72.,  53.,  74.,  82.,  70.,  67.,  75.],
        [ 64.,  60.,  69.,  46., 101.,  63.,  71.,  73.,  69.,  75.],
        [ 40.,  93.,  66.,  67.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 46.,  62.,  57.,  66., 103.,  78.,  57.,  68.,  75.,  77.],
        [ 38.,  64.,  64.,  73.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 79.,  57.,  78.,  48.,  84.,  88.,  97.,  53.,  72.,  79.],
        [ 63.,  53.,  56.,  71.,  81.,  66.,  52.,  86.,  85., 104.],
        [116.,  49.,  85.,  78.,  58.,  89.,  77.,  65.,  86.,  64.],
        [ 67.,  66.,  77.,  72.,  79.,  68., 104.,  70.,  80.,  71.],
        [ 56.,  51.,  62.,  66.,  80.,  70.,  54.,  76.,  65.,  99.],
        [108.,  47.,  83.,  75.,  60.,  76.,  68.,  71.,  89.,  76.],
        [ 39.,  98.,  62.,  74.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  90.,  58.,  96.,  60.,  71.,  82.,  70.],
        [ 57.,  56.,  64.,  65.,  76.,  63.,  55.,  83.,  79., 105.],
        [ 74.,  49.,  82.,  85.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 66.,  69.,  92.,  95.,  72.,  79.,  70.,  69.,  78.,  76.],
        [ 46.,  57.,  57.,  57.,  88.,  63.,  55.,  62.,  60.,  71.]],
       device='cuda:0')
Train accuarcate: 94.20%



iteration:
  339
    0   354   bit_w:-1  loss: 0.18823
    1   409   bit_w:-1  loss: 0.18795
    2   315   bit_w:-1  loss: 0.18803
    3   388   bit_w: 1  loss: 0.18791
    4   342   bit_w:-1  loss: 0.18798
   4532   6656   3349   4701   1883   4582   4369   1838   3631   1484
     -1     -1      0      0      0      0      0      0      0     -1
Train accuarcate: 94.61%
tensor([[ 67.,  52.,  73.,  84.,  55.,  72.,  40., 108.,  55.,  73.],
        [ 73.,  82., 111.,  91.,  44.,  80.,  83.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  64.,  56.,  58.,  57.,  63.,  59.,  51.],
        [107.,  52.,  76.,  72.,  53.,  74.,  82.,  70.,  67.,  75.],
        [ 65.,  61.,  69.,  46., 101.,  63.,  71.,  73.,  69.,  76.],
        [ 40.,  93.,  66.,  67.,  54.,  54.,  53.,  68.,  62.,  56.],
        [ 47.,  63.,  57.,  66., 103.,  78.,  57.,  68.,  75.,  78.],
        [ 38.,  64.,  64.,  73.,  69.,  71.,  61.,  66.,  71.,  86.],
        [ 80.,  58.,  78.,  48.,  84.,  88.,  97.,  53.,  72.,  80.],
        [ 64.,  54.,  56.,  71.,  81.,  66.,  52.,  86.,  85., 105.],
        [116.,  49.,  85.,  78.,  58.,  89.,  77.,  65.,  86.,  64.],
        [ 67.,  66.,  77.,  72.,  79.,  68., 104.,  70.,  80.,  71.],
        [ 57.,  52.,  62.,  66.,  80.,  70.,  54.,  76.,  65., 100.],
        [108.,  47.,  83.,  75.,  60.,  76.,  68.,  71.,  89.,  76.],
        [ 39.,  98.,  62.,  74.,  52.,  58.,  60.,  55.,  73.,  61.],
        [ 73.,  61.,  67.,  90.,  58.,  96.,  60.,  71.,  82.,  70.],
        [ 58.,  57.,  64.,  65.,  76.,  63.,  55.,  83.,  79., 106.],
        [ 74.,  49.,  82.,  85.,  57.,  67.,  42., 107.,  50.,  71.],
        [ 67.,  70.,  92.,  95.,  72.,  79.,  70.,  69.,  78.,  77.],
        [ 47.,  58.,  57.,  57.,  88.,  63.,  55.,  62.,  60.,  72.]],
       device='cuda:0')
Train accuarcate: 94.11%



iteration:
  340
    0   372   bit_w:-1  loss: 0.18787
    1   486   bit_w: 1  loss: 0.18754
    2   406   bit_w:-1  loss: 0.18758
    3   405   bit_w: 1  loss: 0.18755
    4   378   bit_w:-1  loss: 0.18756
   2604    750   4882   1584   2960   2205   4166   4569   3467   2286
      0      0      1      0     -1      0      1     -1      0      0
Train accuarcate: 94.63%
tensor([[ 67.,  52.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 73.,  82., 112.,  91.,  44.,  80.,  84.,  49.,  88.,  60.],
        [ 41.,  88.,  72.,  64.,  57.,  58.,  57.,  64.,  59.,  51.],
        [107.,  52.,  76.,  72.,  54.,  74.,  82.,  71.,  67.,  75.],
        [ 65.,  61.,  70.,  46., 101.,  63.,  72.,  73.,  69.,  76.],
        [ 40.,  93.,  66.,  67.,  55.,  54.,  53.,  69.,  62.,  56.],
        [ 47.,  63.,  57.,  66., 104.,  78.,  57.,  69.,  75.,  78.],
        [ 38.,  64.,  64.,  73.,  70.,  71.,  61.,  67.,  71.,  86.],
        [ 80.,  58.,  79.,  48.,  84.,  88.,  98.,  53.,  72.,  80.],
        [ 64.,  54.,  56.,  71.,  82.,  66.,  52.,  87.,  85., 105.],
        [116.,  49.,  85.,  78.,  59.,  89.,  77.,  66.,  86.,  64.],
        [ 67.,  66.,  77.,  72.,  80.,  68., 104.,  71.,  80.,  71.],
        [ 57.,  52.,  62.,  66.,  81.,  70.,  54.,  77.,  65., 100.],
        [108.,  47.,  83.,  75.,  61.,  76.,  68.,  72.,  89.,  76.],
        [ 39.,  98.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 73.,  61.,  67.,  90.,  59.,  96.,  60.,  72.,  82.,  70.],
        [ 58.,  57.,  65.,  65.,  76.,  63.,  56.,  83.,  79., 106.],
        [ 74.,  49.,  83.,  85.,  57.,  67.,  43., 107.,  50.,  71.],
        [ 67.,  70.,  93.,  95.,  72.,  79.,  71.,  69.,  78.,  77.],
        [ 47.,  58.,  58.,  57.,  88.,  63.,  56.,  62.,  60.,  72.]],
       device='cuda:0')
Train accuarcate: 94.15%



iteration:
  341
    0   681   bit_w:-1  loss: 0.18748
    1   599   bit_w: 1  loss: 0.18727
    2   610   bit_w:-1  loss: 0.18720
    3   539   bit_w: 1  loss: 0.18716
    4   580   bit_w:-1  loss: 0.18706
   5640   6669   5170   4416   5440   4329   5362   6083   4903   5548
     -1      0      0     -1      0     -1      0      0     -1      0
Train accuarcate: 94.67%
tensor([[ 67.,  52.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 74.,  82., 112.,  92.,  44.,  81.,  84.,  49.,  89.,  60.],
        [ 41.,  88.,  72.,  64.,  57.,  58.,  57.,  64.,  59.,  51.],
        [107.,  52.,  76.,  72.,  54.,  74.,  82.,  71.,  67.,  75.],
        [ 65.,  61.,  70.,  46., 101.,  63.,  72.,  73.,  69.,  76.],
        [ 40.,  93.,  66.,  67.,  55.,  54.,  53.,  69.,  62.,  56.],
        [ 47.,  63.,  57.,  66., 104.,  78.,  57.,  69.,  75.,  78.],
        [ 39.,  64.,  64.,  74.,  70.,  72.,  61.,  67.,  72.,  86.],
        [ 80.,  58.,  79.,  48.,  84.,  88.,  98.,  53.,  72.,  80.],
        [ 64.,  54.,  56.,  71.,  82.,  66.,  52.,  87.,  85., 105.],
        [116.,  49.,  85.,  78.,  59.,  89.,  77.,  66.,  86.,  64.],
        [ 67.,  66.,  77.,  72.,  80.,  68., 104.,  71.,  80.,  71.],
        [ 57.,  52.,  62.,  66.,  81.,  70.,  54.,  77.,  65., 100.],
        [109.,  47.,  83.,  76.,  61.,  77.,  68.,  72.,  90.,  76.],
        [ 39.,  98.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 73.,  61.,  67.,  90.,  59.,  96.,  60.,  72.,  82.,  70.],
        [ 58.,  57.,  65.,  65.,  76.,  63.,  56.,  83.,  79., 106.],
        [ 74.,  49.,  83.,  85.,  57.,  67.,  43., 107.,  50.,  71.],
        [ 68.,  70.,  93.,  96.,  72.,  80.,  71.,  69.,  79.,  77.],
        [ 47.,  58.,  58.,  57.,  88.,  63.,  56.,  62.,  60.,  72.]],
       device='cuda:0')
Train accuarcate: 94.16%



iteration:
  342
    0   285   bit_w:-1  loss: 0.18698
    1   581   bit_w: 1  loss: 0.18688
    2   441   bit_w:-1  loss: 0.18688
    3   580   bit_w: 1  loss: 0.18671
    4   177   bit_w:-1  loss: 0.18673
   3400   6715   4686   4351   4477   5044   3937   4627   5353   5716
      0      0     -1      0      0      0      0     -1      0      0
Train accuarcate: 94.69%
tensor([[ 67.,  52.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 74.,  82., 112.,  92.,  44.,  81.,  84.,  49.,  89.,  60.],
        [ 41.,  88.,  72.,  64.,  57.,  58.,  57.,  64.,  59.,  51.],
        [107.,  52.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 65.,  61.,  70.,  46., 101.,  63.,  72.,  73.,  69.,  76.],
        [ 40.,  93.,  66.,  67.,  55.,  54.,  53.,  69.,  62.,  56.],
        [ 47.,  63.,  58.,  66., 104.,  78.,  57.,  70.,  75.,  78.],
        [ 39.,  64.,  64.,  74.,  70.,  72.,  61.,  67.,  72.,  86.],
        [ 80.,  58.,  79.,  48.,  84.,  88.,  98.,  53.,  72.,  80.],
        [ 64.,  54.,  56.,  71.,  82.,  66.,  52.,  87.,  85., 105.],
        [116.,  49.,  86.,  78.,  59.,  89.,  77.,  67.,  86.,  64.],
        [ 67.,  66.,  78.,  72.,  80.,  68., 104.,  72.,  80.,  71.],
        [ 57.,  52.,  62.,  66.,  81.,  70.,  54.,  77.,  65., 100.],
        [109.,  47.,  83.,  76.,  61.,  77.,  68.,  72.,  90.,  76.],
        [ 39.,  98.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 73.,  61.,  68.,  90.,  59.,  96.,  60.,  73.,  82.,  70.],
        [ 58.,  57.,  65.,  65.,  76.,  63.,  56.,  83.,  79., 106.],
        [ 74.,  49.,  83.,  85.,  57.,  67.,  43., 107.,  50.,  71.],
        [ 68.,  70.,  94.,  96.,  72.,  80.,  71.,  70.,  79.,  77.],
        [ 47.,  58.,  58.,  57.,  88.,  63.,  56.,  62.,  60.,  72.]],
       device='cuda:0')
Train accuarcate: 94.14%



iteration:
  343
    0   323   bit_w:-1  loss: 0.18664
    1   632   bit_w: 1  loss: 0.18628
    2   535   bit_w: 1  loss: 0.18635
    3   482   bit_w:-1  loss: 0.18621
    4    69   bit_w: 1  loss: 0.18629
   1338    367    778   1099   1220   2000   1184    891   1797   1267
      1      1      0      1      0      1      1      0      0      0
Train accuarcate: 94.72%
tensor([[ 67.,  52.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 74.,  82., 112.,  92.,  44.,  81.,  84.,  49.,  89.,  60.],
        [ 41.,  88.,  72.,  64.,  57.,  58.,  57.,  64.,  59.,  51.],
        [107.,  52.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 66.,  62.,  70.,  47., 101.,  64.,  73.,  73.,  69.,  76.],
        [ 40.,  93.,  66.,  67.,  55.,  54.,  53.,  69.,  62.,  56.],
        [ 47.,  63.,  58.,  66., 104.,  78.,  57.,  70.,  75.,  78.],
        [ 39.,  64.,  64.,  74.,  70.,  72.,  61.,  67.,  72.,  86.],
        [ 81.,  59.,  79.,  49.,  84.,  89.,  99.,  53.,  72.,  80.],
        [ 64.,  54.,  56.,  71.,  82.,  66.,  52.,  87.,  85., 105.],
        [117.,  50.,  86.,  79.,  59.,  90.,  78.,  67.,  86.,  64.],
        [ 67.,  66.,  78.,  72.,  80.,  68., 104.,  72.,  80.,  71.],
        [ 57.,  52.,  62.,  66.,  81.,  70.,  54.,  77.,  65., 100.],
        [109.,  47.,  83.,  76.,  61.,  77.,  68.,  72.,  90.,  76.],
        [ 39.,  98.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 73.,  61.,  68.,  90.,  59.,  96.,  60.,  73.,  82.,  70.],
        [ 59.,  58.,  65.,  66.,  76.,  64.,  57.,  83.,  79., 106.],
        [ 74.,  49.,  83.,  85.,  57.,  67.,  43., 107.,  50.,  71.],
        [ 68.,  70.,  94.,  96.,  72.,  80.,  71.,  70.,  79.,  77.],
        [ 48.,  59.,  58.,  58.,  88.,  64.,  57.,  62.,  60.,  72.]],
       device='cuda:0')
Train accuarcate: 94.13%



iteration:
  344
    0   245   bit_w:-1  loss: 0.18619
    1   300   bit_w: 1  loss: 0.18600
    2   740   bit_w:-1  loss: 0.18599
    3   135   bit_w: 1  loss: 0.18592
    4    40   bit_w:-1  loss: 0.18598
   4722   6658   5784   5944   5725   3964   5840   5411   5360   5538
     -1      0      0      0      0     -1     -1      0     -1     -1
Train accuarcate: 94.72%
tensor([[ 67.,  52.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 74.,  82., 112.,  92.,  44.,  81.,  84.,  49.,  89.,  60.],
        [ 41.,  88.,  72.,  64.,  57.,  58.,  57.,  64.,  59.,  51.],
        [107.,  52.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 66.,  62.,  70.,  47., 101.,  64.,  73.,  73.,  69.,  76.],
        [ 40.,  93.,  66.,  67.,  55.,  54.,  53.,  69.,  62.,  56.],
        [ 47.,  63.,  58.,  66., 104.,  78.,  57.,  70.,  75.,  78.],
        [ 39.,  64.,  64.,  74.,  70.,  72.,  61.,  67.,  72.,  86.],
        [ 81.,  59.,  79.,  49.,  84.,  89.,  99.,  53.,  72.,  80.],
        [ 64.,  54.,  56.,  71.,  82.,  66.,  52.,  87.,  85., 105.],
        [117.,  50.,  86.,  79.,  59.,  90.,  78.,  67.,  86.,  64.],
        [ 67.,  66.,  78.,  72.,  80.,  68., 104.,  72.,  80.,  71.],
        [ 57.,  52.,  62.,  66.,  81.,  70.,  54.,  77.,  65., 100.],
        [109.,  47.,  83.,  76.,  61.,  77.,  68.,  72.,  90.,  76.],
        [ 39.,  98.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 73.,  61.,  68.,  90.,  59.,  96.,  60.,  73.,  82.,  70.],
        [ 59.,  58.,  65.,  66.,  76.,  64.,  57.,  83.,  79., 106.],
        [ 74.,  49.,  83.,  85.,  57.,  67.,  43., 107.,  50.,  71.],
        [ 68.,  70.,  94.,  96.,  72.,  80.,  71.,  70.,  79.,  77.],
        [ 48.,  59.,  58.,  58.,  88.,  64.,  57.,  62.,  60.,  72.]],
       device='cuda:0')
Train accuarcate: 94.14%



iteration:
  345
    0   191   bit_w:-1  loss: 0.18589
    1   606   bit_w: 1  loss: 0.18580
    2   576   bit_w:-1  loss: 0.18575
    3   268   bit_w: 1  loss: 0.18560
    4   654   bit_w:-1  loss: 0.18563
   3212   5965   4719   3687   3732   3000   2584   5355   2727   4235
      0      1      0      0     -1      0      0      0     -1      0
Train accuarcate: 94.70%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 74.,  83., 112.,  92.,  44.,  81.,  84.,  49.,  89.,  60.],
        [ 41.,  89.,  72.,  64.,  57.,  58.,  57.,  64.,  59.,  51.],
        [107.,  53.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 66.,  63.,  70.,  47., 101.,  64.,  73.,  73.,  69.,  76.],
        [ 40.,  94.,  66.,  67.,  55.,  54.,  53.,  69.,  62.,  56.],
        [ 47.,  64.,  58.,  66., 104.,  78.,  57.,  70.,  75.,  78.],
        [ 39.,  65.,  64.,  74.,  70.,  72.,  61.,  67.,  72.,  86.],
        [ 81.,  59.,  79.,  49.,  85.,  89.,  99.,  53.,  73.,  80.],
        [ 64.,  55.,  56.,  71.,  82.,  66.,  52.,  87.,  85., 105.],
        [117.,  50.,  86.,  79.,  60.,  90.,  78.,  67.,  87.,  64.],
        [ 67.,  66.,  78.,  72.,  81.,  68., 104.,  72.,  81.,  71.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  77.,  66., 100.],
        [109.,  48.,  83.,  76.,  61.,  77.,  68.,  72.,  90.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 73.,  61.,  68.,  90.,  60.,  96.,  60.,  73.,  83.,  70.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  83.,  80., 106.],
        [ 74.,  50.,  83.,  85.,  57.,  67.,  43., 107.,  50.,  71.],
        [ 68.,  71.,  94.,  96.,  72.,  80.,  71.,  70.,  79.,  77.],
        [ 48.,  59.,  58.,  58.,  89.,  64.,  57.,  62.,  61.,  72.]],
       device='cuda:0')
Train accuarcate: 94.18%



iteration:
  346
    0   323   bit_w:-1  loss: 0.18550
    1   379   bit_w: 1  loss: 0.18522
    2   720   bit_w:-1  loss: 0.18521
    3    91   bit_w: 1  loss: 0.18516
    4   693   bit_w:-1  loss: 0.18518
   5334   6392   5655   5044   5664   4512   5629   5387   5568   5420
      0      0      0     -1      0     -1      0      0      0     -1
Train accuarcate: 94.72%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 74.,  83., 112.,  93.,  44.,  82.,  84.,  49.,  89.,  61.],
        [ 41.,  89.,  72.,  64.,  57.,  58.,  57.,  64.,  59.,  51.],
        [107.,  53.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 66.,  63.,  70.,  47., 101.,  64.,  73.,  73.,  69.,  76.],
        [ 40.,  94.,  66.,  67.,  55.,  54.,  53.,  69.,  62.,  56.],
        [ 47.,  64.,  58.,  66., 104.,  78.,  57.,  70.,  75.,  78.],
        [ 39.,  65.,  64.,  75.,  70.,  73.,  61.,  67.,  72.,  87.],
        [ 81.,  59.,  79.,  49.,  85.,  89.,  99.,  53.,  73.,  80.],
        [ 64.,  55.,  56.,  71.,  82.,  66.,  52.,  87.,  85., 105.],
        [117.,  50.,  86.,  79.,  60.,  90.,  78.,  67.,  87.,  64.],
        [ 67.,  66.,  78.,  72.,  81.,  68., 104.,  72.,  81.,  71.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  77.,  66., 100.],
        [109.,  48.,  83.,  76.,  61.,  77.,  68.,  72.,  90.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 73.,  61.,  68.,  91.,  60.,  97.,  60.,  73.,  83.,  71.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  83.,  80., 106.],
        [ 74.,  50.,  83.,  85.,  57.,  67.,  43., 107.,  50.,  71.],
        [ 68.,  71.,  94.,  96.,  72.,  80.,  71.,  70.,  79.,  77.],
        [ 48.,  59.,  58.,  58.,  89.,  64.,  57.,  62.,  61.,  72.]],
       device='cuda:0')
Train accuarcate: 94.20%



iteration:
  347
    0   218   bit_w:-1  loss: 0.18510
    1   241   bit_w: 1  loss: 0.18498
    2   216   bit_w:-1  loss: 0.18492
    3   239   bit_w: 1  loss: 0.18482
    4   145   bit_w:-1  loss: 0.18480
   4771   6511   4648   5091   3692   4739   5848   6075   4288   5726
     -1     -1      0     -1     -1      0      0      0      0     -1
Train accuarcate: 94.73%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 74.,  83., 112.,  93.,  44.,  82.,  84.,  49.,  89.,  61.],
        [ 41.,  89.,  72.,  64.,  57.,  58.,  57.,  64.,  59.,  51.],
        [107.,  53.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 67.,  64.,  70.,  48., 102.,  64.,  73.,  73.,  69.,  77.],
        [ 40.,  94.,  66.,  67.,  55.,  54.,  53.,  69.,  62.,  56.],
        [ 48.,  65.,  58.,  67., 105.,  78.,  57.,  70.,  75.,  79.],
        [ 39.,  65.,  64.,  75.,  70.,  73.,  61.,  67.,  72.,  87.],
        [ 82.,  60.,  79.,  50.,  86.,  89.,  99.,  53.,  73.,  81.],
        [ 64.,  55.,  56.,  71.,  82.,  66.,  52.,  87.,  85., 105.],
        [118.,  51.,  86.,  80.,  61.,  90.,  78.,  67.,  87.,  65.],
        [ 67.,  66.,  78.,  72.,  81.,  68., 104.,  72.,  81.,  71.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  77.,  66., 100.],
        [109.,  48.,  83.,  76.,  61.,  77.,  68.,  72.,  90.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 73.,  61.,  68.,  91.,  60.,  97.,  60.,  73.,  83.,  71.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  83.,  80., 106.],
        [ 74.,  50.,  83.,  85.,  57.,  67.,  43., 107.,  50.,  71.],
        [ 68.,  71.,  94.,  96.,  72.,  80.,  71.,  70.,  79.,  77.],
        [ 48.,  59.,  58.,  58.,  89.,  64.,  57.,  62.,  61.,  72.]],
       device='cuda:0')
Train accuarcate: 94.19%



iteration:
  348
    0   285   bit_w:-1  loss: 0.18472
    1   581   bit_w: 1  loss: 0.18462
    2   636   bit_w: 1  loss: 0.18463
    3   411   bit_w:-1  loss: 0.18444
    4   413   bit_w: 1  loss: 0.18451
   2939     54   2133    852    321    679   1048     76    519    212
      1      1      1      0      0      0      1      0      0      0
Train accuarcate: 94.74%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 75.,  84., 113.,  93.,  44.,  82.,  85.,  49.,  89.,  61.],
        [ 41.,  89.,  72.,  64.,  57.,  58.,  57.,  64.,  59.,  51.],
        [107.,  53.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 67.,  64.,  70.,  48., 102.,  64.,  73.,  73.,  69.,  77.],
        [ 40.,  94.,  66.,  67.,  55.,  54.,  53.,  69.,  62.,  56.],
        [ 48.,  65.,  58.,  67., 105.,  78.,  57.,  70.,  75.,  79.],
        [ 40.,  66.,  65.,  75.,  70.,  73.,  62.,  67.,  72.,  87.],
        [ 82.,  60.,  79.,  50.,  86.,  89.,  99.,  53.,  73.,  81.],
        [ 64.,  55.,  56.,  71.,  82.,  66.,  52.,  87.,  85., 105.],
        [119.,  52.,  87.,  80.,  61.,  90.,  79.,  67.,  87.,  65.],
        [ 68.,  67.,  79.,  72.,  81.,  68., 105.,  72.,  81.,  71.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  77.,  66., 100.],
        [110.,  49.,  84.,  76.,  61.,  77.,  69.,  72.,  90.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 74.,  62.,  69.,  91.,  60.,  97.,  61.,  73.,  83.,  71.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  83.,  80., 106.],
        [ 74.,  50.,  83.,  85.,  57.,  67.,  43., 107.,  50.,  71.],
        [ 69.,  72.,  95.,  96.,  72.,  80.,  72.,  70.,  79.,  77.],
        [ 48.,  59.,  58.,  58.,  89.,  64.,  57.,  62.,  61.,  72.]],
       device='cuda:0')
Train accuarcate: 94.20%



iteration:
  349
    0   285   bit_w:-1  loss: 0.18442
    1   201   bit_w: 1  loss: 0.18434
    2   714   bit_w:-1  loss: 0.18431
    3   389   bit_w: 1  loss: 0.18422
    4   716   bit_w:-1  loss: 0.18423
   5797   6711   5794   5849   5234   5162   5890   3776   5487   3693
      0      0      0      0      0      0      0     -1     -1     -1
Train accuarcate: 94.75%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 75.,  84., 113.,  93.,  44.,  82.,  85.,  49.,  89.,  61.],
        [ 41.,  89.,  72.,  64.,  57.,  58.,  57.,  64.,  59.,  51.],
        [107.,  53.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 67.,  64.,  70.,  48., 102.,  64.,  73.,  73.,  69.,  77.],
        [ 40.,  94.,  66.,  67.,  55.,  54.,  53.,  69.,  62.,  56.],
        [ 48.,  65.,  58.,  67., 105.,  78.,  57.,  70.,  75.,  79.],
        [ 40.,  66.,  65.,  75.,  70.,  73.,  62.,  67.,  72.,  87.],
        [ 82.,  60.,  79.,  50.,  86.,  89.,  99.,  53.,  73.,  81.],
        [ 64.,  55.,  56.,  71.,  82.,  66.,  52.,  87.,  85., 105.],
        [119.,  52.,  87.,  80.,  61.,  90.,  79.,  67.,  87.,  65.],
        [ 68.,  67.,  79.,  72.,  81.,  68., 105.,  72.,  81.,  71.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  78.,  67., 101.],
        [110.,  49.,  84.,  76.,  61.,  77.,  69.,  72.,  90.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 74.,  62.,  69.,  91.,  60.,  97.,  61.,  73.,  83.,  71.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  84.,  81., 107.],
        [ 74.,  50.,  83.,  85.,  57.,  67.,  43., 107.,  50.,  71.],
        [ 69.,  72.,  95.,  96.,  72.,  80.,  72.,  71.,  80.,  78.],
        [ 48.,  59.,  58.,  58.,  89.,  64.,  57.,  62.,  61.,  72.]],
       device='cuda:0')
Train accuarcate: 94.23%



iteration:
  350
    0   581   bit_w:-1  loss: 0.18416
    1   293   bit_w: 1  loss: 0.18403
    2   295   bit_w:-1  loss: 0.18396
    3   542   bit_w: 1  loss: 0.18387
    4   694   bit_w:-1  loss: 0.18388
   5316   4048   4867   3793   5253   4781   5754   5670   5300   5142
      0      0      0      0     -1      0      0      0     -1     -1
Train accuarcate: 94.78%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 75.,  84., 113.,  93.,  44.,  82.,  85.,  49.,  89.,  61.],
        [ 41.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [107.,  53.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 67.,  64.,  70.,  48., 102.,  64.,  73.,  73.,  69.,  77.],
        [ 40.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 48.,  65.,  58.,  67., 105.,  78.,  57.,  70.,  75.,  79.],
        [ 40.,  66.,  65.,  75.,  71.,  73.,  62.,  67.,  73.,  88.],
        [ 82.,  60.,  79.,  50.,  86.,  89.,  99.,  53.,  73.,  81.],
        [ 64.,  55.,  56.,  71.,  82.,  66.,  52.,  87.,  85., 105.],
        [119.,  52.,  87.,  80.,  61.,  90.,  79.,  67.,  87.,  65.],
        [ 68.,  67.,  79.,  72.,  81.,  68., 105.,  72.,  81.,  71.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  78.,  67., 101.],
        [110.,  49.,  84.,  76.,  61.,  77.,  69.,  72.,  90.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 74.,  62.,  69.,  91.,  61.,  97.,  61.,  73.,  84.,  72.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  84.,  81., 107.],
        [ 74.,  50.,  83.,  85.,  57.,  67.,  43., 107.,  50.,  71.],
        [ 69.,  72.,  95.,  96.,  73.,  80.,  72.,  71.,  81.,  79.],
        [ 48.,  59.,  58.,  58.,  89.,  64.,  57.,  62.,  61.,  72.]],
       device='cuda:0')
Train accuarcate: 94.25%



iteration:
  351
    0   637   bit_w:-1  loss: 0.18380
    1   411   bit_w: 1  loss: 0.18371
    2   327   bit_w:-1  loss: 0.18358
    3   410   bit_w: 1  loss: 0.18341
    4   192   bit_w:-1  loss: 0.18344
   5066   6609   4910   5458   5410   4491   5252   5691   3593   5428
      0      0      0     -1      0     -1     -1      0     -1      0
Train accuarcate: 94.78%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 75.,  84., 113.,  93.,  44.,  82.,  85.,  49.,  89.,  61.],
        [ 41.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [107.,  53.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 67.,  64.,  70.,  48., 102.,  64.,  73.,  73.,  69.,  77.],
        [ 40.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 48.,  65.,  58.,  67., 105.,  78.,  57.,  70.,  75.,  79.],
        [ 40.,  66.,  65.,  76.,  71.,  74.,  63.,  67.,  74.,  88.],
        [ 82.,  60.,  79.,  51.,  86.,  90., 100.,  53.,  74.,  81.],
        [ 64.,  55.,  56.,  71.,  82.,  66.,  52.,  87.,  85., 105.],
        [119.,  52.,  87.,  80.,  61.,  90.,  79.,  67.,  87.,  65.],
        [ 68.,  67.,  79.,  73.,  81.,  69., 106.,  72.,  82.,  71.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  78.,  67., 101.],
        [110.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 74.,  62.,  69.,  91.,  61.,  97.,  61.,  73.,  84.,  72.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  84.,  81., 107.],
        [ 74.,  50.,  83.,  85.,  57.,  67.,  43., 107.,  50.,  71.],
        [ 69.,  72.,  95.,  96.,  73.,  80.,  72.,  71.,  81.,  79.],
        [ 48.,  59.,  58.,  58.,  89.,  64.,  57.,  62.,  61.,  72.]],
       device='cuda:0')
Train accuarcate: 94.28%



iteration:
  352
    0   411   bit_w:-1  loss: 0.18337
    1   466   bit_w: 1  loss: 0.18314
    2   676   bit_w:-1  loss: 0.18312
    3   467   bit_w: 1  loss: 0.18306
    4   522   bit_w:-1  loss: 0.18298
   4835   6689   4164   4833   4782   4497   3844   5533   4645   5344
      0      0      0     -1     -1      0      0     -1     -1      0
Train accuarcate: 94.80%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 75.,  84., 113.,  93.,  44.,  82.,  85.,  49.,  89.,  61.],
        [ 41.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [107.,  53.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 67.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 40.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 48.,  65.,  58.,  67., 105.,  78.,  57.,  70.,  75.,  79.],
        [ 40.,  66.,  65.,  76.,  71.,  74.,  63.,  67.,  74.,  88.],
        [ 82.,  60.,  79.,  51.,  86.,  90., 100.,  53.,  74.,  81.],
        [ 64.,  55.,  56.,  72.,  83.,  66.,  52.,  88.,  86., 105.],
        [119.,  52.,  87.,  80.,  61.,  90.,  79.,  67.,  87.,  65.],
        [ 68.,  67.,  79.,  73.,  81.,  69., 106.,  72.,  82.,  71.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  78.,  67., 101.],
        [110.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 74.,  62.,  69.,  92.,  62.,  97.,  61.,  74.,  85.,  72.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  84.,  81., 107.],
        [ 74.,  50.,  83.,  85.,  57.,  67.,  43., 107.,  50.,  71.],
        [ 69.,  72.,  95.,  97.,  74.,  80.,  72.,  72.,  82.,  79.],
        [ 48.,  59.,  58.,  58.,  89.,  64.,  57.,  62.,  61.,  72.]],
       device='cuda:0')
Train accuarcate: 94.31%



iteration:
  353
    0   654   bit_w:-1  loss: 0.18290
    1   516   bit_w: 1  loss: 0.18272
    2    95   bit_w:-1  loss: 0.18275
    3   513   bit_w: 1  loss: 0.18244
    4   611   bit_w:-1  loss: 0.18241
   4135   6707   5528   2542   5556   3194   5889   5185   5418   5227
     -1      0     -1     -1      0     -1      0      0      0     -1
Train accuarcate: 94.82%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 75.,  84., 113.,  93.,  44.,  82.,  85.,  49.,  89.,  61.],
        [ 41.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [107.,  53.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 67.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 40.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 48.,  65.,  58.,  67., 105.,  78.,  57.,  70.,  75.,  79.],
        [ 40.,  66.,  65.,  76.,  71.,  74.,  63.,  67.,  74.,  88.],
        [ 82.,  60.,  79.,  51.,  86.,  90., 100.,  53.,  74.,  81.],
        [ 65.,  55.,  57.,  73.,  83.,  67.,  52.,  88.,  86., 106.],
        [120.,  52.,  88.,  81.,  61.,  91.,  79.,  67.,  87.,  66.],
        [ 69.,  67.,  80.,  74.,  81.,  70., 106.,  72.,  82.,  72.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  78.,  67., 101.],
        [110.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 75.,  62.,  70.,  93.,  62.,  98.,  61.,  74.,  85.,  73.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  84.,  81., 107.],
        [ 74.,  50.,  83.,  85.,  57.,  67.,  43., 107.,  50.,  71.],
        [ 69.,  72.,  95.,  97.,  74.,  80.,  72.,  72.,  82.,  79.],
        [ 48.,  59.,  58.,  58.,  89.,  64.,  57.,  62.,  61.,  72.]],
       device='cuda:0')
Train accuarcate: 94.35%



iteration:
  354
    0   637   bit_w:-1  loss: 0.18234
    1   440   bit_w: 1  loss: 0.18223
    2   524   bit_w:-1  loss: 0.18218
    3   438   bit_w: 1  loss: 0.18195
    4   609   bit_w:-1  loss: 0.18207
   4338   6695   3640   5643   5583   4995   5155   6188   5478   5782
      0     -1     -1      0     -1      0      0      0      0      0
Train accuarcate: 94.83%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 75.,  85., 114.,  93.,  45.,  82.,  85.,  49.,  89.,  61.],
        [ 41.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [107.,  53.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 67.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 40.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 48.,  65.,  58.,  67., 105.,  78.,  57.,  70.,  75.,  79.],
        [ 40.,  67.,  66.,  76.,  72.,  74.,  63.,  67.,  74.,  88.],
        [ 82.,  60.,  79.,  51.,  86.,  90., 100.,  53.,  74.,  81.],
        [ 65.,  55.,  57.,  73.,  83.,  67.,  52.,  88.,  86., 106.],
        [120.,  53.,  89.,  81.,  62.,  91.,  79.,  67.,  87.,  66.],
        [ 69.,  68.,  81.,  74.,  82.,  70., 106.,  72.,  82.,  72.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  78.,  67., 101.],
        [110.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 75.,  62.,  70.,  93.,  62.,  98.,  61.,  74.,  85.,  73.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  84.,  81., 107.],
        [ 74.,  50.,  83.,  85.,  57.,  67.,  43., 107.,  50.,  71.],
        [ 69.,  72.,  95.,  97.,  74.,  80.,  72.,  72.,  82.,  79.],
        [ 48.,  59.,  58.,  58.,  89.,  64.,  57.,  62.,  61.,  72.]],
       device='cuda:0')
Train accuarcate: 94.37%



iteration:
  355
    0   396   bit_w:-1  loss: 0.18200
    1   416   bit_w: 1  loss: 0.18194
    2   440   bit_w: 1  loss: 0.18194
    3   579   bit_w:-1  loss: 0.18176
    4   388   bit_w: 1  loss: 0.18176
   2746      2    736    615   1251    354   2259    640    214    236
      1      0      1      0      0      0      1      1      0      0
Train accuarcate: 94.84%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 75.,  85., 114.,  93.,  45.,  82.,  85.,  49.,  89.,  61.],
        [ 41.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [107.,  53.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 67.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 40.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 48.,  65.,  58.,  67., 105.,  78.,  57.,  70.,  75.,  79.],
        [ 40.,  67.,  66.,  76.,  72.,  74.,  63.,  67.,  74.,  88.],
        [ 82.,  60.,  79.,  51.,  86.,  90., 100.,  53.,  74.,  81.],
        [ 65.,  55.,  57.,  73.,  83.,  67.,  52.,  88.,  86., 106.],
        [120.,  53.,  89.,  81.,  62.,  91.,  79.,  67.,  87.,  66.],
        [ 69.,  68.,  81.,  74.,  82.,  70., 106.,  72.,  82.,  72.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  78.,  67., 101.],
        [110.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 76.,  62.,  71.,  93.,  62.,  98.,  62.,  75.,  85.,  73.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  84.,  81., 107.],
        [ 75.,  50.,  84.,  85.,  57.,  67.,  44., 108.,  50.,  71.],
        [ 70.,  72.,  96.,  97.,  74.,  80.,  73.,  73.,  82.,  79.],
        [ 48.,  59.,  58.,  58.,  89.,  64.,  57.,  62.,  61.,  72.]],
       device='cuda:0')
Train accuarcate: 94.38%



iteration:
  356
    0   412   bit_w:-1  loss: 0.18168
    1   468   bit_w: 1  loss: 0.18153
    2   284   bit_w: 1  loss: 0.18157
    3   501   bit_w:-1  loss: 0.18148
    4   201   bit_w: 1  loss: 0.18153
    851      3    790   1429    821    639    955    928    355    104
      0      0      0      1      1      0      0      1      1      0
Train accuarcate: 94.84%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 75.,  85., 114.,  93.,  45.,  82.,  85.,  49.,  89.,  61.],
        [ 41.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [107.,  53.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 67.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 40.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 48.,  65.,  58.,  67., 105.,  78.,  57.,  70.,  75.,  79.],
        [ 40.,  67.,  66.,  76.,  72.,  74.,  63.,  67.,  74.,  88.],
        [ 82.,  60.,  79.,  51.,  86.,  90., 100.,  53.,  74.,  81.],
        [ 65.,  55.,  57.,  73.,  83.,  67.,  52.,  88.,  86., 106.],
        [120.,  53.,  89.,  82.,  63.,  91.,  79.,  68.,  88.,  66.],
        [ 69.,  68.,  81.,  74.,  82.,  70., 106.,  72.,  82.,  72.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  78.,  67., 101.],
        [110.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 76.,  62.,  71.,  93.,  62.,  98.,  62.,  75.,  85.,  73.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  84.,  81., 107.],
        [ 75.,  50.,  84.,  85.,  57.,  67.,  44., 108.,  50.,  71.],
        [ 70.,  72.,  96.,  97.,  74.,  80.,  73.,  73.,  82.,  79.],
        [ 48.,  59.,  58.,  58.,  89.,  64.,  57.,  62.,  61.,  72.]],
       device='cuda:0')
Train accuarcate: 94.38%



iteration:
  357
    0   287   bit_w:-1  loss: 0.18142
    1   263   bit_w: 1  loss: 0.18125
    2   105   bit_w:-1  loss: 0.18122
    3   218   bit_w: 1  loss: 0.18118
    4   274   bit_w:-1  loss: 0.18110
   4882   6729   5550   5865   4814   4609   5172   5678   5040   5332
      0      0      0      0      0     -1     -1      0     -1     -1
Train accuarcate: 94.85%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 75.,  85., 114.,  93.,  45.,  82.,  85.,  49.,  89.,  61.],
        [ 41.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [107.,  53.,  77.,  72.,  54.,  74.,  82.,  72.,  67.,  75.],
        [ 67.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 40.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 48.,  65.,  58.,  67., 105.,  79.,  58.,  70.,  76.,  80.],
        [ 40.,  67.,  66.,  76.,  72.,  74.,  63.,  67.,  74.,  88.],
        [ 82.,  60.,  79.,  51.,  86.,  90., 100.,  53.,  74.,  81.],
        [ 65.,  55.,  57.,  73.,  83.,  67.,  52.,  88.,  86., 106.],
        [120.,  53.,  89.,  82.,  63.,  92.,  80.,  68.,  89.,  67.],
        [ 69.,  68.,  81.,  74.,  82.,  70., 106.,  72.,  82.,  72.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  78.,  67., 101.],
        [110.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 76.,  62.,  71.,  93.,  62.,  98.,  62.,  75.,  85.,  73.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  84.,  81., 107.],
        [ 75.,  50.,  84.,  85.,  57.,  67.,  44., 108.,  50.,  71.],
        [ 70.,  72.,  96.,  97.,  74.,  80.,  73.,  73.,  82.,  79.],
        [ 48.,  59.,  58.,  58.,  89.,  64.,  57.,  62.,  61.,  72.]],
       device='cuda:0')
Train accuarcate: 94.37%



iteration:
  358
    0   486   bit_w:-1  loss: 0.18102
    1   456   bit_w: 1  loss: 0.18072
    2   416   bit_w: 1  loss: 0.18072
    3   542   bit_w:-1  loss: 0.18065
    4   425   bit_w: 1  loss: 0.18064
   3363      7    571    250   1775    390    426    370    254    654
      1      0      1      0      0      0      1      1      1      0
Train accuarcate: 94.89%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 75.,  85., 114.,  93.,  45.,  82.,  85.,  49.,  89.,  61.],
        [ 41.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [108.,  53.,  78.,  72.,  54.,  74.,  83.,  73.,  68.,  75.],
        [ 67.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 40.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 48.,  65.,  58.,  67., 105.,  79.,  58.,  70.,  76.,  80.],
        [ 40.,  67.,  66.,  76.,  72.,  74.,  63.,  67.,  74.,  88.],
        [ 83.,  60.,  80.,  51.,  86.,  90., 101.,  54.,  75.,  81.],
        [ 65.,  55.,  57.,  73.,  83.,  67.,  52.,  88.,  86., 106.],
        [121.,  53.,  90.,  82.,  63.,  92.,  81.,  69.,  90.,  67.],
        [ 70.,  68.,  82.,  74.,  82.,  70., 107.,  73.,  83.,  72.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  78.,  67., 101.],
        [110.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 76.,  62.,  71.,  93.,  62.,  98.,  62.,  75.,  85.,  73.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  84.,  81., 107.],
        [ 75.,  50.,  84.,  85.,  57.,  67.,  44., 108.,  50.,  71.],
        [ 70.,  72.,  96.,  97.,  74.,  80.,  73.,  73.,  82.,  79.],
        [ 49.,  59.,  59.,  58.,  89.,  64.,  58.,  63.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.40%



iteration:
  359
    0   482   bit_w:-1  loss: 0.18055
    1   513   bit_w:-1  loss: 0.18033
    2   544   bit_w:-1  loss: 0.18026
    3   459   bit_w: 1  loss: 0.18016
    4   691   bit_w:-1  loss: 0.18014
   4527   6727   4591   5929   5533   5039   4161   6195   5734   5647
      0      0      0     -1      0     -1      0      0      0     -1
Train accuarcate: 94.92%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 75.,  85., 114.,  93.,  45.,  82.,  85.,  49.,  89.,  61.],
        [ 41.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [108.,  53.,  78.,  73.,  54.,  75.,  83.,  73.,  68.,  76.],
        [ 67.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 40.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 48.,  65.,  58.,  67., 105.,  79.,  58.,  70.,  76.,  80.],
        [ 40.,  67.,  66.,  76.,  72.,  74.,  63.,  67.,  74.,  88.],
        [ 83.,  60.,  80.,  51.,  86.,  90., 101.,  54.,  75.,  81.],
        [ 65.,  55.,  57.,  73.,  83.,  67.,  52.,  88.,  86., 106.],
        [121.,  53.,  90.,  82.,  63.,  92.,  81.,  69.,  90.,  67.],
        [ 70.,  68.,  82.,  74.,  82.,  70., 107.,  73.,  83.,  72.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  78.,  67., 101.],
        [110.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 76.,  62.,  71.,  93.,  62.,  98.,  62.,  75.,  85.,  73.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  84.,  81., 107.],
        [ 75.,  50.,  84.,  85.,  57.,  67.,  44., 108.,  50.,  71.],
        [ 70.,  72.,  96.,  97.,  74.,  80.,  73.,  73.,  82.,  79.],
        [ 49.,  59.,  59.,  58.,  89.,  64.,  58.,  63.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.42%



iteration:
  360
    0   130   bit_w:-1  loss: 0.18007
    1   297   bit_w: 1  loss: 0.17991
    2   187   bit_w:-1  loss: 0.17991
    3   300   bit_w: 1  loss: 0.17960
    4   444   bit_w:-1  loss: 0.17965
   4055   6061   4547   5521   5418   2767   3599   6215   4937   5713
      0      0     -1      0      0     -1     -1      0      0      0
Train accuarcate: 94.93%
tensor([[ 67.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 75.,  85., 114.,  93.,  45.,  82.,  85.,  49.,  89.,  61.],
        [ 41.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [108.,  53.,  78.,  73.,  54.,  75.,  83.,  73.,  68.,  76.],
        [ 67.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 40.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 48.,  65.,  58.,  67., 105.,  79.,  58.,  70.,  76.,  80.],
        [ 40.,  67.,  66.,  76.,  72.,  74.,  63.,  67.,  74.,  88.],
        [ 83.,  60.,  81.,  51.,  86.,  91., 102.,  54.,  75.,  81.],
        [ 65.,  55.,  57.,  73.,  83.,  67.,  52.,  88.,  86., 106.],
        [121.,  53.,  90.,  82.,  63.,  92.,  81.,  69.,  90.,  67.],
        [ 70.,  68.,  82.,  74.,  82.,  70., 107.,  73.,  83.,  72.],
        [ 57.,  52.,  62.,  66.,  82.,  70.,  54.,  78.,  67., 101.],
        [110.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 39.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 76.,  62.,  72.,  93.,  62.,  99.,  63.,  75.,  85.,  73.],
        [ 59.,  58.,  65.,  66.,  77.,  64.,  57.,  84.,  81., 107.],
        [ 75.,  50.,  84.,  85.,  57.,  67.,  44., 108.,  50.,  71.],
        [ 70.,  72.,  96.,  97.,  74.,  80.,  73.,  73.,  82.,  79.],
        [ 49.,  59.,  59.,  58.,  89.,  64.,  58.,  63.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.45%



iteration:
  361
    0   572   bit_w:-1  loss: 0.17955
    1   567   bit_w: 1  loss: 0.17938
    2   548   bit_w: 1  loss: 0.17942
    3   656   bit_w:-1  loss: 0.17920
    4   147   bit_w: 1  loss: 0.17922
   2037    825   2790   1370   2466   1280    995   1669    775   2188
     -1      1      0      0      1      0      0      1      0      0
Train accuarcate: 94.95%
tensor([[ 68.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 76.,  85., 114.,  93.,  45.,  82.,  85.,  49.,  89.,  61.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  78.,  73.,  54.,  75.,  83.,  73.,  68.,  76.],
        [ 68.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  58.,  67., 105.,  79.,  58.,  70.,  76.,  80.],
        [ 41.,  67.,  66.,  76.,  72.,  74.,  63.,  67.,  74.,  88.],
        [ 84.,  60.,  81.,  51.,  86.,  91., 102.,  54.,  75.,  81.],
        [ 66.,  55.,  57.,  73.,  83.,  67.,  52.,  88.,  86., 106.],
        [122.,  53.,  90.,  82.,  63.,  92.,  81.,  69.,  90.,  67.],
        [ 71.,  68.,  82.,  74.,  82.,  70., 107.,  73.,  83.,  72.],
        [ 57.,  53.,  62.,  66.,  83.,  70.,  54.,  79.,  67., 101.],
        [111.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  72.,  93.,  62.,  99.,  63.,  75.,  85.,  73.],
        [ 59.,  59.,  65.,  66.,  78.,  64.,  57.,  85.,  81., 107.],
        [ 76.,  50.,  84.,  85.,  57.,  67.,  44., 108.,  50.,  71.],
        [ 71.,  72.,  96.,  97.,  74.,  80.,  73.,  73.,  82.,  79.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.46%



iteration:
  362
    0   573   bit_w:-1  loss: 0.17907
    1   542   bit_w:-1  loss: 0.17883
    2   564   bit_w: 1  loss: 0.17890
    3   658   bit_w: 1  loss: 0.17864
    4   721   bit_w: 1  loss: 0.17861
   1499    403    162   3206   1052   2358     28   1502   1117   1641
      0      0      0      1      0      1      0      0      0      1
Train accuarcate: 94.96%
tensor([[ 68.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 76.,  85., 114.,  93.,  45.,  82.,  85.,  49.,  89.,  61.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  78.,  73.,  54.,  75.,  83.,  73.,  68.,  76.],
        [ 68.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  58.,  68., 105.,  80.,  58.,  70.,  76.,  81.],
        [ 41.,  67.,  66.,  76.,  72.,  74.,  63.,  67.,  74.,  88.],
        [ 84.,  60.,  81.,  51.,  86.,  91., 102.,  54.,  75.,  81.],
        [ 66.,  55.,  57.,  73.,  83.,  67.,  52.,  88.,  86., 106.],
        [122.,  53.,  90.,  83.,  63.,  93.,  81.,  69.,  90.,  68.],
        [ 71.,  68.,  82.,  74.,  82.,  70., 107.,  73.,  83.,  72.],
        [ 57.,  53.,  62.,  67.,  83.,  71.,  54.,  79.,  67., 102.],
        [111.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  72.,  94.,  62., 100.,  63.,  75.,  85.,  74.],
        [ 59.,  59.,  65.,  66.,  78.,  64.,  57.,  85.,  81., 107.],
        [ 76.,  50.,  84.,  86.,  57.,  68.,  44., 108.,  50.,  72.],
        [ 71.,  72.,  96.,  97.,  74.,  80.,  73.,  73.,  82.,  79.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.44%



iteration:
  363
    0   412   bit_w:-1  loss: 0.17853
    1   658   bit_w: 1  loss: 0.17837
    2   555   bit_w: 1  loss: 0.17838
    3   385   bit_w:-1  loss: 0.17823
    4   686   bit_w: 1  loss: 0.17825
    946   2030   1411   3186   1301   2510    194   2306   3812   2008
      0      0      1      0      0      0      1      0      1      0
Train accuarcate: 95.00%
tensor([[ 68.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 76.,  85., 115.,  93.,  45.,  82.,  86.,  49.,  90.,  61.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  78.,  73.,  54.,  75.,  83.,  73.,  68.,  76.],
        [ 68.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  67.,  66.,  76.,  72.,  74.,  63.,  67.,  74.,  88.],
        [ 84.,  60.,  81.,  51.,  86.,  91., 102.,  54.,  75.,  81.],
        [ 66.,  55.,  57.,  73.,  83.,  67.,  52.,  88.,  86., 106.],
        [122.,  53.,  90.,  83.,  63.,  93.,  81.,  69.,  90.,  68.],
        [ 71.,  68.,  82.,  74.,  82.,  70., 107.,  73.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  71.,  55.,  79.,  68., 102.],
        [111.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  73.,  94.,  62., 100.,  64.,  75.,  86.,  74.],
        [ 59.,  59.,  66.,  66.,  78.,  64.,  58.,  85.,  82., 107.],
        [ 76.,  50.,  85.,  86.,  57.,  68.,  45., 108.,  51.,  72.],
        [ 71.,  72.,  96.,  97.,  74.,  80.,  73.,  73.,  82.,  79.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.41%



iteration:
  364
    0   689   bit_w:-1  loss: 0.17813
    1   208   bit_w:-1  loss: 0.17800
    2   177   bit_w:-1  loss: 0.17793
    3   547   bit_w: 1  loss: 0.17790
    4   342   bit_w:-1  loss: 0.17786
   4875   6738   5618   4685   5378   4658   5845   5916   5103   4759
     -1      0      0     -1      0     -1      0      0      0     -1
Train accuarcate: 95.01%
tensor([[ 68.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 76.,  85., 115.,  93.,  45.,  82.,  86.,  49.,  90.,  61.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  78.,  73.,  54.,  75.,  83.,  73.,  68.,  76.],
        [ 68.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  67.,  66.,  76.,  72.,  74.,  63.,  67.,  74.,  88.],
        [ 84.,  60.,  81.,  51.,  86.,  91., 102.,  54.,  75.,  81.],
        [ 66.,  55.,  57.,  73.,  83.,  67.,  52.,  88.,  86., 106.],
        [122.,  53.,  90.,  83.,  63.,  93.,  81.,  69.,  90.,  68.],
        [ 71.,  68.,  82.,  74.,  82.,  70., 107.,  73.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  71.,  55.,  79.,  68., 102.],
        [111.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  73.,  94.,  62., 100.,  64.,  75.,  86.,  74.],
        [ 59.,  59.,  66.,  66.,  78.,  64.,  58.,  85.,  82., 107.],
        [ 76.,  50.,  85.,  86.,  57.,  68.,  45., 108.,  51.,  72.],
        [ 72.,  72.,  96.,  98.,  74.,  81.,  73.,  73.,  82.,  80.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.45%



iteration:
  365
    0   396   bit_w:-1  loss: 0.17779
    1    95   bit_w: 1  loss: 0.17774
    2   136   bit_w:-1  loss: 0.17775
    3   228   bit_w: 1  loss: 0.17766
    4   677   bit_w:-1  loss: 0.17773
   5758   6720   5930   5955   5643   5285   5889   6091   5818   5805
      0      0      0      0     -1     -1      0     -1      0     -1
Train accuarcate: 95.01%
tensor([[ 68.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 76.,  85., 115.,  93.,  45.,  82.,  86.,  49.,  90.,  61.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  78.,  73.,  54.,  75.,  83.,  73.,  68.,  76.],
        [ 68.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  67.,  66.,  76.,  72.,  74.,  63.,  67.,  74.,  88.],
        [ 84.,  60.,  81.,  51.,  86.,  91., 102.,  54.,  75.,  81.],
        [ 66.,  55.,  57.,  73.,  83.,  67.,  52.,  88.,  86., 106.],
        [122.,  53.,  90.,  83.,  63.,  93.,  81.,  69.,  90.,  68.],
        [ 71.,  68.,  82.,  74.,  82.,  70., 107.,  73.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  71.,  55.,  79.,  68., 102.],
        [111.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  73.,  94.,  62., 100.,  64.,  75.,  86.,  74.],
        [ 59.,  59.,  66.,  66.,  78.,  64.,  58.,  85.,  82., 107.],
        [ 76.,  50.,  85.,  86.,  57.,  68.,  45., 108.,  51.,  72.],
        [ 72.,  72.,  96.,  98.,  74.,  81.,  73.,  73.,  82.,  80.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.44%



iteration:
  366
    0   743   bit_w:-1  loss: 0.17766
    1    93   bit_w: 1  loss: 0.17761
    2   709   bit_w:-1  loss: 0.17760
    3    72   bit_w: 1  loss: 0.17750
    4   679   bit_w:-1  loss: 0.17752
   5825   6627   5910   5448   5704   5091   5918   4083   5485   4985
      0      0      0     -1      0      0      0     -1      0     -1
Train accuarcate: 95.00%
tensor([[ 68.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 76.,  85., 115.,  93.,  45.,  82.,  86.,  49.,  90.,  61.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  78.,  73.,  54.,  75.,  83.,  73.,  68.,  76.],
        [ 68.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  67.,  66.,  76.,  72.,  74.,  63.,  67.,  74.,  88.],
        [ 84.,  60.,  81.,  51.,  86.,  91., 102.,  54.,  75.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  90.,  83.,  63.,  93.,  81.,  69.,  90.,  68.],
        [ 71.,  68.,  82.,  74.,  82.,  70., 107.,  73.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  71.,  55.,  79.,  68., 102.],
        [111.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  73.,  94.,  62., 100.,  64.,  75.,  86.,  74.],
        [ 59.,  59.,  66.,  66.,  78.,  64.,  58.,  85.,  82., 107.],
        [ 76.,  50.,  85.,  86.,  57.,  68.,  45., 108.,  51.,  72.],
        [ 72.,  72.,  96.,  98.,  74.,  81.,  73.,  73.,  82.,  80.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.41%



iteration:
  367
    0   555   bit_w:-1  loss: 0.17746
    1   370   bit_w: 1  loss: 0.17739
    2   470   bit_w: 1  loss: 0.17739
    3   580   bit_w:-1  loss: 0.17725
    4   415   bit_w: 1  loss: 0.17723
   2501      3    582    137   1386    303   1271    742    134    804
      0      0      1      0      1      0      0      1      0      0
Train accuarcate: 95.02%
tensor([[ 68.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 76.,  85., 115.,  93.,  45.,  82.,  86.,  49.,  90.,  61.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  78.,  73.,  54.,  75.,  83.,  73.,  68.,  76.],
        [ 68.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  67.,  66.,  76.,  72.,  74.,  63.,  67.,  74.,  88.],
        [ 84.,  60.,  82.,  51.,  87.,  91., 102.,  55.,  75.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  83.,  64.,  93.,  81.,  70.,  90.,  68.],
        [ 71.,  68.,  83.,  74.,  83.,  70., 107.,  74.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  71.,  55.,  79.,  68., 102.],
        [111.,  49.,  84.,  77.,  61.,  78.,  70.,  72.,  91.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  73.,  94.,  62., 100.,  64.,  75.,  86.,  74.],
        [ 59.,  59.,  66.,  66.,  78.,  64.,  58.,  85.,  82., 107.],
        [ 76.,  50.,  85.,  86.,  57.,  68.,  45., 108.,  51.,  72.],
        [ 72.,  72.,  96.,  98.,  74.,  81.,  73.,  73.,  82.,  80.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.41%



iteration:
  368
    0   555   bit_w:-1  loss: 0.17717
    1   522   bit_w: 1  loss: 0.17710
    2   524   bit_w:-1  loss: 0.17699
    3   519   bit_w: 1  loss: 0.17692
    4   332   bit_w:-1  loss: 0.17689
   4125   6737   5345   4802   5695   4417   5073   6217   5290   5839
      0      0      0     -1      0     -1      0      0     -1      0
Train accuarcate: 95.01%
tensor([[ 68.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 76.,  85., 115.,  94.,  45.,  83.,  86.,  49.,  91.,  61.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  78.,  73.,  54.,  75.,  83.,  73.,  68.,  76.],
        [ 68.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  67.,  66.,  76.,  72.,  74.,  63.,  67.,  74.,  88.],
        [ 84.,  60.,  82.,  51.,  87.,  91., 102.,  55.,  75.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 71.,  68.,  83.,  74.,  83.,  70., 107.,  74.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  71.,  55.,  79.,  68., 102.],
        [111.,  49.,  84.,  78.,  61.,  79.,  70.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  73.,  95.,  62., 101.,  64.,  75.,  87.,  74.],
        [ 59.,  59.,  66.,  66.,  78.,  64.,  58.,  85.,  82., 107.],
        [ 76.,  50.,  85.,  86.,  57.,  68.,  45., 108.,  51.,  72.],
        [ 72.,  72.,  96.,  99.,  74.,  82.,  73.,  73.,  83.,  80.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.42%



iteration:
  369
    0   359   bit_w:-1  loss: 0.17683
    1   412   bit_w: 1  loss: 0.17672
    2   580   bit_w:-1  loss: 0.17673
    3   691   bit_w: 1  loss: 0.17662
    4   501   bit_w:-1  loss: 0.17666
   3995   6695   3686   5116   5725   4811   5206   6221   5258   5857
      0     -1     -1      0      0      0     -1      0      0      0
Train accuarcate: 95.02%
tensor([[ 68.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 76.,  86., 116.,  94.,  45.,  83.,  87.,  49.,  91.,  61.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  78.,  73.,  54.,  75.,  83.,  73.,  68.,  76.],
        [ 68.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  68.,  67.,  76.,  72.,  74.,  64.,  67.,  74.,  88.],
        [ 84.,  60.,  82.,  51.,  87.,  91., 102.,  55.,  75.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 71.,  68.,  83.,  74.,  83.,  70., 107.,  74.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  71.,  55.,  79.,  68., 102.],
        [111.,  49.,  84.,  78.,  61.,  79.,  70.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  73.,  95.,  62., 101.,  64.,  75.,  87.,  74.],
        [ 59.,  59.,  66.,  66.,  78.,  64.,  58.,  85.,  82., 107.],
        [ 76.,  50.,  85.,  86.,  57.,  68.,  45., 108.,  51.,  72.],
        [ 72.,  72.,  96.,  99.,  74.,  82.,  73.,  73.,  83.,  80.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.43%



iteration:
  370
    0   119   bit_w:-1  loss: 0.17660
    1   248   bit_w: 1  loss: 0.17654
    2   332   bit_w:-1  loss: 0.17655
    3   359   bit_w: 1  loss: 0.17649
    4   191   bit_w:-1  loss: 0.17653
   5802   6685   5663   5921   5309   4291   5815   6245   5485   5940
      0      0      0     -1      0     -1     -1      0      0      0
Train accuarcate: 95.03%
tensor([[ 68.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 76.,  86., 116.,  94.,  45.,  83.,  87.,  49.,  91.,  61.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  78.,  73.,  54.,  75.,  83.,  73.,  68.,  76.],
        [ 68.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  68.,  67.,  76.,  72.,  74.,  64.,  67.,  74.,  88.],
        [ 84.,  60.,  82.,  52.,  87.,  92., 103.,  55.,  75.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 71.,  68.,  83.,  74.,  83.,  70., 107.,  74.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  71.,  55.,  79.,  68., 102.],
        [111.,  49.,  84.,  78.,  61.,  79.,  70.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  73.,  95.,  62., 101.,  64.,  75.,  87.,  74.],
        [ 59.,  59.,  66.,  66.,  78.,  64.,  58.,  85.,  82., 107.],
        [ 76.,  50.,  85.,  86.,  57.,  68.,  45., 108.,  51.,  72.],
        [ 72.,  72.,  96.,  99.,  74.,  82.,  73.,  73.,  83.,  80.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.43%



iteration:
  371
    0   191   bit_w:-1  loss: 0.17645
    1   301   bit_w: 1  loss: 0.17640
    2   133   bit_w: 1  loss: 0.17640
    3   244   bit_w:-1  loss: 0.17622
    4    99   bit_w: 1  loss: 0.17625
    714    160    990    186    406    695   2394    424    707    261
      0      0      0      0      0      1      1      0      0      0
Train accuarcate: 95.04%
tensor([[ 68.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 76.,  86., 116.,  94.,  45.,  84.,  88.,  49.,  91.,  61.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  78.,  73.,  54.,  75.,  83.,  73.,  68.,  76.],
        [ 68.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  68.,  67.,  76.,  72.,  74.,  64.,  67.,  74.,  88.],
        [ 84.,  60.,  82.,  52.,  87.,  92., 103.,  55.,  75.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 71.,  68.,  83.,  74.,  83.,  71., 108.,  74.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  71.,  55.,  79.,  68., 102.],
        [111.,  49.,  84.,  78.,  61.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  73.,  95.,  62., 101.,  64.,  75.,  87.,  74.],
        [ 59.,  59.,  66.,  66.,  78.,  64.,  58.,  85.,  82., 107.],
        [ 76.,  50.,  85.,  86.,  57.,  68.,  45., 108.,  51.,  72.],
        [ 72.,  72.,  96.,  99.,  74.,  82.,  73.,  73.,  83.,  80.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.44%



iteration:
  372
    0   191   bit_w:-1  loss: 0.17618
    1   153   bit_w: 1  loss: 0.17612
    2   625   bit_w:-1  loss: 0.17601
    3   412   bit_w: 1  loss: 0.17589
    4   148   bit_w:-1  loss: 0.17601
   4775   5069   5004   4807   5266   3167   5615   5608   3822   5698
     -1     -1      0      0      0      0     -1      0     -1      0
Train accuarcate: 95.04%
tensor([[ 68.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 76.,  86., 116.,  94.,  45.,  84.,  88.,  49.,  91.,  61.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  78.,  73.,  54.,  75.,  83.,  73.,  68.,  76.],
        [ 68.,  64.,  70.,  49., 103.,  64.,  73.,  74.,  70.,  77.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  68.,  67.,  76.,  72.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  82.,  52.,  87.,  92., 104.,  55.,  76.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 71.,  68.,  83.,  74.,  83.,  71., 108.,  74.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  71.,  55.,  79.,  68., 102.],
        [111.,  49.,  84.,  78.,  61.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  73.,  95.,  62., 101.,  64.,  75.,  87.,  74.],
        [ 59.,  59.,  66.,  66.,  78.,  64.,  58.,  85.,  82., 107.],
        [ 76.,  50.,  85.,  86.,  57.,  68.,  45., 108.,  51.,  72.],
        [ 72.,  72.,  96.,  99.,  74.,  82.,  73.,  73.,  83.,  80.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.41%



iteration:
  373
    0   379   bit_w:-1  loss: 0.17594
    1   486   bit_w: 1  loss: 0.17565
    2   424   bit_w: 1  loss: 0.17568
    3   218   bit_w:-1  loss: 0.17558
    4   305   bit_w: 1  loss: 0.17564
   1322     10   1688     76   1431    294   2248    195    439   1042
      1      0      0      0      1      1      0      0      0      1
Train accuarcate: 95.03%
tensor([[ 68.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 77.,  86., 116.,  94.,  46.,  85.,  88.,  49.,  91.,  62.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  78.,  73.,  54.,  75.,  83.,  73.,  68.,  76.],
        [ 69.,  64.,  70.,  49., 104.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  68.,  67.,  76.,  72.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  82.,  52.,  87.,  92., 104.,  55.,  76.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 71.,  68.,  83.,  74.,  83.,  71., 108.,  74.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  71.,  55.,  79.,  68., 102.],
        [111.,  49.,  84.,  78.,  61.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  73.,  95.,  62., 101.,  64.,  75.,  87.,  74.],
        [ 60.,  59.,  66.,  66.,  79.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  85.,  86.,  57.,  68.,  45., 108.,  51.,  72.],
        [ 72.,  72.,  96.,  99.,  74.,  82.,  73.,  73.,  83.,  80.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.43%



iteration:
  374
    0   412   bit_w:-1  loss: 0.17557
    1   494   bit_w:-1  loss: 0.17540
    2   444   bit_w:-1  loss: 0.17536
    3   325   bit_w: 1  loss: 0.17531
    4   322   bit_w:-1  loss: 0.17528
   3547   6720   5040   4567   5219   4747   4153   5528   5507   5533
      0      0     -1     -1      0      0      0     -1      0     -1
Train accuarcate: 95.05%
tensor([[ 68.,  53.,  74.,  84.,  55.,  72.,  41., 108.,  55.,  73.],
        [ 77.,  86., 116.,  94.,  46.,  85.,  88.,  49.,  91.,  62.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  79.,  74.,  54.,  75.,  83.,  74.,  68.,  77.],
        [ 69.,  64.,  70.,  49., 104.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  68.,  67.,  76.,  72.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  82.,  52.,  87.,  92., 104.,  55.,  76.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 71.,  68.,  83.,  74.,  83.,  71., 108.,  74.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  71.,  55.,  79.,  68., 102.],
        [111.,  49.,  84.,  78.,  61.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  74.,  96.,  62., 101.,  64.,  76.,  87.,  75.],
        [ 60.,  59.,  66.,  66.,  79.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  86.,  87.,  57.,  68.,  45., 109.,  51.,  73.],
        [ 72.,  72.,  97., 100.,  74.,  82.,  73.,  74.,  83.,  81.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.44%



iteration:
  375
    0    95   bit_w:-1  loss: 0.17522
    1   741   bit_w: 1  loss: 0.17517
    2   744   bit_w: 1  loss: 0.17516
    3   228   bit_w:-1  loss: 0.17507
    4   739   bit_w: 1  loss: 0.17511
      0      0      0     16     15     32      0   2203      5    967
      0      0      0      0      0      1      0      1      0      1
Train accuarcate: 95.05%
tensor([[ 68.,  53.,  74.,  84.,  55.,  73.,  41., 109.,  55.,  74.],
        [ 77.,  86., 116.,  94.,  46.,  85.,  88.,  49.,  91.,  62.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  79.,  74.,  54.,  75.,  83.,  74.,  68.,  77.],
        [ 69.,  64.,  70.,  49., 104.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  68.,  67.,  76.,  72.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  82.,  52.,  87.,  92., 104.,  55.,  76.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 71.,  68.,  83.,  74.,  83.,  71., 108.,  74.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  71.,  55.,  79.,  68., 102.],
        [111.,  49.,  84.,  78.,  61.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  74.,  96.,  62., 101.,  64.,  76.,  87.,  75.],
        [ 60.,  59.,  66.,  66.,  79.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  86.,  87.,  57.,  69.,  45., 110.,  51.,  74.],
        [ 72.,  72.,  97., 100.,  74.,  82.,  73.,  74.,  83.,  81.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.44%



iteration:
  376
    0    95   bit_w:-1  loss: 0.17506
    1   368   bit_w: 1  loss: 0.17501
    2   256   bit_w:-1  loss: 0.17502
    3   742   bit_w: 1  loss: 0.17494
    4   717   bit_w: 1  loss: 0.17497
     97      3     17     63    263     93      2   1228     69   1374
      0      0      0      0      0      1      0      1      0      1
Train accuarcate: 95.06%
tensor([[ 68.,  53.,  74.,  84.,  55.,  73.,  41., 109.,  55.,  74.],
        [ 77.,  86., 116.,  94.,  46.,  85.,  88.,  49.,  91.,  62.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  79.,  74.,  54.,  75.,  83.,  74.,  68.,  77.],
        [ 69.,  64.,  70.,  49., 104.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  68.,  67.,  76.,  72.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  82.,  52.,  87.,  92., 104.,  55.,  76.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 71.,  68.,  83.,  74.,  83.,  71., 108.,  74.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  72.,  55.,  80.,  68., 103.],
        [111.,  49.,  84.,  78.,  61.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  74.,  96.,  62., 101.,  64.,  76.,  87.,  75.],
        [ 60.,  59.,  66.,  66.,  79.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  86.,  87.,  57.,  69.,  45., 110.,  51.,  74.],
        [ 72.,  72.,  97., 100.,  74.,  82.,  73.,  74.,  83.,  81.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.43%



iteration:
  377
    0    95   bit_w:-1  loss: 0.17492
    1   608   bit_w: 1  loss: 0.17487
    2   664   bit_w:-1  loss: 0.17483
    3   621   bit_w: 1  loss: 0.17478
    4    97   bit_w:-1  loss: 0.17475
   5835   6707   4996   5929   5707   5360   4585   6251   5789   5862
     -1      0     -1     -1      0      0     -1      0      0      0
Train accuarcate: 95.07%
tensor([[ 68.,  53.,  74.,  84.,  55.,  73.,  41., 109.,  55.,  74.],
        [ 77.,  86., 116.,  94.,  46.,  85.,  88.,  49.,  91.,  62.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  79.,  74.,  54.,  75.,  83.,  74.,  68.,  77.],
        [ 69.,  64.,  70.,  49., 104.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  68.,  67.,  76.,  72.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  82.,  52.,  87.,  92., 104.,  55.,  76.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 72.,  68.,  84.,  75.,  83.,  71., 109.,  74.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  72.,  55.,  80.,  68., 103.],
        [111.,  49.,  84.,  78.,  61.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  74.,  96.,  62., 101.,  64.,  76.,  87.,  75.],
        [ 60.,  59.,  66.,  66.,  79.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  86.,  87.,  57.,  69.,  45., 110.,  51.,  74.],
        [ 72.,  72.,  97., 100.,  74.,  82.,  73.,  74.,  83.,  81.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.42%



iteration:
  378
    0   149   bit_w:-1  loss: 0.17469
    1   232   bit_w:-1  loss: 0.17453
    2   398   bit_w:-1  loss: 0.17443
    3   218   bit_w: 1  loss: 0.17441
    4   359   bit_w:-1  loss: 0.17439
   4395   6738   5497   5806   5299   5128   5331   6106   5613   5597
     -1     -1      0      0      0     -1     -1      0     -1     -1
Train accuarcate: 95.09%
tensor([[ 68.,  53.,  74.,  84.,  55.,  73.,  41., 109.,  55.,  74.],
        [ 77.,  86., 116.,  94.,  46.,  85.,  88.,  49.,  91.,  62.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  79.,  74.,  54.,  75.,  83.,  74.,  68.,  77.],
        [ 69.,  64.,  70.,  49., 104.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  68.,  67.,  76.,  72.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  82.,  52.,  87.,  92., 104.,  55.,  76.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 72.,  68.,  84.,  75.,  83.,  71., 109.,  74.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  72.,  55.,  80.,  68., 103.],
        [111.,  49.,  84.,  78.,  61.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  74.,  96.,  62., 101.,  64.,  76.,  87.,  75.],
        [ 60.,  59.,  66.,  66.,  79.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  86.,  87.,  57.,  69.,  45., 110.,  51.,  74.],
        [ 72.,  72.,  97., 100.,  74.,  82.,  73.,  74.,  83.,  81.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.42%



iteration:
  379
    0   201   bit_w:-1  loss: 0.17434
    1   152   bit_w: 1  loss: 0.17430
    2   261   bit_w:-1  loss: 0.17411
    3   368   bit_w: 1  loss: 0.17401
    4    98   bit_w:-1  loss: 0.17407
   4463   6693   4881   5230   3863   4258   4534   2380   4434   3681
      0      0     -1     -1     -1      0      0      0      0      0
Train accuarcate: 95.10%
tensor([[ 68.,  53.,  74.,  84.,  55.,  73.,  41., 109.,  55.,  74.],
        [ 77.,  86., 116.,  94.,  46.,  85.,  88.,  49.,  91.,  62.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  80.,  75.,  55.,  75.,  83.,  74.,  68.,  77.],
        [ 69.,  64.,  71.,  50., 105.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  68.,  68.,  77.,  73.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  83.,  53.,  88.,  92., 104.,  55.,  76.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 72.,  68.,  85.,  76.,  84.,  71., 109.,  74.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  72.,  55.,  80.,  68., 103.],
        [111.,  49.,  85.,  79.,  62.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  74.,  96.,  62., 101.,  64.,  76.,  87.,  75.],
        [ 60.,  59.,  67.,  67.,  80.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  87.,  88.,  58.,  69.,  45., 110.,  51.,  74.],
        [ 72.,  72.,  97., 100.,  74.,  82.,  73.,  74.,  83.,  81.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.44%



iteration:
  380
    0   230   bit_w:-1  loss: 0.17402
    1   206   bit_w: 1  loss: 0.17390
    2   152   bit_w:-1  loss: 0.17381
    3   207   bit_w: 1  loss: 0.17376
    4   233   bit_w:-1  loss: 0.17369
   5563   6260   4210   4151   4939   5033   5556   4579   5310   5822
      0      0      0     -1     -1      0      0     -1     -1      0
Train accuarcate: 95.10%
tensor([[ 68.,  53.,  74.,  85.,  56.,  73.,  41., 110.,  56.,  74.],
        [ 77.,  86., 116.,  95.,  47.,  85.,  88.,  50.,  92.,  62.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  80.,  75.,  55.,  75.,  83.,  74.,  68.,  77.],
        [ 69.,  64.,  71.,  50., 105.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 49.,  65.,  59.,  68., 105.,  80.,  59.,  70.,  77.,  81.],
        [ 41.,  68.,  68.,  77.,  73.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  83.,  54.,  89.,  92., 104.,  56.,  77.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 72.,  68.,  85.,  76.,  84.,  71., 109.,  74.,  83.,  72.],
        [ 57.,  53.,  63.,  67.,  83.,  72.,  55.,  80.,  68., 103.],
        [111.,  49.,  85.,  79.,  62.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 77.,  62.,  74.,  97.,  63., 101.,  64.,  77.,  88.,  75.],
        [ 60.,  59.,  67.,  67.,  80.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  87.,  88.,  58.,  69.,  45., 110.,  51.,  74.],
        [ 72.,  72.,  97., 100.,  74.,  82.,  73.,  74.,  83.,  81.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.45%



iteration:
  381
    0   150   bit_w:-1  loss: 0.17362
    1   233   bit_w:-1  loss: 0.17347
    2   342   bit_w:-1  loss: 0.17339
    3   217   bit_w: 1  loss: 0.17337
    4    99   bit_w:-1  loss: 0.17334
   4939   6725   5095   5709   5358   4936   5034   5967   5458   5350
     -1     -1      0      0      0     -1     -1      0      0     -1
Train accuarcate: 95.12%
tensor([[ 68.,  53.,  74.,  85.,  56.,  73.,  41., 110.,  56.,  74.],
        [ 78.,  87., 116.,  95.,  47.,  86.,  89.,  50.,  92.,  63.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  80.,  75.,  55.,  75.,  83.,  74.,  68.,  77.],
        [ 69.,  64.,  71.,  50., 105.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 50.,  66.,  59.,  68., 105.,  81.,  60.,  70.,  77.,  82.],
        [ 41.,  68.,  68.,  77.,  73.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  83.,  54.,  89.,  92., 104.,  56.,  77.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 73.,  69.,  85.,  76.,  84.,  72., 110.,  74.,  83.,  73.],
        [ 57.,  53.,  63.,  67.,  83.,  72.,  55.,  80.,  68., 103.],
        [111.,  49.,  85.,  79.,  62.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 78.,  63.,  74.,  97.,  63., 102.,  65.,  77.,  88.,  76.],
        [ 60.,  59.,  67.,  67.,  80.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  87.,  88.,  58.,  69.,  45., 110.,  51.,  74.],
        [ 73.,  73.,  97., 100.,  74.,  83.,  74.,  74.,  83.,  82.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.42%



iteration:
  382
    0    93   bit_w:-1  loss: 0.17329
    1   719   bit_w: 1  loss: 0.17323
    2   741   bit_w: 1  loss: 0.17324
    3    72   bit_w:-1  loss: 0.17314
    4   333   bit_w: 1  loss: 0.17321
      9      1     10     26     80     62     10   1188     71    841
      0      0      0      1      0      1      0      1      1      1
Train accuarcate: 95.12%
tensor([[ 68.,  53.,  74.,  85.,  56.,  73.,  41., 110.,  56.,  74.],
        [ 78.,  87., 116.,  95.,  47.,  86.,  89.,  50.,  92.,  63.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  80.,  75.,  55.,  75.,  83.,  74.,  68.,  77.],
        [ 69.,  64.,  71.,  50., 105.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 50.,  66.,  59.,  68., 105.,  81.,  60.,  70.,  77.,  82.],
        [ 41.,  68.,  68.,  77.,  73.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  83.,  54.,  89.,  92., 104.,  56.,  77.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 73.,  69.,  85.,  76.,  84.,  72., 110.,  74.,  83.,  73.],
        [ 57.,  53.,  63.,  67.,  83.,  72.,  55.,  80.,  68., 103.],
        [111.,  49.,  85.,  79.,  62.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 78.,  63.,  74.,  97.,  63., 102.,  65.,  77.,  88.,  76.],
        [ 60.,  59.,  67.,  67.,  80.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  87.,  88.,  58.,  69.,  45., 110.,  51.,  74.],
        [ 73.,  73.,  97., 100.,  74.,  83.,  74.,  74.,  83.,  82.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.42%



iteration:
  383
    0    93   bit_w:-1  loss: 0.17315
    1   155   bit_w: 1  loss: 0.17310
    2   153   bit_w:-1  loss: 0.17302
    3   595   bit_w: 1  loss: 0.17296
    4   593   bit_w:-1  loss: 0.17298
   5560   5815   5279   5242   5497   5164   4680   6230   5424   5856
     -1      0      0      0     -1      0     -1      0     -1      0
Train accuarcate: 95.12%
tensor([[ 68.,  53.,  74.,  85.,  56.,  73.,  41., 110.,  56.,  74.],
        [ 78.,  87., 116.,  95.,  47.,  86.,  89.,  50.,  92.,  63.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [109.,  53.,  80.,  75.,  55.,  75.,  83.,  74.,  68.,  77.],
        [ 69.,  64.,  71.,  50., 105.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 50.,  66.,  59.,  68., 105.,  81.,  60.,  70.,  77.,  82.],
        [ 41.,  68.,  68.,  77.,  73.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  83.,  54.,  89.,  92., 104.,  56.,  77.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [122.,  53.,  91.,  84.,  64.,  94.,  81.,  70.,  91.,  68.],
        [ 73.,  69.,  85.,  76.,  84.,  72., 110.,  74.,  83.,  73.],
        [ 57.,  53.,  63.,  67.,  83.,  72.,  55.,  80.,  68., 103.],
        [111.,  49.,  85.,  79.,  62.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 78.,  63.,  74.,  97.,  63., 102.,  65.,  77.,  88.,  76.],
        [ 60.,  59.,  67.,  67.,  80.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  87.,  88.,  58.,  69.,  45., 110.,  51.,  74.],
        [ 73.,  73.,  97., 100.,  74.,  83.,  74.,  74.,  83.,  82.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.40%



iteration:
  384
    0   153   bit_w:-1  loss: 0.17290
    1   262   bit_w:-1  loss: 0.17265
    2    99   bit_w:-1  loss: 0.17260
    3   286   bit_w: 1  loss: 0.17258
    4   743   bit_w:-1  loss: 0.17257
   4332   6688   4829   5743   5659   4645   4011   5993   4653   5610
     -1     -1      0      0      0     -1     -1      0     -1     -1
Train accuarcate: 95.13%
tensor([[ 68.,  53.,  74.,  85.,  56.,  73.,  41., 110.,  56.,  74.],
        [ 79.,  88., 116.,  95.,  47.,  87.,  90.,  50.,  93.,  64.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [110.,  54.,  80.,  75.,  55.,  76.,  84.,  74.,  69.,  78.],
        [ 69.,  64.,  71.,  50., 105.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 50.,  66.,  59.,  68., 105.,  81.,  60.,  70.,  77.,  82.],
        [ 41.,  68.,  68.,  77.,  73.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  83.,  54.,  89.,  92., 104.,  56.,  77.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [123.,  54.,  91.,  84.,  64.,  95.,  82.,  70.,  92.,  69.],
        [ 73.,  69.,  85.,  76.,  84.,  72., 110.,  74.,  83.,  73.],
        [ 57.,  53.,  63.,  67.,  83.,  72.,  55.,  80.,  68., 103.],
        [111.,  49.,  85.,  79.,  62.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 79.,  64.,  74.,  97.,  63., 103.,  66.,  77.,  89.,  77.],
        [ 60.,  59.,  67.,  67.,  80.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  87.,  88.,  58.,  69.,  45., 110.,  51.,  74.],
        [ 73.,  73.,  97., 100.,  74.,  83.,  74.,  74.,  83.,  82.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.36%



iteration:
  385
    0    93   bit_w:-1  loss: 0.17251
    1   153   bit_w: 1  loss: 0.17246
    2   128   bit_w:-1  loss: 0.17243
    3   738   bit_w: 1  loss: 0.17230
    4   119   bit_w:-1  loss: 0.17240
   5175   5661   5097   5829   5692   5277   4019   6265   5563   5947
     -1     -1      0     -1      0      0     -1      0     -1      0
Train accuarcate: 95.12%
tensor([[ 68.,  53.,  74.,  85.,  56.,  73.,  41., 110.,  56.,  74.],
        [ 79.,  88., 116.,  95.,  47.,  87.,  90.,  50.,  93.,  64.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [110.,  54.,  80.,  75.,  55.,  76.,  84.,  74.,  69.,  78.],
        [ 69.,  64.,  71.,  50., 105.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 50.,  66.,  59.,  68., 105.,  81.,  60.,  70.,  77.,  82.],
        [ 41.,  68.,  68.,  77.,  73.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  83.,  54.,  89.,  92., 104.,  56.,  77.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [123.,  54.,  91.,  84.,  64.,  95.,  82.,  70.,  92.,  69.],
        [ 73.,  69.,  85.,  76.,  84.,  72., 110.,  74.,  83.,  73.],
        [ 57.,  53.,  63.,  67.,  83.,  72.,  55.,  80.,  68., 103.],
        [111.,  49.,  85.,  79.,  62.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 79.,  64.,  74.,  97.,  63., 103.,  66.,  77.,  89.,  77.],
        [ 60.,  59.,  67.,  67.,  80.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  87.,  88.,  58.,  69.,  45., 110.,  51.,  74.],
        [ 73.,  73.,  97., 100.,  74.,  83.,  74.,  74.,  83.,  82.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.39%



iteration:
  386
    0   625   bit_w:-1  loss: 0.17233
    1   605   bit_w:-1  loss: 0.17213
    2   104   bit_w:-1  loss: 0.17211
    3   456   bit_w: 1  loss: 0.17206
    4   179   bit_w:-1  loss: 0.17199
   4283   6530   3947   2288   5677   3460   5469   6083   3960   5659
      0     -1     -1      0      0     -1      0      0      0     -1
Train accuarcate: 95.15%
tensor([[ 68.,  53.,  74.,  85.,  56.,  73.,  41., 110.,  56.,  74.],
        [ 79.,  88., 116.,  95.,  47.,  87.,  90.,  50.,  93.,  64.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [110.,  54.,  80.,  75.,  55.,  76.,  84.,  74.,  69.,  78.],
        [ 69.,  64.,  71.,  50., 105.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 50.,  66.,  59.,  68., 105.,  81.,  60.,  70.,  77.,  82.],
        [ 41.,  68.,  68.,  77.,  73.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  83.,  54.,  89.,  92., 104.,  56.,  77.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [123.,  55.,  92.,  84.,  64.,  96.,  82.,  70.,  92.,  70.],
        [ 73.,  69.,  85.,  76.,  84.,  72., 110.,  74.,  83.,  73.],
        [ 57.,  53.,  63.,  67.,  83.,  72.,  55.,  80.,  68., 103.],
        [111.,  49.,  85.,  79.,  62.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 79.,  65.,  75.,  97.,  63., 104.,  66.,  77.,  89.,  78.],
        [ 60.,  59.,  67.,  67.,  80.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  87.,  88.,  58.,  69.,  45., 110.,  51.,  74.],
        [ 73.,  74.,  98., 100.,  74.,  84.,  74.,  74.,  83.,  83.],
        [ 49.,  60.,  59.,  58.,  90.,  64.,  58.,  64.,  62.,  72.]],
       device='cuda:0')
Train accuarcate: 94.42%



iteration:
  387
    0   205   bit_w:-1  loss: 0.17192
    1   403   bit_w:-1  loss: 0.17170
    2   457   bit_w:-1  loss: 0.17166
    3   572   bit_w: 1  loss: 0.17158
    4   284   bit_w:-1  loss: 0.17156
   5294   6712   5157   4508   3982   4621   5490   6038   4680   5119
      0     -1      0     -1      0      0      0     -1     -1      0
Train accuarcate: 95.16%
tensor([[ 68.,  53.,  74.,  85.,  56.,  73.,  41., 110.,  56.,  74.],
        [ 79.,  89., 116.,  96.,  47.,  87.,  90.,  51.,  94.,  64.],
        [ 42.,  89.,  72.,  64.,  58.,  58.,  57.,  64.,  60.,  52.],
        [110.,  54.,  80.,  75.,  55.,  76.,  84.,  74.,  69.,  78.],
        [ 69.,  64.,  71.,  50., 105.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  56.,  54.,  53.,  69.,  63.,  57.],
        [ 50.,  67.,  59.,  69., 105.,  81.,  60.,  71.,  78.,  82.],
        [ 41.,  68.,  68.,  77.,  73.,  74.,  64.,  67.,  74.,  88.],
        [ 85.,  61.,  83.,  54.,  89.,  92., 104.,  56.,  77.,  81.],
        [ 66.,  55.,  57.,  74.,  83.,  67.,  52.,  89.,  86., 107.],
        [123.,  55.,  92.,  84.,  64.,  96.,  82.,  70.,  92.,  70.],
        [ 73.,  69.,  85.,  76.,  84.,  72., 110.,  74.,  83.,  73.],
        [ 57.,  53.,  63.,  67.,  83.,  72.,  55.,  80.,  68., 103.],
        [111.,  49.,  85.,  79.,  62.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  53.,  58.,  60.,  56.,  73.,  61.],
        [ 79.,  65.,  75.,  97.,  63., 104.,  66.,  77.,  89.,  78.],
        [ 60.,  59.,  67.,  67.,  80.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  87.,  88.,  58.,  69.,  45., 110.,  51.,  74.],
        [ 73.,  74.,  98., 100.,  74.,  84.,  74.,  74.,  83.,  83.],
        [ 49.,  61.,  59.,  59.,  90.,  64.,  58.,  65.,  63.,  72.]],
       device='cuda:0')
Train accuarcate: 94.46%



iteration:
  388
    0   101   bit_w:-1  loss: 0.17150
    1   183   bit_w: 1  loss: 0.17141
    2   294   bit_w:-1  loss: 0.17128
    3   185   bit_w: 1  loss: 0.17109
    4   720   bit_w:-1  loss: 0.17111
   5495   5723   5366   5671   5584   4207   5276   3638   5604   5258
     -1      0     -1      0      1     -1      0      0      0     -1
Train accuarcate: 95.11%
tensor([[ 68.,  53.,  74.,  85.,  57.,  73.,  41., 110.,  56.,  74.],
        [ 79.,  89., 116.,  96.,  48.,  87.,  90.,  51.,  94.,  64.],
        [ 42.,  89.,  72.,  64.,  59.,  58.,  57.,  64.,  60.,  52.],
        [110.,  54.,  80.,  75.,  56.,  76.,  84.,  74.,  69.,  78.],
        [ 69.,  64.,  71.,  50., 106.,  65.,  73.,  74.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  57.,  54.,  53.,  69.,  63.,  57.],
        [ 50.,  67.,  59.,  69., 106.,  81.,  60.,  71.,  78.,  82.],
        [ 42.,  68.,  69.,  77.,  73.,  75.,  64.,  67.,  74.,  89.],
        [ 85.,  61.,  83.,  54.,  90.,  92., 104.,  56.,  77.,  81.],
        [ 66.,  55.,  57.,  74.,  84.,  67.,  52.,  89.,  86., 107.],
        [123.,  55.,  92.,  84.,  65.,  96.,  82.,  70.,  92.,  70.],
        [ 73.,  69.,  85.,  76.,  85.,  72., 110.,  74.,  83.,  73.],
        [ 57.,  53.,  63.,  67.,  84.,  72.,  55.,  80.,  68., 103.],
        [111.,  49.,  85.,  79.,  63.,  80.,  71.,  72.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  54.,  58.,  60.,  56.,  73.,  61.],
        [ 79.,  65.,  75.,  97.,  64., 104.,  66.,  77.,  89.,  78.],
        [ 60.,  59.,  67.,  67.,  81.,  65.,  58.,  85.,  82., 108.],
        [ 76.,  50.,  87.,  88.,  59.,  69.,  45., 110.,  51.,  74.],
        [ 74.,  74.,  99., 100.,  74.,  85.,  74.,  74.,  83.,  84.],
        [ 49.,  61.,  59.,  59.,  91.,  64.,  58.,  65.,  63.,  72.]],
       device='cuda:0')
Train accuarcate: 94.53%



iteration:
  389
    0   379   bit_w:-1  loss: 0.17094
    1   461   bit_w:-1  loss: 0.17068
    2   339   bit_w: 1  loss: 0.17062
    3   516   bit_w:-1  loss: 0.17049
    4   389   bit_w: 1  loss: 0.17040
   5331    180    560   1113    718   1720    910   4087    183    725
      1      1      1      0      0      0      0      1      0     -1
Train accuarcate: 95.13%
tensor([[ 69.,  54.,  75.,  85.,  57.,  73.,  41., 111.,  56.,  74.],
        [ 80.,  90., 117.,  96.,  48.,  87.,  90.,  52.,  94.,  64.],
        [ 42.,  89.,  72.,  64.,  59.,  58.,  57.,  64.,  60.,  53.],
        [111.,  55.,  81.,  75.,  56.,  76.,  84.,  75.,  69.,  78.],
        [ 70.,  65.,  72.,  50., 106.,  65.,  73.,  75.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  57.,  54.,  53.,  69.,  63.,  58.],
        [ 50.,  67.,  59.,  69., 106.,  81.,  60.,  71.,  78.,  83.],
        [ 42.,  68.,  69.,  77.,  73.,  75.,  64.,  67.,  74.,  90.],
        [ 85.,  61.,  83.,  54.,  90.,  92., 104.,  56.,  77.,  82.],
        [ 66.,  55.,  57.,  74.,  84.,  67.,  52.,  89.,  86., 108.],
        [124.,  56.,  93.,  84.,  65.,  96.,  82.,  71.,  92.,  70.],
        [ 73.,  69.,  85.,  76.,  85.,  72., 110.,  74.,  83.,  74.],
        [ 57.,  53.,  63.,  67.,  84.,  72.,  55.,  80.,  68., 104.],
        [112.,  50.,  86.,  79.,  63.,  80.,  71.,  73.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  54.,  58.,  60.,  56.,  73.,  62.],
        [ 80.,  66.,  76.,  97.,  64., 104.,  66.,  78.,  89.,  78.],
        [ 60.,  59.,  67.,  67.,  81.,  65.,  58.,  85.,  82., 109.],
        [ 77.,  51.,  88.,  88.,  59.,  69.,  45., 111.,  51.,  74.],
        [ 74.,  74.,  99., 100.,  74.,  85.,  74.,  74.,  83.,  85.],
        [ 50.,  62.,  60.,  59.,  91.,  64.,  58.,  66.,  63.,  72.]],
       device='cuda:0')
Train accuarcate: 94.60%



iteration:
  390
    0   410   bit_w:-1  loss: 0.17026
    1   327   bit_w: 1  loss: 0.17008
    2   231   bit_w:-1  loss: 0.17010
    3   326   bit_w: 1  loss: 0.17001
    4   243   bit_w:-1  loss: 0.16984
   3252   6200   4386   3055   4267   2093   2844   4252   4301   4859
      0      0      0     -1      0     -1     -1     -1     -1      0
Train accuarcate: 95.16%
tensor([[ 69.,  54.,  75.,  86.,  57.,  74.,  42., 112.,  57.,  74.],
        [ 80.,  90., 117.,  96.,  48.,  87.,  90.,  52.,  94.,  64.],
        [ 42.,  89.,  72.,  64.,  59.,  58.,  57.,  64.,  60.,  53.],
        [111.,  55.,  81.,  75.,  56.,  76.,  84.,  75.,  69.,  78.],
        [ 70.,  65.,  72.,  50., 106.,  65.,  73.,  75.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  57.,  54.,  53.,  69.,  63.,  58.],
        [ 50.,  67.,  59.,  69., 106.,  81.,  60.,  71.,  78.,  83.],
        [ 42.,  68.,  69.,  77.,  73.,  75.,  64.,  67.,  74.,  90.],
        [ 85.,  61.,  83.,  54.,  90.,  92., 104.,  56.,  77.,  82.],
        [ 66.,  55.,  57.,  75.,  84.,  68.,  53.,  90.,  87., 108.],
        [124.,  56.,  93.,  85.,  65.,  97.,  83.,  72.,  93.,  70.],
        [ 73.,  69.,  85.,  76.,  85.,  72., 110.,  74.,  83.,  74.],
        [ 57.,  53.,  63.,  67.,  84.,  72.,  55.,  80.,  68., 104.],
        [112.,  50.,  86.,  79.,  63.,  80.,  71.,  73.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  54.,  58.,  60.,  56.,  73.,  62.],
        [ 80.,  66.,  76.,  97.,  64., 104.,  66.,  78.,  89.,  78.],
        [ 60.,  59.,  67.,  67.,  81.,  65.,  58.,  85.,  82., 109.],
        [ 77.,  51.,  88.,  88.,  59.,  69.,  45., 111.,  51.,  74.],
        [ 74.,  74.,  99., 101.,  74.,  86.,  75.,  75.,  84.,  85.],
        [ 50.,  62.,  60.,  59.,  91.,  64.,  58.,  66.,  63.,  72.]],
       device='cuda:0')
Train accuarcate: 94.60%



iteration:
  391
    0   294   bit_w:-1  loss: 0.16976
    1   348   bit_w:-1  loss: 0.16955
    2    69   bit_w:-1  loss: 0.16949
    3   289   bit_w: 1  loss: 0.16935
    4   619   bit_w:-1  loss: 0.16934
   4899   6098   5750   4181   5463   4386   4425   6089   5411   5724
     -1     -1      0     -1     -1      0     -1      0      0      0
Train accuarcate: 95.18%
tensor([[ 69.,  54.,  75.,  86.,  57.,  74.,  42., 112.,  57.,  74.],
        [ 81.,  91., 117.,  97.,  49.,  87.,  91.,  52.,  94.,  64.],
        [ 42.,  89.,  72.,  64.,  59.,  58.,  57.,  64.,  60.,  53.],
        [111.,  55.,  81.,  75.,  56.,  76.,  84.,  75.,  69.,  78.],
        [ 70.,  65.,  72.,  50., 106.,  65.,  73.,  75.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  57.,  54.,  53.,  69.,  63.,  58.],
        [ 50.,  67.,  59.,  69., 106.,  81.,  60.,  71.,  78.,  83.],
        [ 42.,  68.,  69.,  77.,  73.,  75.,  64.,  67.,  74.,  90.],
        [ 85.,  61.,  83.,  54.,  90.,  92., 104.,  56.,  77.,  82.],
        [ 66.,  55.,  57.,  75.,  84.,  68.,  53.,  90.,  87., 108.],
        [124.,  56.,  93.,  85.,  65.,  97.,  83.,  72.,  93.,  70.],
        [ 73.,  69.,  85.,  76.,  85.,  72., 110.,  74.,  83.,  74.],
        [ 57.,  53.,  63.,  67.,  84.,  72.,  55.,  80.,  68., 104.],
        [112.,  50.,  86.,  79.,  63.,  80.,  71.,  73.,  92.,  76.],
        [ 40.,  99.,  62.,  74.,  54.,  58.,  60.,  56.,  73.,  62.],
        [ 80.,  66.,  76.,  97.,  64., 104.,  66.,  78.,  89.,  78.],
        [ 60.,  59.,  67.,  67.,  81.,  65.,  58.,  85.,  82., 109.],
        [ 77.,  51.,  88.,  88.,  59.,  69.,  45., 111.,  51.,  74.],
        [ 75.,  75.,  99., 102.,  75.,  86.,  76.,  75.,  84.,  85.],
        [ 50.,  62.,  60.,  59.,  91.,  64.,  58.,  66.,  63.,  72.]],
       device='cuda:0')
Train accuarcate: 94.63%



iteration:
  392
    0   463   bit_w:-1  loss: 0.16923
    1   352   bit_w: 1  loss: 0.16904
    2   122   bit_w:-1  loss: 0.16900
    3   577   bit_w: 1  loss: 0.16895
    4   690   bit_w:-1  loss: 0.16892
   5718   5261   3958   5685   3972   4403   4889   4368   4771   4499
      0      0     -1      0      0     -1      0     -1     -1      0
Train accuarcate: 95.20%
tensor([[ 69.,  54.,  75.,  86.,  57.,  74.,  42., 112.,  57.,  74.],
        [ 81.,  91., 117.,  97.,  49.,  87.,  91.,  52.,  94.,  64.],
        [ 42.,  89.,  72.,  64.,  59.,  58.,  57.,  64.,  60.,  53.],
        [111.,  55.,  81.,  75.,  56.,  76.,  84.,  75.,  69.,  78.],
        [ 70.,  65.,  72.,  50., 106.,  65.,  73.,  75.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  57.,  54.,  53.,  69.,  63.,  58.],
        [ 50.,  67.,  59.,  69., 106.,  81.,  60.,  71.,  78.,  83.],
        [ 42.,  68.,  69.,  77.,  73.,  75.,  64.,  67.,  74.,  90.],
        [ 85.,  61.,  83.,  54.,  90.,  92., 104.,  56.,  77.,  82.],
        [ 66.,  55.,  58.,  75.,  84.,  69.,  53.,  91.,  88., 108.],
        [124.,  56.,  93.,  85.,  65.,  97.,  83.,  72.,  93.,  70.],
        [ 73.,  69.,  85.,  76.,  85.,  72., 110.,  74.,  83.,  74.],
        [ 57.,  53.,  63.,  67.,  84.,  72.,  55.,  80.,  68., 104.],
        [112.,  50.,  86.,  79.,  63.,  80.,  71.,  73.,  92.,  76.],
        [ 40.,  99.,  63.,  74.,  54.,  59.,  60.,  57.,  74.,  62.],
        [ 80.,  66.,  76.,  97.,  64., 104.,  66.,  78.,  89.,  78.],
        [ 60.,  59.,  67.,  67.,  81.,  65.,  58.,  85.,  82., 109.],
        [ 77.,  51.,  88.,  88.,  59.,  69.,  45., 111.,  51.,  74.],
        [ 75.,  75.,  99., 102.,  75.,  86.,  76.,  75.,  84.,  85.],
        [ 50.,  62.,  60.,  59.,  91.,  64.,  58.,  66.,  63.,  72.]],
       device='cuda:0')
Train accuarcate: 94.66%



iteration:
  393
    0   637   bit_w:-1  loss: 0.16886
    1   554   bit_w: 1  loss: 0.16878
    2   358   bit_w:-1  loss: 0.16873
    3   352   bit_w: 1  loss: 0.16868
    4   230   bit_w:-1  loss: 0.16865
   3319   6737   5269   5898   5432   5293   5555   5340   5443   5658
      0      0     -1      0     -1      0      0      0     -1     -1
Train accuarcate: 95.20%
tensor([[ 69.,  54.,  76.,  86.,  58.,  74.,  42., 112.,  58.,  75.],
        [ 81.,  91., 117.,  97.,  49.,  87.,  91.,  52.,  94.,  64.],
        [ 42.,  89.,  72.,  64.,  59.,  58.,  57.,  64.,  60.,  53.],
        [111.,  55.,  81.,  75.,  56.,  76.,  84.,  75.,  69.,  78.],
        [ 70.,  65.,  72.,  50., 106.,  65.,  73.,  75.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  57.,  54.,  53.,  69.,  63.,  58.],
        [ 50.,  67.,  59.,  69., 106.,  81.,  60.,  71.,  78.,  83.],
        [ 42.,  68.,  69.,  77.,  73.,  75.,  64.,  67.,  74.,  90.],
        [ 85.,  61.,  83.,  54.,  90.,  92., 104.,  56.,  77.,  82.],
        [ 66.,  55.,  59.,  75.,  85.,  69.,  53.,  91.,  89., 109.],
        [124.,  56.,  94.,  85.,  66.,  97.,  83.,  72.,  94.,  71.],
        [ 73.,  69.,  85.,  76.,  85.,  72., 110.,  74.,  83.,  74.],
        [ 57.,  53.,  63.,  67.,  84.,  72.,  55.,  80.,  68., 104.],
        [112.,  50.,  86.,  79.,  63.,  80.,  71.,  73.,  92.,  76.],
        [ 40.,  99.,  63.,  74.,  54.,  59.,  60.,  57.,  74.,  62.],
        [ 80.,  66.,  76.,  97.,  64., 104.,  66.,  78.,  89.,  78.],
        [ 60.,  59.,  67.,  67.,  81.,  65.,  58.,  85.,  82., 109.],
        [ 77.,  51.,  89.,  88.,  60.,  69.,  45., 111.,  52.,  75.],
        [ 75.,  75.,  99., 102.,  75.,  86.,  76.,  75.,  84.,  85.],
        [ 50.,  62.,  60.,  59.,  91.,  64.,  58.,  66.,  63.,  72.]],
       device='cuda:0')
Train accuarcate: 94.66%



iteration:
  394
    0   689   bit_w:-1  loss: 0.16859
    1   549   bit_w: 1  loss: 0.16845
    2    99   bit_w:-1  loss: 0.16839
    3   510   bit_w: 1  loss: 0.16839
    4   565   bit_w:-1  loss: 0.16835
   5776   6651   5440   5492   5757   4872   5489   6142   5470   5768
      0      0     -1     -1      0     -1     -1      0      0      0
Train accuarcate: 95.20%
tensor([[ 69.,  54.,  76.,  86.,  58.,  74.,  42., 112.,  58.,  75.],
        [ 81.,  91., 118.,  98.,  49.,  88.,  92.,  52.,  94.,  64.],
        [ 42.,  89.,  72.,  64.,  59.,  58.,  57.,  64.,  60.,  53.],
        [111.,  55.,  81.,  75.,  56.,  76.,  84.,  75.,  69.,  78.],
        [ 70.,  65.,  72.,  50., 106.,  65.,  73.,  75.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  57.,  54.,  53.,  69.,  63.,  58.],
        [ 50.,  67.,  59.,  69., 106.,  81.,  60.,  71.,  78.,  83.],
        [ 42.,  68.,  69.,  77.,  73.,  75.,  64.,  67.,  74.,  90.],
        [ 85.,  61.,  83.,  54.,  90.,  92., 104.,  56.,  77.,  82.],
        [ 66.,  55.,  59.,  75.,  85.,  69.,  53.,  91.,  89., 109.],
        [124.,  56.,  94.,  85.,  66.,  97.,  83.,  72.,  94.,  71.],
        [ 73.,  69.,  85.,  76.,  85.,  72., 110.,  74.,  83.,  74.],
        [ 57.,  53.,  63.,  67.,  84.,  72.,  55.,  80.,  68., 104.],
        [112.,  50.,  86.,  79.,  63.,  80.,  71.,  73.,  92.,  76.],
        [ 40.,  99.,  63.,  74.,  54.,  59.,  60.,  57.,  74.,  62.],
        [ 80.,  66.,  76.,  97.,  64., 104.,  66.,  78.,  89.,  78.],
        [ 60.,  59.,  67.,  67.,  81.,  65.,  58.,  85.,  82., 109.],
        [ 77.,  51.,  89.,  88.,  60.,  69.,  45., 111.,  52.,  75.],
        [ 75.,  75.,  99., 102.,  75.,  86.,  76.,  75.,  84.,  85.],
        [ 50.,  62.,  60.,  59.,  91.,  64.,  58.,  66.,  63.,  72.]],
       device='cuda:0')
Train accuarcate: 94.67%



iteration:
  395
    0    93   bit_w:-1  loss: 0.16830
    1   145   bit_w: 1  loss: 0.16825
    2    72   bit_w:-1  loss: 0.16826
    3   480   bit_w: 1  loss: 0.16818
    4   501   bit_w:-1  loss: 0.16823
   5909   6735   5431   6097   5834   5413   4906   6262   5848   5948
      0      0     -1      0      0      0     -1      0      0      0
Train accuarcate: 95.20%
tensor([[ 69.,  54.,  76.,  86.,  58.,  74.,  42., 112.,  58.,  75.],
        [ 81.,  91., 118.,  98.,  49.,  88.,  92.,  52.,  94.,  64.],
        [ 42.,  89.,  72.,  64.,  59.,  58.,  57.,  64.,  60.,  53.],
        [111.,  55.,  81.,  75.,  56.,  76.,  84.,  75.,  69.,  78.],
        [ 70.,  65.,  72.,  50., 106.,  65.,  73.,  75.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  57.,  54.,  53.,  69.,  63.,  58.],
        [ 50.,  67.,  59.,  69., 106.,  81.,  60.,  71.,  78.,  83.],
        [ 42.,  68.,  69.,  77.,  73.,  75.,  64.,  67.,  74.,  90.],
        [ 85.,  61.,  83.,  54.,  90.,  92., 104.,  56.,  77.,  82.],
        [ 66.,  55.,  59.,  75.,  85.,  69.,  53.,  91.,  89., 109.],
        [124.,  56.,  94.,  85.,  66.,  97.,  83.,  72.,  94.,  71.],
        [ 73.,  69.,  85.,  76.,  85.,  72., 110.,  74.,  83.,  74.],
        [ 57.,  53.,  63.,  67.,  84.,  72.,  55.,  80.,  68., 104.],
        [112.,  50.,  86.,  79.,  63.,  80.,  71.,  73.,  92.,  76.],
        [ 40.,  99.,  63.,  74.,  54.,  59.,  60.,  57.,  74.,  62.],
        [ 80.,  66.,  76.,  97.,  64., 104.,  66.,  78.,  89.,  78.],
        [ 60.,  59.,  67.,  67.,  81.,  65.,  58.,  85.,  82., 109.],
        [ 77.,  51.,  89.,  88.,  60.,  69.,  45., 111.,  52.,  75.],
        [ 75.,  75.,  99., 102.,  75.,  86.,  76.,  75.,  84.,  85.],
        [ 50.,  62.,  60.,  59.,  91.,  64.,  58.,  66.,  63.,  72.]],
       device='cuda:0')
Train accuarcate: 94.69%



iteration:
  396
    0   584   bit_w:-1  loss: 0.16818
    1   248   bit_w: 1  loss: 0.16813
    2   666   bit_w:-1  loss: 0.16813
    3   396   bit_w: 1  loss: 0.16806
    4   452   bit_w:-1  loss: 0.16810
   5653   6733   5115   6037   5652   5338   5900   6229   5807   5852
      0     -1     -1     -1      0     -1      0      0      0      0
Train accuarcate: 95.21%
tensor([[ 69.,  54.,  76.,  86.,  58.,  74.,  42., 112.,  58.,  75.],
        [ 81.,  92., 119.,  99.,  49.,  89.,  92.,  52.,  94.,  64.],
        [ 42.,  89.,  72.,  64.,  59.,  58.,  57.,  64.,  60.,  53.],
        [111.,  55.,  81.,  75.,  56.,  76.,  84.,  75.,  69.,  78.],
        [ 70.,  65.,  72.,  50., 106.,  65.,  73.,  75.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  57.,  54.,  53.,  69.,  63.,  58.],
        [ 50.,  67.,  59.,  69., 106.,  81.,  60.,  71.,  78.,  83.],
        [ 42.,  69.,  70.,  78.,  73.,  76.,  64.,  67.,  74.,  90.],
        [ 85.,  61.,  83.,  54.,  90.,  92., 104.,  56.,  77.,  82.],
        [ 66.,  55.,  59.,  75.,  85.,  69.,  53.,  91.,  89., 109.],
        [124.,  56.,  94.,  85.,  66.,  97.,  83.,  72.,  94.,  71.],
        [ 73.,  69.,  85.,  76.,  85.,  72., 110.,  74.,  83.,  74.],
        [ 57.,  53.,  63.,  67.,  84.,  72.,  55.,  80.,  68., 104.],
        [112.,  50.,  86.,  79.,  63.,  80.,  71.,  73.,  92.,  76.],
        [ 40.,  99.,  63.,  74.,  54.,  59.,  60.,  57.,  74.,  62.],
        [ 80.,  66.,  76.,  97.,  64., 104.,  66.,  78.,  89.,  78.],
        [ 60.,  59.,  67.,  67.,  81.,  65.,  58.,  85.,  82., 109.],
        [ 77.,  51.,  89.,  88.,  60.,  69.,  45., 111.,  52.,  75.],
        [ 75.,  76., 100., 103.,  75.,  87.,  76.,  75.,  84.,  85.],
        [ 50.,  62.,  60.,  59.,  91.,  64.,  58.,  66.,  63.,  72.]],
       device='cuda:0')
Train accuarcate: 94.66%



iteration:
  397
    0   608   bit_w:-1  loss: 0.16805
    1   469   bit_w: 1  loss: 0.16790
    2   389   bit_w: 1  loss: 0.16791
    3   579   bit_w:-1  loss: 0.16783
    4   662   bit_w: 1  loss: 0.16778
   1334     86    937    281   1136    231   1283    425    315    628
      0      0      1      0      0      0      0      0      0      0
Train accuarcate: 95.21%
tensor([[ 69.,  54.,  76.,  86.,  58.,  74.,  42., 112.,  58.,  75.],
        [ 81.,  92., 119.,  99.,  49.,  89.,  92.,  52.,  94.,  64.],
        [ 42.,  89.,  72.,  64.,  59.,  58.,  57.,  64.,  60.,  53.],
        [111.,  55.,  81.,  75.,  56.,  76.,  84.,  75.,  69.,  78.],
        [ 70.,  65.,  72.,  50., 106.,  65.,  73.,  75.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  57.,  54.,  53.,  69.,  63.,  58.],
        [ 50.,  67.,  59.,  69., 106.,  81.,  60.,  71.,  78.,  83.],
        [ 42.,  69.,  70.,  78.,  73.,  76.,  64.,  67.,  74.,  90.],
        [ 85.,  61.,  83.,  54.,  90.,  92., 104.,  56.,  77.,  82.],
        [ 66.,  55.,  59.,  75.,  85.,  69.,  53.,  91.,  89., 109.],
        [124.,  56.,  94.,  85.,  66.,  97.,  83.,  72.,  94.,  71.],
        [ 73.,  69.,  86.,  76.,  85.,  72., 110.,  74.,  83.,  74.],
        [ 57.,  53.,  63.,  67.,  84.,  72.,  55.,  80.,  68., 104.],
        [112.,  50.,  87.,  79.,  63.,  80.,  71.,  73.,  92.,  76.],
        [ 40.,  99.,  63.,  74.,  54.,  59.,  60.,  57.,  74.,  62.],
        [ 80.,  66.,  76.,  97.,  64., 104.,  66.,  78.,  89.,  78.],
        [ 60.,  59.,  67.,  67.,  81.,  65.,  58.,  85.,  82., 109.],
        [ 77.,  51.,  89.,  88.,  60.,  69.,  45., 111.,  52.,  75.],
        [ 75.,  76., 100., 103.,  75.,  87.,  76.,  75.,  84.,  85.],
        [ 50.,  62.,  60.,  59.,  91.,  64.,  58.,  66.,  63.,  72.]],
       device='cuda:0')
Train accuarcate: 94.66%



iteration:
  398
    0   302   bit_w:-1  loss: 0.16772
    1   298   bit_w:-1  loss: 0.16756
    2   295   bit_w:-1  loss: 0.16748
    3   102   bit_w: 1  loss: 0.16742
    4   135   bit_w:-1  loss: 0.16744
   4427   6085   5620   5070   5542   4622   5658   3880   4940   5297
     -1     -1      0      0      0     -1     -1      0      0      0
Train accuarcate: 95.23%
tensor([[ 69.,  54.,  76.,  86.,  58.,  74.,  42., 112.,  58.,  75.],
        [ 81.,  92., 119.,  99.,  49.,  89.,  92.,  52.,  94.,  64.],
        [ 42.,  89.,  72.,  64.,  59.,  58.,  57.,  64.,  60.,  53.],
        [111.,  55.,  81.,  75.,  56.,  76.,  84.,  75.,  69.,  78.],
        [ 70.,  65.,  72.,  50., 106.,  65.,  73.,  75.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  57.,  54.,  53.,  69.,  63.,  58.],
        [ 50.,  67.,  59.,  69., 106.,  81.,  60.,  71.,  78.,  83.],
        [ 42.,  69.,  70.,  78.,  73.,  76.,  64.,  67.,  74.,  90.],
        [ 85.,  61.,  83.,  54.,  90.,  92., 104.,  56.,  77.,  82.],
        [ 66.,  55.,  59.,  75.,  85.,  69.,  53.,  91.,  89., 109.],
        [124.,  56.,  94.,  85.,  66.,  97.,  83.,  72.,  94.,  71.],
        [ 73.,  69.,  86.,  76.,  85.,  72., 110.,  74.,  83.,  74.],
        [ 57.,  53.,  63.,  67.,  84.,  72.,  55.,  80.,  68., 104.],
        [112.,  50.,  87.,  79.,  63.,  80.,  71.,  73.,  92.,  76.],
        [ 40.,  99.,  63.,  74.,  54.,  59.,  60.,  57.,  74.,  62.],
        [ 80.,  66.,  76.,  97.,  64., 104.,  66.,  78.,  89.,  78.],
        [ 60.,  59.,  67.,  67.,  81.,  65.,  58.,  85.,  82., 109.],
        [ 77.,  51.,  89.,  88.,  60.,  69.,  45., 111.,  52.,  75.],
        [ 75.,  76., 100., 103.,  75.,  87.,  76.,  75.,  84.,  85.],
        [ 50.,  62.,  60.,  59.,  91.,  64.,  58.,  66.,  63.,  72.]],
       device='cuda:0')
Train accuarcate: 94.67%



iteration:
  399
    0   248   bit_w:-1  loss: 0.16737
    1   145   bit_w: 1  loss: 0.16732
    2   230   bit_w:-1  loss: 0.16734
    3   380   bit_w:-1  loss: 0.16726
    4   514   bit_w:-1  loss: 0.16724
   5750   5866   3645   5327   5138   4947   3467   5463   2934   5511
     -1      0      0      0      0      0      0     -1     -1      0
Train accuarcate: 95.25%
tensor([[ 69.,  54.,  76.,  86.,  58.,  74.,  42., 112.,  58.,  75.],
        [ 81.,  92., 119.,  99.,  49.,  89.,  92.,  52.,  94.,  64.],
        [ 42.,  89.,  72.,  64.,  59.,  58.,  57.,  64.,  60.,  53.],
        [111.,  55.,  81.,  75.,  56.,  76.,  84.,  75.,  69.,  78.],
        [ 70.,  65.,  72.,  50., 106.,  65.,  73.,  75.,  70.,  78.],
        [ 41.,  94.,  66.,  67.,  57.,  54.,  53.,  69.,  63.,  58.],
        [ 50.,  67.,  59.,  69., 106.,  81.,  60.,  71.,  78.,  83.],
        [ 42.,  69.,  70.,  78.,  73.,  76.,  64.,  67.,  74.,  90.],
        [ 85.,  61.,  83.,  54.,  90.,  92., 104.,  56.,  77.,  82.],
        [ 66.,  55.,  59.,  75.,  85.,  69.,  53.,  91.,  89., 109.],
        [124.,  56.,  94.,  85.,  66.,  97.,  83.,  72.,  94.,  71.],
        [ 73.,  69.,  86.,  76.,  85.,  72., 110.,  74.,  83.,  74.],
        [ 57.,  53.,  63.,  67.,  84.,  72.,  55.,  80.,  68., 104.],
        [112.,  50.,  87.,  79.,  63.,  80.,  71.,  73.,  92.,  76.],
        [ 40.,  99.,  63.,  74.,  54.,  59.,  60.,  57.,  74.,  62.],
        [ 80.,  66.,  76.,  97.,  64., 104.,  66.,  78.,  89.,  78.],
        [ 60.,  59.,  67.,  67.,  81.,  65.,  58.,  85.,  82., 109.],
        [ 77.,  51.,  89.,  88.,  60.,  69.,  45., 111.,  52.,  75.],
        [ 76.,  76., 100., 103.,  75.,  87.,  76.,  76.,  85.,  85.],
        [ 50.,  62.,  60.,  59.,  91.,  64.,  58.,  66.,  63.,  72.]],
       device='cuda:0')
Train accuarcate: 94.67%