预测速度很慢的原因是啥？怎么解决？

bert4rec在我们的场景下使用的时候，预测速度非常慢。
这个原因是不是拿了所有物料做softmax导致的。
但是作为cloze任务，这个又无法避免，想问下有什么解决办法吗