SER进行推理预测后，只能将图片一部分的实体进行识别，后面的实体都会标注为other

[eunij-peanut]

SER进行推理预测后，只能将图片一部分的实体进行识别，后面的实体都会标注为other，在过往的issue里有类似的问题，请问该如何修改代码得到全部的序列？

`class VQASerTokenChunk(object):
def init(self, max_seq_len=512, infer_mode=False, **kwargs): # max_seq_len=512
self.max_seq_len = max_seq_len
self.infer_mode = infer_mode

def __call__(self, data):
    encoded_inputs_all = []
    seq_len = len(data["input_ids"])
    for index in range(0, seq_len, self.max_seq_len):
        chunk_beg = index
        chunk_end = min(index + self.max_seq_len, seq_len)
        encoded_inputs_example = {}
        for key in data:
            if key in [
                "label",
                "input_ids",
                "labels",
                "token_type_ids",
                "bbox",
                "attention_mask",
            ]:
                if self.infer_mode and key == "labels":
                    encoded_inputs_example[key] = data[key]
                else:
                    encoded_inputs_example[key] = data[key][chunk_beg:chunk_end]
            else:
                encoded_inputs_example[key] = data[key]

        encoded_inputs_all.append(encoded_inputs_example)
    if len(encoded_inputs_all) == 0:
        return None
    return encoded_inputs_all[0]`

[GreatV]

你的问题是 SER 进行推理预测后，只能识别图像中部分实体，后面的实体都会被标注为 "other"。从代码来看，这可能是由于 VQASerTokenChunk 处理数据时 截断了后面的部分，导致后面的实体未被正确识别。

---

问题分析

1. VQASerTokenChunk 代码中的 max_seq_len 限制

   • max_seq_len=512 限制了输入数据的最大长度。
   • for index in range(0, seq_len, self.max_seq_len) 对输入数据进行分块处理，每次最多处理 512 个 token。
   • return encoded_inputs_all[0] 只返回 第一块 处理的数据，导致后方实体信息丢失。

2. 后续数据未被充分处理

   • 由于 encoded_inputs_all.append(encoded_inputs_example) 每次循环都会添加新的片段（chunk），但 return encoded_inputs_all[0] 只返回第一个片段，这样后面的数据就不会被送入模型进行预测。

---

解决方案

要让 整个序列的数据都能被正确地处理和预测，可以考虑以下修改：

方法 1：返回 encoded_inputs_all 全部数据

将 return encoded_inputs_all[0] 改为：

return encoded_inputs_all

这样可以确保 所有被分块的数据都会返回，但需要在后续的代码中对多个返回值进行处理和拼接。

方法 2：修改 max_seq_len 参数

• 你也可以尝试 增大 max_seq_len（如果显存允许的话）：

  class VQASerTokenChunk(object):
      def __init__(self, max_seq_len=1024, infer_mode=False, **kwargs):  # 提高 max_seq_len 以减少片段数
          self.max_seq_len = max_seq_len
          self.infer_mode = infer_mode

  • 这样可以减少数据被过度分块的情况，但无法彻底解决问题。

方法 3：合并分块的预测结果

如果需要确保最终输出是完整的，你可以在推理后将多个 encoded_inputs_all 片段的结果合并。例如：

def merge_predictions(predictions):
    merged_result = []
    for chunk in predictions:
        merged_result.extend(chunk["labels"])  # 根据实际 key 进行合并
    return merged_result

然后在推理接口中这样使用：

chunks = vqa_ser_token_chunk(data)
predictions = [model.predict(chunk) for chunk in chunks]
final_result = merge_predictions(predictions)

这样可以确保 所有的实体都被正确预测到。

---

总结

✅ 推荐的最佳修改方式：

1. 返回所有分块数据 (encoded_inputs_all)，而不是仅返回第一个块的数据。
2. 在后处理时合并所有分块的预测结果，确保整个文本的推理完整。
3. 如果显存允许，可以 适当提高 max_seq_len 来减少数据被分块的次数。

这样可以有效解决 后面的实体被标注为 "other" 的问题，提升模型的完整性预测能力。 🚀

---

Response generated by 🤖 feifei-bot | chatgpt-4o-latest

⚠️ This is an AI-generated response. Please verify any critical information.