fix

Author: hiworldwzj

lightllm/server/router/req_queue/chunked_prefill/beam_impl.py

@@ -91,7 +91,7 @@ def generate_new_batch(self, current_batch: Batch):
         aborted_count = 0
         cur_group_reqs = []
         for req in self.waiting_req_list:
-            if req.is_aborted or req.stop_str_matched:
+            if req.is_aborted:
                 aborted_count += 1
                 abort_req_list.append(req)
                 continue

lightllm/server/router/req_queue/chunked_prefill/impl.py

@@ -78,7 +78,7 @@ def generate_new_batch(self, current_batch: Batch):
         waiting_queue = self.waiting_req_list
 
         for req in waiting_queue:
-            if req.is_aborted or req.stop_str_matched:
+            if req.is_aborted:
                 # 由于管理的复杂性，只有没有被调度运行过的请求可以因为abort直接在队列中忽略掉.
                 # 暂停的请求需要恢复后，由 router manager 部分来过滤。暂时保持这种处理方法, 否则会导致管理token的泄漏
                 aborted_count += 1

lightllm/server/router/req_queue/chunked_prefill/impl_for_pd_decode.py

@@ -38,7 +38,7 @@ def generate_new_batch(self, current_batch: Batch):
         abort_req_list = []
         aborted_count = 0
         for req in self.waiting_req_list:
-            if req.is_aborted or req.stop_str_matched:
+            if req.is_aborted:
                 # 由于管理的复杂性，只有没有被调度运行过的请求可以因为abort直接在队列中忽略掉.
                 # 暂停的请求需要恢复后，由 router manager 部分来过滤。暂时保持这种处理方法, 否则会导致管理token和管理req对象的泄漏
                 aborted_count += 1