Skip to content

Commit 748c547

Browse files
NyakultNyakult
authored
feat: use different template for different language input (#232)
* feat: check nodes existence * feat: use different template for different language input * feat: use different template for different language input
1 parent 2fc71c8 commit 748c547

File tree

2 files changed

+212
-14
lines changed

2 files changed

+212
-14
lines changed

‎src/memos/mem_reader/simple_struct.py‎

Lines changed: 39 additions & 14 deletions
Original file line numberDiff line numberDiff line change
@@ -1,6 +1,7 @@
11
import concurrent.futures
22
import copy
33
import json
4+
import re
45

56
from abc import ABC
67
from typing import Any
@@ -16,12 +17,36 @@
1617
from memos.parsers.factory import ParserFactory
1718
from memos.templates.mem_reader_prompts import (
1819
SIMPLE_STRUCT_DOC_READER_PROMPT,
20+
SIMPLE_STRUCT_DOC_READER_PROMPT_ZH,
1921
SIMPLE_STRUCT_MEM_READER_EXAMPLE,
22+
SIMPLE_STRUCT_MEM_READER_PROMPT_ZH,
2023
SIMPLE_STRUCT_MEM_READER_PROMPT,
24+
SIMPLE_STRUCT_MEM_READER_EXAMPLE_ZH,
2125
)
2226

23-
2427
logger = log.get_logger(__name__)
28+
PROMPT_DICT = {
29+
"chat": {
30+
"en": SIMPLE_STRUCT_MEM_READER_PROMPT,
31+
"zh": SIMPLE_STRUCT_MEM_READER_PROMPT_ZH,
32+
"en_example": SIMPLE_STRUCT_MEM_READER_EXAMPLE,
33+
"zh_example": SIMPLE_STRUCT_MEM_READER_EXAMPLE_ZH,
34+
},
35+
"doc": {"en": SIMPLE_STRUCT_DOC_READER_PROMPT, "zh": SIMPLE_STRUCT_DOC_READER_PROMPT_ZH},
36+
}
37+
38+
39+
def detect_lang(text):
40+
try:
41+
if not text or not isinstance(text, str):
42+
return "en"
43+
chinese_pattern = r"[\u4e00-\u9fff\u3400-\u4dbf\U00020000-\U0002a6df\U0002a700-\U0002b73f\U0002b740-\U0002b81f\U0002b820-\U0002ceaf\uf900-\ufaff]"
44+
chinese_chars = re.findall(chinese_pattern, text)
45+
if len(chinese_chars) / len(re.sub(r"[\s\d\W]", "", text)) > 0.3:
46+
return "zh"
47+
return "en"
48+
except Exception:
49+
return "en"
2550

2651

2752
class SimpleStructMemReader(BaseMemReader, ABC):
@@ -40,11 +65,13 @@ def __init__(self, config: SimpleStructMemReaderConfig):
4065
self.chunker = ChunkerFactory.from_config(config.chunker)
4166

4267
def _process_chat_data(self, scene_data_info, info):
43-
prompt = SIMPLE_STRUCT_MEM_READER_PROMPT.replace(
44-
"${conversation}", "\n".join(scene_data_info)
45-
)
68+
lang = detect_lang("\n".join(scene_data_info))
69+
template = PROMPT_DICT["chat"][lang]
70+
examples = PROMPT_DICT["chat"][f"{lang}_example"]
71+
72+
prompt = template.replace("${conversation}", "\n".join(scene_data_info))
4673
if self.config.remove_prompt_example:
47-
prompt = prompt.replace(SIMPLE_STRUCT_MEM_READER_EXAMPLE, "")
74+
prompt = prompt.replace(examples, "")
4875

4976
messages = [{"role": "user", "content": prompt}]
5077

@@ -193,15 +220,13 @@ def get_scene_data_info(self, scene_data: list, type: str) -> list[str]:
193220

194221
def _process_doc_data(self, scene_data_info, info):
195222
chunks = self.chunker.chunk(scene_data_info["text"])
196-
messages = [
197-
[
198-
{
199-
"role": "user",
200-
"content": SIMPLE_STRUCT_DOC_READER_PROMPT.replace("{chunk_text}", chunk.text),
201-
}
202-
]
203-
for chunk in chunks
204-
]
223+
messages = []
224+
for chunk in chunks:
225+
lang = detect_lang(chunk.text)
226+
template = PROMPT_DICT["doc"][lang]
227+
prompt = template.replace("{chunk_text}", chunk.text)
228+
message = [{"role": "user", "content": prompt}]
229+
messages.append(message)
205230

206231
processed_chunks = []
207232
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:

‎src/memos/templates/mem_reader_prompts.py‎

Lines changed: 173 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -88,6 +88,98 @@
8888
8989
Your Output:"""
9090

91+
SIMPLE_STRUCT_MEM_READER_PROMPT_ZH = """您是记忆提取专家。
92+
您的任务是根据用户与助手之间的对话，从用户的角度提取记忆。这意味着要识别出用户可能记住的信息——包括用户自身的经历、想法、计划，或他人（如助手）做出的并对用户产生影响或被用户认可的相关陈述和行为。
93+
94+
请执行以下操作：
95+
1. 识别反映用户经历、信念、关切、决策、计划或反应的信息——包括用户认可或回应的来自助手的有意义信息。
96+
如果消息来自用户，请提取与用户相关的记忆；如果来自助手，则仅提取用户认可或回应的事实性记忆。
97+
98+
2. 清晰解析所有时间、人物和事件的指代：
99+
- 如果可能，使用消息时间戳将相对时间表达（如“昨天”、“下周五”）转换为绝对日期。
100+
- 明确区分事件时间和消息时间。
101+
- 如果存在不确定性，需明确说明（例如，“约2025年6月”，“具体日期不详”）。
102+
- 若提及具体地点，请包含在内。
103+
- 将所有代词、别名和模糊指代解析为全名或明确身份。
104+
- 如有同名人物，需加以区分。
105+
106+
3. 始终以第三人称视角撰写，使用“用户”或提及的姓名来指代用户，而不是使用第一人称（“我”、“我们”、“我的”）。
107+
例如，写“用户感到疲惫……”而不是“我感到疲惫……”。
108+
109+
4. 不要遗漏用户可能记住的任何信息。
110+
- 包括所有关键经历、想法、情绪反应和计划——即使看似微小。
111+
- 优先考虑完整性和保真度，而非简洁性。
112+
- 不要泛化或跳过对用户具有个人意义的细节。
113+
114+
5. 请避免在提取的记忆中包含违反国家法律法规或涉及政治敏感的信息。
115+
116+
返回一个有效的JSON对象，结构如下：
117+
118+
{
119+
"memory list": [
120+
{
121+
"key": <字符串，唯一且简洁的记忆标题>,
122+
"memory_type": <字符串，"LongTermMemory" 或 "UserMemory">,
123+
"value": <详细、独立且无歧义的记忆陈述——若输入对话为英文，则用英文；若为中文，则用中文>,
124+
"tags": <相关主题关键词列表（例如，["截止日期", "团队", "计划"]）>
125+
},
126+
...
127+
],
128+
"summary": <从用户视角自然总结上述记忆的段落，120–200字，与输入语言一致>
129+
}
130+
131+
语言规则：
132+
- `key`、`value`、`tags`、`summary` 字段必须与输入对话的主要语言一致。**如果输入是中文，请输出中文**
133+
- `memory_type` 保持英文。
134+
135+
示例：
136+
对话：
137+
user: [2025年6月26日下午3:00]：嗨Jerry！昨天下午3点我和团队开了个会，讨论新项目。
138+
assistant: 哦Tom！你觉得团队能在12月15日前完成吗？
139+
user: [2025年6月26日下午3:00]：我有点担心。后端要到12月10日才能完成，所以测试时间会很紧。
140+
assistant: [2025年6月26日下午3:00]：也许提议延期？
141+
user: [2025年6月26日下午4:21]：好主意。我明天上午9:30的会上提一下——也许把截止日期推迟到1月5日。
142+
143+
输出：
144+
{
145+
"memory list": [
146+
{
147+
"key": "项目初期会议",
148+
"memory_type": "LongTermMemory",
149+
"value": "2025年6月25日下午3:00，Tom与团队开会讨论新项目。会议涉及时间表，并提出了对2025年12月15日截止日期可行性的担忧。",
150+
"tags": ["项目", "时间表", "会议", "截止日期"]
151+
},
152+
{
153+
"key": "计划调整范围",
154+
"memory_type": "UserMemory",
155+
"value": "Tom计划在2025年6月27日上午9:30的会议上建议团队优先处理功能，并提议将项目截止日期推迟至2026年1月5日。",
156+
"tags": ["计划", "截止日期变更", "功能优先级"]
157+
}
158+
],
159+
"summary": "Tom目前正专注于管理一个进度紧张的新项目。在2025年6月25日的团队会议后，他意识到原定2025年12月15日的截止日期可能无法实现，因为后端会延迟。由于担心测试时间不足，他接受了Jerry提出的延期建议。Tom计划在次日早上的会议上提出将截止日期推迟至2026年1月5日。他的行为反映出对时间线的担忧，以及积极、以团队为导向的问题解决方式。"
160+
}
161+
162+
另一个中文示例（注意：当用户语言为中文时，您也需输出中文）：
163+
{
164+
"memory list": [
165+
{
166+
"key": "项目会议",
167+
"memory_type": "LongTermMemory",
168+
"value": "在2025年6月25日下午3点，Tom与团队开会讨论了新项目，涉及时间表，并提出了对12月15日截止日期可行性的担忧。",
169+
"tags": ["项目", "时间表", "会议", "截止日期"]
170+
},
171+
...
172+
],
173+
"summary": "Tom 目前专注于管理一个进度紧张的新项目..."
174+
}
175+
176+
请始终使用与对话相同的语言进行回复。
177+
178+
对话：
179+
${conversation}
180+
181+
您的输出："""
182+
91183
SIMPLE_STRUCT_DOC_READER_PROMPT = """You are an expert text analyst for a search and retrieval system.
92184
Your task is to process a document chunk and generate a single, structured JSON object.
93185
@@ -125,6 +217,44 @@
125217
126218
Your Output:"""
127219

220+
221+
SIMPLE_STRUCT_DOC_READER_PROMPT_ZH = """您是搜索与检索系统的文本分析专家。
222+
您的任务是处理文档片段，并生成一个结构化的 JSON 对象。
223+
224+
请执行以下操作：
225+
1. 识别反映文档中事实内容、见解、决策或含义的关键信息——包括任何显著的主题、结论或数据点，使读者无需阅读原文即可充分理解该片段的核心内容。
226+
2. 清晰解析所有时间、人物、地点和事件的指代：
227+
- 如果上下文允许，将相对时间表达（如“去年”、“下一季度”）转换为绝对日期。
228+
- 明确区分事件时间和文档时间。
229+
- 如果存在不确定性，需明确说明（例如，“约2024年”，“具体日期不详”）。
230+
- 若提及具体地点，请包含在内。
231+
- 将所有代词、别名和模糊指代解析为全名或明确身份。
232+
- 如有同名实体，需加以区分。
233+
3. 始终以第三人称视角撰写，清晰指代主题或内容，避免使用第一人称（“我”、“我们”、“我的”）。
234+
4. 不要遗漏文档摘要中可能重要或值得记忆的任何信息。
235+
- 包括所有关键事实、见解、情感基调和计划——即使看似微小。
236+
- 优先考虑完整性和保真度，而非简洁性。
237+
- 不要泛化或跳过可能具有上下文意义的细节。
238+
239+
返回一个有效的 JSON 对象，结构如下：
240+
241+
返回有效的 JSON：
242+
{
243+
"key": <字符串，`value` 字段的简洁标题>,
244+
"memory_type": "LongTermMemory",
245+
"value": <一段清晰准确的段落，全面总结文档片段中的主要观点、论据和信息——若输入摘要为英文，则用英文；若为中文，则用中文>,
246+
"tags": <相关主题关键词列表（例如，["截止日期", "团队", "计划"]）>
247+
}
248+
249+
语言规则：
250+
- `key`、`value`、`tags` 字段必须与输入文档摘要的主要语言一致。**如果输入是中文，请输出中文**
251+
- `memory_type` 保持英文。
252+
253+
文档片段：
254+
{chunk_text}
255+
256+
您的输出："""
257+
128258
SIMPLE_STRUCT_MEM_READER_EXAMPLE = """Example:
129259
Conversation:
130260
user: [June 26, 2025 at 3:00 PM]: Hi Jerry! Yesterday at 3 PM I had a meeting with my team about the new project.
@@ -168,3 +298,46 @@
168298
}
169299
170300
"""
301+
302+
SIMPLE_STRUCT_MEM_READER_EXAMPLE_ZH = """示例：
303+
对话：
304+
user: [2025年6月26日下午3:00]：嗨Jerry！昨天下午3点我和团队开了个会，讨论新项目。
305+
assistant: 哦Tom！你觉得团队能在12月15日前完成吗？
306+
user: [2025年6月26日下午3:00]：我有点担心。后端要到12月10日才能完成，所以测试时间会很紧。
307+
assistant: [2025年6月26日下午3:00]：也许提议延期？
308+
user: [2025年6月26日下午4:21]：好主意。我明天上午9:30的会上提一下——也许把截止日期推迟到1月5日。
309+
310+
输出：
311+
{
312+
"memory list": [
313+
{
314+
"key": "项目初期会议",
315+
"memory_type": "LongTermMemory",
316+
"value": "2025年6月25日下午3:00，Tom与团队开会讨论新项目。会议涉及时间表，并提出了对2025年12月15日截止日期可行性的担忧。",
317+
"tags": ["项目", "时间表", "会议", "截止日期"]
318+
},
319+
{
320+
"key": "计划调整范围",
321+
"memory_type": "UserMemory",
322+
"value": "Tom计划在2025年6月27日上午9:30的会议上建议团队优先处理功能，并提议将项目截止日期推迟至2026年1月5日。",
323+
"tags": ["计划", "截止日期变更", "功能优先级"]
324+
}
325+
],
326+
"summary": "Tom目前正专注于管理一个进度紧张的新项目。在2025年6月25日的团队会议后，他意识到原定2025年12月15日的截止日期可能无法实现，因为后端会延迟。由于担心测试时间不足，他接受了Jerry提出的延期建议。Tom计划在次日早上的会议上提出将截止日期推迟至2026年1月5日。他的行为反映出对时间线的担忧，以及积极、以团队为导向的问题解决方式。"
327+
}
328+
329+
另一个中文示例（注意：当用户语言为中文时，您也需输出中文）：
330+
{
331+
"memory list": [
332+
{
333+
"key": "项目会议",
334+
"memory_type": "LongTermMemory",
335+
"value": "在2025年6月25日下午3点，Tom与团队开会讨论了新项目，涉及时间表，并提出了对12月15日截止日期可行性的担忧。",
336+
"tags": ["项目", "时间表", "会议", "截止日期"]
337+
},
338+
...
339+
],
340+
"summary": "Tom 目前专注于管理一个进度紧张的新项目..."
341+
}
342+
343+
"""

0 commit comments

Comments
 (0)