有考虑更换大模型加载方式么

[yutouaa]

考虑到 做成服务时启动多进程会导致多次加载模型服务，从影响gpu 的使用率，
如果做成api 端口是否会更好的利用gpu

[Robot2050]

感谢您对本项目的关注，并提出了如此建设性的问题！经测试，我们发现使用 vLLM 加载 MoC 中的分块模型是可行的，此方法能够有效利用GPU资源，从而显著提升生成速度。现附上一个示例供您参考，希望能为您提供帮助。

此外，vLLM 还支持将我们的模型以 API 的形式进行部署，方便您在不同场景下灵活调用。

倘若您在后续操作过程中仍存在任何疑问，或者有新的需求，请随时与我们联系。我们将尽力为您提供解答与支持。

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer
model_name_or_path="分块模型存储路径"  
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path,trust_remote_code=True) 
sampling_params = SamplingParams(temperature=0.7, top_p=0.8, repetition_penalty=1.05,max_tokens=32768) 
model = LLM(model=model_name_or_path,trust_remote_code=True,tensor_parallel_size=1, pipeline_parallel_size=1, dtype='float32',gpu_memory_utilization=0.9)

content='需要分块的文本'
prompt='''这是一个文本分块任务，你是一名文本分割方面的专家，负责将给定的文本分割成文本块。你必须遵守以下四个条件：
1. 将内容相关的若干个连续句子组合成文本块，使得每个文本块都具有完整的逻辑表达。
2. 避免文本块过短，在识别内容转换与分块长度之间取得良好平衡。
3. 输出的分块结果是一个列表格式，其中的每个元素表示文档中的一个文本块。
4. 其中输出的每个文本块由文本块开头和结尾几个字符组成，中间内容由“[MASK]”来代替，输出格式如下：
[
    "文本块1的开头几个字符[MASK]文本块1的结尾几个字符",
    ......
]

如果你理解，请将以下文本分割成文本块，并通过上述要求输出列表格式。

文档内容：{}

分割好的文本块的列表格式输出：'''.format(content)

messages = [
    {"role": "user", "content": prompt}  
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
outputs = model.generate([text], sampling_params)
for output in outputs:
    generated_text = output.outputs[0].text
response = generated_text
print(response)

[Robot2050]

利用 vLLM 部署成 API 的形式来访问

运行命令

cd 分块模型存储的文件夹路径
vllm serve 分块模型文件夹名称 --tensor-parallel-size 1 --pipeline_parallel_size 1 --dtype float32 --gpu-memory-utilization 0.9 --max-model-len 32768 --port 2025

API 访问方式

from openai import OpenAI
openai_api_key = "EMPTY"
openai_api_base = "http://127.0.0.1:2025/v1"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# 流式输出
chat_response = client.chat.completions.create(
    model="分块模型文件夹名称",
    messages=[
        {"role": "user", "content": prompt},
    ],
    temperature=0.7,
    top_p=0.8,
    presence_penalty=1.05,
    stream=True
)
for chat in chat_response:
    content = chat.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

# 非流式输出
chat_response = client.chat.completions.create(
    model="分块模型文件夹名称",
    messages=[
        {"role": "user", "content": prompt},
    ],
    temperature=0.7,
    top_p=0.8,
    presence_penalty=1.05,
    stream=False
)
print(chat_response.choices[0].message.content)