运行generate脚本之后，在页面提问，很久没有产生回答，后台无报错 #247
Description
如果你遇到问题需要我们帮助，你可以从以下角度描述你的信息，以便于我们可以理解或者复现你的错误（学会如何提问不仅是能帮助我们理解你，也是一个自查的过程）：
1、你使用了哪个脚本、使用的什么命令
CUDA_VISIBLE_DEVICES=0,1,6,7 python generate.py
2、你的参数是什么（脚本参数、命令参数）
parser.add_argument("--model_path", type=str, default="llama13b")
parser.add_argument("--lora_path", type=str, default="Chinese-Vicuna-lora-13b-belle-and-guanaco")
parser.add_argument("--use_typewriter", type=int, default=1)
parser.add_argument("--use_local", type=int, default=1)
3、你是否修改过我们的代码
没有
4、你用的哪个数据集
用的提供的LoRA
然后你可以从环境的角度描述你的问题，这些问题我们在readme已经相关的问题及解决可能会有描述：
1、哪个操作系统
Ubuntu
2、使用的什么显卡、多少张
8张
3、python的版本
3.8
4、python各种库的版本
Package Version
absl-py 1.4.0
accelerate 0.20.0.dev0
aiofiles 23.1.0
aiohttp 3.8.5
aiosignal 1.3.1
altair 5.0.1
annotated-types 0.5.0
anyio 3.7.1
appdirs 1.4.4
async-timeout 4.0.2
attrs 23.1.0
bitsandbytes 0.39.0
cachetools 5.3.1
certifi 2023.7.22
charset-normalizer 3.2.0
click 8.1.6
cmake 3.27.0
contourpy 1.1.0
cycler 0.11.0
datasets 2.8.0
dill 0.3.6
docker-pycreds 0.4.0
einops 0.6.1
evaluate 0.4.0
exceptiongroup 1.1.2
fairscale 0.4.13
fastapi 0.100.0
ffmpy 0.3.1
filelock 3.12.2
fonttools 4.41.1
frozenlist 1.4.0
fsspec 2023.6.0
gitdb 4.0.10
GitPython 3.1.32
google-auth 2.22.0
google-auth-oauthlib 0.4.6
gradio 3.20.0
grpcio 1.56.2
h11 0.14.0
hjson 3.1.0
httpcore 0.17.3
httpx 0.24.1
huggingface-hub 0.16.4
idna 3.4
importlib-metadata 6.8.0
importlib-resources 6.0.0
Jinja2 3.1.2
jsonschema 4.18.4
jsonschema-specifications 2023.7.1
kiwisolver 1.4.4
linkify-it-py 2.0.2
lit 16.0.6
loralib 0.1.1
Markdown 3.4.3
markdown-it-py 2.2.0
MarkupSafe 2.1.3
matplotlib 3.7.2
mdit-py-plugins 0.3.3
mdurl 0.1.2
msgpack 1.0.5
multidict 6.0.4
multiprocess 0.70.14
networkx 3.1
ninja 1.11.1
numpy 1.24.4
nvidia-cublas-cu11 11.10.3.66
nvidia-cuda-nvrtc-cu11 11.7.99
nvidia-cuda-runtime-cu11 11.7.99
nvidia-cudnn-cu11 8.5.0.96
nvidia-ml-py 11.525.131
nvitop 1.0.0
oauthlib 3.2.2
orjson 3.9.2
packaging 23.1
pandas 2.0.3
pathtools 0.1.2
peft 0.4.0.dev0
Pillow 10.0.0
pip 23.1.2
pkgutil_resolve_name 1.3.10
protobuf 4.23.4
psutil 5.9.5
py-cpuinfo 9.0.0
pyarrow 12.0.1
pyasn1 0.5.0
pyasn1-modules 0.3.0
pycryptodome 3.18.0
pydantic 2.0.3
pydantic_core 2.3.0
pydub 0.25.1
Pygments 2.15.1
pyparsing 3.0.9
python-dateutil 2.8.2
python-multipart 0.0.6
pytz 2023.3
PyYAML 6.0.1
ray 2.6.1
referencing 0.30.0
regex 2023.6.3
requests 2.31.0
requests-oauthlib 1.3.1
responses 0.18.0
rich 13.4.2
rpds-py 0.9.2
rsa 4.9
safetensors 0.3.1
scipy 1.10.1
sentencepiece 0.1.96
sentry-sdk 1.28.1
setproctitle 1.3.2
setuptools 67.8.0
six 1.16.0
smmap 5.0.0
sniffio 1.3.0
starlette 0.27.0
tabulate 0.9.0
tensorboard 2.12.0
tensorboard-data-server 0.7.1
tensorboard-plugin-wit 1.8.1
termcolor 2.3.0
texttable 1.6.7
tokenizers 0.13.2
toolz 0.12.0
torch 1.13.1
torchtyping 0.1.4
torchvision 0.14.1
tqdm 4.65.0
transformers 4.28.0
triton 2.0.0
trlx 0.3.0
typeguard 4.0.0
typing_extensions 4.7.1
tzdata 2023.3
uc-micro-py 1.0.2
urllib3 1.26.16
uvicorn 0.23.1
wandb 0.13.10
websockets 11.0.3
Werkzeug 2.3.6
wheel 0.38.4
xxhash 3.2.0
yarl 1.9.2
zipp 3.16.2
然后你也可以从运行的角度来描述你的问题：
1、报错信息是什么，是哪个代码的报错（可以将完整的报错信息都发给我们）
运行generate脚本之后，在页面提问，很久没有产生回答，后台无报错。
2、GPU、CPU是否工作正常
正常
