关于UIE信息抽取，你遇到了什么难题、还有哪些需求？欢迎反馈。也欢迎分享实践经验！

[chenxiaozeng]

PaddleNLP发布通用信息抽取技术UIE后，收到众多用户的积极反馈。欢迎各位提出在信息抽取场景下面临的各种问题，在此讨论当中将会有来自诸多专业团队的人员的讨论和回复，也欢迎各位参与此讨论当中来。特开此贴：

• 【FAQ】收集常见问题，沉淀FAQ，供大家使用。
• 【Feature】收集需求、难题，以迭代功能。
• 【Others】收集使用反馈、实践经验，开放交流。

大家可按照以下格式来发起讨论topic：

FAQ/Feature/Others

想要咨询问题（FAQ）、还是提出新需求（Feature）、或者反馈使用情况、分享实践经验（Others）？

详细说明

无论是需求还是难题，都可在此处作详细描述，需说明项目背景、数据集描述（语言、规模等）、采用的模型、达成的精度和性能、预期效果等。

[chenxiaozeng]

UIE FAQ

Schema、Prompt相关

• 如何设置UIE的schema，有什么经验？
  A: 因为是开放域信息抽取，UIE的schema设置没有特殊限制，标签名称符合自然语言语义即可。不同任务的schema设置可以参考UIE主文档里面的说明和具体例子：https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie

• UIE做事件抽取的时候，事件论元的实体类型会影响抽取的结果吗？
  A：zero shot的方式会有一些影响，加数据微调定制后影响不大。

训练

• 关系抽取的finetune数据格式？
  A：可以参考这个项目：https://aistudio.baidu.com/aistudio/projectdetail/4371345。

• UIE 可以用多块cpu训练吗？ 是否支持分布式训练？
  A：预测是支持多核的，训练阶段目前还不支持多核，可以参考这个issue 使用CPU对UIE进行finetune时只能利用单核 #2815

• 用uie-base做事件抽取任务，用daccano标注50条，用fitune.py微调，看上去f1有0.89，然后训练集数据用taskflow预测看看结果，一条都测不出来，感觉比较奇怪。
  A：可以确认下是否是调用的best model。一般模型的目录都会自动生成一个static目录，这里放着是静态图模型，best_model模型如果被overwrite了可以把目录里面static目录删除，重新导出一次静态图模型。

部署及加速

• UIE推荐什么部署方式？
  A：参考https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie#%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2

• 在CPU上，UIE如何加速？
  A：CPU上MKLDNN和多核加速策略已经内置到PaddleNLP taskflow里了。

  PaddleNLP/paddlenlp/taskflow/task.py

  Line 157 in baf0247

  def _prepare_static_mode(self):

  
  调用Taskflow即可进行加速。

• 在GPU上，UIE如何加速？
  A：如果GPU满足算力和环境要求，可以尝试使用混合精度FP16推理，速度更快，显存占用也更少。

• 用uie预测数据结果，2MB，5万条数据预测要十几分钟。看了一下GPU处理推理是几乎瞬间算完，cpu一直占用率100%。有没有办法提升一下这个预测时间？
  A：如果GPU显存足够的话可以试试起多个Taskflow实例并发处理来缓解一些IO瓶颈。

标注工具

• 现在PaddleNLP有没有针对NER打标签的工具，doccano这种太慢了，只能标30几个类，我这边是80多个类。因为doccano支持的类别太少，导致一个文本得标注多次。
  A：我们评估下这个需求。

• Auto Labeling功能？
  A：我们评估下这个需求。

UIE Pretrain

• PaddleNLP中开源的UIE和Paper中的UIE有什么区别，有什么优劣势？为什么把原论文的生成式任务变为抽取式任务，以及模型层面的改进和考虑？
  A：开源的UIE模型和paper的生成式的UIE模型用的不是同一种方式，开源UIE的底座预训练模型是ERNIE 3.0系列模型，微调上使用的的金融、法律、医疗这些domain领域的数据。
  PaddleNLP的UIE是基于固定prompt的判别式模型，在零样本、小样本和推理速度上表现更好些。
  原论文是生成式，代码也已经开源：https://github.com/PaddlePaddle/PaddleNLP/tree/develop/examples/information_extraction/DuUIE。
  生成式任务在模型预测速度、模型蒸馏上相对来说抽取任务没有优势，在工业场景抽取式的任务相对来说速度更快，小样本效果更好。

• UIE中文不管什么任务的prompt都是用 “的” 组合起来吗？很好奇pretrain是怎样训练的?
  A：是的，预训练阶段prompt的构造也是按照这个方式。

其它

• uie模型支持嵌套实体识别吗？
  A：同类别嵌套不支持，不同类别之间的嵌套是可以的。

• 待预测文本明明不包含某个实体，但是确抽取出了不相关的内容作为该实体值。这种情况要怎么优化？
  A：可以通过输出的置信度做下筛选。

• UIE负例如何构造?在那个阶段构造的？构造方法是？
  A：UIE负例构造是在doccano标注数据转为UIE训练数据格式的时候构造完成的，即执行doccano.py脚本的时候进行的。负例构造的方式可以参考这篇文章：如何理解UIE中的负例数据？

• UIE支持不连续实体吗？
  A：目前不直接支持，但是可以转换成关系抽取任务试试。举个例子，

不连续实体『手脚.....浮肿』可以标注为症状『浮肿』+部位『手脚』关系抽取的形式。 理论上模型可以支持不连续实体，但是不连续数据太少了，并且只有少数场景能用上。换一个更复杂的任务层大多数情况得不偿失。

• UIE对空格好像比较困惑，遇到空格很容易判断出错，需要我们自己用逗号替换空格吗？
  A：模型在初次微调的时候都是以句号结束的，因此微调训练的样本也是以句号结束的话，需要的微调样本会少点。除了空格，如果一句话以换行符结尾而不以句号等符号结尾，也可以尝试做个预处理。

• windows上，uie微调训练没开始训练就结束了？
  
  A：windows机器上可固定一下scipy的版本 scipy<=1.3.1 or scipy>=1.7.3。

• PaddleNLP模型可以在安卓上跑吗?
  A：可以通过两种方式来做部署，一种是将模型转成onnx，通过onnxruntime来做部署，另外一种方式是通过paddlelite来做部署，https://github.com/PaddlePaddle/Paddle-Lite

• UIE能对表单，表格，简历，申请书之类的图片做信息抽取吗？
  A：跨模态文档版UIE打算解答这个需求，正在研发中。

• UIE训练的时候，输入的文本长度有限制吗。假如我有个文本是超过512，但是我的标签在512之后，训练的时候被截断，那么标签也对不上，这种情况怎么办呢
  A：UIE训练最大长度是512，超过的文本可以手动截成多段文本重新进行标签映射

• UIE输出结果中start、end是什么含义？
  A：start、end表示要抽取的目标片段（我们称为span）在原文本中的起始位置和终止位置，例如原文本为2月8日上午北京冬奥会自由式滑雪女子大跳台决赛中中国选手谷爱凌以188.25分获得金牌！，实体标签时间对应的抽取结果为2月8日上午，那么对应的start、end分别是0和6。

• UIE对于长文本的抽取能力如何？例如抽取招标文件中的资质要求（有好几段话）？这种情况推荐用UIE么，还是文本分类呢？
  A：UIE会对输入的长文本按照设定的最大长度（例如512）自动切分为多个片段，在返回结果时会自动合并结果。在具体业务场景上，如果要抽取的目标片段较短可以考虑用UIE来抽取；如果要抽取的目标片段比较长，例如招标文件中的招标内容通常会是一段比较长的文本，如果要识别不同性质的招标内容，我们推荐采用文本分类来做，对不同招标内容进行分类。

[yuansky]

UIE是否未来有支持小语种的可能性（日语，韩语，泰语，法语等）

[linjieccc]

目前小语种的语料在UIE预训练阶段还没有加入，所以zero-shot模型不支持小语种的预测，主要是因为这部分语料的收集标注成本比较高。如果业务上有比较多的语料，可以直接基于uie-m-large来训练。

[tingaicompass]

希望在蒸馏版本基础上，后续也支持量化、剪枝、NAS等方案，以及cpu多核多进程处理，多卡推理部署
在目前GPU推理下：Taskflow传入device_id来实现，希望可以有多进程方案提速

[linjieccc]

感谢关注~

UIE量化功能目前已经开发中，后续会在仓库中开源出来，Taskflow CPU下目前默认是多核推理加速的。

[tingaicompass]

优化一下UIE关系抽取evaluate.py输出 #3224

[linjieccc]

目前针对关系抽取的debug模式已优化，可以拉最新的develop代码试试，示例如下：

[2022-09-14 03:13:58,877] [    INFO] - -----------------------------
[2022-09-14 03:13:58,877] [    INFO] - Class Name: 疾病
[2022-09-14 03:13:58,877] [    INFO] - Evaluation Precision: 0.89744 | Recall: 0.83333 | F1: 0.86420
[2022-09-14 03:13:59,145] [    INFO] - -----------------------------
[2022-09-14 03:13:59,145] [    INFO] - Class Name: 手术治疗
[2022-09-14 03:13:59,145] [    INFO] - Evaluation Precision: 0.90000 | Recall: 0.85714 | F1: 0.87805
[2022-09-14 03:13:59,439] [    INFO] - -----------------------------
[2022-09-14 03:13:59,440] [    INFO] - Class Name: 检查
[2022-09-14 03:13:59,440] [    INFO] - Evaluation Precision: 0.77778 | Recall: 0.56757 | F1: 0.65625
[2022-09-14 03:13:59,708] [    INFO] - -----------------------------
[2022-09-14 03:13:59,709] [    INFO] - Class Name: X的手术治疗
[2022-09-14 03:13:59,709] [    INFO] - Evaluation Precision: 0.90000 | Recall: 0.85714 | F1: 0.87805
[2022-09-14 03:13:59,893] [    INFO] - -----------------------------
[2022-09-14 03:13:59,893] [    INFO] - Class Name: X的实验室检查
[2022-09-14 03:13:59,894] [    INFO] - Evaluation Precision: 0.71429 | Recall: 0.55556 | F1: 0.62500
[2022-09-14 03:14:00,057] [    INFO] - -----------------------------
[2022-09-14 03:14:00,058] [    INFO] - Class Name: X的影像学检查
[2022-09-14 03:14:00,058] [    INFO] - Evaluation Precision: 0.69231 | Recall: 0.45000 | F1: 0.54545

[hy2632]

UIE有没有针对指代消解的设计？如果没有、需要额外预处理，有没有最佳实践？

[linjieccc]

可以试下，将每个代词和指代的东西打上关系标签，转换为关系抽取的形式

[zhangluustb]

UIE预训练对多实体效果不佳，是否在预训练中多实体语料稀少导致的？有计划改进吗？ @chenxiaozeng

[xxllp]

啥叫多实体

[meditations]

UIE抽取英文信息的时候，比如一个长的地址，中间所有的空格都被删除了，出来就是一团字符，因为中文是没有空格的，但是英文是依赖空格去分词的，能否检测到如果是英文，就不用去除中间的空格呢？@chenxiaozeng

[linjieccc]

可以举个例子吗？UIE只预测实体在原始文本的起始和终止位置，不会对原始文本进行其他处理

[weilong-chen]

uie-sent-base语句级情感分类任务,能否支持: 正向、负向、中性，三种分类？

[BrightXiaoHan]

请问有没有可能批量进行schema不同的实体抽取呢？
关联issue：#4789

[MyStarting]

【FAQ】你好，我用的是finetune.py对模型进行微调，为什么在./checkpoint/model_best下只有运行日志vdlrecords.1677479107.log，没有模型信息，训练好的模型数据不是在output_dir 里吗？
!python finetune.py \ --device gpu \ --logging_steps 10 \ --save_steps 10 \ --eval_steps 10 \ --seed 50 \ --model_name_or_path ./uie-base \ --output_dir "checkpoint/model_best" \ --overwrite_output_dir True\ --train_path data/train.txt \ --dev_path data/dev.txt \ --max_seq_length 512\ --per_device_train_batch_size 64 \ --per_device_eval_batch_size 64 \ --num_train_epochs 100 \ --learning_rate 1e-5 \ --do_train True \ --do_eval True \ --do_export True \ --evaluation_strategy "epoch"\ --save_strategy "epoch" \ --logging_strategy "epoch" \ --export_model_dir ./checkpoint/model_best \ --metric_for_best_model eval_f1 \ --metric_for_best_model eval_accuarcy \ --report_to all \ --load_best_model_at_end True

[1ZhangMR]

您好，请问您找到问题了吗？我也是这种情况

[MyStarting]

我的是显卡太小了，后面在百度aistudio上运行下就没问题了。

[MyStarting]

本地的话可以考虑把batch_size 调小，或者换成cpu

[1ZhangMR]

好的，感谢您的回复！

[yycoolsam]

【FAQ】你好，我用的是finetune.py对模型进行微调，使用cpu运行后能正常生成模型，但是使用gpu后模型无法生成，仅生成运行日志。
python：3.8.10
paddlenlp: 2.5.2
paddlepaddle-gpu : 2.4.2.post117
numpy: 1.21.6
pandas : 1.2.4
scipy : 1.7.3
显卡的信息
GTX1060
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Tue_May__3_19:00:59_Pacific_Daylight_Time_2022
Cuda compilation tools, release 11.7, V11.7.64
Build cuda_11.7.r11.7/compiler.31294372_0

这是运行使用参数
finetune.py --device "gpu" --logging_steps 100 --save_steps 100 --eval_steps 100 --seed 42 --model_name_or_path uie-base --output_dir model/paddlepaddle/model_best --train_path data/train.txt --dev_path data/dev.txt --max_seq_length 512 --per_device_eval_batch_size 16 --per_device_train_batch_size 16 --num_train_epochs 20 --learning_rate 1e-4 --label_names "start_positions" "end_positions" --do_train --do_eval --do_export --export_model_dir model/paddlepaddle/model_best --overwrite_output_dir --disable_tqdm True --metric_for_best_model eval_f1 --load_best_model_at_end True --save_total_limit 1
运行时cmd提示信息，没有后续信息，只有提示开始训练的信息。
[2023-04-24 10:57:46,552] [ INFO] - ============================================================
[2023-04-24 10:57:46,553] [ INFO] - Model Configuration Arguments
[2023-04-24 10:57:46,554] [ INFO] - paddle commit id :0e92adceae06b6b7463f2dc7790ffb0601730009
[2023-04-24 10:57:46,555] [ INFO] - export_model_dir :model/paddlepaddle/model_best
[2023-04-24 10:57:46,555] [ INFO] - model_name_or_path :uie-base
[2023-04-24 10:57:46,556] [ INFO] - multilingual :False
[2023-04-24 10:57:46,556] [ INFO] -
[2023-04-24 10:57:46,557] [ INFO] - ============================================================
[2023-04-24 10:57:46,557] [ INFO] - Data Configuration Arguments
[2023-04-24 10:57:46,558] [ INFO] - paddle commit id :0e92adceae06b6b7463f2dc7790ffb0601730009
[2023-04-24 10:57:46,558] [ INFO] - dev_path :data/dev.txt
[2023-04-24 10:57:46,559] [ INFO] - dynamic_max_length :None
[2023-04-24 10:57:46,560] [ INFO] - max_seq_length :512
[2023-04-24 10:57:46,561] [ INFO] - train_path :data/train.txt
...
[2023-04-24 10:57:46,592] [ INFO] - Model config ErnieConfig {
"attention_probs_dropout_prob": 0.1,
"enable_recompute": false,
"fuse": false,
"hidden_act": "gelu",
"hidden_dropout_prob": 0.1,
"hidden_size": 768,
"initializer_range": 0.02,
"intermediate_size": 3072,
"layer_norm_eps": 1e-12,
"max_position_embeddings": 2048,
"model_type": "ernie",
"num_attention_heads": 12,
"num_hidden_layers": 12,
"pad_token_id": 0,
"paddlenlp_version": null,
"pool_act": "tanh",
"task_id": 0,
"task_type_vocab_size": 3,
"type_vocab_size": 4,
"use_task_id": true,
"vocab_size": 40000
}
W0424 10:57:48.045794 8648 gpu_resources.cc:61] Please NOTE: device: 0, GPU Compute Capability: 6.1, Driver API Version: 12.1, Runtime API Version: 11.7
W0424 10:57:48.051805 8648 gpu_resources.cc:91] device: 0, cuDNN Version: 8.8.
[2023-04-24 10:57:49,103] [ INFO] - All model checkpoint weights were used when initializing UIE.

[2023-04-24 10:57:49,104] [ INFO] - All the weights of UIE were initialized from the model checkpoint at uie-base.
If your task is similar to the task the model of the checkpoint was trained on, you can already use UIE for predictions without further training.
[2023-04-24 10:57:49,198] [ INFO] - ============================================================
[2023-04-24 10:57:49,199] [ INFO] - Training Configuration Arguments
[2023-04-24 10:57:49,200] [ INFO] - paddle commit id :0e92adceae06b6b7463f2dc7790ffb0601730009
[2023-04-24 10:57:49,201] [ INFO] - _no_sync_in_gradient_accumulation:True
[2023-04-24 10:57:49,202] [ INFO] - activation_quantize_type :None
[2023-04-24 10:57:49,202] [ INFO] - adam_beta1 :0.9
[2023-04-24 10:57:49,203] [ INFO] - adam_beta2 :0.999
[2023-04-24 10:57:49,203] [ INFO] - adam_epsilon :1e-08
[2023-04-24 10:57:49,204] [ INFO] - algo_list :None
[2023-04-24 10:57:49,204] [ INFO] - batch_num_list :None
[2023-04-24 10:57:49,205] [ INFO] - batch_size_list :None
[2023-04-24 10:57:49,205] [ INFO] - bf16 :False
[2023-04-24 10:57:49,206] [ INFO] - bf16_full_eval :False
[2023-04-24 10:57:49,206] [ INFO] - bias_correction :False
[2023-04-24 10:57:49,207] [ INFO] - current_device :gpu:0
[2023-04-24 10:57:49,207] [ INFO] - dataloader_drop_last :False
[2023-04-24 10:57:49,208] [ INFO] - dataloader_num_workers :0
[2023-04-24 10:57:49,208] [ INFO] - device :gpu
[2023-04-24 10:57:49,209] [ INFO] - disable_tqdm :True
[2023-04-24 10:57:49,210] [ INFO] - do_compress :False
[2023-04-24 10:57:49,211] [ INFO] - do_eval :True
[2023-04-24 10:57:49,211] [ INFO] - do_export :True
[2023-04-24 10:57:49,212] [ INFO] - do_predict :False
[2023-04-24 10:57:49,212] [ INFO] - do_train :True
[2023-04-24 10:57:49,213] [ INFO] - eval_batch_size :16
[2023-04-24 10:57:49,213] [ INFO] - eval_steps :100
[2023-04-24 10:57:49,214] [ INFO] - evaluation_strategy :IntervalStrategy.STEPS
[2023-04-24 10:57:49,214] [ INFO] - flatten_param_grads :False
[2023-04-24 10:57:49,215] [ INFO] - fp16 :False
[2023-04-24 10:57:49,215] [ INFO] - fp16_full_eval :False
[2023-04-24 10:57:49,216] [ INFO] - fp16_opt_level :O1
[2023-04-24 10:57:49,216] [ INFO] - gradient_accumulation_steps :1
[2023-04-24 10:57:49,217] [ INFO] - greater_is_better :True
[2023-04-24 10:57:49,217] [ INFO] - ignore_data_skip :False
[2023-04-24 10:57:49,218] [ INFO] - input_dtype :int64
[2023-04-24 10:57:49,218] [ INFO] - input_infer_model_path :None
[2023-04-24 10:57:49,220] [ INFO] - label_names :['start_positions', 'end_positions']
[2023-04-24 10:57:49,221] [ INFO] - lazy_data_processing :True
[2023-04-24 10:57:49,221] [ INFO] - learning_rate :0.0001
[2023-04-24 10:57:49,222] [ INFO] - load_best_model_at_end :True
[2023-04-24 10:57:49,222] [ INFO] - local_process_index :0
[2023-04-24 10:57:49,223] [ INFO] - local_rank :-1
[2023-04-24 10:57:49,223] [ INFO] - log_level :-1
[2023-04-24 10:57:49,224] [ INFO] - log_level_replica :-1
[2023-04-24 10:57:49,224] [ INFO] - log_on_each_node :True
[2023-04-24 10:57:49,225] [ INFO] - logging_dir :model/paddlepaddle/model_best\runs\Apr24_10-57-46_yjb-server
[2023-04-24 10:57:49,225] [ INFO] - logging_first_step :False
[2023-04-24 10:57:49,226] [ INFO] - logging_steps :10
[2023-04-24 10:57:49,226] [ INFO] - logging_strategy :IntervalStrategy.STEPS
[2023-04-24 10:57:49,227] [ INFO] - lr_scheduler_type :SchedulerType.LINEAR
[2023-04-24 10:57:49,227] [ INFO] - max_grad_norm :1.0
[2023-04-24 10:57:49,228] [ INFO] - max_steps :-1
[2023-04-24 10:57:49,228] [ INFO] - metric_for_best_model :eval_f1
[2023-04-24 10:57:49,229] [ INFO] - minimum_eval_times :None
[2023-04-24 10:57:49,231] [ INFO] - moving_rate :0.9
[2023-04-24 10:57:49,231] [ INFO] - no_cuda :False
[2023-04-24 10:57:49,232] [ INFO] - num_train_epochs :20.0
[2023-04-24 10:57:49,232] [ INFO] - onnx_format :True
[2023-04-24 10:57:49,233] [ INFO] - optim :OptimizerNames.ADAMW
[2023-04-24 10:57:49,233] [ INFO] - output_dir :model/paddlepaddle/model_best
[2023-04-24 10:57:49,234] [ INFO] - overwrite_output_dir :True
[2023-04-24 10:57:49,234] [ INFO] - past_index :-1
[2023-04-24 10:57:49,234] [ INFO] - per_device_eval_batch_size :16
[2023-04-24 10:57:49,235] [ INFO] - per_device_train_batch_size :16
[2023-04-24 10:57:49,235] [ INFO] - prediction_loss_only :False
[2023-04-24 10:57:49,236] [ INFO] - process_index :0
[2023-04-24 10:57:49,237] [ INFO] - prune_embeddings :False
[2023-04-24 10:57:49,237] [ INFO] - recompute :False
[2023-04-24 10:57:49,238] [ INFO] - remove_unused_columns :True
[2023-04-24 10:57:49,238] [ INFO] - report_to :['visualdl']
[2023-04-24 10:57:49,239] [ INFO] - resume_from_checkpoint :None
[2023-04-24 10:57:49,240] [ INFO] - round_type :round
[2023-04-24 10:57:49,241] [ INFO] - run_name :model/paddlepaddle/model_best
[2023-04-24 10:57:49,242] [ INFO] - save_on_each_node :False
[2023-04-24 10:57:49,242] [ INFO] - save_steps :100
[2023-04-24 10:57:49,243] [ INFO] - save_strategy :IntervalStrategy.STEPS
[2023-04-24 10:57:49,243] [ INFO] - save_total_limit :1
[2023-04-24 10:57:49,244] [ INFO] - scale_loss :32768
[2023-04-24 10:57:49,245] [ INFO] - seed :42
[2023-04-24 10:57:49,245] [ INFO] - sharding :[]
[2023-04-24 10:57:49,246] [ INFO] - sharding_degree :-1
[2023-04-24 10:57:49,247] [ INFO] - should_log :True
[2023-04-24 10:57:49,247] [ INFO] - should_save :True
[2023-04-24 10:57:49,248] [ INFO] - skip_memory_metrics :True
[2023-04-24 10:57:49,248] [ INFO] - strategy :dynabert+ptq
[2023-04-24 10:57:49,250] [ INFO] - train_batch_size :16
[2023-04-24 10:57:49,251] [ INFO] - use_pact :True
[2023-04-24 10:57:49,252] [ INFO] - warmup_ratio :0.1
[2023-04-24 10:57:49,252] [ INFO] - warmup_steps :0
[2023-04-24 10:57:49,253] [ INFO] - weight_decay :0.0
[2023-04-24 10:57:49,253] [ INFO] - weight_quantize_type :channel_wise_abs_max
[2023-04-24 10:57:49,254] [ INFO] - width_mult_list :None
[2023-04-24 10:57:49,255] [ INFO] - world_size :1
[2023-04-24 10:57:49,255] [ INFO] -
[2023-04-24 10:57:49,257] [ INFO] - ***** Running training *****
[2023-04-24 10:57:49,257] [ INFO] - Num examples = 212
[2023-04-24 10:57:49,258] [ INFO] - Num Epochs = 20
[2023-04-24 10:57:49,258] [ INFO] - Instantaneous batch size per device = 16
[2023-04-24 10:57:49,260] [ INFO] - Total train batch size (w. parallel, distributed & accumulation) = 16
[2023-04-24 10:57:49,261] [ INFO] - Gradient Accumulation steps = 1
[2023-04-24 10:57:49,262] [ INFO] - Total optimization steps = 280.0
[2023-04-24 10:57:49,262] [ INFO] - Total num train samples = 4240.0
[2023-04-24 10:57:49,275] [ INFO] - Number of trainable parameters = 117946370

[yycoolsam]

paddle验证安装也是通过的：
import paddle
paddle.utils.run_check()
Running verify PaddlePaddle program ...
W0424 12:49:36.235811 1876 gpu_resources.cc:61] Please NOTE: device: 0, GPU Compute Capability: 6.1, Driver API Version: 12.1, Runtime API Version: 11.7
W0424 12:49:36.240806 1876 gpu_resources.cc:91] device: 0, cuDNN Version: 8.8.
PaddlePaddle works well on 1 GPU.
PaddlePaddle works well on 1 GPUs.
PaddlePaddle is installed successfully! Let's start deep learning with PaddlePaddle now.

[yycoolsam]

已经解决了。推测是显卡显存不足导致的。在使用下面的参数后能正常运行
finetune.py --device "gpu" --logging_steps 100 --save_steps 100 --eval_steps 100 --seed 42 --model_name_or_path uie-base --output_dir model/paddlepaddle/model_best --train_path data/train.txt --dev_path data/dev.txt --max_seq_length 256 --per_device_eval_batch_size 8 --per_device_train_batch_size 8 --num_train_epochs 20 --learning_rate 1e-5 --label_names "start_positions" "end_positions" --do_train --do_eval --do_export --export_model_dir model/paddlepaddle/model_best --overwrite_output_dir --metric_for_best_model eval_f1 --load_best_model_at_end True --save_total_limit 1
这里希望后续能增加错误信息返回，这样初次接触的人同时又不是很厉害的人(例如我)就能快速的找到问题所在。

[1ZhangMR]

您好，请问一下您evaluate.py运行的时候有输出吗？还是运行结束了才有输出，运行的速度慢吗？

[guangxin-zhang]

有大佬知道为什么用官方文档的命令在pycharm中运行只能得到.log文件，其他的模型文件没有得到吗？

[1ZhangMR]

您好，请问您的问题解决了吗，我也是这种情况

[Fairdandan]

可以自己另外加命令

[Fairdandan]

你好，在做实体抽取的时候可以同时输出预测的概率吗

[1ZhangMR]

请问一下model_path: 进行评估的模型文件夹路径，路径下需包含的模型权重文件model_state.pdparams及配置文件model_config.json在哪里获取？是跑finetuned_model获得的吗？

[Fairdandan]

自己在funetune.py里加几行语句，
output_dir = '路径'
model.save_pretrained(output_dir)
tokenizer.save_pretrained(output_dir)

[1happyWDC]

环境为:
python3.7
paddlepaddle-gpu 2.4.2.post117
paddlenlp 2.5.2
cuda-version 11.7
GPU：A800

问题描述：在合同文本中抽取关系，合同文本长度有几千到一万字不等，由于有的关系涉及到的实体间隔比较远（该情况概率较小），在标注的时候是将整篇合同文本放进去进行标注的。在第一版的时候通过实体关系标注抽取的时候召回率和f1都有0.85左右，在第二版新增了实体种类和关系种类的时候，召回率为0.3，f1为0.4，较第一版差距比较大。同时，两版抽取schema中相同的实体和关系，第二版的效果也要远低于第一版的，不知道是不是被第二版标注的其他数据给影响到了整个的效果。

eg：全部合同文本涉及到多个类别，共有700份文件进行了标注，其中各类别分布不均匀，有的类别有100多个样本，有的类别是由10多个样本，但是部分样本在100的类别抽取效果也很不好。为了验证我尝试过将该类别样本单独提取出来做训练和推理，发现仅有该类别的情况下仍然效果不好。

eg：注释的schema是效果好一点的那一版，没注释的是效果比较差的

[1ZhangMR]

你好，我想请问一下你在预测后，输出抽取实体个数的代码吗？因为我看源码只有输出预测的实体文本，但具体个数没有输出，然后我print了results只能输出实体类的个数。

[yongxinyou]

我想请问一下，我的事件抽取 schema = {"发布政策触发词": ["时间", "地点", "发布者", "政策内容"]}是这样的，最后抽取的结果中，触发词是 “发布声明。此轮制我包括六个方面，第一项是欧盟将对来自俄罗斯的每年价值48亿欧元的煤炭实施进口禁令”。就是会是一个长句子，会在正常的触发词后面在多抽取一句话。为什么会这样呢

[18772247265]

您好，我使用information_extraction进行实体抽取，使用的cpu，使用base的话一条出结果差不多要2s左右，tiny每条平均1s左右，请问要怎么设置才能提升推理速度

[lizhq]

推理速度问题 , 我微调后进行uiex 的推理, 一张4M的图片推理在 4~8s之间, 使用的是GPU , 也需要进行推理加速

[niniwai]

在终端运行“python doccano.py
--doccano_file ./data/doccano_ext.json
--task_type ext
--save_dir ./data
--splits 0.8 0.2 0
--schema_lang ch”
的时候报错“doccano.py: error: unrecognized arguments: \”
运行doccano.py的时候报错“ValueError: Please input the correct path of doccano file.”
代码来源网址：https://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/uie
求解答

[wyx-oss]

[FAQ]我在进行模型蒸馏的时候，
python data_distill.py
--data_path ../data
--save_dir student_data
--task_type entity_extraction
--synthetic_ratio 10
--model_path ../checkpoint/model_best

python evaluate_teacher.py
--task_type entity_extraction
--test_path student_data/dev_data.json
--label_maps_path student_data/label_maps.json
--model_path ../checkpoint/model_best

python train.py
--task_type entity_extraction
--train_path student_data/train_data.json
--dev_path student_data/dev_data.json
--label_maps_path student_data/label_maps.json
--num_epochs 50
--encoder ernie-3.0-mini-zh
前两部分都能跑的通，在
python train.py
--task_type entity_extraction
--train_path student_data/train_data.json
--dev_path student_data/dev_data.json
--label_maps_path student_data/label_maps.json
--num_epochs 50
的时候出现File "/home/ysx/PaddleNLP/applications/information_extraction/text/data_distill/utils.py", line 108, in tokenize_and_align_train_labels
label = label_maps["entity2id"][e["type"]]
KeyError: 'object' 是怎么回事呢
--encoder ernie-3.0-mini-zh

[Qi0716]

为什么我在做分类任务训练的时候指标为0 只有loss有指标

[SKRY1412]

为什么schema中输入行为、动作之类的都抽取不出来实体？这个设置的范围是否比较小呢？

[echo0218]

我想从化学文献中提取化合物名称和性质数据，但用UIE提取的效果不如文心大模型，甚至训练、微调了UIE模型，但提取效果仍赶不上文心大模型。问题出在哪里？是我训练的数据量不够大(10篇文章)？如果提取效果连文心大模型都赶不上，那UIE存在的意义是什么？？

[nocodelin]

意义在于本地部署，加快响应速度。LLM想要本地部署成本很大，再说文心也不开源。

[wzg-zhuo]

uie微调之后和文心大模型差距有多少，比如测试集上的F1-score等指标，差多少？

[yangguoer]

请问训练时中断了再训练如何从中断的地方开始？

[yangguoer]

训练很慢正常吗，四张卡20个epoch跑了十个小时

[ann22]

UIE抽取不连续实体怎么转换成关系抽取任务

[Mengyueke]

uie英文只给512个字符是否太少了，有什么方法能够进行长文本关系提取

[zwjwhxz]

环境

• 【FastDeploy版本】： fastdeploy-linux-cpu-1.0.7
• 【编译命令】cmake .. -DENABLE_ORT_BACKEND=ON
  -DENABLE_PADDLE_BACKEND=ON
  -DENABLE_OPENVINO_BACKEND=ON
  -DCMAKE_INSTALL_PREFIX=${PWD}/compiled_fastdeploy_sdk
  -DENABLE_VISION=OFF
  -DOPENCV_DIRECTORY=./fastdeploy-src/opencv/opencv4_dev/lib64/cmake/opencv4
  -DENABLE_TEXT=ON
  -DCMAKE_BUILD_TYPE=Debug
  -DPADDLEINFERENCE_API_CUSTOM_OP=ON
• 【系统平台】: Linux x64(openEuler 22.03)
• 【硬件】： Intel(R) Xeon(R) CPU E5-2680 v4
• 【编译语言】： C++

问题日志及出现问题的操作流程

• 按照uie推理示例，加载uie-m-base模型进行实体抽取，运行过程出现段错误。查看支持的模型列表，不包含uie-m-base模型

请问如果需要使用uie-m-base模型，通过fastdeploy c++进行实体抽取，如何实现

[GY13648114184]

我在用UIE抽取图片中表格时如果单元格有合并且同一单元格有多行文本时只能够抽取第一行文本出来这个问题有解决办法吗？