请问对于超大表，或者多表该怎么处理？

[charliedream1]

请问对于超大表，或者多表该怎么处理？

[edwardzjl]

超大表大概是什么量级？一般来说就直接按单表处理，只要你的机器上能读的下 (因为 agent 最终还是会读到 pandas 里)。
多表是指多个数据文件，还是单个 excel 里多个 sheet？
多个数据文件的话，就一个个执行 file-reading 的 workflow，等多个文件都读完后再进行 QA
单个 excel 中多个 sheet 的情况暂时还不支持。

[AngGaGim]

请问多个数据文件的操作后续会提供文档吗？

[edwardzjl]

会的

[charliedream1]

超大表，指的数据太多，已经超出模型上下文

[edwardzjl]

表格数据太多可以大致分成几个维度：表格长度太长 (行数太多)，表格宽度太宽 (列数太多)，以及表格内容太大 (单元格字符数过多)

tablegpt-agent 是将表格数据读为 pandas.DataFrame，然后通过 pandas.DataFrame.head 把表格内容输入给 LLM。因此我们可以通过 pandas options 来控制 pandas.DataFrame.head 的输出。

你可以在 ipython/ipython-startup-scripts/00-pandas.py 中看到我们在使用 tablegpt-agent 时候使用的设置，你也可以根据你的情况进行更改。