New model VertexAI - text-bison-32k

[jeffersonbraster]

Olá a todos, espero que estejam bem.
Estou criando um prompt utilizando o novo modelo do vertex text-bison-32k que suporta até 8k de tokens, porém estou sempre recebendo erros onde foi estourado o limite de tokens que é bem menor do que o modelo suporta.
Acredito que possa está acontecendo desse modelo ser novo e esteja incompativel com a versão atual do langchain.
Poderiam me ajudar nesse caso? Desde já muito obrigado!

Error ~>
Token indices sequence length is longer than the specified maximum sequence length for this model (4720 > 1024). Running this sequence through the model will result in indexing errors
...
ValueError: A single document was longer than the context length, we cannot handle this.

Config llm =
llm = VertexAI(
model_name="text-bison-32k",
max_output_tokens=8192,
temperature=0.2,
top_p=0.8,
top_k=40,
verbose=True,
)
script:
combine_prompt_template = PromptTemplate(template=combine_prompt, input_variables=["text"], max_tokens=8192)
text_splitter = CharacterTextSplitter.from_tiktoken_encoder(chunk_size=8192)
texts = text_splitter.split_text(txt)
docs = [Document(page_content=t) for t in texts]
chain = load_summarize_chain(llm, chain_type='map_reduce', combine_prompt=combine_prompt_template, verbose=True)
output_summary = chain.run(docs)
bullets = output_summary.strip().split('\n')

[dosubot[bot]]

🤖

Olá,

O problema que você está enfrentando provavelmente está relacionado ao parâmetro max_output_tokens na classe VertexAI do LangChain. Este parâmetro está definido como 128 por padrão, o que significa que o número máximo de tokens que podem ser gerados em uma conclusão é 128.

Mesmo que o modelo VertexAI "text-bison-32k" suporte até 8k tokens, o parâmetro max_output_tokens no LangChain está limitando o número de tokens que podem ser gerados.

Para resolver este problema, você pode ajustar o parâmetro max_output_tokens quando instanciar a classe VertexAI no LangChain. Aqui está um exemplo:

from langchain.llms import VertexAI
vertexai = VertexAI(model_name="text-bison-32k", max_output_tokens=8000)

Neste exemplo, o parâmetro max_output_tokens está definido como 8000, que é o número máximo de tokens suportados pelo modelo "text-bison-32k". Isso deve evitar os erros de limite de tokens que você está enfrentando.

Além disso, o LangChain usa o pacote tiktoken para contar o número de tokens em documentos para restringi-los a ficar abaixo de um certo limite. Se o tiktoken_model_name não estiver definido, ele será o mesmo que o nome do modelo de incorporação. Se você estiver usando um nome de modelo não suportado pelo tiktoken, você pode especificar um nome de modelo para usar com tiktoken_model_name para evitar erros.

Espero que isso ajude a resolver o problema. Se você tiver mais perguntas, por favor, não hesite em perguntar.

Referências:

• libs/langchain/langchain/llms/openai.py
• libs/langchain/langchain/chat_models/openai.py
• libs/langchain/langchain/llms/vertexai.py

Sources

• Feedback error while running langchain
• InvalidRequestError: This model's maximum context length
• libs/langchain/langchain/llms/openai.py
• libs/langchain/langchain/chat_models/openai.py
• libs/langchain/langchain/llms/vertexai.py

---

This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.

Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.

If you want to continue the conversation, start your reply with @dosu-bot.

[jeffersonbraster]

even setting the llm settings to max_output_tokens=8000, the same error still occurs.
I also tried setting max_tokens=8000 in the promptTemplate but to no avail

llm = VertexAI(
    model_name="text-bison-32k",
    max_output_tokens=8000,
    temperature=0.2,
    top_p=0.8,
    top_k=40,
    verbose=True,
)
...
combine_prompt_template = PromptTemplate(template=combine_prompt, input_variables=["text"], max_tokens=8192)
text_splitter = CharacterTextSplitter()
texts = text_splitter.split_text(txt)
docs = [Document(page_content=t) for t in texts]
chain = load_summarize_chain(llm, chain_type='map_reduce', combine_prompt=combine_prompt_template, verbose=True)
output_summary = chain.run(docs)
bullets = output_summary.strip().split('\n')
unique_bullets = []
for bullet in bullets:
   if bullet not in allBulletPoints and bullet not in unique_bullets:
      unique_bullets.append(bullet)
return [BulletPoint(bullet=bullet) for bullet in unique_bullets]