[RFC] 030 - Google Gemini 1.5 Pro API 兼容

[arvinxx]

背景

虽然在 #1776 添加了新模型支持，但是用户反馈这个方式并不能支持 1.5 模型的调用：

• gemini-1.5 and gemini-ultra api are now available  #1769
• 模型选择 Gemini 1.5 ，但是请求地址还是 gemini-pro? #1794
• 2024 Model Providers support | 2024 年模型服务商支持 #1284 (comment)

设计思路

看了下 Google SDK 的代码，请求侧有一个 apiVersion 可以传参，可以设定为 v1 或者 v1beta。而且当前 1.5 的模型是只支持 用 v1beta 的请求调用。

/**
 * Params passed to {@link GoogleGenerativeAI.getGenerativeModel}.
 * @public
 */
export interface RequestOptions {
  /**
   * Request timeout in milliseconds.
   */
  timeout?: number;
  /**
   * Version of API endpoint to call (e.g. "v1" or "v1beta"). If not specified,
   * defaults to latest stable version.
   */
  apiVersion?: string;
}

所以可以用如下方式实现(refs)：

  // For text-only inputs, use the gemini-pro model
  const model = genAI.getGenerativeModel(
    { model: "gemini-pro" },
    { apiVersion: "v1beta" },
  );

那看起来可能的解决方案就是加个模型的 id 判断，如果是最新的 1.5 模型，在这设定 apiVersion 为 v1beta ：

lobe-chat/src/libs/agent-runtime/google/index.ts

Lines 52 to 78 in aaedfa7

	.getGenerativeModel({
	generationConfig: {
	maxOutputTokens: payload.max_tokens,
	temperature: payload.temperature,
	topP: payload.top_p,
	},
	model,
	safetySettings: [
	{
	category: HarmCategory.HARM_CATEGORY_HATE_SPEECH,
	threshold: HarmBlockThreshold.BLOCK_NONE,
	},
	{
	category: HarmCategory.HARM_CATEGORY_SEXUALLY_EXPLICIT,
	threshold: HarmBlockThreshold.BLOCK_NONE,
	},
	{
	category: HarmCategory.HARM_CATEGORY_HARASSMENT,
	threshold: HarmBlockThreshold.BLOCK_NONE,
	},
	{
	category: HarmCategory.HARM_CATEGORY_DANGEROUS_CONTENT,
	threshold: HarmBlockThreshold.BLOCK_NONE,
	},
	],
	})
	.generateContentStream({ contents });

然鹅我没有 api key ，所以没法测试… 看看社区有没有人可以借我个key 或者直接来实现试试的？

验证

如何测试 是1.5 还是 1 ？神奇咒语：

我自横刀向天笑是谁写的？

Gemini 1.0 Pro	Gemini 1.5 Pro
1.0 稳定产出：李白，偶尔：曹操、辛弃疾、陆游	1.5 稳定为正确结果

[GalileoFe]

dc私聊你了，你看看

[arvinxx]

实际测试，个人感觉 1.5 的 api key 基本到了可以正常使用的程度了。

vision 多轮也支持，对话不 pair 也支持。

[xaya1001]

确实不错，这次更新把之前总是忽视system role的问题解决了，我还以为是gemini的问题，感谢！

[Bocchi138]

我很想知道在Google AI Studio中可使用1.5 Pro是否即代表着在其中创建的API也能访问1.5 PRO😩

[arvinxx]

不是