@@ -97,6 +97,10 @@ interface Model {
97
97
promptCost : number ;
98
98
completionCost : number ;
99
99
requestCost ?: number ;
100
+ toolSupport ?: {
101
+ toolChoice : boolean ;
102
+ parallelToolCalls : boolean ;
103
+ } ;
100
104
}
101
105
102
106
interface ModelsByProviderInclCosts {
@@ -109,105 +113,173 @@ export const modelsByProvider: ModelsByProviderInclCosts = {
109
113
id : 'gpt-4o' ,
110
114
provider : OPEN_AI ,
111
115
promptCost : 5.0 ,
112
- completionCost : 15.0
116
+ completionCost : 15.0 ,
117
+ toolSupport : {
118
+ toolChoice : true ,
119
+ parallelToolCalls : true
120
+ }
113
121
} ,
114
122
{
115
123
id : 'gpt-4o-2024-08-06' ,
116
124
provider : OPEN_AI ,
117
125
promptCost : 2.5 ,
118
- completionCost : 10.0
126
+ completionCost : 10.0 ,
127
+ toolSupport : {
128
+ toolChoice : true ,
129
+ parallelToolCalls : true
130
+ }
119
131
} ,
120
132
{
121
133
id : 'gpt-4o-mini' ,
122
134
provider : OPEN_AI ,
123
135
promptCost : 0.15 ,
124
- completionCost : 0.6
136
+ completionCost : 0.6 ,
137
+ toolSupport : {
138
+ toolChoice : true ,
139
+ parallelToolCalls : true
140
+ }
125
141
} ,
126
142
{
127
143
id : 'gpt-4-turbo' ,
128
144
provider : OPEN_AI ,
129
145
promptCost : 10.0 ,
130
- completionCost : 30.0
146
+ completionCost : 30.0 ,
147
+ toolSupport : {
148
+ toolChoice : true ,
149
+ parallelToolCalls : true
150
+ }
131
151
} ,
132
152
{
133
153
id : 'gpt-4-turbo-preview' ,
134
154
provider : OPEN_AI ,
135
155
promptCost : 10.0 ,
136
- completionCost : 30.0
156
+ completionCost : 30.0 ,
157
+ toolSupport : {
158
+ toolChoice : true ,
159
+ parallelToolCalls : true
160
+ }
137
161
} ,
138
162
{
139
163
id : 'gpt-4-0125-preview' ,
140
164
provider : OPEN_AI ,
141
165
promptCost : 10.0 ,
142
- completionCost : 30.0
166
+ completionCost : 30.0 ,
167
+ toolSupport : {
168
+ toolChoice : true ,
169
+ parallelToolCalls : true
170
+ }
143
171
} ,
144
172
{
145
173
id : 'gpt-4-1106-preview' ,
146
174
provider : OPEN_AI ,
147
175
promptCost : 10.0 ,
148
- completionCost : 30.0
176
+ completionCost : 30.0 ,
177
+ toolSupport : {
178
+ toolChoice : true ,
179
+ parallelToolCalls : true
180
+ }
149
181
} ,
150
182
{
151
183
id : 'gpt-4' ,
152
184
provider : OPEN_AI ,
153
185
promptCost : 30.0 ,
154
- completionCost : 60.0
186
+ completionCost : 60.0 ,
187
+ toolSupport : {
188
+ toolChoice : true ,
189
+ parallelToolCalls : true
190
+ }
155
191
} ,
156
192
{
157
193
id : 'gpt-4-0613' ,
158
194
provider : OPEN_AI ,
159
195
promptCost : 30.0 ,
160
- completionCost : 60.0
196
+ completionCost : 60.0 ,
197
+ toolSupport : {
198
+ toolChoice : true ,
199
+ parallelToolCalls : true
200
+ }
161
201
} ,
162
202
{
163
203
id : 'gpt-4-32k' ,
164
204
provider : OPEN_AI ,
165
205
promptCost : 60.0 ,
166
- completionCost : 120.0
206
+ completionCost : 120.0 ,
207
+ toolSupport : {
208
+ toolChoice : true ,
209
+ parallelToolCalls : true
210
+ }
167
211
} ,
168
212
{
169
213
id : 'gpt-3.5-turbo' ,
170
214
provider : OPEN_AI ,
171
215
promptCost : 0.5 ,
172
- completionCost : 1.5
216
+ completionCost : 1.5 ,
217
+ toolSupport : {
218
+ toolChoice : true ,
219
+ parallelToolCalls : true
220
+ }
173
221
} ,
174
222
{
175
223
id : 'gpt-3.5-turbo-0125' ,
176
224
provider : OPEN_AI ,
177
225
promptCost : 0.5 ,
178
- completionCost : 1.5
226
+ completionCost : 1.5 ,
227
+ toolSupport : {
228
+ toolChoice : true ,
229
+ parallelToolCalls : true
230
+ }
179
231
} ,
180
232
{
181
233
id : 'gpt-3.5-turbo-1106' ,
182
234
provider : OPEN_AI ,
183
235
promptCost : 1.0 ,
184
- completionCost : 2.0
236
+ completionCost : 2.0 ,
237
+ toolSupport : {
238
+ toolChoice : true ,
239
+ parallelToolCalls : true
240
+ }
185
241
} ,
186
242
{
187
243
id : 'gpt-3.5-turbo-16k' ,
188
244
provider : OPEN_AI ,
189
245
promptCost : 3.0 ,
190
- completionCost : 4.0
246
+ completionCost : 4.0 ,
247
+ toolSupport : {
248
+ toolChoice : true ,
249
+ parallelToolCalls : true
250
+ }
191
251
}
192
252
] ,
193
253
[ TOGETHER_AI ] : [
194
254
{
195
255
id : 'meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo' ,
196
256
provider : TOGETHER_AI ,
197
257
promptCost : 5 ,
198
- completionCost : 5
258
+ completionCost : 5 ,
259
+ toolSupport : {
260
+ toolChoice : true ,
261
+ parallelToolCalls : false
262
+ }
199
263
} ,
200
264
{
201
265
id : 'meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo' ,
202
266
provider : TOGETHER_AI ,
203
267
promptCost : 0.88 ,
204
- completionCost : 0.88
268
+ completionCost : 0.88 ,
269
+ toolSupport : {
270
+ toolChoice : true ,
271
+ parallelToolCalls : false
272
+ }
205
273
} ,
206
274
{
207
275
id : 'meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo' ,
208
276
provider : TOGETHER_AI ,
209
277
promptCost : 0.18 ,
210
- completionCost : 0.18
278
+ completionCost : 0.18 ,
279
+ toolSupport : {
280
+ toolChoice : true ,
281
+ parallelToolCalls : false
282
+ }
211
283
} ,
212
284
{
213
285
id : 'meta-llama/Llama-3-70b-chat-hf' ,
@@ -255,7 +327,11 @@ export const modelsByProvider: ModelsByProviderInclCosts = {
255
327
id : 'mistralai/Mistral-7B-Instruct-v0.1' ,
256
328
provider : TOGETHER_AI ,
257
329
promptCost : 0.2 ,
258
- completionCost : 0.2
330
+ completionCost : 0.2 ,
331
+ toolSupport : {
332
+ toolChoice : true ,
333
+ parallelToolCalls : false
334
+ }
259
335
} ,
260
336
{
261
337
id : 'mistralai/Mistral-7B-Instruct-v0.2' ,
@@ -267,7 +343,11 @@ export const modelsByProvider: ModelsByProviderInclCosts = {
267
343
id : 'mistralai/Mixtral-8x7B-Instruct-v0.1' ,
268
344
provider : TOGETHER_AI ,
269
345
promptCost : 0.6 ,
270
- completionCost : 0.6
346
+ completionCost : 0.6 ,
347
+ toolSupport : {
348
+ toolChoice : true ,
349
+ parallelToolCalls : false
350
+ }
271
351
} ,
272
352
{
273
353
id : 'mistralai/Mixtral-8x22B-Instruct-v0.1' ,
@@ -287,25 +367,41 @@ export const modelsByProvider: ModelsByProviderInclCosts = {
287
367
id : 'claude-3-5-sonnet-20240620' ,
288
368
provider : ANTHROPIC ,
289
369
promptCost : 3 ,
290
- completionCost : 15
370
+ completionCost : 15 ,
371
+ toolSupport : {
372
+ toolChoice : true ,
373
+ parallelToolCalls : true
374
+ }
291
375
} ,
292
376
{
293
377
id : 'claude-3-opus-20240229' ,
294
378
provider : ANTHROPIC ,
295
379
promptCost : 15 ,
296
- completionCost : 75
380
+ completionCost : 75 ,
381
+ toolSupport : {
382
+ toolChoice : true ,
383
+ parallelToolCalls : true
384
+ }
297
385
} ,
298
386
{
299
387
id : 'claude-3-sonnet-20240229' ,
300
388
provider : ANTHROPIC ,
301
389
promptCost : 3 ,
302
- completionCost : 15
390
+ completionCost : 15 ,
391
+ toolSupport : {
392
+ toolChoice : true ,
393
+ parallelToolCalls : true
394
+ }
303
395
} ,
304
396
{
305
397
id : 'claude-3-haiku-20240307' ,
306
398
provider : ANTHROPIC ,
307
399
promptCost : 0.25 ,
308
- completionCost : 1.25
400
+ completionCost : 1.25 ,
401
+ toolSupport : {
402
+ toolChoice : true ,
403
+ parallelToolCalls : true
404
+ }
309
405
}
310
406
] ,
311
407
[ GROQ ] : [
@@ -357,25 +453,41 @@ export const modelsByProvider: ModelsByProviderInclCosts = {
357
453
id : 'gemini-1.5-pro-latest' ,
358
454
provider : GOOGLE ,
359
455
promptCost : 3.5 ,
360
- completionCost : 10.5
456
+ completionCost : 10.5 ,
457
+ toolSupport : {
458
+ toolChoice : true ,
459
+ parallelToolCalls : true
460
+ }
361
461
} ,
362
462
{
363
463
id : 'gemini-1.5-flash-latest' ,
364
464
provider : GOOGLE ,
365
465
promptCost : 0.075 ,
366
- completionCost : 0.3
466
+ completionCost : 0.3 ,
467
+ toolSupport : {
468
+ toolChoice : true ,
469
+ parallelToolCalls : true
470
+ }
367
471
} ,
368
472
{
369
473
id : 'gemini-1.5-flash-8b-latest' ,
370
474
provider : GOOGLE ,
371
475
promptCost : 0.0375 ,
372
- completionCost : 0.15
476
+ completionCost : 0.15 ,
477
+ toolSupport : {
478
+ toolChoice : true ,
479
+ parallelToolCalls : true
480
+ }
373
481
} ,
374
482
{
375
483
id : 'gemini-pro' ,
376
484
provider : GOOGLE ,
377
485
promptCost : 0.5 ,
378
- completionCost : 1.5
486
+ completionCost : 1.5 ,
487
+ toolSupport : {
488
+ toolChoice : false ,
489
+ parallelToolCalls : false
490
+ }
379
491
}
380
492
] ,
381
493
[ COHERE ] : [
0 commit comments