diff --git a/sdk-schema/sync-sdk-schema.py b/sdk-schema/sync-sdk-schema.py index 6b3ec00..dc2c38e 100755 --- a/sdk-schema/sync-sdk-schema.py +++ b/sdk-schema/sync-sdk-schema.py @@ -334,6 +334,36 @@ def _infer_schema_unions() -> None: _INFERRED_SCHEMA_PATH.write_text(json.dumps(processed_schema, indent=2)) +# Unfortunately, "aliases" in the code generator isn't full type renaming +# Instead, these are handled as part of the AST transformation step +_DATA_MODEL_NAME_OVERRIDES = { + # Prettier chat history type names + "ChatMessageData": "AnyChatMessage", + "ChatMessageDataUser": "UserMessage", + "ChatMessageDataSystem": "SystemPrompt", + "ChatMessageDataAssistant": "AssistantResponse", + "ChatMessageDataTool": "ToolResultMessage", + "ChatMessageDataUserDict": "UserMessageDict", + "ChatMessageDataSystemDict": "SystemPromptDict", + "ChatMessageDataAssistantDict": "AssistantResponseDict", + "ChatMessageDataToolDict": "ToolResultMessageDict", + "ChatMessagePartFileData": "FileHandle", + "ChatMessagePartFileDataDict": "FileHandleDict", + "ChatMessagePartTextData": "TextData", + "ChatMessagePartTextDataDict": "TextDataDict", + "ChatMessagePartToolCallRequestData": "ToolCallRequestData", + "ChatMessagePartToolCallRequestDataDict": "ToolCallRequestDataDict", + "ChatMessagePartToolCallResultData": "ToolCallResultData", + "ChatMessagePartToolCallResultDataDict": "ToolCallResultDataDict", + "FunctionToolCallRequestDict": "ToolCallRequestDict", + # Prettier channel creation type names + "LlmChannelPredictCreationParameter": "PredictionChannelRequest", + "LlmChannelPredictCreationParameterDict": "PredictionChannelRequestDict", + "RepositoryChannelDownloadModelCreationParameter": "DownloadModelChannelRequest", + "RepositoryChannelDownloadModelCreationParameterDict": "DownloadModelChannelRequestDict", +} + + def _generate_data_model_from_json_schema() -> None: """Produce Python data model classes from the exported JSON schema file.""" if not _CACHED_SCHEMA_PATH.exists(): @@ -387,19 +417,48 @@ def _generate_data_model_from_json_schema() -> None: model_ast = ast.parse(model_source) dict_token_replacements: dict[str, str] = {} exported_names: list[str] = [] + # Scan all nodes in the AST (only in-place node changes are valid here) + for node in ast.walk(model_ast): + match node: + case ast.Name(id=name) as name_node: + # Override names when looked up or assigned directly + override_name = _DATA_MODEL_NAME_OVERRIDES.get(name, None) + if override_name is not None: + name_node.id = override_name + case ast.Constant(value=name) as name_constant: + # Override names when they appear as type hint forward references + override_name = _DATA_MODEL_NAME_OVERRIDES.get(name, None) + if override_name is not None: + name_constant.value = override_name + # Scan top level nodes only (allows for adding & removing top level nodes) for node in model_ast.body: match node: case ast.ClassDef(name=name): - name = node.name + # Override names when defining classes + override_name = _DATA_MODEL_NAME_OVERRIDES.get(name, None) + if override_name is not None: + generated_name = name + name = node.name = override_name exported_names.append(name) if name.endswith("Dict"): struct_name = name.removesuffix("Dict") dict_token_replacements[struct_name] = name + if override_name is not None: + # Fix up docstring reference back to corresponding struct type + expr_node = node.body[0] + assert isinstance(expr_node, ast.Expr) + docstring_node = expr_node.value + assert isinstance(docstring_node, ast.Constant) + docstring = docstring_node.value + assert isinstance(docstring, str) + docstring_node.value = docstring.replace(generated_name, name) case ast.Assign(targets=[ast.Name(id=alias)], value=expr): - # We don't want to require the specific aliased types for dict inputs match expr: + # For dict fields, replace builtin type aliases with the builtin type names case ( + # alias = name ast.Name(id=name) + # alias = Annotated[name, ...] | ast.Subscript( value=ast.Name(id="Annotated"), slice=ast.Tuple(elts=[ast.Name(id=name), *_]), @@ -407,22 +466,24 @@ def _generate_data_model_from_json_schema() -> None: ): if hasattr(builtins, name): dict_token_replacements[alias] = name - + # Write any AST level changes back to the source file + # TODO: Move more changes to the AST rather than relying on raw text replacement + _MODEL_PATH.write_text(ast.unparse(model_ast)) # Additional type union names to be translated # Inject the dict versions of required type unions # (This is a brute force hack, but it's good enough while there's only a few that matter) _single_line_union = (" = ", " | ", "") - _multi_line_union = (" = (\n ", "\n | ", "\n)") + # _multi_line_union = (" = (\n ", "\n | ", "\n)") _dict_unions = ( ( - "ChatMessageData", + "AnyChatMessage", ( - "ChatMessageDataAssistant", - "ChatMessageDataUser", - "ChatMessageDataSystem", - "ChatMessageDataTool", + "AssistantResponse", + "UserMessage", + "SystemPrompt", + "ToolResultMessage", ), - _multi_line_union, + _single_line_union, ), ( "LlmToolUseSetting", diff --git a/src/lmstudio/_sdk_models/__init__.py b/src/lmstudio/_sdk_models/__init__.py index f3d4a6e..d7f6785 100644 --- a/src/lmstudio/_sdk_models/__init__.py +++ b/src/lmstudio/_sdk_models/__init__.py @@ -1,38 +1,21 @@ -# generated by datamodel-codegen: -# filename: lms-with-inferred-unions.json -# timestamp: 2025-03-20T15:15:46+00:00 - from __future__ import annotations - from typing import Annotated, Any, ClassVar, Literal, Mapping, Sequence, TypedDict - from msgspec import Meta, field from typing_extensions import NotRequired - from ..schemas import LMStudioStruct LogLevel = Literal["debug", "info", "warn", "error"] - - AllowableEnvVarKeys = Literal["HSA_OVERRIDE_GFX_VERSION"] - - AllowableEnvVars = Mapping[str, str] | None - - KebabCase = Annotated[str, Meta(pattern="^[a-z0-9]+(?:-[a-z0-9]+)*$")] - -############################################################################### -# BackendNotification -############################################################################### - - __all__ = [ "Accelerator", "AcceleratorDict", "ArtifactManifestBase", "ArtifactManifestBaseDict", + "AssistantResponse", + "AssistantResponseDict", "AvailablePresetsSampleItem", "AvailablePresetsSampleItemDict", "BackendNotification", @@ -43,22 +26,6 @@ "BlockLocationBeforeIdDict", "ChatHistoryData", "ChatHistoryDataDict", - "ChatMessageDataAssistant", - "ChatMessageDataAssistantDict", - "ChatMessageDataSystem", - "ChatMessageDataSystemDict", - "ChatMessageDataTool", - "ChatMessageDataToolDict", - "ChatMessageDataUser", - "ChatMessageDataUserDict", - "ChatMessagePartFileData", - "ChatMessagePartFileDataDict", - "ChatMessagePartTextData", - "ChatMessagePartTextDataDict", - "ChatMessagePartToolCallRequestData", - "ChatMessagePartToolCallRequestDataDict", - "ChatMessagePartToolCallResultData", - "ChatMessagePartToolCallResultDataDict", "CitationSource", "CitationSourceDict", "Config", @@ -77,6 +44,8 @@ "DiagnosticsLogEventDataLlmPredictionInput", "DiagnosticsLogEventDataLlmPredictionInputDict", "DiagnosticsLogEventDict", + "DownloadModelChannelRequest", + "DownloadModelChannelRequestDict", "DownloadProgressUpdate", "DownloadProgressUpdateDict", "EmbeddingChannelGetOrLoadCreationParameter", @@ -147,6 +116,8 @@ "ErrorDisplayDataGenericPresetNotFoundDict", "ErrorDisplayDataGenericSpecificModelUnloaded", "ErrorDisplayDataGenericSpecificModelUnloadedDict", + "FileHandle", + "FileHandleDict", "FilesChannelRetrieveCreationParameter", "FilesChannelRetrieveCreationParameterDict", "FilesChannelRetrieveToClientPacketOnFileProcessList", @@ -180,7 +151,6 @@ "Function", "FunctionDict", "FunctionToolCallRequest", - "FunctionToolCallRequestDict", "GetModelOpts", "GetModelOptsDict", "GpuSetting", @@ -235,8 +205,6 @@ "LlmChannelLoadModelToClientPacketSuccessDict", "LlmChannelLoadModelToServerPacketCancel", "LlmChannelLoadModelToServerPacketCancelDict", - "LlmChannelPredictCreationParameter", - "LlmChannelPredictCreationParameterDict", "LlmChannelPredictToClientPacketFragment", "LlmChannelPredictToClientPacketFragmentDict", "LlmChannelPredictToClientPacketPromptProcessingProgress", @@ -409,6 +377,8 @@ "PluginsRpcProcessingSuggestNameParameterDict", "PluginsRpcSetConfigSchematicsParameter", "PluginsRpcSetConfigSchematicsParameterDict", + "PredictionChannelRequest", + "PredictionChannelRequestDict", "PresetManifest", "PresetManifestDict", "ProcessingUpdateCitationBlockCreate", @@ -554,8 +524,6 @@ "RepositoryChannelDownloadArtifactToClientPacketSuccessDict", "RepositoryChannelDownloadArtifactToServerPacketCancel", "RepositoryChannelDownloadArtifactToServerPacketCancelDict", - "RepositoryChannelDownloadModelCreationParameter", - "RepositoryChannelDownloadModelCreationParameterDict", "RepositoryChannelDownloadModelToClientPacketDownloadProgress", "RepositoryChannelDownloadModelToClientPacketDownloadProgressDict", "RepositoryChannelDownloadModelToClientPacketStartFinalizing", @@ -596,10 +564,23 @@ "SerializedLMSExtendedErrorDict", "StatusStepState", "StatusStepStateDict", + "SystemPrompt", + "SystemPromptDict", "SystemRpcNotifyParameter", "SystemRpcNotifyParameterDict", "SystemRpcVersionReturns", "SystemRpcVersionReturnsDict", + "TextData", + "TextDataDict", + "ToolCallRequestData", + "ToolCallRequestDataDict", + "ToolCallRequestDict", + "ToolCallResultData", + "ToolCallResultDataDict", + "ToolResultMessage", + "ToolResultMessageDict", + "UserMessage", + "UserMessageDict", "VirtualModelManifest", "VirtualModelManifestDict", ] @@ -623,22 +604,14 @@ class BackendNotificationDict(TypedDict): noAutoDismiss: NotRequired[bool | None] -############################################################################### -# ChatMessagePartTextData -############################################################################### - - -class ChatMessagePartTextData( - LMStudioStruct["ChatMessagePartTextDataDict"], - kw_only=True, - tag_field="type", - tag="text", +class TextData( + LMStudioStruct["TextDataDict"], kw_only=True, tag_field="type", tag="text" ): type: ClassVar[Annotated[Literal["text"], Meta(title="Type")]] = "text" text: str -class ChatMessagePartTextDataDict(TypedDict): +class TextDataDict(TypedDict): """Corresponding typed dictionary definition for ChatMessagePartTextData. NOTE: Multi-word keys are defined using their camelCase form, @@ -649,13 +622,8 @@ class ChatMessagePartTextDataDict(TypedDict): text: str -############################################################################### -# ChatMessagePartToolCallResultData -############################################################################### - - -class ChatMessagePartToolCallResultData( - LMStudioStruct["ChatMessagePartToolCallResultDataDict"], +class ToolCallResultData( + LMStudioStruct["ToolCallResultDataDict"], kw_only=True, tag_field="type", tag="toolCallResult", @@ -667,7 +635,7 @@ class ChatMessagePartToolCallResultData( tool_call_id: str | None = field(name="toolCallId", default=None) -class ChatMessagePartToolCallResultDataDict(TypedDict): +class ToolCallResultDataDict(TypedDict): """Corresponding typed dictionary definition for ChatMessagePartToolCallResultData. NOTE: Multi-word keys are defined using their camelCase form, @@ -682,21 +650,14 @@ class ChatMessagePartToolCallResultDataDict(TypedDict): ChatMessageRoleData = Literal["assistant", "user", "system", "tool"] -############################################################################### -# FunctionToolCallRequest -############################################################################### - - -class FunctionToolCallRequest( - LMStudioStruct["FunctionToolCallRequestDict"], kw_only=True -): +class FunctionToolCallRequest(LMStudioStruct["ToolCallRequestDict"], kw_only=True): type: Annotated[Literal["function"], Meta(title="Type")] name: str id: str | None = None arguments: Mapping[str, Any] | None = None -class FunctionToolCallRequestDict(TypedDict): +class ToolCallRequestDict(TypedDict): """Corresponding typed dictionary definition for FunctionToolCallRequest. NOTE: Multi-word keys are defined using their camelCase form, @@ -710,19 +671,10 @@ class FunctionToolCallRequestDict(TypedDict): ToolCallRequest = FunctionToolCallRequest - - PageNumber = Sequence[int] - - LineNumber = Sequence[int] -############################################################################### -# CitationSource -############################################################################### - - class CitationSource(LMStudioStruct["CitationSourceDict"], kw_only=True): file_name: str = field(name="fileName") absolute_file_path: str | None = field(name="absoluteFilePath", default=None) @@ -746,11 +698,6 @@ class CitationSourceDict(TypedDict): ColorPalette = Literal["red", "green", "blue", "yellow", "orange", "purple", "default"] -############################################################################### -# EmbeddingModelAdditionalInfo -############################################################################### - - class EmbeddingModelAdditionalInfo( LMStudioStruct["EmbeddingModelAdditionalInfoDict"], kw_only=True ): @@ -767,11 +714,6 @@ class EmbeddingModelAdditionalInfoDict(TypedDict): maxContextLength: int -############################################################################### -# EmbeddingModelInstanceAdditionalInfo -############################################################################### - - class EmbeddingModelInstanceAdditionalInfo( LMStudioStruct["EmbeddingModelInstanceAdditionalInfoDict"], kw_only=True ): @@ -788,11 +730,6 @@ class EmbeddingModelInstanceAdditionalInfoDict(TypedDict): contextLength: int -############################################################################### -# SerializedLMSExtendedError -############################################################################### - - class SerializedLMSExtendedError( LMStudioStruct["SerializedLMSExtendedErrorDict"], kw_only=True ): @@ -822,8 +759,6 @@ class SerializedLMSExtendedErrorDict(TypedDict): FileNamespace = Literal["local", "base64"] - - FileType = Literal[ "image", "text/plain", @@ -832,25 +767,12 @@ class SerializedLMSExtendedErrorDict(TypedDict): "text/other", "unknown", ] - - DisabledGpu = Annotated[int, Meta(ge=0)] - - PriorityItem = Annotated[int, Meta(ge=0)] - - CustomRatioItem = Annotated[float, Meta(ge=0.0)] - - GpuSplitStrategy = Literal["evenly", "priorityOrder", "custom"] -############################################################################### -# KvConfigField -############################################################################### - - class KvConfigField(LMStudioStruct["KvConfigFieldDict"], kw_only=True): key: str value: Any | None = None @@ -885,11 +807,6 @@ class KvConfigFieldDict(TypedDict): ] -############################################################################### -# KvConfig -############################################################################### - - class KvConfig(LMStudioStruct["KvConfigDict"], kw_only=True): fields: Sequence[KvConfigField] @@ -904,11 +821,6 @@ class KvConfigDict(TypedDict): fields: Sequence[KvConfigFieldDict] -############################################################################### -# KvConfigStackLayer -############################################################################### - - class KvConfigStackLayer(LMStudioStruct["KvConfigStackLayerDict"], kw_only=True): layer_name: KvConfigLayerName = field(name="layerName") config: KvConfig @@ -925,11 +837,6 @@ class KvConfigStackLayerDict(TypedDict): config: KvConfigDict -############################################################################### -# KvConfigStack -############################################################################### - - class KvConfigStack(LMStudioStruct["KvConfigStackDict"], kw_only=True): layers: Sequence[KvConfigStackLayer] @@ -944,11 +851,6 @@ class KvConfigStackDict(TypedDict): layers: Sequence[KvConfigStackLayerDict] -############################################################################### -# LlmApplyPromptTemplateOpts -############################################################################### - - class LlmApplyPromptTemplateOpts( LMStudioStruct["LlmApplyPromptTemplateOptsDict"], kw_only=True ): @@ -968,27 +870,14 @@ class LlmApplyPromptTemplateOptsDict(TypedDict): LlmLlamaAccelerationOffloadRatio1 = Annotated[float, Meta(ge=0.0, le=1.0)] - - LlmLlamaAccelerationOffloadRatio = LlmLlamaAccelerationOffloadRatio1 | str - - LlmLlamaCacheQuantizationType = Literal[ "f32", "f16", "q8_0", "q4_0", "q4_1", "iq4_nl", "q5_0", "q5_1" ] - - LlmMlxKvCacheBitsType = Literal[8, 6, 4, 3, 2] - - LlmMlxKvCacheGroupSizeTypes = Literal[32, 64, 128] -############################################################################### -# LlmMlxKvCacheQuantization -############################################################################### - - class LlmMlxKvCacheQuantization( LMStudioStruct["LlmMlxKvCacheQuantizationDict"], kw_only=True ): @@ -1014,11 +903,6 @@ class LlmMlxKvCacheQuantizationDict(TypedDict): LlmSplitStrategy = Literal["evenly", "favorMainGpu"] -############################################################################### -# LlmAdditionalInfo -############################################################################### - - class LlmAdditionalInfo(LMStudioStruct["LlmAdditionalInfoDict"], kw_only=True): vision: bool trained_for_tool_use: bool = field(name="trainedForToolUse") @@ -1037,11 +921,6 @@ class LlmAdditionalInfoDict(TypedDict): maxContextLength: int -############################################################################### -# LlmInstanceAdditionalInfo -############################################################################### - - class LlmInstanceAdditionalInfo( LMStudioStruct["LlmInstanceAdditionalInfoDict"], kw_only=True ): @@ -1061,11 +940,6 @@ class LlmInstanceAdditionalInfoDict(TypedDict): LlmContextOverflowPolicy = Literal["stopAtLimit", "truncateMiddle", "rollingWindow"] -############################################################################### -# LlmLlamaMirostatSamplingConfig -############################################################################### - - class LlmLlamaMirostatSamplingConfig( LMStudioStruct["LlmLlamaMirostatSamplingConfigDict"], kw_only=True ): @@ -1087,16 +961,9 @@ class LlmLlamaMirostatSamplingConfigDict(TypedDict): LlmLlamaSingleLogitBiasModification = float | str - - MaxTokens = Annotated[int, Meta(ge=-1)] -############################################################################### -# LlmReasoningParsing -############################################################################### - - class LlmReasoningParsing(LMStudioStruct["LlmReasoningParsingDict"], kw_only=True): enabled: bool start_string: str = field(name="startString") @@ -1120,11 +987,6 @@ class LlmReasoningParsingDict(TypedDict): ] -############################################################################### -# LlmPredictionFragment -############################################################################### - - class LlmPredictionFragment(LMStudioStruct["LlmPredictionFragmentDict"], kw_only=True): content: str tokens_count: int = field(name="tokensCount") @@ -1155,16 +1017,9 @@ class LlmPredictionFragmentDict(TypedDict): "maxPredictedTokensReached", "contextLengthReached", ] - - LlmJinjaInputMessagesContentConfigTextFieldName = Literal["content", "text"] -############################################################################### -# LlmManualPromptTemplate -############################################################################### - - class LlmManualPromptTemplate( LMStudioStruct["LlmManualPromptTemplateDict"], kw_only=True ): @@ -1192,16 +1047,9 @@ class LlmManualPromptTemplateDict(TypedDict): LlmPromptTemplateType = Literal["manual", "jinja"] - - LlmStructuredPredictionType = Literal["none", "json", "gbnf"] -############################################################################### -# ProcessingUpdateCitationBlockCreate -############################################################################### - - class ProcessingUpdateCitationBlockCreate( LMStudioStruct["ProcessingUpdateCitationBlockCreateDict"], kw_only=True, @@ -1235,11 +1083,6 @@ class ProcessingUpdateCitationBlockCreateDict(TypedDict): lineNumber: NotRequired[int | LineNumber | None] -############################################################################### -# ProcessingUpdateContentBlockAppendText -############################################################################### - - class ProcessingUpdateContentBlockAppendText( LMStudioStruct["ProcessingUpdateContentBlockAppendTextDict"], kw_only=True, @@ -1269,11 +1112,6 @@ class ProcessingUpdateContentBlockAppendTextDict(TypedDict): fromDraftModel: NotRequired[bool | None] -############################################################################### -# ProcessingUpdateContentBlockReplaceText -############################################################################### - - class ProcessingUpdateContentBlockReplaceText( LMStudioStruct["ProcessingUpdateContentBlockReplaceTextDict"], kw_only=True, @@ -1299,11 +1137,6 @@ class ProcessingUpdateContentBlockReplaceTextDict(TypedDict): text: str -############################################################################### -# ProcessingUpdateContentBlockSetPrefix -############################################################################### - - class ProcessingUpdateContentBlockSetPrefix( LMStudioStruct["ProcessingUpdateContentBlockSetPrefixDict"], kw_only=True, @@ -1329,11 +1162,6 @@ class ProcessingUpdateContentBlockSetPrefixDict(TypedDict): prefix: str -############################################################################### -# ProcessingUpdateContentBlockSetSuffix -############################################################################### - - class ProcessingUpdateContentBlockSetSuffix( LMStudioStruct["ProcessingUpdateContentBlockSetSuffixDict"], kw_only=True, @@ -1359,11 +1187,6 @@ class ProcessingUpdateContentBlockSetSuffixDict(TypedDict): suffix: str -############################################################################### -# ProcessingUpdateDebugInfoBlockCreate -############################################################################### - - class ProcessingUpdateDebugInfoBlockCreate( LMStudioStruct["ProcessingUpdateDebugInfoBlockCreateDict"], kw_only=True, @@ -1389,11 +1212,6 @@ class ProcessingUpdateDebugInfoBlockCreateDict(TypedDict): debugInfo: str -############################################################################### -# ProcessingUpdateSetSenderName -############################################################################### - - class ProcessingUpdateSetSenderName( LMStudioStruct["ProcessingUpdateSetSenderNameDict"], kw_only=True, @@ -1417,11 +1235,6 @@ class ProcessingUpdateSetSenderNameDict(TypedDict): name: str -############################################################################### -# ProcessingUpdateStatusRemove -############################################################################### - - class ProcessingUpdateStatusRemove( LMStudioStruct["ProcessingUpdateStatusRemoveDict"], kw_only=True, @@ -1448,11 +1261,6 @@ class ProcessingUpdateStatusRemoveDict(TypedDict): StatusStepStatus = Literal["waiting", "loading", "done", "error", "canceled"] -############################################################################### -# GetModelOpts -############################################################################### - - class GetModelOpts(LMStudioStruct["GetModelOptsDict"], kw_only=True): model_tag: str | None = field(name="modelTag", default=None) ignore_user_config: bool | None = field(name="ignoreUserConfig", default=None) @@ -1472,22 +1280,11 @@ class GetModelOptsDict(TypedDict): ModelCompatibilityType = Literal[ "gguf", "safetensors", "onnx", "ggml", "mlx_placeholder", "torch_safetensors" ] - - ModelDomainType = Literal["llm", "embedding", "imageGen", "transcription", "tts"] - - PluginRunnerType = Literal["ecmascript"] - - ReasonableKeyString = Annotated[str, Meta(max_length=1024, min_length=1)] -############################################################################### -# DownloadProgressUpdate -############################################################################### - - class DownloadProgressUpdate( LMStudioStruct["DownloadProgressUpdateDict"], kw_only=True ): @@ -1508,11 +1305,6 @@ class DownloadProgressUpdateDict(TypedDict): speedBytesPerSecond: float -############################################################################### -# ModelSearchOpts -############################################################################### - - class ModelSearchOpts(LMStudioStruct["ModelSearchOptsDict"], kw_only=True): search_term: str | None = field(name="searchTerm", default=None) limit: Annotated[int, Meta(gt=0, le=25)] | None = None @@ -1533,11 +1325,6 @@ class ModelSearchOptsDict(TypedDict): compatibilityTypes: NotRequired[Sequence[ModelCompatibilityType] | None] -############################################################################### -# ModelSearchResultDownloadOptionData -############################################################################### - - class ModelSearchResultDownloadOptionData( LMStudioStruct["ModelSearchResultDownloadOptionDataDict"], kw_only=True ): @@ -1570,11 +1357,6 @@ class ModelSearchResultDownloadOptionDataDict(TypedDict): recommended: NotRequired[bool | None] -############################################################################### -# InternalRetrievalResultEntry -############################################################################### - - class InternalRetrievalResultEntry( LMStudioStruct["InternalRetrievalResultEntryDict"], kw_only=True ): @@ -1599,11 +1381,6 @@ class InternalRetrievalResultEntryDict(TypedDict): lineNumber: NotRequired[int | LineNumber | None] -############################################################################### -# InternalRetrievalResult -############################################################################### - - class InternalRetrievalResult( LMStudioStruct["InternalRetrievalResultDict"], kw_only=True ): @@ -1620,11 +1397,6 @@ class InternalRetrievalResultDict(TypedDict): entries: Sequence[InternalRetrievalResultEntryDict] -############################################################################### -# RetrievalChunk -############################################################################### - - class RetrievalChunk(LMStudioStruct["RetrievalChunkDict"], kw_only=True): content: str score: float @@ -1644,16 +1416,9 @@ class RetrievalChunkDict(TypedDict): RetrievalFileProcessingStep = Literal["loading", "chunking", "embedding"] - - AcceleratorType = Literal["unknown", "integratedGpu", "dedicatedGpu"] -############################################################################### -# Config -############################################################################### - - class Config(LMStudioStruct["ConfigDict"], kw_only=True): load: KvConfig | None = None operation: KvConfig | None = None @@ -1670,11 +1435,6 @@ class ConfigDict(TypedDict): operation: NotRequired[KvConfigDict | None] -############################################################################### -# VirtualModelManifest -############################################################################### - - class VirtualModelManifest(LMStudioStruct["VirtualModelManifestDict"], kw_only=True): model: Annotated[str, Meta(pattern="^[^/]+\\/[^/]+$")] base: str @@ -1696,11 +1456,6 @@ class VirtualModelManifestDict(TypedDict): ZodSchema = Any -############################################################################### -# EmbeddingRpcUnloadModelParameter -############################################################################### - - class EmbeddingRpcUnloadModelParameter( LMStudioStruct["EmbeddingRpcUnloadModelParameterDict"], kw_only=True ): @@ -1720,11 +1475,6 @@ class EmbeddingRpcUnloadModelParameterDict(TypedDict): EmbeddingRpcUnloadModelReturns = Any -############################################################################### -# PseudoEmbeddingRpcUnloadModel -############################################################################### - - class PseudoEmbeddingRpcUnloadModel( LMStudioStruct["PseudoEmbeddingRpcUnloadModelDict"], kw_only=True ): @@ -1744,11 +1494,6 @@ class PseudoEmbeddingRpcUnloadModelDict(TypedDict): EmbeddingRpcListLoadedParameter = Any -############################################################################### -# EmbeddingRpcEmbedStringReturns -############################################################################### - - class EmbeddingRpcEmbedStringReturns( LMStudioStruct["EmbeddingRpcEmbedStringReturnsDict"], kw_only=True ): @@ -1765,11 +1510,6 @@ class EmbeddingRpcEmbedStringReturnsDict(TypedDict): embedding: Sequence[float] -############################################################################### -# EmbeddingRpcTokenizeReturns -############################################################################### - - class EmbeddingRpcTokenizeReturns( LMStudioStruct["EmbeddingRpcTokenizeReturnsDict"], kw_only=True ): @@ -1786,11 +1526,6 @@ class EmbeddingRpcTokenizeReturnsDict(TypedDict): tokens: Sequence[float] -############################################################################### -# EmbeddingRpcCountTokensReturns -############################################################################### - - class EmbeddingRpcCountTokensReturns( LMStudioStruct["EmbeddingRpcCountTokensReturnsDict"], kw_only=True ): @@ -1807,11 +1542,6 @@ class EmbeddingRpcCountTokensReturnsDict(TypedDict): tokenCount: int -############################################################################### -# EmbeddingChannelLoadModelCreationParameter -############################################################################### - - class EmbeddingChannelLoadModelCreationParameter( LMStudioStruct["EmbeddingChannelLoadModelCreationParameterDict"], kw_only=True ): @@ -1834,11 +1564,6 @@ class EmbeddingChannelLoadModelCreationParameterDict(TypedDict): ttlMs: NotRequired[Annotated[int, Meta(ge=1)] | None] -############################################################################### -# EmbeddingChannelGetOrLoadCreationParameter -############################################################################### - - class EmbeddingChannelGetOrLoadCreationParameter( LMStudioStruct["EmbeddingChannelGetOrLoadCreationParameterDict"], kw_only=True ): @@ -1861,11 +1586,6 @@ class EmbeddingChannelGetOrLoadCreationParameterDict(TypedDict): loadTtlMs: NotRequired[Annotated[int, Meta(ge=1)] | None] -############################################################################### -# FilesRpcGetLocalFileAbsolutePathParameter -############################################################################### - - class FilesRpcGetLocalFileAbsolutePathParameter( LMStudioStruct["FilesRpcGetLocalFileAbsolutePathParameterDict"], kw_only=True ): @@ -1882,11 +1602,6 @@ class FilesRpcGetLocalFileAbsolutePathParameterDict(TypedDict): fileName: str -############################################################################### -# FilesRpcGetLocalFileAbsolutePathReturns -############################################################################### - - class FilesRpcGetLocalFileAbsolutePathReturns( LMStudioStruct["FilesRpcGetLocalFileAbsolutePathReturnsDict"], kw_only=True ): @@ -1903,11 +1618,6 @@ class FilesRpcGetLocalFileAbsolutePathReturnsDict(TypedDict): path: str -############################################################################### -# PseudoFilesRpcGetLocalFileAbsolutePath -############################################################################### - - class PseudoFilesRpcGetLocalFileAbsolutePath( LMStudioStruct["PseudoFilesRpcGetLocalFileAbsolutePathDict"], kw_only=True ): @@ -1926,11 +1636,6 @@ class PseudoFilesRpcGetLocalFileAbsolutePathDict(TypedDict): returns: FilesRpcGetLocalFileAbsolutePathReturnsDict -############################################################################### -# FilesRpcUploadFileBase64Parameter -############################################################################### - - class FilesRpcUploadFileBase64Parameter( LMStudioStruct["FilesRpcUploadFileBase64ParameterDict"], kw_only=True ): @@ -1949,11 +1654,6 @@ class FilesRpcUploadFileBase64ParameterDict(TypedDict): contentBase64: str -############################################################################### -# FilesRpcUploadFileBase64Returns -############################################################################### - - class FilesRpcUploadFileBase64Returns( LMStudioStruct["FilesRpcUploadFileBase64ReturnsDict"], kw_only=True ): @@ -1974,11 +1674,6 @@ class FilesRpcUploadFileBase64ReturnsDict(TypedDict): sizeBytes: int -############################################################################### -# PseudoFilesRpcUploadFileBase64 -############################################################################### - - class PseudoFilesRpcUploadFileBase64( LMStudioStruct["PseudoFilesRpcUploadFileBase64Dict"], kw_only=True ): @@ -1997,11 +1692,6 @@ class PseudoFilesRpcUploadFileBase64Dict(TypedDict): returns: FilesRpcUploadFileBase64ReturnsDict -############################################################################### -# LlmRpcUnloadModelParameter -############################################################################### - - class LlmRpcUnloadModelParameter( LMStudioStruct["LlmRpcUnloadModelParameterDict"], kw_only=True ): @@ -2021,11 +1711,6 @@ class LlmRpcUnloadModelParameterDict(TypedDict): LlmRpcUnloadModelReturns = Any -############################################################################### -# PseudoLlmRpcUnloadModel -############################################################################### - - class PseudoLlmRpcUnloadModel( LMStudioStruct["PseudoLlmRpcUnloadModelDict"], kw_only=True ): @@ -2045,11 +1730,6 @@ class PseudoLlmRpcUnloadModelDict(TypedDict): LlmRpcListLoadedParameter = Any -############################################################################### -# LlmRpcApplyPromptTemplateReturns -############################################################################### - - class LlmRpcApplyPromptTemplateReturns( LMStudioStruct["LlmRpcApplyPromptTemplateReturnsDict"], kw_only=True ): @@ -2066,11 +1746,6 @@ class LlmRpcApplyPromptTemplateReturnsDict(TypedDict): formatted: str -############################################################################### -# LlmRpcTokenizeReturns -############################################################################### - - class LlmRpcTokenizeReturns(LMStudioStruct["LlmRpcTokenizeReturnsDict"], kw_only=True): tokens: Sequence[float] @@ -2085,11 +1760,6 @@ class LlmRpcTokenizeReturnsDict(TypedDict): tokens: Sequence[float] -############################################################################### -# LlmRpcCountTokensReturns -############################################################################### - - class LlmRpcCountTokensReturns( LMStudioStruct["LlmRpcCountTokensReturnsDict"], kw_only=True ): @@ -2109,11 +1779,6 @@ class LlmRpcCountTokensReturnsDict(TypedDict): LlmRpcPreloadDraftModelReturns = Any -############################################################################### -# LlmChannelLoadModelCreationParameter -############################################################################### - - class LlmChannelLoadModelCreationParameter( LMStudioStruct["LlmChannelLoadModelCreationParameterDict"], kw_only=True ): @@ -2136,11 +1801,6 @@ class LlmChannelLoadModelCreationParameterDict(TypedDict): ttlMs: NotRequired[Annotated[int, Meta(ge=1)] | None] -############################################################################### -# LlmChannelGetOrLoadCreationParameter -############################################################################### - - class LlmChannelGetOrLoadCreationParameter( LMStudioStruct["LlmChannelGetOrLoadCreationParameterDict"], kw_only=True ): @@ -2173,11 +1833,6 @@ class PseudoPluginsRpcReindexPlugins: PluginsRpcProcessingHandleUpdateReturns = Any -############################################################################### -# PluginsRpcProcessingPullHistoryParameter -############################################################################### - - class PluginsRpcProcessingPullHistoryParameter( LMStudioStruct["PluginsRpcProcessingPullHistoryParameterDict"], kw_only=True ): @@ -2198,11 +1853,6 @@ class PluginsRpcProcessingPullHistoryParameterDict(TypedDict): includeCurrent: bool -############################################################################### -# PluginsRpcProcessingGetOrLoadModelParameter -############################################################################### - - class PluginsRpcProcessingGetOrLoadModelParameter( LMStudioStruct["PluginsRpcProcessingGetOrLoadModelParameterDict"], kw_only=True ): @@ -2221,11 +1871,6 @@ class PluginsRpcProcessingGetOrLoadModelParameterDict(TypedDict): token: str -############################################################################### -# PluginsRpcProcessingGetOrLoadModelReturns -############################################################################### - - class PluginsRpcProcessingGetOrLoadModelReturns( LMStudioStruct["PluginsRpcProcessingGetOrLoadModelReturnsDict"], kw_only=True ): @@ -2242,11 +1887,6 @@ class PluginsRpcProcessingGetOrLoadModelReturnsDict(TypedDict): identifier: str -############################################################################### -# PseudoPluginsRpcProcessingGetOrLoadModel -############################################################################### - - class PseudoPluginsRpcProcessingGetOrLoadModel( LMStudioStruct["PseudoPluginsRpcProcessingGetOrLoadModelDict"], kw_only=True ): @@ -2265,11 +1905,6 @@ class PseudoPluginsRpcProcessingGetOrLoadModelDict(TypedDict): returns: PluginsRpcProcessingGetOrLoadModelReturnsDict -############################################################################### -# PluginsRpcProcessingHasStatusParameter -############################################################################### - - class PluginsRpcProcessingHasStatusParameter( LMStudioStruct["PluginsRpcProcessingHasStatusParameterDict"], kw_only=True ): @@ -2291,11 +1926,6 @@ class PluginsRpcProcessingHasStatusParameterDict(TypedDict): PluginsRpcProcessingHasStatusReturns = bool -############################################################################### -# PseudoPluginsRpcProcessingHasStatus -############################################################################### - - class PseudoPluginsRpcProcessingHasStatus( LMStudioStruct["PseudoPluginsRpcProcessingHasStatusDict"], kw_only=True ): @@ -2314,11 +1944,6 @@ class PseudoPluginsRpcProcessingHasStatusDict(TypedDict): returns: bool -############################################################################### -# PluginsRpcProcessingNeedsNamingParameter -############################################################################### - - class PluginsRpcProcessingNeedsNamingParameter( LMStudioStruct["PluginsRpcProcessingNeedsNamingParameterDict"], kw_only=True ): @@ -2340,11 +1965,6 @@ class PluginsRpcProcessingNeedsNamingParameterDict(TypedDict): PluginsRpcProcessingNeedsNamingReturns = bool -############################################################################### -# PseudoPluginsRpcProcessingNeedsNaming -############################################################################### - - class PseudoPluginsRpcProcessingNeedsNaming( LMStudioStruct["PseudoPluginsRpcProcessingNeedsNamingDict"], kw_only=True ): @@ -2363,11 +1983,6 @@ class PseudoPluginsRpcProcessingNeedsNamingDict(TypedDict): returns: bool -############################################################################### -# PluginsRpcProcessingSuggestNameParameter -############################################################################### - - class PluginsRpcProcessingSuggestNameParameter( LMStudioStruct["PluginsRpcProcessingSuggestNameParameterDict"], kw_only=True ): @@ -2391,11 +2006,6 @@ class PluginsRpcProcessingSuggestNameParameterDict(TypedDict): PluginsRpcProcessingSuggestNameReturns = Any -############################################################################### -# PseudoPluginsRpcProcessingSuggestName -############################################################################### - - class PseudoPluginsRpcProcessingSuggestName( LMStudioStruct["PseudoPluginsRpcProcessingSuggestNameDict"], kw_only=True ): @@ -2412,11 +2022,6 @@ class PseudoPluginsRpcProcessingSuggestNameDict(TypedDict): parameter: PluginsRpcProcessingSuggestNameParameterDict -############################################################################### -# PluginsRpcProcessingSetSenderNameParameter -############################################################################### - - class PluginsRpcProcessingSetSenderNameParameter( LMStudioStruct["PluginsRpcProcessingSetSenderNameParameterDict"], kw_only=True ): @@ -2440,11 +2045,6 @@ class PluginsRpcProcessingSetSenderNameParameterDict(TypedDict): PluginsRpcProcessingSetSenderNameReturns = Any -############################################################################### -# PseudoPluginsRpcProcessingSetSenderName -############################################################################### - - class PseudoPluginsRpcProcessingSetSenderName( LMStudioStruct["PseudoPluginsRpcProcessingSetSenderNameDict"], kw_only=True ): @@ -2462,8 +2062,6 @@ class PseudoPluginsRpcProcessingSetSenderNameDict(TypedDict): PluginsRpcSetConfigSchematicsReturns = Any - - PluginsRpcPluginInitCompletedReturns = Any @@ -2471,11 +2069,6 @@ class PseudoPluginsRpcPluginInitCompleted: pass -############################################################################### -# RepositoryRpcSearchModelsParameter -############################################################################### - - class RepositoryRpcSearchModelsParameter( LMStudioStruct["RepositoryRpcSearchModelsParameterDict"], kw_only=True ): @@ -2492,11 +2085,6 @@ class RepositoryRpcSearchModelsParameterDict(TypedDict): opts: ModelSearchOptsDict -############################################################################### -# RepositoryRpcGetModelDownloadOptionsReturns -############################################################################### - - class RepositoryRpcGetModelDownloadOptionsReturns( LMStudioStruct["RepositoryRpcGetModelDownloadOptionsReturnsDict"], kw_only=True ): @@ -2513,11 +2101,6 @@ class RepositoryRpcGetModelDownloadOptionsReturnsDict(TypedDict): results: Sequence[ModelSearchResultDownloadOptionDataDict] -############################################################################### -# RepositoryRpcInstallPluginDependenciesParameter -############################################################################### - - class RepositoryRpcInstallPluginDependenciesParameter( LMStudioStruct["RepositoryRpcInstallPluginDependenciesParameterDict"], kw_only=True ): @@ -2537,11 +2120,6 @@ class RepositoryRpcInstallPluginDependenciesParameterDict(TypedDict): RepositoryRpcInstallPluginDependenciesReturns = Any -############################################################################### -# PseudoRepositoryRpcInstallPluginDependencies -############################################################################### - - class PseudoRepositoryRpcInstallPluginDependencies( LMStudioStruct["PseudoRepositoryRpcInstallPluginDependenciesDict"], kw_only=True ): @@ -2558,18 +2136,13 @@ class PseudoRepositoryRpcInstallPluginDependenciesDict(TypedDict): parameter: RepositoryRpcInstallPluginDependenciesParameterDict -############################################################################### -# RepositoryChannelDownloadModelCreationParameter -############################################################################### - - -class RepositoryChannelDownloadModelCreationParameter( - LMStudioStruct["RepositoryChannelDownloadModelCreationParameterDict"], kw_only=True +class DownloadModelChannelRequest( + LMStudioStruct["DownloadModelChannelRequestDict"], kw_only=True ): download_identifier: str = field(name="downloadIdentifier") -class RepositoryChannelDownloadModelCreationParameterDict(TypedDict): +class DownloadModelChannelRequestDict(TypedDict): """Corresponding typed dictionary definition for RepositoryChannelDownloadModelCreationParameter. NOTE: Multi-word keys are defined using their camelCase form, @@ -2579,11 +2152,6 @@ class RepositoryChannelDownloadModelCreationParameterDict(TypedDict): downloadIdentifier: str -############################################################################### -# RepositoryChannelDownloadArtifactCreationParameter -############################################################################### - - class RepositoryChannelDownloadArtifactCreationParameter( LMStudioStruct["RepositoryChannelDownloadArtifactCreationParameterDict"], kw_only=True, @@ -2607,11 +2175,6 @@ class RepositoryChannelDownloadArtifactCreationParameterDict(TypedDict): path: str -############################################################################### -# RepositoryChannelPushArtifactCreationParameter -############################################################################### - - class RepositoryChannelPushArtifactCreationParameter( LMStudioStruct["RepositoryChannelPushArtifactCreationParameterDict"], kw_only=True ): @@ -2631,11 +2194,6 @@ class RepositoryChannelPushArtifactCreationParameterDict(TypedDict): SystemRpcNotifyReturns = Any -############################################################################### -# SystemRpcVersionReturns -############################################################################### - - class SystemRpcVersionReturns( LMStudioStruct["SystemRpcVersionReturnsDict"], kw_only=True ): @@ -2654,11 +2212,6 @@ class SystemRpcVersionReturnsDict(TypedDict): build: float -############################################################################### -# PseudoSystemRpcVersion -############################################################################### - - class PseudoSystemRpcVersion( LMStudioStruct["PseudoSystemRpcVersionDict"], kw_only=True ): @@ -2679,22 +2232,14 @@ class PseudoSystemChannelAlive: pass -############################################################################### -# ChatMessageDataTool -############################################################################### - - -class ChatMessageDataTool( - LMStudioStruct["ChatMessageDataToolDict"], - kw_only=True, - tag_field="role", - tag="tool", +class ToolResultMessage( + LMStudioStruct["ToolResultMessageDict"], kw_only=True, tag_field="role", tag="tool" ): role: ClassVar[Annotated[Literal["tool"], Meta(title="Role")]] = "tool" - content: Sequence[ChatMessagePartToolCallResultData] + content: Sequence[ToolCallResultData] -class ChatMessageDataToolDict(TypedDict): +class ToolResultMessageDict(TypedDict): """Corresponding typed dictionary definition for ChatMessageDataTool. NOTE: Multi-word keys are defined using their camelCase form, @@ -2702,12 +2247,7 @@ class ChatMessageDataToolDict(TypedDict): """ role: Literal["tool"] - content: Sequence[ChatMessagePartToolCallResultDataDict] - - -############################################################################### -# DiagnosticsLogEventDataLlmPredictionInput -############################################################################### + content: Sequence[ToolCallResultDataDict] class DiagnosticsLogEventDataLlmPredictionInput( @@ -2732,11 +2272,6 @@ class DiagnosticsLogEventDataLlmPredictionInputDict(TypedDict): input: str -############################################################################### -# ErrorDisplayDataGenericSpecificModelUnloaded -############################################################################### - - class ErrorDisplayDataGenericSpecificModelUnloaded( LMStudioStruct["ErrorDisplayDataGenericSpecificModelUnloadedDict"], kw_only=True, @@ -2758,11 +2293,6 @@ class ErrorDisplayDataGenericSpecificModelUnloadedDict(TypedDict): code: Literal["generic.specificModelUnloaded"] -############################################################################### -# ErrorDisplayDataGenericPathNotFound -############################################################################### - - class ErrorDisplayDataGenericPathNotFound( LMStudioStruct["ErrorDisplayDataGenericPathNotFoundDict"], kw_only=True, @@ -2790,11 +2320,6 @@ class ErrorDisplayDataGenericPathNotFoundDict(TypedDict): totalModels: int -############################################################################### -# ErrorDisplayDataGenericIdentifierNotFound -############################################################################### - - class ErrorDisplayDataGenericIdentifierNotFound( LMStudioStruct["ErrorDisplayDataGenericIdentifierNotFoundDict"], kw_only=True, @@ -2822,11 +2347,6 @@ class ErrorDisplayDataGenericIdentifierNotFoundDict(TypedDict): totalLoadedModels: int -############################################################################### -# ErrorDisplayDataGenericDomainMismatch -############################################################################### - - class ErrorDisplayDataGenericDomainMismatch( LMStudioStruct["ErrorDisplayDataGenericDomainMismatchDict"], kw_only=True, @@ -2854,11 +2374,6 @@ class ErrorDisplayDataGenericDomainMismatchDict(TypedDict): expectedDomain: ModelDomainType -############################################################################### -# ErrorDisplayDataGenericEngineDoesNotSupportFeature -############################################################################### - - class ErrorDisplayDataGenericEngineDoesNotSupportFeature( LMStudioStruct["ErrorDisplayDataGenericEngineDoesNotSupportFeatureDict"], kw_only=True, @@ -2890,11 +2405,6 @@ class ErrorDisplayDataGenericEngineDoesNotSupportFeatureDict(TypedDict): supportedVersion: NotRequired[str | None] -############################################################################### -# AvailablePresetsSampleItem -############################################################################### - - class AvailablePresetsSampleItem( LMStudioStruct["AvailablePresetsSampleItemDict"], kw_only=True ): @@ -2913,11 +2423,6 @@ class AvailablePresetsSampleItemDict(TypedDict): name: str -############################################################################### -# ErrorDisplayDataGenericPresetNotFound -############################################################################### - - class ErrorDisplayDataGenericPresetNotFound( LMStudioStruct["ErrorDisplayDataGenericPresetNotFoundDict"], kw_only=True, @@ -2949,11 +2454,6 @@ class ErrorDisplayDataGenericPresetNotFoundDict(TypedDict): totalAvailablePresets: int -############################################################################### -# ParsedFileIdentifierLocal -############################################################################### - - class ParsedFileIdentifierLocal( LMStudioStruct["ParsedFileIdentifierLocalDict"], kw_only=True, @@ -2975,11 +2475,6 @@ class ParsedFileIdentifierLocalDict(TypedDict): fileName: str -############################################################################### -# ParsedFileIdentifierBase64 -############################################################################### - - class ParsedFileIdentifierBase64( LMStudioStruct["ParsedFileIdentifierBase64Dict"], kw_only=True, @@ -3001,11 +2496,6 @@ class ParsedFileIdentifierBase64Dict(TypedDict): base64Data: str -############################################################################### -# KvConfigFieldDependencyConditionEquals -############################################################################### - - class KvConfigFieldDependencyConditionEquals( LMStudioStruct["KvConfigFieldDependencyConditionEqualsDict"], kw_only=True, @@ -3027,11 +2517,6 @@ class KvConfigFieldDependencyConditionEqualsDict(TypedDict): value: NotRequired[Any | None] -############################################################################### -# KvConfigFieldDependencyConditionNotEquals -############################################################################### - - class KvConfigFieldDependencyConditionNotEquals( LMStudioStruct["KvConfigFieldDependencyConditionNotEqualsDict"], kw_only=True, @@ -3053,11 +2538,6 @@ class KvConfigFieldDependencyConditionNotEqualsDict(TypedDict): value: NotRequired[Any | None] -############################################################################### -# ContentBlockStyleDefault -############################################################################### - - class ContentBlockStyleDefault( LMStudioStruct["ContentBlockStyleDefaultDict"], kw_only=True, @@ -3077,11 +2557,6 @@ class ContentBlockStyleDefaultDict(TypedDict): type: Literal["default"] -############################################################################### -# ContentBlockStyleCustomLabel -############################################################################### - - class ContentBlockStyleCustomLabel( LMStudioStruct["ContentBlockStyleCustomLabelDict"], kw_only=True, @@ -3107,11 +2582,6 @@ class ContentBlockStyleCustomLabelDict(TypedDict): color: NotRequired[ColorPalette | None] -############################################################################### -# ContentBlockStyleThinking -############################################################################### - - class ContentBlockStyleThinking( LMStudioStruct["ContentBlockStyleThinkingDict"], kw_only=True, @@ -3135,11 +2605,6 @@ class ContentBlockStyleThinkingDict(TypedDict): title: NotRequired[str | None] -############################################################################### -# LlmContextReferenceJsonFile -############################################################################### - - class LlmContextReferenceJsonFile( LMStudioStruct["LlmContextReferenceJsonFileDict"], kw_only=True, @@ -3161,11 +2626,6 @@ class LlmContextReferenceJsonFileDict(TypedDict): absPath: str -############################################################################### -# LlmContextReferenceYamlFile -############################################################################### - - class LlmContextReferenceYamlFile( LMStudioStruct["LlmContextReferenceYamlFileDict"], kw_only=True, @@ -3187,11 +2647,6 @@ class LlmContextReferenceYamlFileDict(TypedDict): absPath: str -############################################################################### -# LlmJinjaInputMessagesContentImagesConfigSimple -############################################################################### - - class LlmJinjaInputMessagesContentImagesConfigSimple( LMStudioStruct["LlmJinjaInputMessagesContentImagesConfigSimpleDict"], kw_only=True, @@ -3213,11 +2668,6 @@ class LlmJinjaInputMessagesContentImagesConfigSimpleDict(TypedDict): value: str -############################################################################### -# LlmJinjaInputMessagesContentImagesConfigNumbered -############################################################################### - - class LlmJinjaInputMessagesContentImagesConfigNumbered( LMStudioStruct["LlmJinjaInputMessagesContentImagesConfigNumberedDict"], kw_only=True, @@ -3241,11 +2691,6 @@ class LlmJinjaInputMessagesContentImagesConfigNumberedDict(TypedDict): suffix: str -############################################################################### -# LlmJinjaInputMessagesContentImagesConfigObject -############################################################################### - - class LlmJinjaInputMessagesContentImagesConfigObject( LMStudioStruct["LlmJinjaInputMessagesContentImagesConfigObjectDict"], kw_only=True, @@ -3265,11 +2710,6 @@ class LlmJinjaInputMessagesContentImagesConfigObjectDict(TypedDict): type: Literal["object"] -############################################################################### -# LlmToolUseSettingNone -############################################################################### - - class LlmToolUseSettingNone( LMStudioStruct["LlmToolUseSettingNoneDict"], kw_only=True, @@ -3289,11 +2729,6 @@ class LlmToolUseSettingNoneDict(TypedDict): type: Literal["none"] -############################################################################### -# BlockLocationBeforeId -############################################################################### - - class BlockLocationBeforeId( LMStudioStruct["BlockLocationBeforeIdDict"], kw_only=True, @@ -3315,11 +2750,6 @@ class BlockLocationBeforeIdDict(TypedDict): id: str -############################################################################### -# BlockLocationAfterId -############################################################################### - - class BlockLocationAfterId( LMStudioStruct["BlockLocationAfterIdDict"], kw_only=True, @@ -3341,11 +2771,6 @@ class BlockLocationAfterIdDict(TypedDict): id: str -############################################################################### -# ModelSpecifierInstanceReference -############################################################################### - - class ModelSpecifierInstanceReference( LMStudioStruct["ModelSpecifierInstanceReferenceDict"], kw_only=True, @@ -3369,11 +2794,6 @@ class ModelSpecifierInstanceReferenceDict(TypedDict): instanceReference: str -############################################################################### -# ModelSearchResultIdentifierCatalog -############################################################################### - - class ModelSearchResultIdentifierCatalog( LMStudioStruct["ModelSearchResultIdentifierCatalogDict"], kw_only=True, @@ -3395,11 +2815,6 @@ class ModelSearchResultIdentifierCatalogDict(TypedDict): identifier: str -############################################################################### -# ModelSearchResultIdentifierHf -############################################################################### - - class ModelSearchResultIdentifierHf( LMStudioStruct["ModelSearchResultIdentifierHfDict"], kw_only=True, @@ -3421,11 +2836,6 @@ class ModelSearchResultIdentifierHfDict(TypedDict): identifier: str -############################################################################### -# RetrievalChunkingMethodRecursiveV1 -############################################################################### - - class RetrievalChunkingMethodRecursiveV1( LMStudioStruct["RetrievalChunkingMethodRecursiveV1Dict"], kw_only=True ): @@ -3446,11 +2856,6 @@ class RetrievalChunkingMethodRecursiveV1Dict(TypedDict): chunkOverlap: int -############################################################################### -# DiagnosticsChannelStreamLogsToServerPacketStop -############################################################################### - - class DiagnosticsChannelStreamLogsToServerPacketStop( LMStudioStruct["DiagnosticsChannelStreamLogsToServerPacketStopDict"], kw_only=True ): @@ -3467,11 +2872,6 @@ class DiagnosticsChannelStreamLogsToServerPacketStopDict(TypedDict): type: Annotated[Literal["stop"], Meta(title="Type")] -############################################################################### -# EmbeddingChannelLoadModelToClientPacketProgress -############################################################################### - - class EmbeddingChannelLoadModelToClientPacketProgress( LMStudioStruct["EmbeddingChannelLoadModelToClientPacketProgressDict"], kw_only=True, @@ -3493,11 +2893,6 @@ class EmbeddingChannelLoadModelToClientPacketProgressDict(TypedDict): progress: float -############################################################################### -# EmbeddingChannelLoadModelToServerPacketCancel -############################################################################### - - class EmbeddingChannelLoadModelToServerPacketCancel( LMStudioStruct["EmbeddingChannelLoadModelToServerPacketCancelDict"], kw_only=True ): @@ -3514,11 +2909,6 @@ class EmbeddingChannelLoadModelToServerPacketCancelDict(TypedDict): type: Annotated[Literal["cancel"], Meta(title="Type")] -############################################################################### -# EmbeddingChannelGetOrLoadToClientPacketLoadProgress -############################################################################### - - class EmbeddingChannelGetOrLoadToClientPacketLoadProgress( LMStudioStruct["EmbeddingChannelGetOrLoadToClientPacketLoadProgressDict"], kw_only=True, @@ -3542,11 +2932,6 @@ class EmbeddingChannelGetOrLoadToClientPacketLoadProgressDict(TypedDict): progress: float -############################################################################### -# EmbeddingChannelGetOrLoadToServerPacketCancel -############################################################################### - - class EmbeddingChannelGetOrLoadToServerPacketCancel( LMStudioStruct["EmbeddingChannelGetOrLoadToServerPacketCancelDict"], kw_only=True ): @@ -3563,11 +2948,6 @@ class EmbeddingChannelGetOrLoadToServerPacketCancelDict(TypedDict): type: Annotated[Literal["cancel"], Meta(title="Type")] -############################################################################### -# FilesChannelRetrieveToClientPacketOnFileProcessList -############################################################################### - - class FilesChannelRetrieveToClientPacketOnFileProcessList( LMStudioStruct["FilesChannelRetrieveToClientPacketOnFileProcessListDict"], kw_only=True, @@ -3591,11 +2971,6 @@ class FilesChannelRetrieveToClientPacketOnFileProcessListDict(TypedDict): indices: Sequence[int] -############################################################################### -# FilesChannelRetrieveToClientPacketOnFileProcessingStart -############################################################################### - - class FilesChannelRetrieveToClientPacketOnFileProcessingStart( LMStudioStruct["FilesChannelRetrieveToClientPacketOnFileProcessingStartDict"], kw_only=True, @@ -3619,11 +2994,6 @@ class FilesChannelRetrieveToClientPacketOnFileProcessingStartDict(TypedDict): index: int -############################################################################### -# FilesChannelRetrieveToClientPacketOnFileProcessingEnd -############################################################################### - - class FilesChannelRetrieveToClientPacketOnFileProcessingEnd( LMStudioStruct["FilesChannelRetrieveToClientPacketOnFileProcessingEndDict"], kw_only=True, @@ -3647,11 +3017,6 @@ class FilesChannelRetrieveToClientPacketOnFileProcessingEndDict(TypedDict): index: int -############################################################################### -# FilesChannelRetrieveToClientPacketOnFileProcessingStepStart -############################################################################### - - class FilesChannelRetrieveToClientPacketOnFileProcessingStepStart( LMStudioStruct["FilesChannelRetrieveToClientPacketOnFileProcessingStepStartDict"], kw_only=True, @@ -3677,11 +3042,6 @@ class FilesChannelRetrieveToClientPacketOnFileProcessingStepStartDict(TypedDict) step: RetrievalFileProcessingStep -############################################################################### -# FilesChannelRetrieveToClientPacketOnFileProcessingStepProgress -############################################################################### - - class FilesChannelRetrieveToClientPacketOnFileProcessingStepProgress( LMStudioStruct[ "FilesChannelRetrieveToClientPacketOnFileProcessingStepProgressDict" @@ -3711,11 +3071,6 @@ class FilesChannelRetrieveToClientPacketOnFileProcessingStepProgressDict(TypedDi progress: float -############################################################################### -# FilesChannelRetrieveToClientPacketOnFileProcessingStepEnd -############################################################################### - - class FilesChannelRetrieveToClientPacketOnFileProcessingStepEnd( LMStudioStruct["FilesChannelRetrieveToClientPacketOnFileProcessingStepEndDict"], kw_only=True, @@ -3741,11 +3096,6 @@ class FilesChannelRetrieveToClientPacketOnFileProcessingStepEndDict(TypedDict): step: RetrievalFileProcessingStep -############################################################################### -# FilesChannelRetrieveToClientPacketOnSearchingStart -############################################################################### - - class FilesChannelRetrieveToClientPacketOnSearchingStart( LMStudioStruct["FilesChannelRetrieveToClientPacketOnSearchingStartDict"], kw_only=True, @@ -3767,11 +3117,6 @@ class FilesChannelRetrieveToClientPacketOnSearchingStartDict(TypedDict): type: Literal["onSearchingStart"] -############################################################################### -# FilesChannelRetrieveToClientPacketOnSearchingEnd -############################################################################### - - class FilesChannelRetrieveToClientPacketOnSearchingEnd( LMStudioStruct["FilesChannelRetrieveToClientPacketOnSearchingEndDict"], kw_only=True, @@ -3793,11 +3138,6 @@ class FilesChannelRetrieveToClientPacketOnSearchingEndDict(TypedDict): type: Literal["onSearchingEnd"] -############################################################################### -# FilesChannelRetrieveToClientPacketResult -############################################################################### - - class FilesChannelRetrieveToClientPacketResult( LMStudioStruct["FilesChannelRetrieveToClientPacketResultDict"], kw_only=True, @@ -3819,11 +3159,6 @@ class FilesChannelRetrieveToClientPacketResultDict(TypedDict): result: InternalRetrievalResultDict -############################################################################### -# FilesChannelRetrieveToServerPacketStop -############################################################################### - - class FilesChannelRetrieveToServerPacketStop( LMStudioStruct["FilesChannelRetrieveToServerPacketStopDict"], kw_only=True ): @@ -3840,11 +3175,6 @@ class FilesChannelRetrieveToServerPacketStopDict(TypedDict): type: Annotated[Literal["stop"], Meta(title="Type")] -############################################################################### -# LlmChannelLoadModelToClientPacketProgress -############################################################################### - - class LlmChannelLoadModelToClientPacketProgress( LMStudioStruct["LlmChannelLoadModelToClientPacketProgressDict"], kw_only=True, @@ -3866,11 +3196,6 @@ class LlmChannelLoadModelToClientPacketProgressDict(TypedDict): progress: float -############################################################################### -# LlmChannelLoadModelToServerPacketCancel -############################################################################### - - class LlmChannelLoadModelToServerPacketCancel( LMStudioStruct["LlmChannelLoadModelToServerPacketCancelDict"], kw_only=True ): @@ -3887,11 +3212,6 @@ class LlmChannelLoadModelToServerPacketCancelDict(TypedDict): type: Annotated[Literal["cancel"], Meta(title="Type")] -############################################################################### -# LlmChannelGetOrLoadToClientPacketLoadProgress -############################################################################### - - class LlmChannelGetOrLoadToClientPacketLoadProgress( LMStudioStruct["LlmChannelGetOrLoadToClientPacketLoadProgressDict"], kw_only=True, @@ -3915,11 +3235,6 @@ class LlmChannelGetOrLoadToClientPacketLoadProgressDict(TypedDict): progress: float -############################################################################### -# LlmChannelGetOrLoadToServerPacketCancel -############################################################################### - - class LlmChannelGetOrLoadToServerPacketCancel( LMStudioStruct["LlmChannelGetOrLoadToServerPacketCancelDict"], kw_only=True ): @@ -3936,11 +3251,6 @@ class LlmChannelGetOrLoadToServerPacketCancelDict(TypedDict): type: Annotated[Literal["cancel"], Meta(title="Type")] -############################################################################### -# Logprob -############################################################################### - - class Logprob(LMStudioStruct["LogprobDict"], kw_only=True): text: str logprob: float @@ -3957,11 +3267,6 @@ class LogprobDict(TypedDict): logprob: float -############################################################################### -# LlmChannelPredictToClientPacketFragment -############################################################################### - - class LlmChannelPredictToClientPacketFragment( LMStudioStruct["LlmChannelPredictToClientPacketFragmentDict"], kw_only=True, @@ -3985,11 +3290,6 @@ class LlmChannelPredictToClientPacketFragmentDict(TypedDict): logprobs: NotRequired[Sequence[Sequence[LogprobDict]] | None] -############################################################################### -# LlmChannelPredictToClientPacketPromptProcessingProgress -############################################################################### - - class LlmChannelPredictToClientPacketPromptProcessingProgress( LMStudioStruct["LlmChannelPredictToClientPacketPromptProcessingProgressDict"], kw_only=True, @@ -4013,11 +3313,6 @@ class LlmChannelPredictToClientPacketPromptProcessingProgressDict(TypedDict): progress: float -############################################################################### -# LlmChannelPredictToClientPacketToolCallGenerationStart -############################################################################### - - class LlmChannelPredictToClientPacketToolCallGenerationStart( LMStudioStruct["LlmChannelPredictToClientPacketToolCallGenerationStartDict"], kw_only=True, @@ -4039,11 +3334,6 @@ class LlmChannelPredictToClientPacketToolCallGenerationStartDict(TypedDict): type: Literal["toolCallGenerationStart"] -############################################################################### -# LlmChannelPredictToClientPacketToolCallGenerationEnd -############################################################################### - - class LlmChannelPredictToClientPacketToolCallGenerationEnd( LMStudioStruct["LlmChannelPredictToClientPacketToolCallGenerationEndDict"], kw_only=True, @@ -4064,12 +3354,7 @@ class LlmChannelPredictToClientPacketToolCallGenerationEndDict(TypedDict): """ type: Literal["toolCallGenerationEnd"] - toolCallRequest: ToolCallRequest - - -############################################################################### -# LlmChannelPredictToClientPacketToolCallGenerationFailed -############################################################################### + toolCallRequest: ToolCallRequestDict class LlmChannelPredictToClientPacketToolCallGenerationFailed( @@ -4093,11 +3378,6 @@ class LlmChannelPredictToClientPacketToolCallGenerationFailedDict(TypedDict): type: Literal["toolCallGenerationFailed"] -############################################################################### -# LlmChannelPredictToServerPacketCancel -############################################################################### - - class LlmChannelPredictToServerPacketCancel( LMStudioStruct["LlmChannelPredictToServerPacketCancelDict"], kw_only=True ): @@ -4114,11 +3394,6 @@ class LlmChannelPredictToServerPacketCancelDict(TypedDict): type: Annotated[Literal["cancel"], Meta(title="Type")] -############################################################################### -# PluginsChannelRegisterDevelopmentPluginToClientPacketReady -############################################################################### - - class PluginsChannelRegisterDevelopmentPluginToClientPacketReady( LMStudioStruct["PluginsChannelRegisterDevelopmentPluginToClientPacketReadyDict"], kw_only=True, @@ -4140,11 +3415,6 @@ class PluginsChannelRegisterDevelopmentPluginToClientPacketReadyDict(TypedDict): clientPasskey: str -############################################################################### -# PluginsChannelRegisterDevelopmentPluginToServerPacketEnd -############################################################################### - - class PluginsChannelRegisterDevelopmentPluginToServerPacketEnd( LMStudioStruct["PluginsChannelRegisterDevelopmentPluginToServerPacketEndDict"], kw_only=True, @@ -4162,11 +3432,6 @@ class PluginsChannelRegisterDevelopmentPluginToServerPacketEndDict(TypedDict): type: Annotated[Literal["end"], Meta(title="Type")] -############################################################################### -# PluginsChannelSetPreprocessorToClientPacketAbort -############################################################################### - - class PluginsChannelSetPreprocessorToClientPacketAbort( LMStudioStruct["PluginsChannelSetPreprocessorToClientPacketAbortDict"], kw_only=True, @@ -4188,11 +3453,6 @@ class PluginsChannelSetPreprocessorToClientPacketAbortDict(TypedDict): taskId: str -############################################################################### -# PluginsChannelSetPreprocessorToServerPacketAborted -############################################################################### - - class PluginsChannelSetPreprocessorToServerPacketAborted( LMStudioStruct["PluginsChannelSetPreprocessorToServerPacketAbortedDict"], kw_only=True, @@ -4214,11 +3474,6 @@ class PluginsChannelSetPreprocessorToServerPacketAbortedDict(TypedDict): taskId: str -############################################################################### -# PluginsChannelSetPreprocessorToServerPacketError -############################################################################### - - class PluginsChannelSetPreprocessorToServerPacketError( LMStudioStruct["PluginsChannelSetPreprocessorToServerPacketErrorDict"], kw_only=True, @@ -4242,11 +3497,6 @@ class PluginsChannelSetPreprocessorToServerPacketErrorDict(TypedDict): error: SerializedLMSExtendedErrorDict -############################################################################### -# PluginsChannelSetGeneratorToClientPacketAbort -############################################################################### - - class PluginsChannelSetGeneratorToClientPacketAbort( LMStudioStruct["PluginsChannelSetGeneratorToClientPacketAbortDict"], kw_only=True, @@ -4268,11 +3518,6 @@ class PluginsChannelSetGeneratorToClientPacketAbortDict(TypedDict): taskId: str -############################################################################### -# PluginsChannelSetGeneratorToServerPacketComplete -############################################################################### - - class PluginsChannelSetGeneratorToServerPacketComplete( LMStudioStruct["PluginsChannelSetGeneratorToServerPacketCompleteDict"], kw_only=True, @@ -4294,11 +3539,6 @@ class PluginsChannelSetGeneratorToServerPacketCompleteDict(TypedDict): taskId: str -############################################################################### -# PluginsChannelSetGeneratorToServerPacketAborted -############################################################################### - - class PluginsChannelSetGeneratorToServerPacketAborted( LMStudioStruct["PluginsChannelSetGeneratorToServerPacketAbortedDict"], kw_only=True, @@ -4320,11 +3560,6 @@ class PluginsChannelSetGeneratorToServerPacketAbortedDict(TypedDict): taskId: str -############################################################################### -# PluginsChannelSetGeneratorToServerPacketError -############################################################################### - - class PluginsChannelSetGeneratorToServerPacketError( LMStudioStruct["PluginsChannelSetGeneratorToServerPacketErrorDict"], kw_only=True, @@ -4348,11 +3583,6 @@ class PluginsChannelSetGeneratorToServerPacketErrorDict(TypedDict): error: SerializedLMSExtendedErrorDict -############################################################################### -# RepositoryChannelDownloadModelToClientPacketDownloadProgress -############################################################################### - - class RepositoryChannelDownloadModelToClientPacketDownloadProgress( LMStudioStruct["RepositoryChannelDownloadModelToClientPacketDownloadProgressDict"], kw_only=True, @@ -4376,11 +3606,6 @@ class RepositoryChannelDownloadModelToClientPacketDownloadProgressDict(TypedDict update: DownloadProgressUpdateDict -############################################################################### -# RepositoryChannelDownloadModelToClientPacketStartFinalizing -############################################################################### - - class RepositoryChannelDownloadModelToClientPacketStartFinalizing( LMStudioStruct["RepositoryChannelDownloadModelToClientPacketStartFinalizingDict"], kw_only=True, @@ -4402,11 +3627,6 @@ class RepositoryChannelDownloadModelToClientPacketStartFinalizingDict(TypedDict) type: Literal["startFinalizing"] -############################################################################### -# RepositoryChannelDownloadModelToClientPacketSuccess -############################################################################### - - class RepositoryChannelDownloadModelToClientPacketSuccess( LMStudioStruct["RepositoryChannelDownloadModelToClientPacketSuccessDict"], kw_only=True, @@ -4428,11 +3648,6 @@ class RepositoryChannelDownloadModelToClientPacketSuccessDict(TypedDict): defaultIdentifier: str -############################################################################### -# RepositoryChannelDownloadModelToServerPacketCancel -############################################################################### - - class RepositoryChannelDownloadModelToServerPacketCancel( LMStudioStruct["RepositoryChannelDownloadModelToServerPacketCancelDict"], kw_only=True, @@ -4450,11 +3665,6 @@ class RepositoryChannelDownloadModelToServerPacketCancelDict(TypedDict): type: Annotated[Literal["cancel"], Meta(title="Type")] -############################################################################### -# RepositoryChannelDownloadArtifactToClientPacketDownloadProgress -############################################################################### - - class RepositoryChannelDownloadArtifactToClientPacketDownloadProgress( LMStudioStruct[ "RepositoryChannelDownloadArtifactToClientPacketDownloadProgressDict" @@ -4480,11 +3690,6 @@ class RepositoryChannelDownloadArtifactToClientPacketDownloadProgressDict(TypedD update: DownloadProgressUpdateDict -############################################################################### -# RepositoryChannelDownloadArtifactToClientPacketStartFinalizing -############################################################################### - - class RepositoryChannelDownloadArtifactToClientPacketStartFinalizing( LMStudioStruct[ "RepositoryChannelDownloadArtifactToClientPacketStartFinalizingDict" @@ -4508,11 +3713,6 @@ class RepositoryChannelDownloadArtifactToClientPacketStartFinalizingDict(TypedDi type: Literal["startFinalizing"] -############################################################################### -# RepositoryChannelDownloadArtifactToClientPacketSuccess -############################################################################### - - class RepositoryChannelDownloadArtifactToClientPacketSuccess( LMStudioStruct["RepositoryChannelDownloadArtifactToClientPacketSuccessDict"], kw_only=True, @@ -4532,11 +3732,6 @@ class RepositoryChannelDownloadArtifactToClientPacketSuccessDict(TypedDict): type: Literal["success"] -############################################################################### -# RepositoryChannelDownloadArtifactToServerPacketCancel -############################################################################### - - class RepositoryChannelDownloadArtifactToServerPacketCancel( LMStudioStruct["RepositoryChannelDownloadArtifactToServerPacketCancelDict"], kw_only=True, @@ -4554,11 +3749,6 @@ class RepositoryChannelDownloadArtifactToServerPacketCancelDict(TypedDict): type: Annotated[Literal["cancel"], Meta(title="Type")] -############################################################################### -# RepositoryChannelPushArtifactToClientPacketMessage -############################################################################### - - class RepositoryChannelPushArtifactToClientPacketMessage( LMStudioStruct["RepositoryChannelPushArtifactToClientPacketMessageDict"], kw_only=True, @@ -4578,11 +3768,6 @@ class RepositoryChannelPushArtifactToClientPacketMessageDict(TypedDict): message: str -############################################################################### -# RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticationUrl -############################################################################### - - class RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticationUrl( LMStudioStruct[ "RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticationUrlDict" @@ -4610,11 +3795,6 @@ class RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticationUrlDict( url: str -############################################################################### -# RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticated -############################################################################### - - class RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticated( LMStudioStruct[ "RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticatedDict" @@ -4639,117 +3819,44 @@ class RepositoryChannelEnsureAuthenticatedToClientPacketAuthenticatedDict(TypedD Description = Annotated[str, Meta(max_length=1000)] - - Name = Annotated[ str, Meta(max_length=100, min_length=1, pattern="^[a-z0-9]+(?:-[a-z0-9]+)*$") ] - - Revision = int - - DescriptionModel = str - - NoAutoDismiss = bool - - Title = str - - MaxContextLength = int - - Architecture = str - - DisplayName = str - - ModelKey = str - - ParamsString = str - - Path = str - - SizeBytes = int - - ContextLength = int - - Identifier = str - - InstanceReference = str - - AdditionalProperties = Any - - Fields = Sequence[KvConfigField] - - TrainedForToolUse = bool - - Vision = bool - - ContextOverflowPolicy = LlmContextOverflowPolicy - - CpuThreads = int - - DraftModel = str - - MaxTokensModel = Any | MaxTokens | bool - - MinPSampling = Any | float | bool - - ReasoningParsing = LlmReasoningParsing - - RepeatPenalty = Any | float | bool - - SpeculativeDecodingMinContinueDraftingProbability = float - - SpeculativeDecodingMinDraftLengthToConsider = Annotated[int, Meta(ge=0)] - - SpeculativeDecodingNumDraftTokensExact = Annotated[int, Meta(ge=1)] - - StopStrings = Sequence[str] - - Temperature = Annotated[float, Meta(ge=0.0)] - - ToolCallStopStrings = Sequence[str] - - TopKSampling = float - - TopPSampling = Any | float | bool -############################################################################### -# ArtifactManifestBase -############################################################################### - - class ArtifactManifestBase(LMStudioStruct["ArtifactManifestBaseDict"], kw_only=True): owner: KebabCase name: Annotated[ @@ -4774,16 +3881,8 @@ class ArtifactManifestBaseDict(TypedDict): revision: NotRequired[int | None] -############################################################################### -# ChatMessagePartFileData -############################################################################### - - -class ChatMessagePartFileData( - LMStudioStruct["ChatMessagePartFileDataDict"], - kw_only=True, - tag_field="type", - tag="file", +class FileHandle( + LMStudioStruct["FileHandleDict"], kw_only=True, tag_field="type", tag="file" ): type: ClassVar[Annotated[Literal["file"], Meta(title="Type")]] = "file" name: str @@ -4792,7 +3891,7 @@ class ChatMessagePartFileData( file_type: FileType = field(name="fileType") -class ChatMessagePartFileDataDict(TypedDict): +class FileHandleDict(TypedDict): """Corresponding typed dictionary definition for ChatMessagePartFileData. NOTE: Multi-word keys are defined using their camelCase form, @@ -4806,13 +3905,8 @@ class ChatMessagePartFileDataDict(TypedDict): fileType: FileType -############################################################################### -# ChatMessagePartToolCallRequestData -############################################################################### - - -class ChatMessagePartToolCallRequestData( - LMStudioStruct["ChatMessagePartToolCallRequestDataDict"], +class ToolCallRequestData( + LMStudioStruct["ToolCallRequestDataDict"], kw_only=True, tag_field="type", tag="toolCallRequest", @@ -4823,7 +3917,7 @@ class ChatMessagePartToolCallRequestData( tool_call_request: ToolCallRequest = field(name="toolCallRequest") -class ChatMessagePartToolCallRequestDataDict(TypedDict): +class ToolCallRequestDataDict(TypedDict): """Corresponding typed dictionary definition for ChatMessagePartToolCallRequestData. NOTE: Multi-word keys are defined using their camelCase form, @@ -4831,17 +3925,12 @@ class ChatMessagePartToolCallRequestDataDict(TypedDict): """ type: Literal["toolCallRequest"] - toolCallRequest: ToolCallRequest + toolCallRequest: ToolCallRequestDict DiagnosticsLogEventData = DiagnosticsLogEventDataLlmPredictionInput -############################################################################### -# DiagnosticsLogEvent -############################################################################### - - class DiagnosticsLogEvent(LMStudioStruct["DiagnosticsLogEventDict"], kw_only=True): timestamp: float data: DiagnosticsLogEventData @@ -4858,11 +3947,6 @@ class DiagnosticsLogEventDict(TypedDict): data: DiagnosticsLogEventData -############################################################################### -# EmbeddingModelInfo -############################################################################### - - class EmbeddingModelInfo( LMStudioStruct["EmbeddingModelInfoDict"], kw_only=True, @@ -4898,11 +3982,6 @@ class EmbeddingModelInfoDict(TypedDict): architecture: NotRequired[str | None] -############################################################################### -# EmbeddingModelInstanceInfo -############################################################################### - - class EmbeddingModelInstanceInfo( LMStudioStruct["EmbeddingModelInstanceInfoDict"], kw_only=True, @@ -4947,11 +4026,6 @@ class EmbeddingModelInstanceInfoDict(TypedDict): ParsedFileIdentifier = ParsedFileIdentifierLocal | ParsedFileIdentifierBase64 -############################################################################### -# GpuSplitConfig -############################################################################### - - class GpuSplitConfig(LMStudioStruct["GpuSplitConfigDict"], kw_only=True): strategy: GpuSplitStrategy disabled_gpus: Sequence[DisabledGpu] = field(name="disabledGpus") @@ -4975,16 +4049,9 @@ class GpuSplitConfigDict(TypedDict): ContentBlockStyle = ( ContentBlockStyleDefault | ContentBlockStyleCustomLabel | ContentBlockStyleThinking ) - - LlmContextReference = LlmContextReferenceJsonFile | LlmContextReferenceYamlFile -############################################################################### -# GpuSetting -############################################################################### - - class GpuSetting(LMStudioStruct["GpuSettingDict"], kw_only=True): ratio: LlmLlamaAccelerationOffloadRatio | None = None main_gpu: int | None = field(name="mainGpu", default=None) @@ -5005,11 +4072,6 @@ class GpuSettingDict(TypedDict): disabledGpus: NotRequired[Sequence[int] | None] -############################################################################### -# LlmLoadModelConfig -############################################################################### - - class LlmLoadModelConfig(LMStudioStruct["LlmLoadModelConfigDict"], kw_only=True): gpu: GpuSetting | None = None gpu_strict_vram_cap: bool | None = field(name="gpuStrictVramCap", default=None) @@ -5070,11 +4132,6 @@ class LlmLoadModelConfigDict(TypedDict): ] -############################################################################### -# LlmInfo -############################################################################### - - class LlmInfo(LMStudioStruct["LlmInfoDict"], kw_only=True, tag_field="type", tag="llm"): type: ClassVar[Annotated[Literal["llm"], Meta(title="Type")]] = "llm" model_key: ModelKey = field(name="modelKey") @@ -5109,11 +4166,6 @@ class LlmInfoDict(TypedDict): architecture: NotRequired[str | None] -############################################################################### -# LlmInstanceInfo -############################################################################### - - class LlmInstanceInfo( LMStudioStruct["LlmInstanceInfoDict"], kw_only=True, tag_field="type", tag="llm" ): @@ -5157,16 +4209,9 @@ class LlmInstanceInfoDict(TypedDict): LlmLlamaLogitBiasConfigItem = Sequence[float | LlmLlamaSingleLogitBiasModification] - - LlmLlamaLogitBiasConfig = Sequence[LlmLlamaLogitBiasConfigItem] -############################################################################### -# LlmPredictionStats -############################################################################### - - class LlmPredictionStats(LMStudioStruct["LlmPredictionStatsDict"], kw_only=True): stop_reason: LlmPredictionStopReason = field(name="stopReason") tokens_per_second: float | None = field(name="tokensPerSecond", default=None) @@ -5222,11 +4267,6 @@ class LlmPredictionStatsDict(TypedDict): ) -############################################################################### -# LlmStructuredPredictionSetting -############################################################################### - - class LlmStructuredPredictionSetting( LMStudioStruct["LlmStructuredPredictionSettingDict"], kw_only=True ): @@ -5250,11 +4290,6 @@ class LlmStructuredPredictionSettingDict(TypedDict): BlockLocation = BlockLocationBeforeId | BlockLocationAfterId -############################################################################### -# ProcessingUpdateContentBlockCreate -############################################################################### - - class ProcessingUpdateContentBlockCreate( LMStudioStruct["ProcessingUpdateContentBlockCreateDict"], kw_only=True, @@ -5286,11 +4321,6 @@ class ProcessingUpdateContentBlockCreateDict(TypedDict): suffix: NotRequired[str | None] -############################################################################### -# ProcessingUpdateContentBlockSetStyle -############################################################################### - - class ProcessingUpdateContentBlockSetStyle( LMStudioStruct["ProcessingUpdateContentBlockSetStyleDict"], kw_only=True, @@ -5316,11 +4346,6 @@ class ProcessingUpdateContentBlockSetStyleDict(TypedDict): style: ContentBlockStyle -############################################################################### -# StatusStepState -############################################################################### - - class StatusStepState(LMStudioStruct["StatusStepStateDict"], kw_only=True): status: StatusStepStatus text: str @@ -5338,16 +4363,9 @@ class StatusStepStateDict(TypedDict): ModelInfo = LlmInfo | EmbeddingModelInfo - - ModelInstanceInfo = LlmInstanceInfo | EmbeddingModelInstanceInfo -############################################################################### -# ModelInfoBase -############################################################################### - - class ModelInfoBase(LMStudioStruct["ModelInfoBaseDict"], kw_only=True): model_key: ModelKey = field(name="modelKey") format: ModelCompatibilityType @@ -5374,11 +4392,6 @@ class ModelInfoBaseDict(TypedDict): architecture: NotRequired[str | None] -############################################################################### -# ModelInstanceInfoBase -############################################################################### - - class ModelInstanceInfoBase(LMStudioStruct["ModelInstanceInfoBaseDict"], kw_only=True): model_key: ModelKey = field(name="modelKey") format: ModelCompatibilityType @@ -5409,11 +4422,6 @@ class ModelInstanceInfoBaseDict(TypedDict): architecture: NotRequired[str | None] -############################################################################### -# ModelManifest -############################################################################### - - class ModelManifest( LMStudioStruct["ModelManifestDict"], kw_only=True, tag_field="type", tag="model" ): @@ -5440,11 +4448,6 @@ class ModelManifestDict(TypedDict): revision: NotRequired[int | None] -############################################################################### -# ModelQuery -############################################################################### - - class ModelQuery(LMStudioStruct["ModelQueryDict"], kw_only=True): domain: ModelDomainType | None = None identifier: ReasonableKeyString | None = None @@ -5465,11 +4468,6 @@ class ModelQueryDict(TypedDict): vision: NotRequired[bool | None] -############################################################################### -# PluginManifest -############################################################################### - - class PluginManifest( LMStudioStruct["PluginManifestDict"], kw_only=True, tag_field="type", tag="plugin" ): @@ -5496,11 +4494,6 @@ class PluginManifestDict(TypedDict): revision: NotRequired[int | None] -############################################################################### -# PresetManifest -############################################################################### - - class PresetManifest( LMStudioStruct["PresetManifestDict"], kw_only=True, tag_field="type", tag="preset" ): @@ -5528,16 +4521,9 @@ class PresetManifestDict(TypedDict): ModelSearchResultIdentifier = ( ModelSearchResultIdentifierCatalog | ModelSearchResultIdentifierHf ) - - RetrievalChunkingMethod = RetrievalChunkingMethodRecursiveV1 -############################################################################### -# Accelerator -############################################################################### - - class Accelerator(LMStudioStruct["AcceleratorDict"], kw_only=True): name: str device_id: int = field(name="deviceId") @@ -5558,11 +4544,6 @@ class AcceleratorDict(TypedDict): type: AcceleratorType -############################################################################### -# Runtime -############################################################################### - - class Runtime(LMStudioStruct["RuntimeDict"], kw_only=True): key: str name: str @@ -5581,11 +4562,6 @@ class RuntimeDict(TypedDict): accelerators: Sequence[AcceleratorDict] -############################################################################### -# KvConfigSchematicsDeserializationError -############################################################################### - - class KvConfigSchematicsDeserializationError( LMStudioStruct["KvConfigSchematicsDeserializationErrorDict"], kw_only=True ): @@ -5604,11 +4580,6 @@ class KvConfigSchematicsDeserializationErrorDict(TypedDict): error: AdditionalProperties -############################################################################### -# SerializedKVConfigSchematicsField -############################################################################### - - class SerializedKVConfigSchematicsField( LMStudioStruct["SerializedKVConfigSchematicsFieldDict"], kw_only=True ): @@ -5633,11 +4604,6 @@ class SerializedKVConfigSchematicsFieldDict(TypedDict): defaultValue: AdditionalProperties -############################################################################### -# SerializedKVConfigSchematics -############################################################################### - - class SerializedKVConfigSchematics( LMStudioStruct["SerializedKVConfigSchematicsDict"], kw_only=True ): @@ -5657,16 +4623,9 @@ class SerializedKVConfigSchematicsDict(TypedDict): DiagnosticsChannelStreamLogsToServerPacket = ( DiagnosticsChannelStreamLogsToServerPacketStop ) - - EmbeddingRpcListLoadedReturns = Sequence[EmbeddingModelInstanceInfo] -############################################################################### -# PseudoEmbeddingRpcListLoaded -############################################################################### - - class PseudoEmbeddingRpcListLoaded( LMStudioStruct["PseudoEmbeddingRpcListLoadedDict"], kw_only=True ): @@ -5685,11 +4644,6 @@ class PseudoEmbeddingRpcListLoadedDict(TypedDict): parameter: NotRequired[EmbeddingRpcListLoadedParameter | None] -############################################################################### -# EmbeddingRpcGetLoadConfigReturns -############################################################################### - - class EmbeddingRpcGetLoadConfigReturns( LMStudioStruct["EmbeddingRpcGetLoadConfigReturnsDict"], kw_only=True ): @@ -5707,16 +4661,9 @@ class EmbeddingRpcGetLoadConfigReturnsDict(TypedDict): EmbeddingChannelLoadModelToServerPacket = EmbeddingChannelLoadModelToServerPacketCancel - - EmbeddingChannelGetOrLoadToServerPacket = EmbeddingChannelGetOrLoadToServerPacketCancel -############################################################################### -# FilesChannelRetrieveCreationParameter -############################################################################### - - class FilesChannelRetrieveCreationParameter( LMStudioStruct["FilesChannelRetrieveCreationParameterDict"], kw_only=True ): @@ -5748,16 +4695,9 @@ class FilesChannelRetrieveCreationParameterDict(TypedDict): | FilesChannelRetrieveToClientPacketOnSearchingEnd | FilesChannelRetrieveToClientPacketResult ) - - FilesChannelRetrieveToServerPacket = FilesChannelRetrieveToServerPacketStop -############################################################################### -# PseudoFilesChannelRetrieve -############################################################################### - - class PseudoFilesChannelRetrieve( LMStudioStruct["PseudoFilesChannelRetrieveDict"], kw_only=True ): @@ -5780,11 +4720,6 @@ class PseudoFilesChannelRetrieveDict(TypedDict): toServerPacket: FilesChannelRetrieveToServerPacket -############################################################################### -# PseudoFiles -############################################################################### - - class PseudoFiles(LMStudioStruct["PseudoFilesDict"], kw_only=True): rpc_get_local_file_absolute_path: PseudoFilesRpcGetLocalFileAbsolutePath = field( name="rpcGetLocalFileAbsolutePath" @@ -5810,11 +4745,6 @@ class PseudoFilesDict(TypedDict): LlmRpcListLoadedReturns = Sequence[LlmInstanceInfo] -############################################################################### -# PseudoLlmRpcListLoaded -############################################################################### - - class PseudoLlmRpcListLoaded( LMStudioStruct["PseudoLlmRpcListLoadedDict"], kw_only=True ): @@ -5833,11 +4763,6 @@ class PseudoLlmRpcListLoadedDict(TypedDict): parameter: NotRequired[LlmRpcListLoadedParameter | None] -############################################################################### -# LlmRpcGetLoadConfigReturns -############################################################################### - - class LlmRpcGetLoadConfigReturns( LMStudioStruct["LlmRpcGetLoadConfigReturnsDict"], kw_only=True ): @@ -5855,19 +4780,10 @@ class LlmRpcGetLoadConfigReturnsDict(TypedDict): LlmChannelLoadModelToServerPacket = LlmChannelLoadModelToServerPacketCancel - - LlmChannelGetOrLoadToServerPacket = LlmChannelGetOrLoadToServerPacketCancel - - LlmChannelPredictToServerPacket = LlmChannelPredictToServerPacketCancel -############################################################################### -# PluginsRpcSetConfigSchematicsParameter -############################################################################### - - class PluginsRpcSetConfigSchematicsParameter( LMStudioStruct["PluginsRpcSetConfigSchematicsParameterDict"], kw_only=True ): @@ -5884,11 +4800,6 @@ class PluginsRpcSetConfigSchematicsParameterDict(TypedDict): schematics: SerializedKVConfigSchematicsDict -############################################################################### -# PseudoPluginsRpcSetConfigSchematics -############################################################################### - - class PseudoPluginsRpcSetConfigSchematics( LMStudioStruct["PseudoPluginsRpcSetConfigSchematicsDict"], kw_only=True ): @@ -5905,11 +4816,6 @@ class PseudoPluginsRpcSetConfigSchematicsDict(TypedDict): parameter: PluginsRpcSetConfigSchematicsParameterDict -############################################################################### -# PluginsChannelRegisterDevelopmentPluginCreationParameter -############################################################################### - - class PluginsChannelRegisterDevelopmentPluginCreationParameter( LMStudioStruct["PluginsChannelRegisterDevelopmentPluginCreationParameterDict"], kw_only=True, @@ -5930,18 +4836,11 @@ class PluginsChannelRegisterDevelopmentPluginCreationParameterDict(TypedDict): PluginsChannelRegisterDevelopmentPluginToClientPacket = ( PluginsChannelRegisterDevelopmentPluginToClientPacketReady ) - - PluginsChannelRegisterDevelopmentPluginToServerPacket = ( PluginsChannelRegisterDevelopmentPluginToServerPacketEnd ) -############################################################################### -# PseudoPluginsChannelRegisterDevelopmentPlugin -############################################################################### - - class PseudoPluginsChannelRegisterDevelopmentPlugin( LMStudioStruct["PseudoPluginsChannelRegisterDevelopmentPluginDict"], kw_only=True ): @@ -5975,11 +4874,6 @@ class PseudoPluginsChannelRegisterDevelopmentPluginDict(TypedDict): ) -############################################################################### -# RepositoryRpcGetModelDownloadOptionsParameter -############################################################################### - - class RepositoryRpcGetModelDownloadOptionsParameter( LMStudioStruct["RepositoryRpcGetModelDownloadOptionsParameterDict"], kw_only=True ): @@ -5998,11 +4892,6 @@ class RepositoryRpcGetModelDownloadOptionsParameterDict(TypedDict): modelSearchResultIdentifier: ModelSearchResultIdentifier -############################################################################### -# PseudoRepositoryRpcGetModelDownloadOptions -############################################################################### - - class PseudoRepositoryRpcGetModelDownloadOptions( LMStudioStruct["PseudoRepositoryRpcGetModelDownloadOptionsDict"], kw_only=True ): @@ -6026,24 +4915,15 @@ class PseudoRepositoryRpcGetModelDownloadOptionsDict(TypedDict): | RepositoryChannelDownloadModelToClientPacketStartFinalizing | RepositoryChannelDownloadModelToClientPacketSuccess ) - - RepositoryChannelDownloadModelToServerPacket = ( RepositoryChannelDownloadModelToServerPacketCancel ) -############################################################################### -# PseudoRepositoryChannelDownloadModel -############################################################################### - - class PseudoRepositoryChannelDownloadModel( LMStudioStruct["PseudoRepositoryChannelDownloadModelDict"], kw_only=True ): - creation_parameter: RepositoryChannelDownloadModelCreationParameter = field( - name="creationParameter" - ) + creation_parameter: DownloadModelChannelRequest = field(name="creationParameter") to_client_packet: RepositoryChannelDownloadModelToClientPacket = field( name="toClientPacket" ) @@ -6059,7 +4939,7 @@ class PseudoRepositoryChannelDownloadModelDict(TypedDict): as that is what `to_dict()` emits, and what `_from_api_dict()` accepts. """ - creationParameter: RepositoryChannelDownloadModelCreationParameterDict + creationParameter: DownloadModelChannelRequestDict toClientPacket: RepositoryChannelDownloadModelToClientPacket toServerPacket: RepositoryChannelDownloadModelToServerPacket @@ -6069,18 +4949,11 @@ class PseudoRepositoryChannelDownloadModelDict(TypedDict): | RepositoryChannelDownloadArtifactToClientPacketStartFinalizing | RepositoryChannelDownloadArtifactToClientPacketSuccess ) - - RepositoryChannelDownloadArtifactToServerPacket = ( RepositoryChannelDownloadArtifactToServerPacketCancel ) -############################################################################### -# PseudoRepositoryChannelDownloadArtifact -############################################################################### - - class PseudoRepositoryChannelDownloadArtifact( LMStudioStruct["PseudoRepositoryChannelDownloadArtifactDict"], kw_only=True ): @@ -6112,11 +4985,6 @@ class PseudoRepositoryChannelDownloadArtifactDict(TypedDict): ) -############################################################################### -# PseudoRepositoryChannelPushArtifact -############################################################################### - - class PseudoRepositoryChannelPushArtifact( LMStudioStruct["PseudoRepositoryChannelPushArtifactDict"], kw_only=True ): @@ -6145,11 +5013,6 @@ class PseudoRepositoryChannelPushArtifactDict(TypedDict): ) -############################################################################### -# PseudoRepositoryChannelEnsureAuthenticated -############################################################################### - - class PseudoRepositoryChannelEnsureAuthenticated( LMStudioStruct["PseudoRepositoryChannelEnsureAuthenticatedDict"], kw_only=True ): @@ -6171,11 +5034,6 @@ class PseudoRepositoryChannelEnsureAuthenticatedDict(TypedDict): SystemRpcListDownloadedModelsReturns = Sequence[ModelInfo] -############################################################################### -# PseudoSystemRpcListDownloadedModels -############################################################################### - - class PseudoSystemRpcListDownloadedModels( LMStudioStruct["PseudoSystemRpcListDownloadedModelsDict"], kw_only=True ): @@ -6192,11 +5050,6 @@ class PseudoSystemRpcListDownloadedModelsDict(TypedDict): returns: SystemRpcListDownloadedModelsReturns -############################################################################### -# SystemRpcNotifyParameter -############################################################################### - - class SystemRpcNotifyParameter( LMStudioStruct["SystemRpcNotifyParameterDict"], kw_only=True ): @@ -6217,11 +5070,6 @@ class SystemRpcNotifyParameterDict(TypedDict): noAutoDismiss: NotRequired[bool | None] -############################################################################### -# PseudoSystemRpcNotify -############################################################################### - - class PseudoSystemRpcNotify(LMStudioStruct["PseudoSystemRpcNotifyDict"], kw_only=True): parameter: SystemRpcNotifyParameter @@ -6236,11 +5084,6 @@ class PseudoSystemRpcNotifyDict(TypedDict): parameter: SystemRpcNotifyParameterDict -############################################################################### -# PseudoSystem -############################################################################### - - class PseudoSystem(LMStudioStruct["PseudoSystemDict"], kw_only=True): rpc_list_downloaded_models: PseudoSystemRpcListDownloadedModels = field( name="rpcListDownloadedModels" @@ -6263,26 +5106,17 @@ class PseudoSystemDict(TypedDict): channelAlive: PseudoSystemChannelAlive -############################################################################### -# ChatMessageDataAssistant -############################################################################### - - -class ChatMessageDataAssistant( - LMStudioStruct["ChatMessageDataAssistantDict"], +class AssistantResponse( + LMStudioStruct["AssistantResponseDict"], kw_only=True, tag_field="role", tag="assistant", ): role: ClassVar[Annotated[Literal["assistant"], Meta(title="Role")]] = "assistant" - content: Sequence[ - ChatMessagePartTextData - | ChatMessagePartFileData - | ChatMessagePartToolCallRequestData - ] + content: Sequence[TextData | FileHandle | ToolCallRequestData] -class ChatMessageDataAssistantDict(TypedDict): +class AssistantResponseDict(TypedDict): """Corresponding typed dictionary definition for ChatMessageDataAssistant. NOTE: Multi-word keys are defined using their camelCase form, @@ -6290,29 +5124,17 @@ class ChatMessageDataAssistantDict(TypedDict): """ role: Literal["assistant"] - content: Sequence[ - ChatMessagePartTextDataDict - | ChatMessagePartFileDataDict - | ChatMessagePartToolCallRequestDataDict - ] - + content: Sequence[TextDataDict | FileHandleDict | ToolCallRequestDataDict] -############################################################################### -# ChatMessageDataUser -############################################################################### - -class ChatMessageDataUser( - LMStudioStruct["ChatMessageDataUserDict"], - kw_only=True, - tag_field="role", - tag="user", +class UserMessage( + LMStudioStruct["UserMessageDict"], kw_only=True, tag_field="role", tag="user" ): role: ClassVar[Annotated[Literal["user"], Meta(title="Role")]] = "user" - content: Sequence[ChatMessagePartTextData | ChatMessagePartFileData] + content: Sequence[TextData | FileHandle] -class ChatMessageDataUserDict(TypedDict): +class UserMessageDict(TypedDict): """Corresponding typed dictionary definition for ChatMessageDataUser. NOTE: Multi-word keys are defined using their camelCase form, @@ -6320,25 +5142,17 @@ class ChatMessageDataUserDict(TypedDict): """ role: Literal["user"] - content: Sequence[ChatMessagePartTextDataDict | ChatMessagePartFileDataDict] - + content: Sequence[TextDataDict | FileHandleDict] -############################################################################### -# ChatMessageDataSystem -############################################################################### - -class ChatMessageDataSystem( - LMStudioStruct["ChatMessageDataSystemDict"], - kw_only=True, - tag_field="role", - tag="system", +class SystemPrompt( + LMStudioStruct["SystemPromptDict"], kw_only=True, tag_field="role", tag="system" ): role: ClassVar[Annotated[Literal["system"], Meta(title="Role")]] = "system" - content: Sequence[ChatMessagePartTextData | ChatMessagePartFileData] + content: Sequence[TextData | FileHandle] -class ChatMessageDataSystemDict(TypedDict): +class SystemPromptDict(TypedDict): """Corresponding typed dictionary definition for ChatMessageDataSystem. NOTE: Multi-word keys are defined using their camelCase form, @@ -6346,12 +5160,7 @@ class ChatMessageDataSystemDict(TypedDict): """ role: Literal["system"] - content: Sequence[ChatMessagePartTextDataDict | ChatMessagePartFileDataDict] - - -############################################################################### -# ErrorDisplayDataGenericNoModelMatchingQuery -############################################################################### + content: Sequence[TextDataDict | FileHandleDict] class ErrorDisplayDataGenericNoModelMatchingQuery( @@ -6386,11 +5195,6 @@ class ErrorDisplayDataGenericNoModelMatchingQueryDict(TypedDict): ) -############################################################################### -# LlmJinjaInputMessagesContentConfigString -############################################################################### - - class LlmJinjaInputMessagesContentConfigString( LMStudioStruct["LlmJinjaInputMessagesContentConfigStringDict"], kw_only=True, @@ -6414,11 +5218,6 @@ class LlmJinjaInputMessagesContentConfigStringDict(TypedDict): imagesConfig: NotRequired[LlmJinjaInputMessagesContentImagesConfig | None] -############################################################################### -# LlmJinjaInputMessagesContentConfigArray -############################################################################### - - class LlmJinjaInputMessagesContentConfigArray( LMStudioStruct["LlmJinjaInputMessagesContentConfigArrayDict"], kw_only=True, @@ -6446,11 +5245,6 @@ class LlmJinjaInputMessagesContentConfigArrayDict(TypedDict): imagesConfig: NotRequired[LlmJinjaInputMessagesContentImagesConfig | None] -############################################################################### -# LlmToolParametersObject -############################################################################### - - class LlmToolParametersObject( LMStudioStruct["LlmToolParametersObjectDict"], kw_only=True ): @@ -6475,11 +5269,6 @@ class LlmToolParametersObjectDict(TypedDict): additionalProperties: NotRequired[bool | None] -############################################################################### -# ModelSpecifierQuery -############################################################################### - - class ModelSpecifierQuery( LMStudioStruct["ModelSpecifierQueryDict"], kw_only=True, @@ -6501,11 +5290,6 @@ class ModelSpecifierQueryDict(TypedDict): query: ModelQueryDict -############################################################################### -# DiagnosticsChannelStreamLogsToClientPacketLog -############################################################################### - - class DiagnosticsChannelStreamLogsToClientPacketLog( LMStudioStruct["DiagnosticsChannelStreamLogsToClientPacketLogDict"], kw_only=True ): @@ -6527,11 +5311,6 @@ class DiagnosticsChannelStreamLogsToClientPacketLogDict(TypedDict): EmbeddingRpcGetModelInfoReturnValue = EmbeddingModelInstanceInfo -############################################################################### -# EmbeddingChannelLoadModelToClientPacketResolved -############################################################################### - - class EmbeddingChannelLoadModelToClientPacketResolved( LMStudioStruct["EmbeddingChannelLoadModelToClientPacketResolvedDict"], kw_only=True, @@ -6555,11 +5334,6 @@ class EmbeddingChannelLoadModelToClientPacketResolvedDict(TypedDict): ambiguous: NotRequired[Sequence[str] | None] -############################################################################### -# EmbeddingChannelLoadModelToClientPacketSuccess -############################################################################### - - class EmbeddingChannelLoadModelToClientPacketSuccess( LMStudioStruct["EmbeddingChannelLoadModelToClientPacketSuccessDict"], kw_only=True, @@ -6581,11 +5355,6 @@ class EmbeddingChannelLoadModelToClientPacketSuccessDict(TypedDict): info: EmbeddingModelInstanceInfoDict -############################################################################### -# EmbeddingChannelGetOrLoadToClientPacketAlreadyLoaded -############################################################################### - - class EmbeddingChannelGetOrLoadToClientPacketAlreadyLoaded( LMStudioStruct["EmbeddingChannelGetOrLoadToClientPacketAlreadyLoadedDict"], kw_only=True, @@ -6609,11 +5378,6 @@ class EmbeddingChannelGetOrLoadToClientPacketAlreadyLoadedDict(TypedDict): info: EmbeddingModelInstanceInfoDict -############################################################################### -# EmbeddingChannelGetOrLoadToClientPacketStartLoading -############################################################################### - - class EmbeddingChannelGetOrLoadToClientPacketStartLoading( LMStudioStruct["EmbeddingChannelGetOrLoadToClientPacketStartLoadingDict"], kw_only=True, @@ -6639,11 +5403,6 @@ class EmbeddingChannelGetOrLoadToClientPacketStartLoadingDict(TypedDict): info: EmbeddingModelInfoDict -############################################################################### -# EmbeddingChannelGetOrLoadToClientPacketUnloadingOtherJITModel -############################################################################### - - class EmbeddingChannelGetOrLoadToClientPacketUnloadingOtherJITModel( LMStudioStruct["EmbeddingChannelGetOrLoadToClientPacketUnloadingOtherJITModelDict"], kw_only=True, @@ -6667,11 +5426,6 @@ class EmbeddingChannelGetOrLoadToClientPacketUnloadingOtherJITModelDict(TypedDic info: ModelInstanceInfo -############################################################################### -# EmbeddingChannelGetOrLoadToClientPacketLoadSuccess -############################################################################### - - class EmbeddingChannelGetOrLoadToClientPacketLoadSuccess( LMStudioStruct["EmbeddingChannelGetOrLoadToClientPacketLoadSuccessDict"], kw_only=True, @@ -6698,11 +5452,6 @@ class EmbeddingChannelGetOrLoadToClientPacketLoadSuccessDict(TypedDict): LlmRpcGetModelInfoReturnValue = LlmInstanceInfo -############################################################################### -# LlmChannelLoadModelToClientPacketResolved -############################################################################### - - class LlmChannelLoadModelToClientPacketResolved( LMStudioStruct["LlmChannelLoadModelToClientPacketResolvedDict"], kw_only=True, @@ -6726,11 +5475,6 @@ class LlmChannelLoadModelToClientPacketResolvedDict(TypedDict): ambiguous: NotRequired[Sequence[str] | None] -############################################################################### -# LlmChannelLoadModelToClientPacketSuccess -############################################################################### - - class LlmChannelLoadModelToClientPacketSuccess( LMStudioStruct["LlmChannelLoadModelToClientPacketSuccessDict"], kw_only=True, @@ -6752,11 +5496,6 @@ class LlmChannelLoadModelToClientPacketSuccessDict(TypedDict): info: LlmInstanceInfoDict -############################################################################### -# LlmChannelGetOrLoadToClientPacketAlreadyLoaded -############################################################################### - - class LlmChannelGetOrLoadToClientPacketAlreadyLoaded( LMStudioStruct["LlmChannelGetOrLoadToClientPacketAlreadyLoadedDict"], kw_only=True, @@ -6780,11 +5519,6 @@ class LlmChannelGetOrLoadToClientPacketAlreadyLoadedDict(TypedDict): info: LlmInstanceInfoDict -############################################################################### -# LlmChannelGetOrLoadToClientPacketStartLoading -############################################################################### - - class LlmChannelGetOrLoadToClientPacketStartLoading( LMStudioStruct["LlmChannelGetOrLoadToClientPacketStartLoadingDict"], kw_only=True, @@ -6810,11 +5544,6 @@ class LlmChannelGetOrLoadToClientPacketStartLoadingDict(TypedDict): info: LlmInfoDict -############################################################################### -# LlmChannelGetOrLoadToClientPacketUnloadingOtherJITModel -############################################################################### - - class LlmChannelGetOrLoadToClientPacketUnloadingOtherJITModel( LMStudioStruct["LlmChannelGetOrLoadToClientPacketUnloadingOtherJITModelDict"], kw_only=True, @@ -6838,11 +5567,6 @@ class LlmChannelGetOrLoadToClientPacketUnloadingOtherJITModelDict(TypedDict): info: ModelInstanceInfo -############################################################################### -# LlmChannelGetOrLoadToClientPacketLoadSuccess -############################################################################### - - class LlmChannelGetOrLoadToClientPacketLoadSuccess( LMStudioStruct["LlmChannelGetOrLoadToClientPacketLoadSuccessDict"], kw_only=True, @@ -6866,11 +5590,6 @@ class LlmChannelGetOrLoadToClientPacketLoadSuccessDict(TypedDict): info: LlmInstanceInfoDict -############################################################################### -# LlmChannelPredictToClientPacketSuccess -############################################################################### - - class LlmChannelPredictToClientPacketSuccess( LMStudioStruct["LlmChannelPredictToClientPacketSuccessDict"], kw_only=True, @@ -6898,11 +5617,6 @@ class LlmChannelPredictToClientPacketSuccessDict(TypedDict): predictionConfig: LlmRpcGetLoadConfigReturnsDict -############################################################################### -# PluginsChannelSetGeneratorToClientPacketGenerate -############################################################################### - - class PluginsChannelSetGeneratorToClientPacketGenerate( LMStudioStruct["PluginsChannelSetGeneratorToClientPacketGenerateDict"], kw_only=True, @@ -6933,33 +5647,11 @@ class PluginsChannelSetGeneratorToClientPacketGenerateDict(TypedDict): ArtifactManifest = PluginManifest | PresetManifest | ModelManifest - - -ChatMessageData = ( - ChatMessageDataAssistant - | ChatMessageDataUser - | ChatMessageDataSystem - | ChatMessageDataTool -) -ChatMessageDataDict = ( - ChatMessageDataAssistantDict - | ChatMessageDataUserDict - | ChatMessageDataSystemDict - | ChatMessageDataToolDict +AnyChatMessage = AssistantResponse | UserMessage | SystemPrompt | ToolResultMessage +AnyChatMessageDict = ( + AssistantResponseDict | UserMessageDict | SystemPromptDict | ToolResultMessageDict ) - - -ChatMessagePartData = ( - ChatMessagePartTextData - | ChatMessagePartFileData - | ChatMessagePartToolCallRequestData - | ChatMessagePartToolCallResultData -) - - -############################################################################### -# EmbeddingLoadModelConfig -############################################################################### +ChatMessagePartData = TextData | FileHandle | ToolCallRequestData | ToolCallResultData class EmbeddingLoadModelConfig( @@ -7001,11 +5693,6 @@ class EmbeddingLoadModelConfigDict(TypedDict): ) -############################################################################### -# KvConfigFieldDependency -############################################################################### - - class KvConfigFieldDependency( LMStudioStruct["KvConfigFieldDependencyDict"], kw_only=True ): @@ -7024,11 +5711,6 @@ class KvConfigFieldDependencyDict(TypedDict): condition: KvConfigFieldDependencyCondition -############################################################################### -# LlmGenInfo -############################################################################### - - class LlmGenInfo(LMStudioStruct["LlmGenInfoDict"], kw_only=True): indexed_model_identifier: str = field(name="indexedModelIdentifier") identifier: str @@ -7054,16 +5736,9 @@ class LlmGenInfoDict(TypedDict): LlmJinjaInputMessagesContentConfig = ( LlmJinjaInputMessagesContentConfigString | LlmJinjaInputMessagesContentConfigArray ) - - LlmToolParameters = LlmToolParametersObject -############################################################################### -# ProcessingUpdateContentBlockAttachGenInfo -############################################################################### - - class ProcessingUpdateContentBlockAttachGenInfo( LMStudioStruct["ProcessingUpdateContentBlockAttachGenInfoDict"], kw_only=True, @@ -7089,11 +5764,6 @@ class ProcessingUpdateContentBlockAttachGenInfoDict(TypedDict): genInfo: LlmGenInfoDict -############################################################################### -# ProcessingUpdateStatusCreate -############################################################################### - - class ProcessingUpdateStatusCreate( LMStudioStruct["ProcessingUpdateStatusCreateDict"], kw_only=True, @@ -7123,11 +5793,6 @@ class ProcessingUpdateStatusCreateDict(TypedDict): indentation: NotRequired[int | None] -############################################################################### -# ProcessingUpdateStatusUpdate -############################################################################### - - class ProcessingUpdateStatusUpdate( LMStudioStruct["ProcessingUpdateStatusUpdateDict"], kw_only=True, @@ -7157,11 +5822,6 @@ class ProcessingUpdateStatusUpdateDict(TypedDict): ModelSpecifierDict = ModelSpecifierQueryDict | ModelSpecifierInstanceReferenceDict -############################################################################### -# ModelSearchResultEntryData -############################################################################### - - class ModelSearchResultEntryData( LMStudioStruct["ModelSearchResultEntryDataDict"], kw_only=True ): @@ -7189,11 +5849,6 @@ class ModelSearchResultEntryDataDict(TypedDict): ) -############################################################################### -# PseudoDiagnosticsChannelStreamLogs -############################################################################### - - class PseudoDiagnosticsChannelStreamLogs( LMStudioStruct["PseudoDiagnosticsChannelStreamLogsDict"], kw_only=True ): @@ -7216,11 +5871,6 @@ class PseudoDiagnosticsChannelStreamLogsDict(TypedDict): toServerPacket: DiagnosticsChannelStreamLogsToServerPacket -############################################################################### -# PseudoDiagnostics -############################################################################### - - class PseudoDiagnostics(LMStudioStruct["PseudoDiagnosticsDict"], kw_only=True): channel_stream_logs: PseudoDiagnosticsChannelStreamLogs = field( name="channelStreamLogs" @@ -7237,11 +5887,6 @@ class PseudoDiagnosticsDict(TypedDict): channelStreamLogs: PseudoDiagnosticsChannelStreamLogsDict -############################################################################### -# EmbeddingRpcGetModelInfoParameter -############################################################################### - - class EmbeddingRpcGetModelInfoParameter( LMStudioStruct["EmbeddingRpcGetModelInfoParameterDict"], kw_only=True ): @@ -7263,11 +5908,6 @@ class EmbeddingRpcGetModelInfoParameterDict(TypedDict): EmbeddingRpcGetModelInfoReturns = EmbeddingRpcGetModelInfoReturnValue | None -############################################################################### -# PseudoEmbeddingRpcGetModelInfo -############################################################################### - - class PseudoEmbeddingRpcGetModelInfo( LMStudioStruct["PseudoEmbeddingRpcGetModelInfoDict"], kw_only=True ): @@ -7286,11 +5926,6 @@ class PseudoEmbeddingRpcGetModelInfoDict(TypedDict): returns: NotRequired[EmbeddingRpcGetModelInfoReturns | None] -############################################################################### -# EmbeddingRpcGetLoadConfigParameter -############################################################################### - - class EmbeddingRpcGetLoadConfigParameter( LMStudioStruct["EmbeddingRpcGetLoadConfigParameterDict"], kw_only=True ): @@ -7307,11 +5942,6 @@ class EmbeddingRpcGetLoadConfigParameterDict(TypedDict): specifier: ModelSpecifierDict -############################################################################### -# PseudoEmbeddingRpcGetLoadConfig -############################################################################### - - class PseudoEmbeddingRpcGetLoadConfig( LMStudioStruct["PseudoEmbeddingRpcGetLoadConfigDict"], kw_only=True ): @@ -7330,11 +5960,6 @@ class PseudoEmbeddingRpcGetLoadConfigDict(TypedDict): returns: EmbeddingRpcGetLoadConfigReturnsDict -############################################################################### -# EmbeddingRpcEmbedStringParameter -############################################################################### - - class EmbeddingRpcEmbedStringParameter( LMStudioStruct["EmbeddingRpcEmbedStringParameterDict"], kw_only=True ): @@ -7353,11 +5978,6 @@ class EmbeddingRpcEmbedStringParameterDict(TypedDict): inputString: str -############################################################################### -# PseudoEmbeddingRpcEmbedString -############################################################################### - - class PseudoEmbeddingRpcEmbedString( LMStudioStruct["PseudoEmbeddingRpcEmbedStringDict"], kw_only=True ): @@ -7376,11 +5996,6 @@ class PseudoEmbeddingRpcEmbedStringDict(TypedDict): returns: EmbeddingRpcEmbedStringReturnsDict -############################################################################### -# EmbeddingRpcTokenizeParameter -############################################################################### - - class EmbeddingRpcTokenizeParameter( LMStudioStruct["EmbeddingRpcTokenizeParameterDict"], kw_only=True ): @@ -7399,11 +6014,6 @@ class EmbeddingRpcTokenizeParameterDict(TypedDict): inputString: str -############################################################################### -# PseudoEmbeddingRpcTokenize -############################################################################### - - class PseudoEmbeddingRpcTokenize( LMStudioStruct["PseudoEmbeddingRpcTokenizeDict"], kw_only=True ): @@ -7422,11 +6032,6 @@ class PseudoEmbeddingRpcTokenizeDict(TypedDict): returns: EmbeddingRpcTokenizeReturnsDict -############################################################################### -# EmbeddingRpcCountTokensParameter -############################################################################### - - class EmbeddingRpcCountTokensParameter( LMStudioStruct["EmbeddingRpcCountTokensParameterDict"], kw_only=True ): @@ -7445,11 +6050,6 @@ class EmbeddingRpcCountTokensParameterDict(TypedDict): inputString: str -############################################################################### -# PseudoEmbeddingRpcCountTokens -############################################################################### - - class PseudoEmbeddingRpcCountTokens( LMStudioStruct["PseudoEmbeddingRpcCountTokensDict"], kw_only=True ): @@ -7475,11 +6075,6 @@ class PseudoEmbeddingRpcCountTokensDict(TypedDict): ) -############################################################################### -# PseudoEmbeddingChannelLoadModel -############################################################################### - - class PseudoEmbeddingChannelLoadModel( LMStudioStruct["PseudoEmbeddingChannelLoadModelDict"], kw_only=True ): @@ -7515,11 +6110,6 @@ class PseudoEmbeddingChannelLoadModelDict(TypedDict): ) -############################################################################### -# PseudoEmbeddingChannelGetOrLoad -############################################################################### - - class PseudoEmbeddingChannelGetOrLoad( LMStudioStruct["PseudoEmbeddingChannelGetOrLoadDict"], kw_only=True ): @@ -7546,11 +6136,6 @@ class PseudoEmbeddingChannelGetOrLoadDict(TypedDict): toServerPacket: EmbeddingChannelGetOrLoadToServerPacket -############################################################################### -# PseudoEmbedding -############################################################################### - - class PseudoEmbedding(LMStudioStruct["PseudoEmbeddingDict"], kw_only=True): rpc_unload_model: PseudoEmbeddingRpcUnloadModel = field(name="rpcUnloadModel") rpc_list_loaded: PseudoEmbeddingRpcListLoaded = field(name="rpcListLoaded") @@ -7585,11 +6170,6 @@ class PseudoEmbeddingDict(TypedDict): channelGetOrLoad: PseudoEmbeddingChannelGetOrLoadDict -############################################################################### -# LlmRpcGetModelInfoParameter -############################################################################### - - class LlmRpcGetModelInfoParameter( LMStudioStruct["LlmRpcGetModelInfoParameterDict"], kw_only=True ): @@ -7611,11 +6191,6 @@ class LlmRpcGetModelInfoParameterDict(TypedDict): LlmRpcGetModelInfoReturns = LlmRpcGetModelInfoReturnValue | None -############################################################################### -# PseudoLlmRpcGetModelInfo -############################################################################### - - class PseudoLlmRpcGetModelInfo( LMStudioStruct["PseudoLlmRpcGetModelInfoDict"], kw_only=True ): @@ -7634,11 +6209,6 @@ class PseudoLlmRpcGetModelInfoDict(TypedDict): returns: NotRequired[LlmRpcGetModelInfoReturns | None] -############################################################################### -# LlmRpcGetLoadConfigParameter -############################################################################### - - class LlmRpcGetLoadConfigParameter( LMStudioStruct["LlmRpcGetLoadConfigParameterDict"], kw_only=True ): @@ -7655,11 +6225,6 @@ class LlmRpcGetLoadConfigParameterDict(TypedDict): specifier: ModelSpecifierDict -############################################################################### -# PseudoLlmRpcGetLoadConfig -############################################################################### - - class PseudoLlmRpcGetLoadConfig( LMStudioStruct["PseudoLlmRpcGetLoadConfigDict"], kw_only=True ): @@ -7678,11 +6243,6 @@ class PseudoLlmRpcGetLoadConfigDict(TypedDict): returns: LlmRpcGetLoadConfigReturnsDict -############################################################################### -# LlmRpcTokenizeParameter -############################################################################### - - class LlmRpcTokenizeParameter( LMStudioStruct["LlmRpcTokenizeParameterDict"], kw_only=True ): @@ -7701,11 +6261,6 @@ class LlmRpcTokenizeParameterDict(TypedDict): inputString: str -############################################################################### -# PseudoLlmRpcTokenize -############################################################################### - - class PseudoLlmRpcTokenize(LMStudioStruct["PseudoLlmRpcTokenizeDict"], kw_only=True): parameter: LlmRpcTokenizeParameter returns: LlmRpcTokenizeReturns @@ -7722,11 +6277,6 @@ class PseudoLlmRpcTokenizeDict(TypedDict): returns: LlmRpcTokenizeReturnsDict -############################################################################### -# LlmRpcCountTokensParameter -############################################################################### - - class LlmRpcCountTokensParameter( LMStudioStruct["LlmRpcCountTokensParameterDict"], kw_only=True ): @@ -7745,11 +6295,6 @@ class LlmRpcCountTokensParameterDict(TypedDict): inputString: str -############################################################################### -# PseudoLlmRpcCountTokens -############################################################################### - - class PseudoLlmRpcCountTokens( LMStudioStruct["PseudoLlmRpcCountTokensDict"], kw_only=True ): @@ -7768,11 +6313,6 @@ class PseudoLlmRpcCountTokensDict(TypedDict): returns: LlmRpcCountTokensReturnsDict -############################################################################### -# LlmRpcPreloadDraftModelParameter -############################################################################### - - class LlmRpcPreloadDraftModelParameter( LMStudioStruct["LlmRpcPreloadDraftModelParameterDict"], kw_only=True ): @@ -7791,11 +6331,6 @@ class LlmRpcPreloadDraftModelParameterDict(TypedDict): draftModelKey: str -############################################################################### -# PseudoLlmRpcPreloadDraftModel -############################################################################### - - class PseudoLlmRpcPreloadDraftModel( LMStudioStruct["PseudoLlmRpcPreloadDraftModelDict"], kw_only=True ): @@ -7819,11 +6354,6 @@ class PseudoLlmRpcPreloadDraftModelDict(TypedDict): ) -############################################################################### -# PseudoLlmChannelLoadModel -############################################################################### - - class PseudoLlmChannelLoadModel( LMStudioStruct["PseudoLlmChannelLoadModelDict"], kw_only=True ): @@ -7855,11 +6385,6 @@ class PseudoLlmChannelLoadModelDict(TypedDict): ) -############################################################################### -# PseudoLlmChannelGetOrLoad -############################################################################### - - class PseudoLlmChannelGetOrLoad( LMStudioStruct["PseudoLlmChannelGetOrLoadDict"], kw_only=True ): @@ -7890,19 +6415,12 @@ class PseudoLlmChannelGetOrLoadDict(TypedDict): | LlmChannelPredictToClientPacketToolCallGenerationFailed | LlmChannelPredictToClientPacketSuccess ) - - PluginsChannelSetGeneratorToClientPacket = ( PluginsChannelSetGeneratorToClientPacketGenerate | PluginsChannelSetGeneratorToClientPacketAbort ) -############################################################################### -# PseudoPluginsChannelSetGenerator -############################################################################### - - class PseudoPluginsChannelSetGenerator( LMStudioStruct["PseudoPluginsChannelSetGeneratorDict"], kw_only=True ): @@ -7925,11 +6443,6 @@ class PseudoPluginsChannelSetGeneratorDict(TypedDict): toServerPacket: PluginsChannelSetGeneratorToServerPacket -############################################################################### -# RepositoryRpcSearchModelsReturns -############################################################################### - - class RepositoryRpcSearchModelsReturns( LMStudioStruct["RepositoryRpcSearchModelsReturnsDict"], kw_only=True ): @@ -7946,11 +6459,6 @@ class RepositoryRpcSearchModelsReturnsDict(TypedDict): results: Sequence[ModelSearchResultEntryDataDict] -############################################################################### -# PseudoRepositoryRpcSearchModels -############################################################################### - - class PseudoRepositoryRpcSearchModels( LMStudioStruct["PseudoRepositoryRpcSearchModelsDict"], kw_only=True ): @@ -7969,11 +6477,6 @@ class PseudoRepositoryRpcSearchModelsDict(TypedDict): returns: RepositoryRpcSearchModelsReturnsDict -############################################################################### -# PseudoRepository -############################################################################### - - class PseudoRepository(LMStudioStruct["PseudoRepositoryDict"], kw_only=True): rpc_search_models: PseudoRepositoryRpcSearchModels = field(name="rpcSearchModels") rpc_get_model_download_options: PseudoRepositoryRpcGetModelDownloadOptions = field( @@ -8012,11 +6515,6 @@ class PseudoRepositoryDict(TypedDict): channelEnsureAuthenticated: PseudoRepositoryChannelEnsureAuthenticatedDict -############################################################################### -# Function -############################################################################### - - class Function(LMStudioStruct["FunctionDict"], kw_only=True): name: str description: str | None = None @@ -8035,11 +6533,6 @@ class FunctionDict(TypedDict): parameters: NotRequired[LlmToolParametersObjectDict | None] -############################################################################### -# LlmToolFunction -############################################################################### - - class LlmToolFunction(LMStudioStruct["LlmToolFunctionDict"], kw_only=True): type: Annotated[Literal["function"], Meta(title="Type")] function: Function @@ -8056,11 +6549,6 @@ class LlmToolFunctionDict(TypedDict): function: FunctionDict -############################################################################### -# PluginsChannelSetPreprocessorToClientPacketPreprocess -############################################################################### - - class PluginsChannelSetPreprocessorToClientPacketPreprocess( LMStudioStruct["PluginsChannelSetPreprocessorToClientPacketPreprocessDict"], kw_only=True, @@ -8069,7 +6557,7 @@ class PluginsChannelSetPreprocessorToClientPacketPreprocess( ): type: ClassVar[Annotated[Literal["preprocess"], Meta(title="Type")]] = "preprocess" task_id: str = field(name="taskId") - input: ChatMessageData + input: AnyChatMessage config: LlmRpcGetLoadConfigReturns plugin_config: LlmRpcGetLoadConfigReturns = field(name="pluginConfig") pci: str @@ -8085,18 +6573,13 @@ class PluginsChannelSetPreprocessorToClientPacketPreprocessDict(TypedDict): type: Literal["preprocess"] taskId: str - input: ChatMessageDataDict + input: AnyChatMessageDict config: LlmRpcGetLoadConfigReturnsDict pluginConfig: LlmRpcGetLoadConfigReturnsDict pci: str token: str -############################################################################### -# PluginsChannelSetPreprocessorToServerPacketComplete -############################################################################### - - class PluginsChannelSetPreprocessorToServerPacketComplete( LMStudioStruct["PluginsChannelSetPreprocessorToServerPacketCompleteDict"], kw_only=True, @@ -8105,7 +6588,7 @@ class PluginsChannelSetPreprocessorToServerPacketComplete( ): type: ClassVar[Annotated[Literal["complete"], Meta(title="Type")]] = "complete" task_id: str = field(name="taskId") - processed: ChatMessageData + processed: AnyChatMessage class PluginsChannelSetPreprocessorToServerPacketCompleteDict(TypedDict): @@ -8117,19 +6600,14 @@ class PluginsChannelSetPreprocessorToServerPacketCompleteDict(TypedDict): type: Literal["complete"] taskId: str - processed: ChatMessageDataDict - - -Messages = Sequence[ChatMessageData] + processed: AnyChatMessageDict -############################################################################### -# ChatHistoryData -############################################################################### +Messages = Sequence[AnyChatMessage] class ChatHistoryData(LMStudioStruct["ChatHistoryDataDict"], kw_only=True): - messages: Sequence[ChatMessageData] + messages: Sequence[AnyChatMessage] class ChatHistoryDataDict(TypedDict): @@ -8139,12 +6617,7 @@ class ChatHistoryDataDict(TypedDict): as that is what `to_dict()` emits, and what `_from_api_dict()` accepts. """ - messages: Sequence[ChatMessageDataDict] - - -############################################################################### -# LlmJinjaInputMessagesConfig -############################################################################### + messages: Sequence[AnyChatMessageDict] class LlmJinjaInputMessagesConfig( @@ -8164,8 +6637,6 @@ class LlmJinjaInputMessagesConfigDict(TypedDict): LlmTool = LlmToolFunction - - GeneratorUpdate = ( ProcessingUpdateStatusCreate | ProcessingUpdateStatusUpdate @@ -8179,8 +6650,6 @@ class LlmJinjaInputMessagesConfigDict(TypedDict): | ProcessingUpdateContentBlockSetStyle | ProcessingUpdateSetSenderName ) - - PreprocessorUpdate = ( ProcessingUpdateStatusCreate | ProcessingUpdateStatusUpdate @@ -8188,8 +6657,6 @@ class LlmJinjaInputMessagesConfigDict(TypedDict): | ProcessingUpdateCitationBlockCreate | ProcessingUpdateDebugInfoBlockCreate ) - - ProcessingUpdate = ( ProcessingUpdateStatusCreate | ProcessingUpdateStatusUpdate @@ -8207,11 +6674,6 @@ class LlmJinjaInputMessagesConfigDict(TypedDict): ) -############################################################################### -# LlmRpcApplyPromptTemplateParameter -############################################################################### - - class LlmRpcApplyPromptTemplateParameter( LMStudioStruct["LlmRpcApplyPromptTemplateParameterDict"], kw_only=True ): @@ -8234,11 +6696,6 @@ class LlmRpcApplyPromptTemplateParameterDict(TypedDict): opts: LlmApplyPromptTemplateOptsDict -############################################################################### -# PseudoLlmRpcApplyPromptTemplate -############################################################################### - - class PseudoLlmRpcApplyPromptTemplate( LMStudioStruct["PseudoLlmRpcApplyPromptTemplateDict"], kw_only=True ): @@ -8257,13 +6714,8 @@ class PseudoLlmRpcApplyPromptTemplateDict(TypedDict): returns: LlmRpcApplyPromptTemplateReturnsDict -############################################################################### -# LlmChannelPredictCreationParameter -############################################################################### - - -class LlmChannelPredictCreationParameter( - LMStudioStruct["LlmChannelPredictCreationParameterDict"], kw_only=True +class PredictionChannelRequest( + LMStudioStruct["PredictionChannelRequestDict"], kw_only=True ): model_specifier: ModelSpecifier = field(name="modelSpecifier") history: ChatHistoryData @@ -8276,7 +6728,7 @@ class LlmChannelPredictCreationParameter( ) -class LlmChannelPredictCreationParameterDict(TypedDict): +class PredictionChannelRequestDict(TypedDict): """Corresponding typed dictionary definition for LlmChannelPredictCreationParameter. NOTE: Multi-word keys are defined using their camelCase form, @@ -8290,17 +6742,10 @@ class LlmChannelPredictCreationParameterDict(TypedDict): ignoreServerSessionConfig: NotRequired[bool | None] -############################################################################### -# PseudoLlmChannelPredict -############################################################################### - - class PseudoLlmChannelPredict( LMStudioStruct["PseudoLlmChannelPredictDict"], kw_only=True ): - creation_parameter: LlmChannelPredictCreationParameter = field( - name="creationParameter" - ) + creation_parameter: PredictionChannelRequest = field(name="creationParameter") to_client_packet: LlmChannelPredictToClientPacket = field(name="toClientPacket") to_server_packet: LlmChannelPredictToServerPacket = field(name="toServerPacket") @@ -8312,16 +6757,11 @@ class PseudoLlmChannelPredictDict(TypedDict): as that is what `to_dict()` emits, and what `_from_api_dict()` accepts. """ - creationParameter: LlmChannelPredictCreationParameterDict + creationParameter: PredictionChannelRequestDict toClientPacket: LlmChannelPredictToClientPacket toServerPacket: LlmChannelPredictToServerPacket -############################################################################### -# PseudoLlm -############################################################################### - - class PseudoLlm(LMStudioStruct["PseudoLlmDict"], kw_only=True): rpc_unload_model: PseudoLlmRpcUnloadModel = field(name="rpcUnloadModel") rpc_list_loaded: PseudoLlmRpcListLoaded = field(name="rpcListLoaded") @@ -8360,11 +6800,6 @@ class PseudoLlmDict(TypedDict): channelPredict: PseudoLlmChannelPredictDict -############################################################################### -# PluginsRpcProcessingHandleUpdateParameter -############################################################################### - - class PluginsRpcProcessingHandleUpdateParameter( LMStudioStruct["PluginsRpcProcessingHandleUpdateParameterDict"], kw_only=True ): @@ -8385,11 +6820,6 @@ class PluginsRpcProcessingHandleUpdateParameterDict(TypedDict): update: ProcessingUpdate -############################################################################### -# PseudoPluginsRpcProcessingHandleUpdate -############################################################################### - - class PseudoPluginsRpcProcessingHandleUpdate( LMStudioStruct["PseudoPluginsRpcProcessingHandleUpdateDict"], kw_only=True ): @@ -8406,11 +6836,6 @@ class PseudoPluginsRpcProcessingHandleUpdateDict(TypedDict): parameter: PluginsRpcProcessingHandleUpdateParameterDict -############################################################################### -# PluginsRpcProcessingPullHistoryReturns -############################################################################### - - class PluginsRpcProcessingPullHistoryReturns( LMStudioStruct["PluginsRpcProcessingPullHistoryReturnsDict"], kw_only=True ): @@ -8427,11 +6852,6 @@ class PluginsRpcProcessingPullHistoryReturnsDict(TypedDict): messages: Messages -############################################################################### -# PseudoPluginsRpcProcessingPullHistory -############################################################################### - - class PseudoPluginsRpcProcessingPullHistory( LMStudioStruct["PseudoPluginsRpcProcessingPullHistoryDict"], kw_only=True ): @@ -8454,8 +6874,6 @@ class PseudoPluginsRpcProcessingPullHistoryDict(TypedDict): PluginsChannelSetPreprocessorToClientPacketPreprocess | PluginsChannelSetPreprocessorToClientPacketAbort ) - - PluginsChannelSetPreprocessorToServerPacket = ( PluginsChannelSetPreprocessorToServerPacketComplete | PluginsChannelSetPreprocessorToServerPacketAborted @@ -8463,11 +6881,6 @@ class PseudoPluginsRpcProcessingPullHistoryDict(TypedDict): ) -############################################################################### -# PseudoPluginsChannelSetPreprocessor -############################################################################### - - class PseudoPluginsChannelSetPreprocessor( LMStudioStruct["PseudoPluginsChannelSetPreprocessorDict"], kw_only=True ): @@ -8490,11 +6903,6 @@ class PseudoPluginsChannelSetPreprocessorDict(TypedDict): toServerPacket: PluginsChannelSetPreprocessorToServerPacket -############################################################################### -# PseudoPlugins -############################################################################### - - class PseudoPlugins(LMStudioStruct["PseudoPluginsDict"], kw_only=True): rpc_reindex_plugins: PseudoPluginsRpcReindexPlugins = field( name="rpcReindexPlugins" @@ -8559,11 +6967,6 @@ class PseudoPluginsDict(TypedDict): channelSetGenerator: PseudoPluginsChannelSetGeneratorDict -############################################################################### -# LlmToolUseSettingToolArray -############################################################################### - - class LlmToolUseSettingToolArray( LMStudioStruct["LlmToolUseSettingToolArrayDict"], kw_only=True, @@ -8585,11 +6988,6 @@ class LlmToolUseSettingToolArrayDict(TypedDict): tools: NotRequired[Sequence[LlmToolFunctionDict] | None] -############################################################################### -# Model -############################################################################### - - class Model(LMStudioStruct["ModelDict"], kw_only=True): diagnostics: PseudoDiagnostics embedding: PseudoEmbedding @@ -8616,11 +7014,6 @@ class ModelDict(TypedDict): system: PseudoSystemDict -############################################################################### -# LlmJinjaInputConfig -############################################################################### - - class LlmJinjaInputConfig(LMStudioStruct["LlmJinjaInputConfigDict"], kw_only=True): messages_config: LlmJinjaInputMessagesConfig = field(name="messagesConfig") use_tools: bool = field(name="useTools") @@ -8637,11 +7030,6 @@ class LlmJinjaInputConfigDict(TypedDict): useTools: bool -############################################################################### -# LlmJinjaPromptTemplate -############################################################################### - - class LlmJinjaPromptTemplate( LMStudioStruct["LlmJinjaPromptTemplateDict"], kw_only=True ): @@ -8664,11 +7052,6 @@ class LlmJinjaPromptTemplateDict(TypedDict): inputConfig: LlmJinjaInputConfigDict -############################################################################### -# LlmPromptTemplate -############################################################################### - - class LlmPromptTemplate(LMStudioStruct["LlmPromptTemplateDict"], kw_only=True): type: LlmPromptTemplateType stop_strings: Sequence[str] = field(name="stopStrings") @@ -8694,23 +7077,12 @@ class LlmPromptTemplateDict(TypedDict): LlmToolArray = Sequence[LlmTool] - - LlmToolUseSetting = LlmToolUseSettingNone | LlmToolUseSettingToolArray LlmToolUseSettingDict = LlmToolUseSettingNoneDict | LlmToolUseSettingToolArrayDict - - PromptTemplate = LlmPromptTemplate - - RawTools = LlmToolUseSetting -############################################################################### -# LlmPredictionConfigInput -############################################################################### - - class LlmPredictionConfigInput( LMStudioStruct["LlmPredictionConfigInputDict"], kw_only=True ): @@ -8781,11 +7153,6 @@ class LlmPredictionConfigInputDict(TypedDict): reasoningParsing: NotRequired[LlmReasoningParsingDict | None] -############################################################################### -# LlmPredictionConfig -############################################################################### - - class LlmPredictionConfig(LMStudioStruct["LlmPredictionConfigDict"], kw_only=True): max_tokens: MaxTokensModel | None = field(name="maxTokens", default=None) temperature: Temperature | None = None diff --git a/src/lmstudio/history.py b/src/lmstudio/history.py index d4ccc8a..8445c2d 100644 --- a/src/lmstudio/history.py +++ b/src/lmstudio/history.py @@ -39,26 +39,26 @@ ) from .schemas import DictObject, LMStudioStruct, _format_json from ._sdk_models import ( + AnyChatMessage, + AnyChatMessageDict, + AssistantResponse, ChatHistoryData, ChatHistoryDataDict, - ChatMessageData as AnyChatMessage, - ChatMessageDataDict as AnyChatMessageDict, - ChatMessageDataUser as UserMessage, - ChatMessageDataSystem as SystemPrompt, - ChatMessageDataAssistant as AssistantResponse, - ChatMessageDataTool as ToolResultMessage, - ChatMessagePartFileData as FileHandle, - ChatMessagePartFileDataDict as FileHandleDict, - ChatMessagePartTextData as TextData, - ChatMessagePartTextDataDict as TextDataDict, - ChatMessagePartToolCallRequestData as ToolCallRequestData, - ChatMessagePartToolCallRequestDataDict as ToolCallRequestDataDict, - ChatMessagePartToolCallResultData as ToolCallResultData, - ChatMessagePartToolCallResultDataDict as ToolCallResultDataDict, + FileHandle, + FileHandleDict, FilesRpcUploadFileBase64Parameter, FileType, - ToolCallRequest as ToolCallRequest, - FunctionToolCallRequestDict as ToolCallRequestDict, + SystemPrompt, + TextData, + TextDataDict, + ToolCallRequest, + ToolCallRequestData, + ToolCallRequestDataDict, + ToolCallRequestDict, + ToolCallResultData, + ToolCallResultDataDict, + ToolResultMessage, + UserMessage, ) __all__ = [ diff --git a/src/lmstudio/json_api.py b/src/lmstudio/json_api.py index f5d8d28..3235258 100644 --- a/src/lmstudio/json_api.py +++ b/src/lmstudio/json_api.py @@ -64,6 +64,8 @@ prediction_config_to_kv_config_stack, ) from ._sdk_models import ( + DownloadModelChannelRequest, + DownloadModelChannelRequestDict, DownloadProgressUpdate, EmbeddingChannelLoadModelCreationParameter, EmbeddingChannelLoadModelCreationParameterDict, @@ -82,8 +84,6 @@ LlmChannelLoadModelCreationParameterDict, LlmChannelGetOrLoadCreationParameter, LlmChannelGetOrLoadCreationParameterDict, - LlmChannelPredictCreationParameter as PredictionChannelRequest, - LlmChannelPredictCreationParameterDict as PredictionChannelRequestDict, LlmInfo, LlmInstanceInfo, LlmLoadModelConfig, @@ -98,23 +98,23 @@ LlmRpcUnloadModelParameter, LlmTool, LlmToolUseSettingToolArray, + ModelCompatibilityType, ModelInfo, ModelInstanceInfo, ModelSearchOptsDict, + ModelSearchResultDownloadOptionData, + ModelSearchResultEntryData, ModelSpecifier, ModelSpecifierDict, ModelSpecifierInstanceReference, ModelSpecifierQuery, ModelQuery, ModelQueryDict, - RepositoryChannelDownloadModelCreationParameter as DownloadModelChannelRequest, - RepositoryChannelDownloadModelCreationParameterDict as DownloadModelChannelRequestDict, - SerializedLMSExtendedError, - ModelCompatibilityType, - ModelSearchResultDownloadOptionData, - ModelSearchResultEntryData, + PredictionChannelRequest, + PredictionChannelRequestDict, RepositoryRpcGetModelDownloadOptionsParameter, RepositoryRpcSearchModelsParameter, + SerializedLMSExtendedError, ) from ._logging import get_logger, LogEventContext, StructuredLogger