|
36 | 36 | const path_to_root = ""; |
37 | 37 | const default_light_theme = "light"; |
38 | 38 | const default_dark_theme = "navy"; |
39 | | - window.path_to_searchindex_js = "searchindex-58025a59.js"; |
| 39 | + window.path_to_searchindex_js = "searchindex-371823cd.js"; |
40 | 40 | </script> |
41 | 41 | <!-- Start loading toc.js asap --> |
42 | 42 | <script src="toc-29b41a76.js"></script> |
@@ -202,19 +202,16 @@ <h2 id="was-wird-selbst-gehostet"><a class="header" href="#was-wird-selbst-gehos |
202 | 202 | </ul> |
203 | 203 | <p><strong>RAG im Detail</strong>: Bei RAG wird semantische Suche verwendet. Dabei verarbeitet ein Embedding-Modell Texte zu sogenannten Embeddings. Embeddings sind Vektore, die den Textinhalt in numerischer Form repräsentieren. Diese Embeddings ermöglichen es, inhaltlich ähnliche Dokumente zu finden und dem LLM als Kontext bereitzustellen.</p> |
204 | 204 | <p><strong>Fig. 1</strong> bietet einen graphischen Überblick über die Komponenten und deren Zusammenspiel:</p> |
205 | | -<pre class="mermaid">--- |
206 | | -title: "Fig. 1: Komponenten von LLM-Systemen" |
207 | | ---- |
208 | | -flowchart TB |
| 205 | +<pre class="mermaid">flowchart TB |
209 | 206 | subgraph Frontend |
210 | 207 | UI[Chat Interface] |
211 | 208 | end |
212 | 209 |
|
213 | 210 | subgraph Backend |
214 | 211 | direction TB |
215 | 212 | subgraph InferenceLayer[Inference Layer] |
216 | | - LLMServer[Inference-Server<br/>für LLM] |
217 | | - EmbedServer[Inference-Server<br/>für Embedding-Modell] |
| 213 | + LLMServer[Inference-Server für LLM] |
| 214 | + EmbedServer[Inference-Server für Embedding-Modell] |
218 | 215 | end |
219 | 216 |
|
220 | 217 | subgraph DataStorage[Datenschicht] |
@@ -351,32 +348,27 @@ <h1 id="hosting-software"><a class="header" href="#hosting-software">Hosting-Sof |
351 | 348 | <li><strong>Proxy</strong>: Caddy – regelt SSL-Verschlüsselung für HTTPS und leitet Anfragen weiter</li> |
352 | 349 | <li>S3-Buckets für Dateispeicherung, Scheduler für automatische Server-Verwaltung</li> |
353 | 350 | </ul> |
354 | | -<pre class="mermaid">--- |
355 | | -title: "Fig. 2: Überblick Parrotpark" |
356 | | ---- |
357 | | -flowchart LR |
358 | | - |
359 | | - subgraph proxy["Eingangsserver"] |
| 351 | +<pre class="mermaid">flowchart LR |
| 352 | + subgraph proxy[Eingangsserver] |
360 | 353 | direction TB |
361 | 354 | Caddy |
362 | | - Databases["Vektor-DB<br/>Anwendungs-DB"] |
| 355 | + Databases[Vektor-DB und Anwendungs-DB] |
363 | 356 | Scheduler |
364 | 357 | end |
365 | | - subgraph gpu["Ephemeral GPU Server"] |
| 358 | + subgraph gpu[Ephemeral GPU Server] |
366 | 359 | direction TB |
367 | | - vLLM["vLLM<br/>Inference-Server für gen. & Embedding-Modell"] |
368 | | - LiteLLM["LiteLLM<br/>API Gateway"] |
369 | | - LibreChat["LibreChat<br/>Chat Interface"] |
| 360 | + vLLM[vLLM Inference-Server] |
| 361 | + LiteLLM[LiteLLM API Gateway] |
| 362 | + LibreChat[LibreChat Chat Interface] |
370 | 363 | end |
371 | | - LibreChat ---|SSO Auth| Keycloak |
372 | | - |
373 | | - buckets["S3 Buckets<br/>Tools"] |
374 | | - LibreChat ---|Speicherung| buckets |
375 | | - |
376 | | - LiteLLM & LibreChat --- Databases |
377 | | - Caddy -->|Proxy| LiteLLM & LibreChat |
| 364 | + LibreChat -->|SSO Auth| Keycloak |
| 365 | + buckets[S3 Buckets Tools] |
| 366 | + LibreChat -->|Speicherung| buckets |
| 367 | + LiteLLM --- Databases |
| 368 | + LibreChat --- Databases |
| 369 | + Caddy -->|Proxy| LiteLLM |
| 370 | + Caddy -->|Proxy| LibreChat |
378 | 371 | Scheduler -->|Erstellt periodisch| gpu |
379 | | - |
380 | 372 | </pre> |
381 | 373 |
|
382 | 374 | <hr> |
|
0 commit comments