genAI ipynbs

Author: Dr. Min Ye

docs/2deep_ml_ops/examples-levels.rst

@@ -0,0 +1,252 @@
+Einführung zu LLM (Large Language Models)
+=========================================
+
+- **LLM-Lingo:** Must-Know Terms
+
+https://github.com/aishwaryanr/awesome-generative-ai-guide/blob/main/resources/llm_lingo/llm_lingo_p1.pdf
+
+https://python-basics-tutorial.readthedocs.io/en/latest/_sources/appendix/glossary.rst.txt
+
+
+LLM-Lingo Baseline + Fine-Tuning
+------------------------------------
+
+Must-Know Terms sind:
+
+- **Foundation Model:** 
+asdf
+
+- **Transformer:** 
+adf 
+
+- **Prompting:** 
+
+asdf
+
+- **Context-Length:** 
+
+asdf 
+
+- **Few-Shot Learning** vs **Zero-Shot Learning** vs **In-Context Learning:** 
+
+asdf
+  
+- **RAG (Retrieval-Augmented Generation):** 
+
+asdf 
+
+- **Knowledge Base (KB):** 
+
+asdf 
+
+- **Vector Database:** 
+
+adf 
+
+- **Fine-Tuning:** 
+
+asdf 
+
+- **Instruction Tuning:** 
+
+asf 
+
+- **Hallucination:** 
+
+asfd 
+
+- **SFT (Supervised Fine-Tuning):** 
+
+asdf 
+
+- **Contrastive Learning:** 
+
+asdf 
+
+- **Pruning:** 
+
+asdf 
+
+LLM-Lingo: RAG + LLM Agents
+-----------------------------
+
+- **Knowledge Base (KB):** 
+
+asdf 
+
+- **Chunking:** 
+
+asdf 
+
+- **Indexing:** 
+
+asdf 
+
+- **Embedded Model:** 
+
+asdf 
+
+- **Vector Database:** 
+
+asdf 
+
+- **Vector Search:** 
+
+asdf 
+
+- **Retrieval:** 
+
+asdf 
+
+- **AGI (Artificial General Intelligence):** 
+
+asdf 
+
+- **LLM Agent:** 
+
+asdf 
+
+- **Agent Memory:** 
+
+asdf 
+
+- **Agent Planning:** 
+
+asdf 
+
+- **Function Calling:** 
+
+asdf 
+
+LLM Lingo: Enterprise Ready LLMs
+---------------------------------
+
+- **LLM Bias:** 
+
+asdf 
+
+- **XAI:** 
+
+Explainable AI 
+
+- **Responsible AI:** 
+
+asdf 
+
+- **AI Governance:** 
+
+asdf 
+
+
+- **Compliance:** 
+
+asdf 
+
+- **GDPR:** 
+
+asdf 
+
+- **Alignment:** 
+
+asdf 
+
+- **Model Ethics:** 
+
+asdf 
+
+- **PII:** 
+
+Personally Identifiable Information 
+
+- **LLMOps:** 
+
+asdf 
+
+LLM-Lingo: LLM Vulnerabilities and Attacks 
+-------------------------------------------
+
+- **Adversarial Attacks:** 
+
+asdf 
+
+- **Black-Box Attacks:** 
+
+asdf 
+
+- **White-Box Attacks:** 
+
+asdf 
+
+- **Vulnerability:** 
+
+asdf 
+
+- **Deep Fakes:** 
+
+asdf 
+
+- **Jailbreaking:** 
+
+asdf 
+
+- **Prompt Injection:** 
+
+asdf 
+
+- **Prompt Leaking:** 
+
+asdf 
+
+- **Red-Teaming:** 
+
+asdf 
+
+- **Robustness:** 
+
+asdf 
+
+- **Alignment:** 
+
+asdf 
+
+- **Watermarking:** 
+
+asdf 
+
+Learning Paradigms
+-------------------
+
+
+- **Unsupervised Learning:** 
+
+- **Supervised Learning:** 
+
+- **Reinforcement Learning:** 
+
+- **Meta-Learning:** 
+
+- **Multi-Task Learning:** 
+
+- **Zero-Shot Learning:** 
+
+- **Few-Shot Learning:** 
+
+- **Online Learning:** 
+
+asdf 
+
+- **Continual Learning:** 
+
+asdf 
+
+- **Federated Learning:** 
+
+asdf 
+
+- **Adversarial Learning:** 
+
+asdf 
+
+- **Active Learning:** 
+
+asdf 

docs/4gen_ai/genai_llm.rst

@@ -105,9 +105,16 @@ Ein typischer Transformer-Block besteht somit aus:
 
 4. Add & Norm (erneut Residual-Verbindung plus Layer-Normalization)
 
-Transformer-wikipedia: https://de.wikipedia.org/wiki/Transformer_%28Maschinelles_Lernen%29#/media/Datei:Transformer,_full_architecture.png 
 
-Transformer-diagram: https://raw.githubusercontent.com/dvgodoy/dl-visuals/main/Transformers/full_transformer.png 
+.. figure:: ../_static/images/04_transformer_diagram.png
+   :alt: Transformer-Modellarchitektur
+   :align: center
+   :width: 700px
+
+   **Abbildung 1:** Transformer-Modellarchitektur mit originaler Position der Layer-Normalisierung. [#]_ [#]_
+
+
+
 
 
 Optimierungsalgorithmen
@@ -168,4 +175,11 @@ Die Parameter werden dann aktualisiert mittels:
 
 Adam vereint somit die Vorteile von AdaGrad und RMSProp und ist weit verbreitet, weil es die Lernraten dynamisch anpasst und stabile Konvergenzen auch in tiefen Netzwerken ermöglicht.
 
-Die Wahl und Konfiguration des Optimierungsalgorithmus ist entscheidend für die Trainingsdynamik und die Leistungsfähigkeit des endgültigen Modells.
+Die Wahl und Konfiguration des Optimierungsalgorithmus ist entscheidend für die Trainingsdynamik und die Leistungsfähigkeit des endgültigen Modells.
+
+----
+
+.. rubric:: Footnotes
+
+.. [#] Transformer-wikipedia: https://de.wikipedia.org/wiki/Transformer_%28Maschinelles_Lernen%29#/media/Datei:Transformer,_full_architecture.png 
+.. [#] Transformer-diagram: https://raw.githubusercontent.com/dvgodoy/dl-visuals/main/Transformers/full_transformer.png 

docs/4gen_ai/genai_theory.rst

@@ -47,8 +47,10 @@ https://de.wikipedia.org/wiki/Tay_(Bot)
 
    genai_intro
    genai_theory
-   genai_infrastructure
-   cusy_genai
+   genai_infrastructure 
+   genai_llm
+   llm_1
+   llm_2
    genai_agents
    regulatory
    abschluss