day4 ready

Author: minye

docs/3reinforce_learn/customer-churn.ipynb

@@ -44,7 +44,7 @@ Stellen wir uns einen Roboter in neinem Raum vor, der selbst erlernen soll, wie
 
 - Die **Aktionen** bestehen aus vier Bewegungsmöglichkeiten: **oben, unten, links, rechts**. (in 2D-Darstellung)
 
-- Die **Belohnung** beträgt **+1**, wenn der Roboter den Ausgang findet, und **-1**, wenn er gegen eine Wand läuft.
+- Die **Belohnung** beträgt **+100**, wenn der Roboter den Ausgang findet, und **-100**, wenn er gegen eine Wand läuft, und **-1** bei jedem Schritt, er macht ohne zum Ziel zu kommen. 
 
 - Die **Policy (Strategie)** bestimmt, welche Aktion der Roboter in welchem Zustand ausführt.
 

docs/3reinforce_learn/customer-churn.ipynb.bak

@@ -44,6 +44,7 @@ Q-Learning Algorithmus
 :::::::::::::::::::::::
 
 Der Algorithmus läuft iterativ in folgenden Schritten ab:
+
 1. **Agent befindet sich in einem Zustand `s`.**
 2. **Wählt eine Aktion `a` basierend auf einer Policy (z. B. zufällig oder nach maximalem Q-Wert).**
 3. **Führt die Aktion aus und erhält eine Belohnung `R`.**
@@ -71,11 +72,17 @@ Verbindung zwischen Markov-Prozessen und Q-Learning
 Q-Learning ist direkt mit **Markov-Entscheidungsprozessen (MDP)** verbunden. 
 
 Ein MDP besteht aus:
-* **S (States):** Die Menge aller möglichen Zustände, in denen sich der Agent befinden kann.
-* **A (Actions):** Die Menge aller möglichen Aktionen, die der Agent ausführen kann.
-* **P(s' | s, a) (Transition Model):** Die Wahrscheinlichkeit, dass der Agent nach der Aktion `a` von `s` nach `s'` wechselt.
-* **R(s, a) (Reward):** Die Belohnung, die der Agent für eine Aktion `a` in Zustand `s` erhält.
-* **γ (Discount Factor):** Der Faktor, der bestimmt, wie stark zukünftige Belohnungen gewichtet werden.
+
+* **S (States):** 
+     Die Menge aller möglichen Zustände, in denen sich der Agent befinden kann.
+* **A (Actions):** 
+     Die Menge aller möglichen Aktionen, die der Agent ausführen kann.
+* **P(s' | s, a) (Transition Model):** 
+     Die Wahrscheinlichkeit, dass der Agent nach der Aktion `a` von `s` nach `s'` wechselt.
+* **R(s, a) (Reward):** 
+     Die Belohnung, die der Agent für eine Aktion `a` in Zustand `s` erhält.
+* **γ (Discount Factor):** 
+     Der Faktor, der bestimmt, wie stark zukünftige Belohnungen gewichtet werden.
 
 **Warum ist das wichtig?**
 

docs/3reinforce_learn/def.rst

@@ -422,6 +422,30 @@
     "plt.yticks(range(env.height))\n",
     "plt.show()"
    ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "e1511177-edd4-487d-80a0-4fdd101b1eda",
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "76167e23-5e56-4ee3-bc1d-a5f09dafdfda",
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "a4e949b8-5b79-44f0-918b-c09a2fcd5071",
+   "metadata": {},
+   "outputs": [],
+   "source": []
   }
  ],
  "metadata": {

docs/3reinforce_learn/kunden_service.csv

@@ -1,30 +1,31 @@
 Abschluss
-=========
-
-Ethische Fragestellungen in der KI
-----------------------------------
-
-Mit der rasanten Entwicklung der KI gehen auch bedeutende ethische Fragen
-einher:
-
-Bias und Diskriminierung
-    KI-Modelle können bestehende Vorurteile aus Trainingsdaten übernehmen.
-Arbeitsplatzverdrängung
-    Automatisierung kann menschliche Arbeitsplätze gefährden.
-Transparenz und Erklärbarkeit
-    Viele KI-Modelle, insbesondere Deep Learning, sind schwer zu interpretieren.
-Verantwortung und Haftung
-    Wer ist verantwortlich, wenn eine KI fehlerhafte oder schädliche
-    Entscheidungen trifft?
-Datenschutz
-    KI-Anwendungen erfordern oft große Datenmengen, was Datenschutzprobleme
-    aufwirft.
+==================================
+
+**Ethische Fragestellungen in der KI**
+
+Mit der rasanten Entwicklung der KI gehen auch bedeutende ethische Fragen einher:
+
+- **Bias und Diskriminierung:** KI-Modelle können bestehende Vorurteile aus Trainingsdaten übernehmen.
+
+- **Arbeitsplatzverdrängung:** Automatisierung kann menschliche Arbeitsplätze gefährden.
+
+- **Transparenz und Erklärbarkeit:** Viele KI-Modelle, insbesondere Deep Learning, sind schwer zu interpretieren.
+
+- **Verantwortung und Haftung:** Wer ist verantwortlich, wenn eine KI fehlerhafte oder schädliche Entscheidungen trifft?
+
+- **Datenschutz:** KI-Anwendungen erfordern oft große Datenmengen, was Datenschutzprobleme aufwirft.
+
+
+
 
 Weitere Referenzen
-------------------
+-------------------
+
+??????????
+===========
 
-cusy hat bereits ein Neural Network Tutorial aufbereitet als Teil einer Reihe
-von Tutorials zur Datenanalyse und -visualisierung:
+Die Cusy hat bereits ein Neural Network Tutorial aufbereitet als Teil einer Reihe von Tutorials zur Datenanalyse
+und -visualisierung:
 
 * `Python Basics <https://python-basics-tutorial.readthedocs.io/de/latest/>`_
 * `Jupyter-Tutorial <https://jupyter-tutorial.readthedocs.io/de/latest/>`_