Thesis: Machine Learning Dungeon

[AMatutat]

Ich bin auf den YouTube-Kanal AI Warehouse gestoßen.
Dort werden relativ simple Spiele (Fangen, Verstecken, Fußball, ...) in einer einfachen 3D-Spielwelt umgesetzt.
Es gibt meistens zwei Spielfiguren, die je von einem ML-Modell/KI gesteuert werden.

In meiner naiven Welt sollte das auch im Dungeon und in 2D möglich sein. Die Ki steuert dann einfach 2 Figuren (Monster?).

In this video two AI Warehouse agents named Albert and Kai learn to play Soccer against each other. The AI were trained using Deep Reinforcement Learning, a method of Machine Learning which involves rewarding the agent for doing something correctly, and punishing it for doing anything incorrectly. Albert and Kai's actions are controlled by Neural Networks that are updated after each attempt in order to try to give Albert and Kai more rewards and less punishments over time. Source

Ich habe wenig Know-how im ML-Bereich, daher hier eine Liste an (vielleicht obsoleten) Fragen:

• ML wird meist in Python "gemacht", gibt es auch gescheite Libs für Java?
• Gibt es eine gute Möglichkeit, die trainierten Modelle (z.B. aus Python) in unser Dungeon zu importieren?
• Wie flexibel sind die Modelle? Kann ich das Layout des Levels verändern und das trainierte Modell passt sich an?
• Welche Informationen über den Game-State braucht das ML? Wie kriege ich den State in das Modell? Wie kriege ich die Aktion des Modells in das Spiel?

Stichwörter:

• Q-Learning
• Curriculum_learning

[cagix]

ich denke, dass hier eine ganze reihe von algorithmen interessant sein könnten, von wegesuche über csp und ea/ga und minimax/a-b-prunig bis zu reinforcement learning und klassifikation.

modelle in python trainieren würde bedeuten, dass du auch den dungeon oder zumindest eine schnittstelle in den dungeon für python brauchst. du kannst die modelle auch in java laden, musst halt nur den algorithmus exakt nachbauen (modelle sind ja nur ansammlungen von parametern).

für reinforcement learning gab es schon mal eine arbeit, die nur mäßig erfolgreich war. das problem ist die modellierung der welt (zustände, aktionen). direkt das 2d-gitter zu nehmen ist möglich, bringt dich aber nicht weit (zumindest war das die erkenntnis damals).

d.h. es wäre (a) zu analysieren, welche algorithmen in deinem video genutzt werden, und (b) wie die modellierung von zuständen, aktionen und kosten aussieht. dann kann man über ein übertragen der ideen auf den dungeon nachdenken.

[AMatutat]

für reinforcement learning gab es schon mal eine arbeit, die nur mäßig erfolgreich war. das problem ist die modellierung der welt (zustände, aktionen). direkt das 2d-gitter zu nehmen ist möglich, bringt dich aber nicht weit (zumindest war das die erkenntnis damals).

Kannst du das noch erläutern? Sollte damals was "komplexes" gemacht werden (Monster analysiert Spielerverhalten und passt sich an) oder auch "nur" einfacher Kram? Warum reicht das Level-Layout nicht? Grade wenn der Aktionsraum eigentlich auch nur gehen ist, brauch ich doch nit mehr?

[cagix]

für reinforcement learning gab es schon mal eine arbeit, die nur mäßig erfolgreich war. das problem ist die modellierung der welt (zustände, aktionen). direkt das 2d-gitter zu nehmen ist möglich, bringt dich aber nicht weit (zumindest war das die erkenntnis damals).

Kannst du das noch erläutern? Sollte damals was "komplexes" gemacht werden (Monster analysiert Spielerverhalten und passt sich an) oder auch "nur" einfacher Kram? Warum reicht das Level-Layout nicht? Grade wenn der Aktionsraum eigentlich auch nur gehen ist, brauch ich doch nit mehr?

weiss nicht mehr genau, was damals das ziel war 🥺 ist gefühlt schon jahrzehnte her. aber ja, am ende wurde als matrix einfach das level-layout genommen. und sobald das level anders ist oder die position eines monsters anders ist, passt das nicht mehr. du rechnest ja für jedes matrixfeld die optimale policy bzw. den optimalen nächsten move aus - aber dazu muss der rest konstant sein.

[cagix]

@AMatutat das ist eigentlich eine "discussion", kein actionable task. ich schiebe das mal rüber nach ideas, ok?