FFG Projektdatenbank

zurück

RELY

Reliable reinforcement learning for sustainable energy systems

Projektbeschreibung

Aufgrund der steigenden Komplexität, der stetig wachsenden Anzahl an Akteur*innen im Energiemarkt und des somit einhergehenden Bedarfs an erhöhter Flexibilität, werden im Energiesystem der Zukunft Machine Learning Algorithmen in der Entscheidungsfindung und Koordination der Lastverteilung eine signifikante Rolle spielen.
Um diesen Einsatz von Machine Learning im allgemeinen und Reinforcement Learning im speziellen trotz Sicherheitsbedenken auch für kritische Infrastruktur zu ermöglichen, entwickeln wir eine Methode, bei der die Zuverlässigkeit, Robustheit und Sicherheit der Handlungen der künstlichen Intelligenz im Vordergrund steht. Dabei trainieren wir den Reinforcement Learning Algorithmus an einer virtuellen Repräsentation vor und transferieren die Ergebnisse mithilfe einer digitalen Zwillingsplattform anschließend auf das reale System. Dadurch wird ermöglicht, dass der Lernalgorithmus seine Strategie an reale Bedingungen anpassen und den jeweiligen Prozess somit optimal steuern kann.
Wir erproben unsere Methode anhand eines Maschinensatzes, der die Komplexität und geforderten schnellen Reaktionszeiten des Verbundnetzes von morgen abbildet: die reversible Pumpturbine. Ziel ist es, dass der Machine Learning Algorithmus die kritischsten Zustände einer Pumpturbine, die Start- und Stop-Vorgänge beim Wechsel zwischen den Lastzuständen, effizient und vertrauenswürdig steuert.
Die Effektivität der Reinforcement Learning Methode wird anhand von Versuchen an einer Pump-Turbinen-Modellmaschine im Labor evaluiert (TRL 4). Die Auswirkungen auf die Netzstabilität und die Übertragbarkeit der Methode auf andere Anwendungsfälle im Energiebereich wird ebenfalls evaluiert.
Unsere Reinforcement Learning Methode wird die Flexibilität von Pumpspeicherkraftwerken erhöhen. Dies erlaubt es den Anteil von volatilen erneuerbaren Energiequellen im Stormnetz zu erhöhen, ohne negative Auswirkungen auf die Netzstabilität. Indem die Reinforcement Learning Methode auf andere Anwendungsfälle im Energiesektor übertragen wird, können weitere positive Effekte erzeugt werden.

Abstract

Due to the increasing complexity, the growing number of players in the energy market and the resulting need for increased flexibility, machine learning algorithms will play a significant role in decision making and coordination of load balancing in the energy system of the future.
To enable the use of machine learning for critical infrastructure and to adress security concerns, we are developing a method in which the reliability, robustness, and safety of the artificial intelligence's actions increase tremendously. Therfore, we pre-train the algorithm on a virtual representation and then transfer the results to the real system using a digital twin platform. This enables the reinforcement learning algorithm to adapt its strategy to real conditions and thus optimally control the respective process.
We are testing our method using a machine that represents the complexity and required fast response times of tomorrow's interconnected grid: the reversible pump turbine. The goal is for the machine learning algorithm to efficiently and reliably control the most critical operations of a pump turbine: the start and stop processes when switching between load states.
The effectivity of the reinforcement learning method will be evaluated through tests on a lab-scale pump turbine (TRL4). The impact on grid stability and the transferability of our approach to other use cases in the energy sector will also be evaluated.
Our reinforcement learning approach will increase the flexibilty of pumped hydro plants which allows to increase the share of volatile renewables in the energy mix without jeopardizing grid stability. By transfering our reinforcement learning approach to other energy generating units addional benefits for the energy grid can be genrated.

zurück