FFG Projektdatenbank

zurück

RISE

Reinforcement Learning for Intelligent and Resilient Energy Systems

Projektbeschreibung

Ausgangssituation: Das Erneuerbaren-Ausbau-Gesetzespaket wurde vom österreichischen Nationalrat im Jahr 2021 verabschiedet. Ziel ist die Umstellung der Stromversorgung des Landes auf 100% Strom aus erneuerbaren Energiequellen bis 2030 und die Erreichung der CO2-Neutralität bis 2040. Um dieses Ziel zu erreichen, ist nicht nur der Ausbau erneuerbarer Energiequellen notwendig, sondern auch dezentrale Systeme, die die Energie dort nutzbar machen, wo sie benötigt wird. Solche dezentralen Energiesysteme wie Erneuerbare-Energie-Gemeinschaften (EEGs) und Mikronetze ermöglichen es regional verbundenen Gruppen von Erzeugern und Verbrauchern unabhängig Energie zu produzieren, zu speichern und zu nutzen. Mit der Verabschiedung des Maßnahmenpakets “Saubere Energie für alle Europäer” im Jahr 2019 erhielten EEGs in der EU eine rechtliche Anerkennung und der Weg für ihre Umsetzung und Weiterentwicklung wurde geebnet.

Problematik: Inwieweit das volle Potenzial von EEGs genutzt werden kann hängt von mehreren Faktoren ab, darunter die Fähigkeit, die produzierte, gespeicherte und verkaufte Energie optimal zu verwalten. In diesem Zusammenhang umfasst das Energiemanagement die Disposition von flexiblen Ressourcen, d.h. die Entscheidung, wann und wie Energie gespeichert oder umgewandelt wird (Sektorkopplung) und wann Energie aus dem Netz gekauft oder verkauft wird. Diese Entscheidung wird auf der Grundlage einer Vorhersage der zukünftigen Energieerzeugung und von Verbrauchsmustern getroffen. Prognosen sind im Hinblick auf fossile Brennstoffe (die Erzeugung kann relativ rasch angestoßen und wieder beendet werden) und die große Anzahl von Haushalten (Schwankungen bei den Lasten gleichen sich weitgehend aus) recht genau. Für erneuerbare Energiequellen und eine geringe Anzahl von Haushalten sind diese Prognosen jedoch erheblich schwieriger durchzuführen, was zu fehleranfälligen Prognosen führt. Während Methoden zur Lösung dieses Dispositionsproblems existieren, erfordern viele Standardmethoden wie Model Predictive Control (MPC) ein genaues Vorhersagemodell, was oft zu suboptimalen Entscheidungen führt.

Ziel: Das übergeordnete Ziel dieses Projekts ist es, die Zuverlässigkeit von dezentralen Energiesystemen durch den Einsatz von Reinforcement Learning (RL) zu erhöhen, wobei die Ungenauigkeiten des Prognosemodells erkannt und kompensiert werden. Um die Vorteile von MPC (das mit genauen Modellen gute Ergebnisse liefert) und RL (das sich an ungenaue Modelle anpassen kann) auszunutzen, betrachten wir zwei hybride Lösungen. RISE konzentriert sich nicht nur auf die technische Umsetzung, sondern verfolgt einen umfassenden Ansatz, bei dem auch ein Energieanbieter (wüsterstrom), eine Gemeinde (Wieselburg-Land), sowie die Data Intelligence Offensive (DIO), die die Verbindung zum Green Data Hub und zu nationalen Datenräumen herstellt, mitwirken. Die Einbeziehung verschiedener Bedarfsträger gewährleistet eine gut funktionierende Verwertbarkeit der Projektergebnisse.

Ergebnisse: Im Rahmen von RISE werden RL-basierte Optimierungsmethoden entwickelt, die Energiemanagementsysteme robuster gegen Prognoseungenauigkeiten machen und damit die Ausfallsicherheit/Resilienz der lokalen Energieversorgung erhöhen. Dies ermöglicht Einsparungen von bis zu 24,7% der Kosten und bis zu 8,4% der CO2-Emissionen im Vergleich zu heute gebräuchlichen regelbasierten Methoden [Houben et al, 2023]. Darüber hinaus werden verschiedene Betriebsszenarien basierend auf potenziellen Einsparungen klassifiziert - einschließlich Einsparungen, die sich durch die Erhöhung der Energieerzeugungs- oder Speicherkapazität ergeben. Die gewonnenen Erkenntnisse sind für die Erstellung neuer Geschäftsmodelle für dezentrale Dienstleister von großem Nutzen. Zusätzlich wird mithilfe der DIO das Potenzial eines Energiedatenraums zur Weiterentwicklung und Skalierung des Optimierungsansatzes untersucht.

Innovationsgehalt: Die Innovation dieses Projekts liegt in der technischen Weiterentwicklung von Methoden zur Lösung dynamischer Optimierungsprobleme für die robuste Regelung von dezentralen Energiesystemen, insbesondere von EEGs. RISE bewertet komplementäre Ansätze zur Kombination von MPC und RL zur Steigerung der Effizienz und der Ausfallsicherheit/Resilienz in realen Situationen. Durch die Auswertung der Ergebnisse auf der Grundlage realer Daten für eine Reihe verschiedener Betriebsszenarien wird klar, wo diese Methoden im Bereich des Energiemanagements, aber auch darüber hinaus, am nützlichsten sind.

Abstract

Initial Situation: The Renewable Energy Expansion Act was adopted by the Austrian National Council in 2021, with the goal of converting the nation's electricity supply to 100% electricity from renewable sources by 2030 and achieve carbon neutrality by 2040. To meet this goal we need not only the expansion of renewable energy sources, but also decentralized systems that can manage energy at the location where energy is required. Such decentralized systems, such as Renewable Energy Communities (RECs) and microgrids, allow regionally connected groups of generation resources and consumers to come together to manage energy independently. With the approval of the Clean Energy Package in 2019, the existence and the potential role of RECs gained legal recognition in the EU, paving the way for their wider adoption and development.

Problem: Fully exploiting the potential of RECs is dependent on several factors, including the ability to optimally manage the energy being produced, stored, and sold. In this context, energy management involves the dispatching of flexible assets, i.e. deciding when and how to store or convert energy (sector coupling), and when to buy or sell energy from the grid. This decision is made based on a prediction of the future energy generation and load patterns, forecasts that are generally accurate when considering fossil fuels (which can be controlled on and off) and large aggregations of household loads (which normalizes the stochasticity). However, for renewable energy sources and few-household communities these forecasts are significantly harder to predict, resulting in forecasts that are subject to error. While methods exist to solve this dispatching problem, many standard methods, such as Model Predictive Control (MPC), require an accurate forecast model, often leading to suboptimal decision making, since all forecasts are generally subject to error.

Goal: The overarching goal of this project is to increase the reliability of distributed energy systems through the use of Reinforcement Learning (RL), which learns, through experience, the inaccuracies of the forecast model and compensates for them. In order to exploit the benefits of MPC (which provides good results with accurate models) and RL (which can adapt to inaccurate models) we consider two hybrid solutions. RISE focuses not only on the technical implementation, but takes a comprehensive approach, including input from an energy provider (wüsterstrom), a municipality (Wieselburg-Land), as well as the Data Intelligence Offensive (DIO) which provides a connection to the Green Data Hub and national data spaces. This involvement of different stakeholders ensures the subsequent usability of the project results.

Results: RISE develops RL-based optimization methods for energy management systems that are robust to forecast inaccuracies, therefore providing the basis for a reliable local energy supply. This has the potential for savings of up to 24.7% of cost and up to 8.4% of CO2 when compared to currently used rule-based methods [Houben et al, 2023]. Additionally, different operational scenarios are classified based on potential savings - including the savings if energy creation or storage capacity is increased. In the future this may serve as a guide for potential new business models for decentralized service providers. Furthermore, the data and optimization results are put in perspective of emerging data spaces, through the experience of the DIO.

Innovation content: The innovation of this project lies in the advanced methods developed to solve dynamic optimization problems for a more robust control of decentralized energy systems, specifically RECs. RISE aims to evaluate the efficacy of combining MPC and RL techniques to enhance the efficiency and reliability of these systems in real-world situations. By analyzing the results using real-world data from diverse operating scenarios, we will gain valuable insights into where these methods are most advantageous for not only energy management but also dynamic optimization problems in general.

zurück