FFG Projektdatenbank

zurück

Big Power Data

Transaktionssicherheit und Skalierbarkeit bei der Echtzeitverarbeitung von (Big) Power Data

Projektbeschreibung

Die Menge der Daten in der Energiewirtschaft wächst aufgrund der starken Zunahme von Sensoren und durch die Erhöhung der Abtastrate der Messungen aktuell dramatisch an.
Es ist die zentrale Herausforderung der Energiewirtschaft geworden, unter diesen dynamischen Rahmenbedingungen die Netzstabilität weiterhin dauerhaft zu gewährleisten.

Der Löwenanteil der wesentlichen Datenströme sind Zeitreihen – Datensätze. Die Verarbeitung solcher Zeitreihen in der Energiewirtschaft in Zeitreihenmanagementsystemen (Time Series Management – TSM) setzt die Entwicklung domänenspezifischer Lösungen voraus. Nur so ist es möglich, von den Fortschritten von Online Transaction Processing (OLTP) -Datenbanken hinsichtlich Skalierbarkeit zu profitieren und auf diese Weise die notwendigen Durchbrüche in der Echtzeitverarbeitung und in der Anwendung von KI-basierten Algorithmen zu ermöglichen.

Aktuell verfügbare Lösungen nutzen bisher entweder nur vertikal skalierbare Datenbanken mit transaktionaler Konsistenz oder horizontal skalierbare Technologien ohne transaktionale Konsistenz. Die Anwendung und Weiterentwicklung einer Datenbanktechnologie speziell für Energiedaten, die diese beiden Aspekte verbindet, ermöglicht es erst, ein und dieselben Daten für operative Zwecke, wie auch für Monitoring- und analytische Zwecke zu verwenden.

Im Kontext eines verteilten Verarbeitungsdienstes, der als agnostisches Middleware-Element zwischen Anwendungs- und Datenspeicherkomponenten fungiert, stellt die Entwicklung eines Konzepts zur Gewährleistung der Konsistenz bei zeitreihendatenbezogenen Transaktionen eine neuartige Ergänzung dar.

Darüber hinaus geht ein Konzept, das die Skalierung und das Sharing einzelner Regionen ohne Unterbrechung des Dienstes ermöglicht, über bestehende Ansätze hinaus, die aktuell die Partitionierung von Regionen nur durch periodisches Blockieren dieser erlaubt und somit die Skalierung begrenzen.

Die konkreten Ziele des vorliegenden Entwicklungsprojekts sind:

1. Entwicklung einer TSM Lösung für den Energiesektor die mit horizontal skalierbaren Datenbanken mit transaktionaler (ACID) Konsistenz in Echtzeit funktioniert
2. Ausbau einer entsprechenden Datenbanktechnologie zur optimalen Verarbeitung von Zeitreihen aus dem Energiesektor (Zusammenspiel von Transkationen über verteilte TSM Services und Persistenz-Services)
3. Ermittlung der Grenzen anhand von Echtdaten für anspruchsvolle Energy Use Cases für horizontal skalierbare Datenbanken.

Am Ende der Entwicklung soll eine integrierte Softwareplattform für das Big Data Zeitreihenmanagement als Kerntechnologie für alle Teilbereiche der Wertschöpfungskette der Energiewirtschaft zur Verfügung stehen. So möchten die Partnerunternehmen die Energiewirtschaft dabei unterstützen eine ihrer größten informationstechnischen Herausforderungen zu meistern, und auch einen Beitrag zur Erreichbarkeit der höchst ambitionierten Ziele der Europäischen Klimapolitik leisten.

Abstract

The amount of data in the energy industry is currently growing dramatically due to the strong increase in sensors and the increase in the sampling rate of measurements.
It has become the central challenge of the energy industry to continue to ensure grid stability in the long term under these dynamic conditions.

The lion's share of the essential data streams are time series - data sets. The processing of such time series in the energy industry in time series management (TSM) systems requires the development of domain-specific solutions. Only in this way is it possible to benefit from the advances of Online Transaction Processing (OLTP) databases in terms of scalability and in this way enable the necessary breakthroughs in real-time processing and in the application of AI-based algorithms.

Currently available solutions so far use either only vertically scalable databases with transactional consistency or horizontally scalable technologies without transactional consistency. The application and further development of a database technology specifically for energy data, which combines these two aspects, only makes it possible to use one and the same data for operational purposes as well as for monitoring and analytical purposes.

In the context of a distributed processing service that acts as an agnostic middleware element between application and data storage components, the development of a concept to ensure consistency in time series data related transactions is a novel addition.

Furthermore, a concept that allows scaling and sharing of individual regions without interrupting the service goes beyond existing approaches that currently allow partitioning of regions only by periodically blocking them, thus limiting scaling.

The specific goals of the present development project are:

1. develop a TSM solution for the energy sector that works with horizontally scalable databases with transactional (ACID) consistency in real time.
2. development of an appropriate database technology for optimal processing of time series from the energy sector (interaction of transcations via distributed TSM services and persistence services)
3. determination of the limits based on real data for demanding energy use cases for horizontally scalable databases.

At the end of the development, an integrated software platform for Big Data time series management should be available as a core technology for all sub-sectors of the energy industry value chain. In this way, the partner companies want to support the energy industry in mastering one of its greatest information technology challenges, and also make a contribution to achieving the highly ambitious goals of European climate policy.

zurück