[0001] Die Erfindung betrifft ein Verfahren zum Optimieren eines Schienenverkehrs eines
Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen.
[0002] Für das effiziente Betreiben von Schienenverkehrsnetzen ist das Verhindern von Verspätungen
der Züge und das Einhalten von Fahrplänen nicht nur mit Blick auf eine Kundenzufriedeneinheit
von Wichtigkeit. Auch im Hinblick auf Auslastung der Kapazitäten des Schienenverkehrsnetz
ist die Einhaltung entsprechend optimierter Fahrpläne von Interesse. Insbesondere
auf einen Energieverbrauch optimierte Fahrpläne sind nicht nur bezüglich wirtschaftlicher
Aspekte sondern auch im Hinblick auf energiepolitische Zielsetzungen für das Betreiben
entsprechender Schienenverkehrsnetze wichtig.
[0003] Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum Optimieren
eines Schienenverkehrs eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen
bereitzustellen.
[0004] Diese Aufgabe wird durch ein Verfahren zum Optimieren eines Schienenverkehrs eines
Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen gemäß dem unabhängigen
Anspruch gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
[0005] Nach einem Aspekt der Erfindung wird ein Verfahren zum Optimieren eines Schienenverkehrs
eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen bereitgestellt,
wobei das Verfahren umfasst:
- Empfangen von globalen Zustandsdaten eines Schienenverkehrs, wobei die globalen Zustandsdaten
einen globalen Zustand des Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen
des Schienenverkehrsnetzes beschreiben;
- Ermitteln eines Satzes von lokalen Zustandsdaten einer Mehrzahl von Schienenfahrzeugen
des Schienenverkehrs des Schienenverkehrsnetzes basierend auf den globalen Zustandsdaten,
wobei lokale Zustandsdaten eines Schienenfahrzeugs einen Zustand des Schienenfahrzeugs
innerhalb des Schienenverkehrs beschreiben;
- Ermitteln eines optimierten Satzes von lokalen Steuerungsaktionen für die Mehrzahl
von Schienenfahrzeugen basierend auf dem Satz von lokalen Zustandsdaten der Mehrzahl
von Schienenfahrzeugen und unter Berücksichtigung wenigstens eines Optimierungsziels,
wobei lokale Steuerungsaktionen eines Schienenfahrzeugs eine individuelle Ansteuerung
des jeweiligen Schienenfahrzeugs beschreiben;
- Generieren von globalen Steuerungsdaten basierend auf dem optimierten Satz von lokalen
Steuerungsaktionen, wobei die globalen Steuerungsdaten die lokalen Steuerungsaktionen
umfassen, und wobei eine Ansteuerung der Mehrzahl von Schienenfahrzeugen des Schienenverkehrs
gemäß den Steuerungsaktionen der globalen Steuerungsdaten eine Erfüllung des wenigstens
einen Optimierungsziels bewirkt; und
- Bereitstellen der globalen Steuerungsdaten.
[0006] Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Verfahren
zum Optimieren eines Schienenverkehrs eines Schienenverkehrsnetzes mit einer Mehrzahl
von Schienenfahrzeugen bereitgestellt werden kann. Hierzu werden aus globalen Zustandsdaten
eines zu optimierenden Schienenverkehrs, in denen ein Zustand des jeweiligen Schienenverkehrs
inklusive der Mehrzahl von Schienenfahrzeugen zu einem vorbestimmten Zeitpunkt beschrieben
ist, lokale Zustandsdaten der Mehrzahl von Schienenfahrzeugen separiert, die jeweils
Zustände der einzelnen Schienenfahrzeuge individuell beschreiben. Hierauf basierend
werden für die Mehrzahl von lokalen Zustandsdaten lokale Steuerungsaktionen generiert,
die jeweils dazu dienen, die einzelnen Schienenfahrzeuge anzusteuern und eine Zustandsänderung
des Schienenverkehrs zu bewirken. Die lokalen Steuerungsaktionen sind hierbei unter
Berücksichtigung eines Optimierungsziels des Schienenverkehrs generiert. Basierend
auf den lokalen Steuerungsaktionen werden darauffolgend globale Steuerungsdaten generiert,
die die lokalen Steuerungsaktionen umfassen und die eingerichtet sind, bei Ansteuerung
der Mehrzahl von Schienenfahrzeugen des Schienenverkehrs gemäß den Steuerungsaktionen
das jeweilige Optimierungsziel des Schienenverkehrs zu erreichen.
[0007] Durch das Extrahieren der lokalen Zustandsdaten aus den globalen Zustandsdaten des
Schienenverkehrs kann zur Generierung der lokalen Steuerungsaktionen die zu verarbeitende
Datenmenge in Form der globalen Zustandsdaten auf die ausschließlich zur Generierung
der lokalen Steuerungsaktionen benötigten Zustandsdaten der einzelnen Schienenfahrzeuge
reduziert werden. Hierdurch kann das erfindungsgemäße Verfahren, insbesondere das
Erzeugen der zum Ansteuern des Schienenverkehrs bzw. der einzelnen Schienenfahrzeuge
benötigten lokalen Steuerungsaktionen zeitlich beschleunigt werden. Hierdurch kann
das erfindungsgemäße Verfahren während des Betriebs der Schienenfahrzeuge, sozusagen
in einem Onlinebetrieb des Schienenverkehrs, ausgeführt werden. Darüber hinaus kann
durch das Separieren der lokalen Zustandsdaten aus den globalen Zustandsdaten erreicht
werden, dass für jedes einzelne Schienenfahrzeug basierend auf den jeweiligen lokalen
Zustandsdaten des Schienenfahrzeugs individuell entsprechende Steuerungsaktionen ermittelt
werden können. Hierdurch können diese präzise an die Erreichung des jeweiligen Optimierungsziels
angepasst werden, um somit eine präzise Optimierung des Schienenverkehrs erreichen
zu können.
[0008] Ein Schienenverkehr ist im Sinne der Anmeldung durch eine Gesamtheit einer Mehrzahl
von innerhalb eines Schienenverkehrsnetzes betriebenen Schienenfahrzeugen beschrieben.
Im Schienenverkehr sind ferner Informationen bezüglich Ansteuerungszustände der Schienenfahrzeuge
insbesondere in Bezug auf eine Regelfahrplan berücksichtigt. Ferner sind im Schienenverkehr
Informationen bezüglich externer Begebenheiten, beispielsweise eines Fahrgastaufkommens,
berücksichtigt.
[0009] Zustände eines Schienenverkehrs sind hierbei wenigstens durch Ansteuerungszustände
der Mehrzahl von Schienenfahrzeugen gekennzeichnet und können sich in Bezug auf Verspätungswerte
bezüglich eines vordefinierten Sollfahrplans der Mehrzahl von Schienenfahrzeugen unterscheiden.
[0010] Nach einer Ausführungsform wird das Ermitteln des optimierten Satzes von Steuerungsaktionen
durch eine Aktionsauswahlregel durchgeführt, wobei die Aktionsauswahlregel eingerichtet
ist, für jedes der Mehrzahl von Schienenfahrzeugen basierend auf den jeweiligen lokalen
Zustandsdaten des Schienenfahrzeugs wenigstens eine entsprechende Steuerungsaktion
zu ermitteln, die geeignet ist, das Optimierungsziel des Schienenverkehrs zu erfüllen.
[0011] Hierdurch kann der technische Vorteil erreicht werden, dass eine effiziente Ermittlung
von individuellen Steuerungsaktionen für jedes der Schienenfahrzeuge basierend auf
den jeweiligen lokalen Zustandsdaten ermöglicht ist. Indem die lokalen Zustandsdaten
der verschiedenen Schienenfahrzeuge eine identische Datenstruktur aufweisen, kann
somit mit lediglich einer Aktionsauswahlregel, die eingerichtet ist, auf die Zustandsdaten
der entsprechenden Datenstruktur angewendet zu werden, für die Mehrzahl verschiedener
Schienenfahrzeuge verwendet werden, entsprechende Steuerungsaktionen zu generieren.
Indem die Aktionsauswahlregel individuell auf die lokalen Zustandsdaten der einzelnen
Schienenfahrzeuge angewendet wird, ist die Aktionsauswahlregel auf verschiedene Verkehrsszenarien
anwendbar, in denen unterschiedliche Anzahlen von Schienenfahrzeugen im Schienenverkehr
betrieben werden, und für die somit die Datenstruktur der jeweiligen globalen Zustandsdaten
des jeweiligen Schienenverkehrs variiert. Hierdurch ist eine breite Anwendbarkeit
des erfindungsgemäßen Verfahrens für verschiedene Verkehrssituationen ermöglicht.
[0012] Eine Aktionsauswahlregel entspricht im Sinne der Anmeldung einer aus dem Bereich
des bestärkenden Lernens (Reinforcement Learning) bekannte Policy.
[0013] Nach einer Ausführungsform ist die Aktionsauswahlregel durch bestärkendes Lernen
trainiert.
[0014] Hierdurch kann der technische Vorteil erreicht werden, dass ein effizientes Verfahren
zum Optimieren eines Schienenverkehrs bereitgestellt werden kann. Durch die Anwendung
des bestärkenden Lernens zum Trainieren der Aktionsauswahlregel, basierend auf den
lokalen Zustandsdaten der verschiedenen Schienenfahrzeuge unter Berücksichtigung der
vordefinierten Optimierungsziele kann die Aktionsauswahlregel automatisiert auf eine
große Anzahl verschiedener Verkehrssituationen und verschiedener Optimierungsziele
trainiert werden, entsprechende die Optimierungsziele erfüllende Steuerungsaktionen
zu generieren. Es kann somit ein effizientes Training der Aktionsauswahlregel und
eine effizient anwendbare Aktionsauswahlregel erreicht werden, die in einem Offlinezustand
des Schienenverkehrs trainiert werden kann, und nach abgeschlossenem Training auf
eine Vielzahl verschiedener Verkehrssituationen anwendbar ist.
[0015] Nach einer Ausführungsform wird das Training der Aktionsauswahlregel basierend auf
Simulationsdaten ausgeführt, wobei die Simulationsdaten auf einer Simulation eines
Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen des Schienenverkehrsnetzes
basieren.
[0016] Hierdurch kann der technische Vorteil erreicht werden, dass ein einfaches und effizientes
Training der Aktionsauswahlregel ermöglicht ist. Darüber hinaus können über die Simulation
zahlreiche verschiedene Verkehrssituationen simuliert werden, so dass eine möglichst
effizient und umfassend trainierte Aktionsauswahlregel bereitgestellt werden kann,
die eine effiziente Optimierung eines Schienenverkehrs für beliebige Verkehrssituationen
ermöglicht. Darüber hinaus ist das Training nicht auf reale Zustandsdaten angewiesen,
sodass das aufwändige Erzeugen realer Zustandsdaten, beispielsweise durch das Aufnehmen
von Streckendaten durch Testfahrten der Schienenfahrzeuge oder das Protokollieren
von Verkehrsdaten realer Verkehrssituationen, vermieden werden kann.
[0017] Nach einer Ausführungsform umfasst das Training der Aktionsauswahlregel ein Maximieren
einer Belohnungsfunktion, wobei die Belohnungsfunktion das wenigstens eine Optimierungsziel
definiert.
[0018] Hierdurch kann der technische Vorteil erreicht werden, dass ein effizientes Training
der Aktionsauswahlregel ermöglicht ist.
[0019] Nach einer Ausführungsform ist die Aktionsauswahlregel als ein neuronales Netz ausgebildet.
[0020] Hierdurch kann der technische Vorteil erreicht werden, dass eine leistungsfähige
Aktionsauswahlregel bereitgestellt werden kann, die eingerichtet ist, in einem vorbestimmten
Zeitraum basierend auf den lokalen Zustandsdaten der einzelnen Schienenfahrzeuge entsprechende
dem Optimierungsziel genügende lokale Steuerungsaktionen zu generieren. Hierdurch
kann gewährleistet werden, dass das erfindungsgemäße Verfahren in einem Onlinebetrieb
des Schienenverkehrs ausgeführt werden kann und deterministisch innerhalb eines vorbestimmten
Zeitabschnitts entsprechende Steuerungsaktionen zum Steuern und Optimieren des Schienenverkehrs
bereitstellen kann.
[0021] Nach einer Ausführungsform umfasst das Generieren von globalen Steuerungsdaten:
- Anpassen der lokalen Steuerungsaktionen verschiedener Schienenfahrzeuge und/oder
Auflösen von Konflikten zwischen Steuerungsaktionen verschiedener Schienenfahrzeuge.
[0022] Hierdurch kann der technische Vorteil erreicht werden, dass trotz Berechnung der
lokalen Steuerungsaktionen individuell für jedes der Mehrzahl von Schienenfahrzeugen
Kollisionen der verschiedenen Steuerungsaktionen der einzelnen Schienenfahrzeuge vermieden
werden können. Hierdurch kann ein gesicherter Betrieb des Schienenverkehrs gewährleistet
werden.
[0023] Nach einer Ausführungsform umfassen die lokalen Steuerungsaktionen der Schienenfahrzeuge
ein Erzielen einer Ankunftszeit und/oder einer Standzeit und/oder einer Abfahrtszeit
des jeweiligen Schienenfahrzeugs an wenigstes einer Haltestelle eines durch das Schienenfahrzeug
befahrenen Schienenwegs des Schienenverkehrsnetzes.
[0024] Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Optimierung
des Schienenverkehrs bereitgestellt werden kann. Durch Berücksichtigung von Ankunftszeiten,
Abfahrtszeiten und/oder Standzeiten der einzelnen Schienenfahrzeuge an verschiedenen
Haltstellen des Schienenverkehrsnetzes durch die lokalen bzw. globalen Steuerungsaktionen
können die Schienenfahrzeuge im Hinblick auf eine Optimierung des Schienenverkehrs
in Bezug auf einen vordefinierten Fahrplan des Schienenverkehrs angesteuert werden.
Indem die Ankunftszeiten, Abfahrtszeiten bzw. Standzeiten der Schienenfahrzeuge an
den jeweiligen Haltestellen in den jeweiligen Steuerungsaktionen berücksichtigt werden,
können die Steuerungsaktionen darauf ausgelegt sein, die entsprechenden Ankunftszeiten,
Abfahrtszeiten bzw. Standzeiten derart zu optimieren bzw. anzupassen, dass ein Betrieb
des Schienenverkehrs an einen optimierten Fahrplan angepasst bzw. bzgl. diesem optimiert
werden kann. Die Ankunftszeiten, Abfahrtszeiten und/oder Standzeiten können hierbei
entsprechend dem Optimierungsziel ermittelt werden und insbesondere von den Ankunftszeiten,
Abfahrtszeiten und/oder Standzeiten, die im vordefinierten Fahrplan definiert sind,
abweichen.
[0025] Nach einer Ausführungsform umfassen die lokalen Zustandsdaten eines Schienenfahrzeugs
eine Position und/oder eine Geschwindigkeit und/oder eine Verspätung relativ zu einem
vordefinierten Fahrplan des Schienenfahrzeugs im Schienenverkehrsnetz und/oder eine
Position und/oder eine Geschwindigkeit und/oder eine Verspätung von relativ zum Schienenfahrzeug
auf einem durch das Schienenfahrzeug befahrenen Schienenweg voraus- und/oder nachfahrenden
Schienenfahrzeugen und/oder eine Gesamtverspätung der Mehrzahl von Schienenfahrzeugen.
[0026] Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Bestimmung
der Zustände der einzelnen Schienenfahrzeuge basierend auf den lokalen Zustandsdaten
ermöglicht ist. Durch die Berücksichtigung weiterer auf einem Schienenweg befindlicher
Schienenfahrzeuge zur Beurteilung eines Zustands eines Schienenfahrzeugs können diese
ebenfalls bei der Generierung der entsprechenden Steuerungsaktionen berücksichtigt
werden. Hierdurch können die lokalen Steuerungsaktionen einzelner Schienenfahrzeuge
präzise auf den tatsächlichen Zustand des Schienenfahrzeugs innerhalb des Schienenverkehrs,
der auch weitere Schienenfahrzeuge wie auch Verspätungen der einzelnen Fahrzeuge berücksichtigt,
angepasst werden. Hierdurch ist eine präzise Optimierung des Schienenverkehrs ermöglicht,
der Verspätungen einzelnen Schienenfahrzeuge bzw. einer Mehrzahl von Schienenfahrzeugen
verringert bzw. behoben werden können.
[0027] Nach einer Ausführungsform umfasst das wenigstens eine Optimierungsziel eine Reduzierung
einer Gesamtverspätung der Mehrzahl von Schienenfahrzeugen relativ zu einem vorbestimmten
Fahrplan des Schienenverkehrsnetzes und/oder eine Varianz von Verspätungen einzelner
Schienenfahrzeuge relativ zum vorbestimmten Fahrplan und/oder eine minimale Zeitspanne
bis zu einer Widerherstellung des vorbestimmten Fahrplans und/oder einen minimalen
Energieverbrauch und/oder minimale Energieverbrauchsspitzen der Mehrzahl von Schienenfahrzeugen.
[0028] Hierdurch kann der technische Vorteil erreicht werden, dass der Schienenverkehr auf
verschiedene relevante Optimierungsziele wie beispielsweise ein Energieverbrauch der
Gesamtheit der Schienenfahrzeuge oder eine Gesamtverspätung der Gesamtheit der Schienenfahrzeuge
bzw. Verspätungen einzelner Schienenfahrzeuge optimiert werden kann.
[0029] Nach einer Ausführungsform wird das Verfahren in einem Online-Betrieb der Mehrzahl
von Schienenfahrzeugen im Schienenverkehr des Schienenverkehrsnetzes ausgeführt wird.
[0030] Hierdurch kann der technische Vorteil erreicht werden, dass eine Optimierung des
Onlinebetrieb des Schienenverkehrs ermöglicht ist.
[0031] Nach einem zweiten Aspekt der Erfindung wird ein Verfahren zum Trainieren einer Aktionsauswahlregel
bereitgestellt, wobei das Verfahren umfasst:
- Ausführen einer Simulation eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen
eines Schienenverkehrsnetzes;
- Empfangen von globalen Zustandsdaten des Schienenverkehrsnetzes der Simulation;
- Ermitteln eines Satzes von lokalen Zustandsdaten der Mehrzahl von Schienenfahrzeugen
des Schienenverkehrs basierend auf den globalen Zustandsdaten;
- Ermitteln eines optimierten Satzes von lokalen Steuerungsaktionen für die Mehrzahl
von Schienenfahrzeugen basierend auf dem Satz von lokalen Zustandsdaten der Mehrzahl
von Schienenfahrzeugen und unter Berücksichtigung wenigstens eines Optimierungsziels
durch Ausführen der Aktionsauswahlregel auf die lokalen Zustandsdaten;
- Generieren von globalen Steuerungsdaten basierend auf dem optimierten Satz von lokalen
Steuerungsaktionen;
- Bereitstellen der globalen Steuerungsdaten an die Simulation des Schienenverkehrs;
- Ausführen der Steuerungsaktionen der globalen Steuerungsdaten durch die Simulation
und Überführen des Schienenverkehrs in einen zweiten globalen Zustand;
- Berechnen eines Werts einer Belohnungsfunktion für den zweiten globalen Zustand des
Schienenverkehrs in Bezug auf das wenigstens eine Optimierungsziel unter Berücksichtigung
von Techniken des bestärkenden Lernens;
- Modifizieren von Parametern der Aktionsauswahlregel gemäß dem Wert der Belohnungsfunktion
unter Berücksichtigung von Techniken des bestärkenden Lernens; und
- Iteratives Ausführen der voranstehenden Verfahrensschritte und Maximieren der Belohnungsfunktion.
[0032] Hierdurch kann der technische Vorteil erreicht werden, dass ein effizientes Verfahren
zum Trainieren einer Aktionsauswahlregel bereitgestellt werden kann. Hierzu wird die
Aktionsauswahlregel durch bestärkendes Lernen basierend auf Simulationsdaten einer
Simulation eines Schienenverkehrs trainiert. Hierzu werden zunächst aus globalen Zustandsdaten
des Schienenverkehrs lokale Zustandsdaten der einzelnen Schienenfahrzeuge generiert
und durch Anwendung der Aktionsauswahlregel auf die lokalen Zustandsdaten unter Berücksichtigung
des zu erfüllenden Optimierungsziels entsprechende lokale Steuerungsaktionen generiert,
die eingerichtet sind, bei Ausführung durch die jeweiligen Schienenfahrzeuge den Schienenverkehr
in einen entsprechenden geänderten Zustand zu überführen. Durch Berücksichtigung von
Belohnungswerten einer Belohnungsfunktion und das Modifizieren von Parametern der
Aktionsauswahlregel zum Maximinieren der jeweiligen Belohnungsfunktion nach mehrfachem
Überführen des Schienenverkehrs geänderte Zustände kann ein effizientes Training der
Aktionsauswahlregel zum Optimieren eines Schienenverkehrs erreicht werden.
[0033] Nach einer Ausführungsform wird das Verfahren zum Trainieren einer Aktionsauswahlregel
in einem Offline-Betrieb des Schienenverkehrsnetzes ausgeführt.
[0034] Hierdurch kann der technische Vorteil erreicht werden, dass ein effizientes Training
der Aktionsauswahlregel ermöglicht ist, indem dieses in einem Offlinezustand des Schienenverkehrs
durchgeführt wird, bzw. die Aktionsauswahlregel zum Optimieren des Schienenverkehrs
erst tatsächlich eingesetzt wird, wenn das offline betriebene Training auf Basis der
Simulation entsprechender Verkehrssituationen abgeschlossen ist.
[0035] Nach einem dritten Aspekt wird ein System zum Optimieren eines Schienenverkehrs mit
einer Recheneinheit bereitgestellt, die eingerichtet ist, das erfindungsgemäße Verfahren
zum Optimieren eines Schienenverkehrs eines Schienenverkehrsnetzes mit einer Mehrzahl
von Schienenfahrzeugen nach einer der voranstehenden Ausführungsformen auszuführen,
und/oder das erfindungsgemäße Verfahren zum Trainieren einer Aktionsauswahlregel nach
einer der voranstehenden Ausführungsformen auszuführen.
[0036] Nach einem vierten Aspekt der Erfindung wird ein Computerprogrammprodukt umfassend
Befehle bereitgestellt, die bei der Ausführung des Programms durch eine Datenverarbeitungseinheit
diese veranlassen, das erfindungsgemäße Verfahren zum Optimieren eines Schienenverkehrs
eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen nach einer
der voranstehenden Ausführungsformen auszuführen, und/oder das erfindungsgemäße Verfahren
zum Trainieren einer Aktionsauswahlregel nach einer der voranstehenden Ausführungsformen
auszuführen.
[0037] Die oben beschriebenen Merkmale und Vorteile dieser Erfindung sowie die Art und Weise,
wie diese erreicht werden, werden klarer und deutlicher verständlich durch die Erläuterungen
der folgenden, stark vereinfachten, schematischen Darstellungen bevorzugter Ausführungsbeispiele.
Hierbei zeigen jeweils:
- FIG 1
- eine schematische Darstellung eines Systems zum Optimieren eines Schienenverkehrs
gemäß einer Ausführungsform;
- FIG 2
- eine weitere schematische Abbildung des Systems zum Optimieren eines Schienenverkehrs
gemäß einer Ausführungsform;
- FIG 3
- ein Flussdiagramm des Verfahrens zum Optimieren eines Schienenverkehrs gemäß einer
Ausführungsform;
- FIG 4
- eine schematische Darstellung des Systems in Fig. 1 in einem Simulationsmodus;
- FIG 5
- eine weitere schematische Abbildung des Systems zum Optimieren eines Schienenverkehrs
gemäß einer Ausführungsform;
- FIG 6
- ein Flussdiagramm eines Verfahrens zum Trainieren einer Aktionsauswahlregel gemäß
einer Ausführungsform; und
- FIG 7
- eine schematische Darstellung eines Computerprogrammprodukts.
[0038] FIG 1 zeigt eine schematische Darstellung eines Systems 300 zum Optimieren eines
Schienenverkehrs gemäß einer Ausführungsform.
[0039] Ein System 300 zur Optimierung eines Schienenverkehrs umfasst gemäß der gezeigten
Ausführungsform eine Mehrzahl von Modulen, die auf einer Recheneinheit 301 ausführbar
sind. Das System 300 kann ferner sowohl in ein Offline- Teilsystem 302 und ein Online-Teilsystem
304 aufgeteilt sein, wobei das Offline- Teilsystem 302 offline, sprich unabhängig
von einem Betrieb der Schienenfahrzeuge 203, ausgeführt wird, während das Online-Teilsystem
304 während des Betriebs der Schienenfahrzeuge 203 ausgeführt wird.
[0040] Die zentrale Komponente des Offline-Teilsystems 302 ist ein Fahrplanoptimierungsmodul
311. Das Fahrplanoptimierungsmodul 311 dient dazu, für einen vorbestimmten Zeitraum
einen optimierten Fahrplan für einen Schienenverkehr einer Mehrzahl von Schienenfahrzeugen
eines Schienenverkehrsnetzes zu erstellen. Den im Offline-Teilsystem 302 erstellten
optimierten Fahrplan kann das Fahrplanoptimierungsmodul 311 über eine erste Schnittstelle
an das Online-Teilsystem 304 übertragen, damit der Fahrplan zur Steuerung des Schienenverkehrs
ausgeführt werden kann.
[0041] Im tatsächlichen Betrieb des Schienenverkehrs wird der von nun an Online-Fahrplan
genannte Fahrplan durch ein Fahrplanmanagementmodul 305 verwaltet. Hierzu können Positionsdaten
einzelner Schienenfahrzeuge des Schienenverkehrs über ein automatisches Schienenfahrzeugverfolgungsmodul
307 über eine zweite Schnittstelle S2 an das Fahrplanmanagementmodul 305 übertragen,
damit dieses einen Vergleich zwischen Soll-Bewegungen des Fahrplans und tatsächlich
durch die Schienenfahrzeuge des Schienenverkehrs ausgeführte Ist-Bewegungen ausführen
kann.
[0042] Das Fahrplanmanagementmodul 305 kann ferner über eine dritte Schnittstelle S3 Befehle
zur Auswahl entsprechend zu befahrender Schienenwege ein automatisches Streckenauswahlmodul
309 übertragen. Somit können rechtzeitig entsprechende Schienenwege reserviert werden,
um einen Betrieb der Schienenfahrzeuge mit minimalen Verspätungen zu gewährleisten.
[0043] Das Fahrplanmanagementmodul 305 weist ferner eine bidirektionale Schnittstelle S2,
S4 mit einem automatischen Schienenfahrzeugregelungsmodul 303 auf. Für den Fall, dass
der Online-Fahrplan geändert werden muss, entweder durch einen neuen Sollfahrplan
des Fahrplanoptimierungsmoduls 311 oder durch Änderungen eines Fahrdienstleiters,
kann das automatische Schienenfahrzeugregelungsmodul 303 entsprechend informiert werden,
um eine Änderung des Online-Fahrplans zu bewirken. Hierzu benötigt das automatische
Schienenfahrzeugregelungsmodul 303 ferner aktuelle Positionsdaten der Schienenfahrzeuge,
um aktuelle Verspätungen der Schienenfahrzeuge ermitteln und bei größeren Abweichungen
geeignete Regelungen einzuleiten zu können.
[0044] Diese Regelungen können entsprechende durch die Schienenfahrzeuge auszuführende Steuerungsaktionen
umfassen, mit denen gewünschte bzw. zur Aufhebung der Verspätung und zur Änderung
des Fahrplans durch die Schienenfahrzeuge zu erreichende bzw. einzuhaltende Abfahrtszeiten
und/oder Ankunftszeiten und Haltezeiten der Schienenfahrzeuge an Haltestellen der
Schienenwege des Schienenverkehrsnetzes umfassen. Die entsprechenden Regelungen und/oder
Steuerungsaktionen können über eine fünfte Schnittstelle S5 an das Fahrplanmanagementmodul
305 übermittelt werden.
[0045] Abschließend werden zur Anpassung des Fahrplans die entsprechenden Regelungen und
Steuerungsaktionen und die entsprechenden optimierten Ankunftszeiten/Abfahrtszeiten/Haltezeiten
vom automatischen Fahrplanmanagementmodul 305 über eine sechste Schnittstelle S6 an
automatische Schienenfahrzeugsteuerungsmodule 313 der einzelnen Schienenfahrzeuge
315 des Schienenverkehrs übermittelt, damit diese die gewünschten Änderung bzw. Steuerungsaktionen
ausführen können, um die optimierten Ankunftszeiten/Abfahrtszeiten/Haltezeiten zu
erreichen oder einzuhalten.
[0046] Im Falle von automatisch fahrenden Schienenfahrzeugen kann das automatische Schienenfahrzeugsteuerungsmodul
313 energieoptimierte Fahrtrajektorien des Schienenfahrzeugs 203 ermitteln, die am
besten zum aktuellen Online-Fahrplan passen. Im Falle des manuellen Fahrens wird der
Fahrzeugführer beraten, ist aber in der Umsetzung der Regelungen frei.
[0047] In der gezeigten Ausführungsform ist das automatische Schienenfahrzeugregelungsmodul
303 eingerichtet, basierend auf den Zustandsdaten eines zu optimierenden Schienenverkehrs
einer Mehrzahl von Schienenfahrzeugen das erfindungsgemäße Verfahren zum Optimieren
eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen eines Schienenverkehrsnetzes
auszuführen.
[0048] FIG 2 zeigt eine weitere schematische Abbildung des Systems 300 zum Optimieren eines
Schienenverkehrs gemäß einer Ausführungsform.
[0049] Figur 2 zeigt eine Mehrzahl verschiedener Komponenten des Systems 300, die beispielsweise
in dem automatischen Schienenfahrzeugregelungsmodul 303 integrierbar sind bzw. durch
dieses ausgeführt werden können. Durch die gezeigten Komponenten ist das System 300
in der Lage, das erfindungsgemäße Verfahren zum Optimieren eines Schienenverkehrs
auszuführen.
[0050] Hierzu werden zunächst von einem Schienenverkehr 317 globale Zustandsdaten GS empfangen.
Der Schienenverkehr 317 beschreibt hierbei eine Mehrzahl innerhalb eines Schienenverkehrsnetzes
betriebener Schienenfahrzeuge unter Berücksichtigung der individuellen Eigenschaften
des jeweiligen Schienenverkehrsnetzes, der individuellen Eigenschaften der Schienenfahrzeuge,
wie auch des optimierten Sollfahrplans zum Betrieb der Mehrzahl der Schienenfahrzeuge.
[0051] Die globalen Zustandsdaten GS beschreiben einen Zustand des Schienenverkehrs 317,
der beispielsweise durch eine Verkehrssituation einer Mehrzahl verschiedener Schienenfahrzeuge
315 zu einem vorbestimmten Zeitpunkt beschrieben wird. Die globalen Zustandsdaten
GS können neben detaillierten Zustandsbeschreibungen der einzelnen in der jeweiligen
Verkehrssituation des Schienenverkehrs 317 beteiligten Schienenfahrzeuge 315 weitere
Informationen beispielsweise bzgl. des Sollfahrplans, bzgl. verschiedener Zustände
einzelner Schienenwege des Schienenverkehrsnetzes und weitere relevante Informationen
zur Steuerung der Mehrzahl von Schienenfahrzeugen 315 bzw. zur Beschreibung der jeweiligen
Verkehrssituation bzw. des Zustands des Schienenverkehrs 317.
[0052] Für verschiedene Verkehrssituationen, in denen beispielsweise eine unterschiedliche
Anzahl von Schienenfahrzeugen beteiligt sind, beispielsweis aufgrund der Tages- oder
Jahreszeit, in deren Abhängigkeit gemäß des optimierten Sollfahrplans zur Beförderung
beispielsweise von Fahrgästen eine unterschiedliche Anzahl von Schienenfahrzeugen
benötigt werden, kann die Datenstruktur der globalen Zustandsdaten GS variieren.
[0053] Zum Ausgleich der variierenden Datenstruktur der globalen Zustandsdaten GS, in denen
beispielsweise zu Tageszeiten eine hohe Anzahl von Schienenfahrzeugen, die im Schienenverkehrsnetz
mit einer hohen Taktung betrieben werden, über entsprechende Zustandsdaten berücksichtigt
sind, während zu Tageszeiten mit lediglich einer geringen Dichte an betriebenen Schienenfahrzeugen,
in den globalen Zustandsdaten GS entsprechend eine geringe Anzahl von Schienenfahrzeugen
mit entsprechenden Zustandsbeschreibungen berücksichtigt sind, werden durch ein Generierungsmodul
für lokale Zustandsdaten LSB aus den globalen Zustandsdaten GS lokale Zustandsdaten
S1, S2, ..., SN der einzelnen Schienenfahrzeuge generiert. Die lokalen Zustandsdaten
S1, S2, ..., SN beschreiben hierbei individuell die Zustände der einzelnen Schienenfahrzeuge
des Schienenverkehrs 317.
[0054] Die Datenstruktur der einzelnen lokalen Zustandsdaten S1, S2, ..., SN kann hierbei
für verschiedene Schienenfahrzeuge einheitlich ausgestaltet sein, so dass in den einzelnen
lokalen Zustandsdaten S1, S2, ..., SN der verschiedenen Schienenfahrzeuge die jeweiligen
Zustände der einzelnen Schienenfahrzeuge unter Berücksichtigung der gleichen Parameter
beschrieben sind. Die lokalen Zustandsdaten S1, S2, ..., SN können beispielsweise
Positionsangaben, Geschwindigkeitsangaben, Verspätungsangaben bzgl. des vordefinierten
und optimierten Fahrplans, Streckenangaben, der durch das jeweilige Fahrzeug befahrenen
Schienenwege, Haltestellenangaben, der durch das jeweilige Fahrzeug anzufahrenden
Haltestellen und/oder weitere fahrzeugspezifische Informationen umfassen.
[0055] Darüber hinaus können die lokalen Zustandsdaten eines Schienenfahrzeugs zusätzliche
Informationen bzgl. weiterer auf den durch das Schienenfahrzeug befahrenen Schienenwegs
angeordnete Schienenfahrzeuge inklusive derer Positionen, Geschwindigkeiten bzw. Verspätungen
umfassen. Darüber hinaus können die lokalen Zustandsdaten S1, S2, ..., SN eine Gesamtverspätung
der Mehrzahl der Schienenfahrzeuge relativ zum vorbestimmten optimierten Fahrplan
umfassen.
[0056] In einem folgenden Schritt wird auf die Mehrzahl der generierten lokalen Zustandsdaten
S1, S2, ..., SN eine Aktionsauswahlregel P angewendet, die eingerichtet ist, für jedes
Schienenfahrzeug individuell basierend auf den jeweiligen lokalen Zustandsdaten S1,
S2, ..., SN des jeweiligen Schienenfahrzeugs unter Berücksichtigung wenigstens eines
Optimierungsziels entsprechende lokale Steuerungsaktionen A1, A2, ..., AN des jeweiligen
Schienenfahrzeugs zu generieren. Die lokalen Steuerungsaktionen A1, A2, ..., AN sind
dabei derart ausgebildet, dass bei Ausführung der lokalen Steuerungsaktionen A1, A2,
..., AN durch das jeweilige Schienenfahrzeug dieses innerhalb des Schienenverkehrsnetzes
derart ansteuerbar ist, dass das jeweilige Optimierungsziel des Schienenverkehrs erreichbar
ist.
[0057] Die lokalen Steuerungsaktionen A1, A2, ..., AN können Ankunftszeiten und/oder Abfahrtszeiten
und/oder Standzeiten des jeweiligen Schienenfahrzeugs an durch das jeweilige Schienenfahrzeug
anzusteuernden Haltestellen berücksichtigen. Durch Ausführung der lokalen Steuerungsaktionen
A1, A2, ..., AN durch das jeweilige Schienenfahrzeug wird somit erreicht, dass die
entsprechenden Ankunftszeiten und/oder Abfahrtszeiten und/oder Haltezeiten des Schienenfahrzeugs
an den jeweiligen Haltestellen eingehalten bzw. erreicht werden. Das Schienenfahrzeug
wird folglich derart angesteuert, dass dieses die entsprechend definierten Ankunftszeiten
und/oder Abfahrtszeiten und/oder Haltezeiten einhalten kann.
[0058] Das hierdurch zu erreichende Optimierungsziel der Optimierung des Schienenverkehrs
kann beispielsweise eine Reduzierung einer Gesamtverspätung der Mehrzahl von in der
jeweiligen Verkehrssituation beteiligten Schienenfahrzeugen relativ zum vorbestimmten
optimierten Sollfahrplan umfassen. Alternativ oder zusätzlich kann das Optimierungsziel
eine Varianz einer Mehrzahl individueller Verspätungen einzelner Schienenfahrzeuge
der Mehrzahl der Schienenfahrzeuge des Schienenverkehrs relativ zum optimierten Sollfahrplan
umfassen. Alternativ oder zusätzlich hierzu kann das Optimierungsziel ferner einen
Energiebedarf der Mehrzahl der Schienenfahrzeuge, beispielsweise einen Gesamtenergieverbrauch
und/oder zeitlich begrenzte Maximalwerte des Energieverbrauchs der Mehrzahl von Schienenfahrzeugen
umfassen. Alternativ hierzu können auch mehrere verschiedene Optimierungsziele zur
Optimierung des Schienenverkehrs berücksichtigt werden.
[0059] In einem weiteren Schritt wird darauffolgend durch ein Generierungsmodul für globale
Steuerungsdaten GAB basierend auf der Mehrzahl von lokalen Steuerungsaktionen A1,
A2, ..., AN der Mehrzahl von Schienenfahrzeugen globale Steuerungsdaten GA generiert.
Die globalen Steuerungsdaten GA umfassen hierbei die Mehrzahl von lokalen Steuerungsaktionen
A1, A2, ..., AN und sind eingerichtet, durch Ausführung der in den globalen Steuerungsdaten
GA enthaltene lokale Steuerungsaktionen A1, A2, ..., AN durch die Mehrzahl von Schienenfahrzeugen
dem Verkehr der Mehrzahl der Schienenfahrzeuge in Bezug auf das jeweilige Optimierungsziel
zu optimieren.
[0060] Das Generierungsmodul für globale Steuerungsdaten GAB kann ferner eingerichtet sein,
beim Generieren der globalen Steuerungsdaten GA basierend auf der Mehrzahl von lokalen
Steuerungsaktionen A1, A2, ..., AN Kollisionen verschiedener lokaler Steuerungsaktionen
A1, A2, ..., AN unterschiedlicher Schienenfahrzeuge zu vermeiden und eine entsprechende
Anpassung der Steuerungsaktionen A1, A2, ..., AN durchzuführen. Hierdurch kann eine
Abstimmung der Ansteuerung der Mehrzahl von Schienenfahrzeugen basierend auf den individuell
generierten lokalen Steuerungsaktionen A1, A2, ..., AN erreicht werden. Insbesondere
kann vermieden werden, dass beispielsweise verschiedene Schienenfahrzeuge sich zu
identischen Zeiten an der gleichen Haltestellte befinden.
[0061] Zum Optimieren des Schienenverkehrs werden somit basierend auf den globalen Zustandsdaten
GS des Schienenverkehrs, die die Gesamtheit des Schienenverkehrs inklusive aller hieran
beteiligten Schienenfahrzeuge beschreiben, individuelle, lokale Zustandsdaten S1,
S2, ..., SN der Mehrzahl von Schienenfahrzeugen generiert. Unter Berücksichtigung
verschiedener Optimierungsziele werden daraufhin durch die Aktionsauswahlregel P individuell
für jedes Schienenfahrzeug basierend auf den jeweiligen lokalen Zustandsdaten S1,
S2, ..., SN des Schienenfahrzeugs entsprechend lokale Steuerungsaktionen A1, A2, ...,
AN generiert. Die lokalen Steuerungsaktionen A1, A2, ..., AN können das Ansteuern
des jeweiligen Schienenfahrzeugs zum Einhalten oder Erreichen einer Ankunftszeit und/oder
einer Abfahrtszeit und/oder eine Standzeit des Schienenfahrzeugs an einer durch das
Schienenfahrzeug anzusteuernden Haltestelle umfassen bzw. die Ankunftszeit und/oder
Abfahrtszeit und/oder Standzeit für ein Schienenfahrzeug und wenigstens eine durch
das Schienenfahrzeug anzusteuernde Haltestelle definieren.
[0062] Die einzelnen lokalen Steuerungsaktionen A1, A2, ..., AN der verschiedenen Schienenfahrzeuge
können damit derart ausgewählt werden, dass die verschiedenen Schienenfahrzeuge an
den unterschiedlichen Haltestellen derart synchronisiert werden, bzw. deren Abfahrtszeiten,
Ankunftszeiten oder Standzeiten, derart aufeinander angepasst werden, dass die unterschiedlichen
Optimierungsziele der Gesamtheit der Schienenfahrzeuge erreicht werden. Beispielsweise
können die verschiedenen Ankunftszeiten, Abfahrtszeiten oder Standzeiten der unterschiedlichen
Schienenfahrzeuge an den verschiedenen Haltestellen derart angepasst werden, dass
hierdurch die Gesamtverspätung der Mehrzahl der Schienenfahrzeuge relativ zum optimierten
Sollfahrplan reduziert wird. Alternativ oder zusätzlich können durch die entsprechend
definierten Ankunftszeiten, Abfahrtszeiten oder Standzeiten die Verspätungen der einzelnen
Schienenfahrzeuge derart definiert werden, so dass eine mehr oder weniger einheitliche
Abweichung der einzelnen Schienenfahrzeuge vom Sollfahrplan erzielt wird. Alternativ
oder zusätzlich können die Ankunftszeiten, Abfahrtszeiten oder Standzeiten der einzelnen
Schienenfahrzeuge darauf angepasst werden, dass ein Energiebedarf der Gesamtheit der
Schienenfahrzeuge reduziert wird, indem beispielsweise Beschleunigungs- und Bremsprozesse
einzelner Schienenfahrzeuge zeitlich aufeinander abgestimmt werden.
[0063] Die Aktionsauswahlregel P kann gemäß Techniken des bestärkenden Lernens trainiert
sein, die beispielsweise das Maximieren einer Belohnungsfunktion, in der die jeweiligen
Optimierungsziele definiert sind, umfassen. Die Aktionsauswahlregel kann auf beliebige
lokale Zustandsdaten S1, S2, ..., SN der einzelnen Schienenfahrzeuge angewendet werden
und ist eingerichtet, für jedes Schienenfahrzeug individuell entsprechende lokale
Steuerungsaktionen zu generieren. Die Aktionsauswahlregel P kann beispielsweise als
ein entsprechend trainiertes neuronales Netz ausgebildet sein. Zur Anwendbarkeit der
Aktionsauswahlregel auf die verschiedenen lokalen Zustandsdaten S1, S2, ..., SN weisen
die lokalen Zustandsdaten S1, S2, ..., SN identische Datenstrukturen auf, so dass
die lokalen Zustände der einzelnen Schienenfahrzeuge über eine einheitliche Anzahl
verschiedener Merkmale innerhalb der lokalen Zustandsdaten beschrieben sind.
[0064] Die Aktionsauswahlregel P in Kombination mit dem Generierungsmodul für lokale Zustandsdaten
LSB und dem Generierungsmodul für globale Steuerungsdaten GAB können dabei eingerichtet
sein, innerhalb eines vorbestimmten Zeitabschnitts, beispielsweise im Sekundenbereich
von üblicherweise 5 bis 10 Sekunden, basierend auf den globalen Zustandsdaten GS entsprechende
globale Steuerungsdaten GA zu generieren. Somit kann eine Optimierung des Schienenverkehrs
während des Onlinebetriebs der Schienenfahrzeuge ausgeführt werden und beispielsweise
kann das erfindungsgemäße Verfahren zum Optimieren eines Schienenverkehrs wie oben
beschrieben in einer vorbestimmten Taktung entsprechend dem vorbestimmten Zeitabschnitt
ausgeführt werden, so dass den jeweiligen Schienenfahrzeugen im Sekundentakt entsprechende
Steuerungsaktionen bzw. Steuerungsdaten bereitgestellt werden können, anhand deren
die Schienenfahrzeuge angesteuert werden können, um somit den Schienenverkehr gemäß
den entsprechenden Optimierungszielen zu optimieren und gegebenenfalls an den vordefinierten
optimierten Sollfahrplan anzupassen.
[0065] FIG 3 zeigt ein Flussdiagramm eines Verfahrens 100 zum Optimieren eines Schienenverkehrs
gemäß einer Ausführungsform.
[0066] Zur Ausführung des erfindungsgemäßen Verfahrens 100 zum Optimieren eines Schienenverkehrs
317 eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen 315 werden
zunächst in einem Verfahrensschritt 101 globale Zustandsdaten GS des Schienenverkehrs
317 empfangen, wobei die globalen Zustandsdaten einen globalen Zustand des Schienenverkehrs
317 inklusive der Mehrzahl von Schienenfahrzeugen 315 beschreiben.
[0067] In einem Verfahrensschritt 103 wird basierend auf den globalen Zustandsdaten GS ein
Satz von lokalen Zustandsdaten S1, S2, ..., SN der Mehrzahl von Schienenfahrzeugen
315 ermittelt, wobei die lokalen Zustandsdaten S1, S2, ..., S3 individuelle Zustände
der verschiedenen Schienenfahrzeuge 315 beschreiben.
[0068] In einem Verfahrensschritt 105 wird darauffolgend basierend auf den lokalen Zustandsdaten
S1, S2, ..., SN ein optimierter Satz von lokalen Steuerungsaktionen A1, A2, ..., AN
der Mehrzahl von Schienenfahrzeugen 315 unter Berücksichtigung wenigstens eines Optimierungsziels
ermittelt. Die lokalen Steuerungsaktionen A1, A2, ..., AN beschreiben hierbei individuelle
Ansteuerungen der einzelnen Schienenfahrzeuge 315. Die Ermittlung des optimierten
Satzes von Steuerungsaktionen A1, A2, ..., AN kann beispielsweise durch eine Aktionsauswahlregel
ausgeführt werden, die eingerichtet ist, für jedes Schienenfahrzeug individuell basierend
auf den lokalen Zustandsdaten S1, S2, ..., SN entsprechende lokale Steuerungsaktionen
zu erzeugen. Die Aktionsauswahlregel P kann beispielsweise unter Anwendung von Techniken
des bestärkenden Lernens trainiert sein und als ein entsprechend trainiertes neuronales
Netz ausgebildet sein.
[0069] In einem Verfahrensschritt 107 werden basierend auf dem optimierten Satz von lokalen
Steuerungsaktionen A1, A2, ..., AN globale Steuerungsdaten GA generiert, die die lokalen
Steuerungsaktionen A1, A2, ..., AN umfassen und die eingerichtet sind, bei Ansteuerung
der Mehrzahl von Schienenfahrzeugen 315 gemäß den Steuerungsaktionen A1, A2, ...,
AN das Optimierungsziel zu erfüllen.
[0070] In der gezeigten Ausführungsform wird hierzu in einem Verfahrensschritt 111 eine
Anpassung der lokalen Steuerungsaktionen A1, A2, ..., AN verschiedener Schienenfahrzeuge
und einer Auflösung von Konflikten zwischen Steuerungsaktionen A1, A2, ..., AN verschiedener
Schienenfahrzeuge bewirkt.
[0071] In einem Verfahrensschritt 109 werden die globalen Steuerungsdaten GA bereitgestellt,
so dass eine Ansteuerung der Schienenfahrzeuge des Schienenverkehrs gemäß den entsprechend
generierten lokalen Steuerungsaktionen A1, A2, ..., AN durchgeführt werden kann.
[0072] FIG 4 zeigt eine schematische Darstellung des Systems 300 in Fig. 1 in einem Simulationsmodus.
[0073] Das in Fig. 4 gezeigte System 300 basiert auf dem System in Fig. 1 und weist alle
dort beschrieben Komponenten und Funktionalität auf. Von einer erneuten detaillierten
Beschreibung wird somit abgesehen.
[0074] Abweichend zur Fig. 1 wird das System 300 in Fig. 4 hingegen nicht zum Steuern eines
Schienenverkehrs betrieben. Stattdessen dient das System in Fig. 4 zum Trainieren
einer Aktionsauswahlregel P nach den oben beschriebenen Ausführungsformen und mit
den dort beschriebenen Eigenschaften.
[0075] Hierzu wird in der in Fig. 4 gezeigten Ausführungsform eine Simulation SIM ausgeführt,
die alle Module des Systems 300, mit Ausnahme des automatischen Schienenfahrzeugregelungsmoduls
303, in einer entsprechenden Simulation simuliert. Die Simulation SIM simuliert ferner
einen Schienenverkehr mit einer Mehrzahl von Schienenfahrzeugen eines Schienenverkehrsnetzes
gemäß den oben beschriebenen Ausführungsformen. Hierzu ist die Simulation SIM eingerichtet,
verschiedene Verkehrsszenarien für verschiedene Schienenverkehrsnetze mit Schienenfahrzeugen
verschiedener Anzahl und Typ zu simulieren und darzustellen. Die simulierten Verkehrsszenarien
sind dabei veränderbar, sodass realitätsnahe Simulationen tatsächlich auftretender
Verkehrssituationen ermöglicht sind, die über einen vorbestimmten Zeitraum veränderbar
sind und somit einen zeitlichen Verlauf eines zeitlich veränderbaren Schienenverkehrs
darstellen.
[0076] Ferner ist die Simulation eingerichtet, die oben beschriebenen Funktionen der einzelnen
Module, mit Ausnahme des automatischen Schienenfahrzeugregelungsmoduls 303, darzustellen,
die mit Ausführung entsprechender Funktionen auf die jeweiligen Verkehrssituationen
reagieren. Die Simulation SIM kann durch eine Simulationssoftware zum Simulieren von
Schienenverkehr, beispielsweise durch die Simulationssoftware Falko, realisiert sein.
[0077] Das automatische Schienenfahrzeugregelungsmodul 303 wird hingegen nicht durch die
Simulation SIM simuliert, sondern ist eingerichtet, das erfindungsgemäße Verfahren
zum Trainieren einer Aktionsauswahlregel zu betreiben und die Aktionsauswahlregel
basierend auf den Daten der Simulation SIM zu trainieren.
[0078] Die Simulation SIM kann hierzu globale Zustandsdaten GS eines Schienenverkehrs eines
bestimmten Schienenverkehrsnetzes bereitstellen. Die globalen Zustandsdaten GS umfassen
hierbei, analog zu globalen Zustandsdaten eines tatsächlich überwachten Schienenverkehrs,
Positionsdaten und/oder Geschwindigkeitsdaten einer Mehrzahl von Schienenfahrzeugen
und/oder Ankunftszeiten und/oder Abfahrtszeiten und/oder Standzeiten der Mehrzahl
von Schienenfahrzeugen an verschiedenen Haltestellen des Schienenverkehrsnetzes und/oder
Angaben zu Zuständen der verschiedenen Schienenwege des Schienenverkehrsnetzes.
[0079] FIG 5 zeigt eine weitere schematische Abbildung des Systems 300 zum Optimieren eines
Schienenverkehrs gemäß einer Ausführungsform.
[0080] Figur 5 zeigt eine Ausführungsform des Systems 300, in der dieses eingerichtet ist,
ein Verfahren zum Trainieren einer Aktionsauswahlregel P mit den oben beschriebenen
Merkmalen auszuführen. In Figur 5 sind verschiedene Komponenten des Systems 300 gezeigt,
die beispielsweise durch das automatische Schienenfahrzeugregelungsmodul 303 ausgeführt
werden können. Die gezeigte Ausführungsform des Systems 300 bezieht sich hierbei auf
die Ausführungsform in Figur 4, in der die dort beschriebenen Komponenten des Systems
300, mit Ausnahme des automatischen Schienenfahrzeugregelungsmoduls 303, durch eine
entsprechende Simulation SIM simuliert ausgeführt werden.
[0081] Die Komponenten des Systems 300, insbesondere das Generierungsmodul für lokale Zustandsdaten
LSB, das Generierungsmodul für globale Steuerungsdaten GAB und die Aktionsauswahlregel
P entsprechen den zu Figur 2 beschriebenen Komponenten. Von einer erneuten detaillierten
Beschreibung wird im Folgenden daher abgesehen.
[0082] Das Training der Aktionsauswahlregel P wird wie oben bereits dargelegt bevorzugt
nicht auf realen Zustandsdaten eines zu optimierenden Schienenverkehrs durchgeführt,
sondern auf entsprechenden simulierten Zustandsdaten einer Simulation SIM eines entsprechenden
Schienenverkehrs. Die Simulation SIM kann hierzu wie oben ebenfalls bereits dargelegt
beispielsweise durch ein entsprechendes Simulationsprogramm zur Simulation einer Steuerung
eines Schienenverkehrs mit den oben beschriebenen Merkmalen ausgeführt sein.
[0083] Zum Durchführen des Verfahrens zum Trainieren der Aktionsauswahlregel P werden zunächst
globale Zustandsdaten GS des durch die Simulation SIM simulierten Schienenverkehrs
empfangen. Durch das Generierungsmodul für lokale Zustandsdaten LSG werden darauffolgend
basierend auf den simulierten globalen Zustandsdaten entsprechende lokale Zustandsdaten
der S1, S2, ..., SN der Mehrzahl von Schienenfahrzeugen generiert. Durch Anwendung
der Aktionsauswahlregel P auf die einzelnen lokalen Zustandsdaten S1, S2, ..., SN
werden entsprechende Aktionsauswahlregel A1, A2, ..., AN generiert. Durch das Generierungsmodul
für globale Steuerungsdaten GAB werden basierend auf den lokalen Zustandsdaten A1,
A2, ..., AN entsprechende globale Steuerungsdaten GA generiert.
[0084] Durch Ausführen der in den globalen Steuerungsdaten GA enthaltenen lokalen Steuerungsaktionen
A1, A2, ..., AN der Mehrzahl von Schienenfahrzeugen durch die Simulation SIM wird
der simulierte Schienenverkehr in einen geänderten Zustand überführt. Verschiedene
Zustände des Schienenverkehrs betreffen hierbei zu unterschiedlichen Zeiten bestimmte
Zustandsaufnahmen des Schienenverkehrs und beschreiben verschiedene Verkehrssituationen,
in denen sich die Schienenfahrzeuge des Schienenverkehrs an unterschiedlichen Positionen
innerhalb des Schienenverkehrsnetzes befinden. Verschiedene Zustände des Schienenverkehrs
können sich darüber hinaus unter Anderem in verschiedenen Verspätungswerten der Schienenfahrzeuge
in Bezug auf den vorbestimmten optimierte Sollfahrplan unterscheiden.
[0085] Hierauf basierend werden erneute globale Zustandsdaten GS empfangen und gemäß dem
oben Beschriebenen durch Anwendung der Aktionsauswahlregel P erneut globale Steuerungsdaten
GA generiert. Durch Anwendung bzw. Ausführung der lokalen Steuerungsaktionen A1, A2,
..., AN der erneut generierten globalen Zustandsdaten GS durch die Schienenfahrzeuge
des simulierten Schienenverkehrs wird der simulierte Schienenverkehr erneut in einen
geänderten Zustand gebracht.
[0086] Während des wiederholten Ausführens der oben beschriebenen Schritte werden nach jedem
Überführen des Schienenverkehrs in einen geänderten Zustand durch Ausführen der zuvor
generierten globalen Zustandsdaten GS durch ein Reinforcement Learning Optimierungsmodul
RLO ein entsprechender Return einer Belohnungsfunktion R berechnet. Basierend auf
dem berechneten Return der Belohnungsfunktion R werden durch das Reinforcement Learning
Optimierungsmodul RLO Parameter der Aktionsauswahlregel P variiert bzw. angepasst.
Somit kann nach jedem ausgeführten Durchgang der Erzeugung neuer globaler Zustandsdaten
GS und der Überführung des simulierten Schienenverkehrs in einen geänderten Zustand
eine Anpassung der Parameter der Aktionsauswahlregel P erfolgen. Alternativ kann eine
Anpassung nach einer vordefinierten Anzahl von ausgeführten Durchgängen erfolgen.
Die Anpassung der Parameter der Aktionsauswahlregel P erfolgt hierbei gemäß der Zielrichtung
einer Maximierung des Returns der Belohnungsfunktion R, gemäß den Grundlagen des bestärkenden
Lernens. Das Reinforcement Learning Optimierungsmodul RLO kann hierzu beispielsweise
gemäß eines aus dem Stand der Technik bekannten Algorithmus für bestärkendes Lernen
ausgebildet sein, der eingerichtet ist, die Parameter der Aktionsauswahlregel P derart
zu variieren, dass eine Maximierung des Returns der Belohnungsfunktion R erfolgt.
Die Belohnungsfunktion R definiert hierbei die zu erreichenden Optimierungsziele,
so dass durch Maximierung des Returns der Belohnungsfunktion R die Parameter der Aktionsauswahlregel
P derart variiert werden, dass die durch die Aktionsauswahlregel P generierten lokalen
Steuerungsaktionen A1, A2, ..., AN eingerichtet sind, durch Ausführung bzw. Ansteuerung
der Schienenfahrzeuge gemäß den generierten lokalen Steuerungsaktionen A1, A2, ...,
AN eine Erfüllung der Optimierungsziele und damit verbunden eine Optimierung des Schienenverkehrs
zu bewirken.
[0087] Alternativ kann das Training der Aktionsauswahlregel P auch auf realen Zustandsdaten
eines tatsächlichen Schienenverkehrs trainiert werden.
[0088] FIG 6 zeigt ein Flussdiagramm eines Verfahrens 200 zum Trainieren einer Aktionsauswahlregel
P gemäß einer Ausführungsform.
[0089] Das erfindungsgemäße Verfahren 200 zum Trainieren einer Aktionsauswahlregel P ist
auf das in Figur 5 dargestellte System 300 anwendbar.
[0090] In einem ersten Verfahrensschritt 201 wird zunächst eine Simulation SIM eines Schienenverkehrs
317 einer Mehrzahl von Schienenfahrzeugen 315 ausgeführt.
[0091] In einem Verfahrensschritt 203 werden globale Zustandsdaten GS des Schienenverkehrs
317 der Simulation SIM empfangen.
[0092] In einem Verfahrensschritt 205 wird basierend auf den globalen Zustandsdaten GS ein
Satz von lokalen Zustandsdaten S1, S2, ..., SN der Mehrzahl von Schienenfahrzeugen
ermittelt.
[0093] In einem Verfahrensschritt 207 wird durch Ausführen der Aktionsauswahlregel P auf
die lokalen Zustandsdaten S1, S2, ..., SN ein optimierter Satz von lokalen Steuerungsaktionen
A1, A2, ..., AN ermittelt.
[0094] In einem Verfahrensschritt 209 werden basierend auf den lokalen Steuerungsaktionen
A1, A2, ..., AN globale Steuerungsdaten GA generiert.
[0095] In einem Verfahrensschritt 211 werden die globalen Steuerungsdaten GA an die Simulation
SIM des Schienenverkehrs 317 bereitgestellt.
[0096] In einem Verfahrensschritt 213 werden die Steuerungsaktionen A1, A2, ..., AN der
globalen Steuerungsdaten GA durch die Simulation SIM ausgeführt und der simulierte
Schienenverkehr 317 in einen zweiten globalen Zustand überführt.
[0097] In einem Verfahrensschritt 215 wird ein Wert R einer Belohnungsfunktion für den zweiten
globalen Zustand des Schienenverkehrs in Bezug auf das wenigstens eine Optimierungsziel
unter Berücksichtigung von Techniken des bestärkenden Lernens berechnet.
[0098] In einem Verfahrensschritt 217 werden Parameter der Aktionsauswahlregel P gemäß dem
Wert R der Belohnungsfunktion unter Berücksichtigung von Techniken des bestärkenden
Lernens derart modifiziert, dass eine Maximierung der Belohnungsfunktion erreicht
wird. Das Modifizieren kann hierbei nach einem abgeschlossenen Zyklus oder nach einer
Mehrzahl abgeschlossener aufeinanderfolgender Zyklen erfolgen.
[0099] In einem Verfahrensschritt 219 werden die Verfahrensschritte 203 bis 217 iterativ
ausgeführt und hierdurch die Belohnungsfunktion maximiert.
[0100] FIG 7 zeigt eine schematische Darstellung eines Computerprogrammprodukts 400.
[0101] Figur 7 zeigt ein Computerprogrammprodukt 400, umfassend Befehle, die bei der Ausführung
des Programms durch eine Recheneinheit dieses veranlassen, das Verfahren 100 nach
einer der oben genannten Ausführungsformen auszuführen. Das Computerprogrammprodukt
400 ist in der gezeigten Ausführungsform auf einem Speichermedium 401 gespeichert.
Das Speichermedium 401 kann hierbei ein beliebiges aus dem Stand der Technik bekanntes
Speichermedium sein.
[0102] Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert
und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele
eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden,
ohne den Schutzumfang der Erfindung zu verlassen.
1. Verfahren (100) zum Optimieren eines Schienenverkehrs (317) eines Schienenverkehrsnetzes
mit einer Mehrzahl von Schienenfahrzeugen (315), wobei das Verfahren (100) umfasst:
- Empfangen (101) von globalen Zustandsdaten (GS) eines Schienenverkehrs (317), wobei
die globalen Zustandsdaten (GS) einen globalen Zustand des Schienenverkehrs (317)
einer Mehrzahl von Schienenfahrzeugen (315) des Schienenverkehrsnetzes beschreiben;
- Ermitteln (103) eines Satzes von lokalen Zustandsdaten (S1, S2, ..., SN) einer Mehrzahl
von Schienenfahrzeugen (315) des Schienenverkehrs (317) des Schienenverkehrsnetzes
basierend auf den globalen Zustandsdaten (GS), wobei lokale Zustandsdaten eines Schienenfahrzeugs
(315) einen Zustand des Schienenfahrzeugs (315) innerhalb des Schienenverkehrs (317)
beschreiben;
- Ermitteln (105) eines optimierten Satzes von lokalen Steuerungsaktionen (A1, A2,
..., AN) für die Mehrzahl von Schienenfahrzeugen (315) basierend auf dem Satz von
lokalen Zustandsdaten (S1, S2, ..., SN) der Mehrzahl von Schienenfahrzeugen (315)
und unter Berücksichtigung wenigstens eines Optimierungsziels, wobei lokale Steuerungsaktionen
(A1, A2, ..., AN) eines Schienenfahrzeugs (315) eine individuelle Ansteuerung des
jeweiligen Schienenfahrzeugs (315) beschreiben;
- Generieren (107) von globalen Steuerungsdaten (GA) basierend auf dem optimierten
Satz von lokalen Steuerungsaktionen (A1, A2, ..., AN), wobei die globalen Steuerungsdaten
(GA) die lokalen Steuerungsaktionen (A1, A2, ..., AN) umfassen, und wobei eine Ansteuerung
der Mehrzahl von Schienenfahrzeugen (315) des Schienenverkehrs gemäß den Steuerungsaktionen
(A1, A2, ..., AN) der globalen Steuerungsdaten (GA) eine Erfüllung des wenigstens
einen Optimierungsziels bewirkt; und
- Bereitstellen (109) der globalen Steuerungsdaten (GA).
2. Verfahren (100) nach Anspruch 1, wobei das Ermitteln (105) des optimierten Satzes
von Steuerungsaktionen (A1, A2, ..., AN) durch eine Aktionsauswahlregel (P) durchgeführt
wird, und wobei die Aktionsauswahlregel (P) eingerichtet ist, für jedes der Mehrzahl
von Schienenfahrzeugen basierend auf den jeweiligen lokalen Zustandsdaten (S1, S2,
..., SN) des Schienenfahrzeugs (315) wenigstens eine entsprechende Steuerungsaktion
(A1, A2, ..., AN) zu ermitteln, die geeignet ist, das Optimierungsziel des Schienenverkehrs
(317) zu erfüllen.
3. Verfahren (100) nach Anspruch 2, wobei die Aktionsauswahlregel (P) durch bestärkendes
Lernen trainiert ist.
4. Verfahren (100) nach Anspruch 3, wobei das Training der Aktionsauswahlregel (P) basierend
auf Simulationsdaten ausgeführt wird, und wobei die Simulationsdaten auf einer Simulation
(SIM) eines Schienenverkehrs (317) einer Mehrzahl von Schienenfahrzeugen (315) des
Schienenverkehrsnetzes basieren.
5. Verfahren (100) nach Anspruch 3 oder 4, wobei das Training der Aktionsauswahlregel
(P) ein Maximieren einer Belohnungsfunktion umfasst, und wobei die Belohnungsfunktion
das wenigstens eine Optimierungsziel definiert.
6. Verfahren (100) nach 3, 4 oder 5, wobei die Aktionsauswahlregel (P) als ein neuronales
Netz ausgebildet ist.
7. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei das Generieren (107)
von globalen Steuerungsdaten (GA) umfasst:
- Anpassen (111) der lokalen Steuerungsaktionen (A1, A2, ..., AN) verschiedener Schienenfahrzeuge
und/oder Auflösen von Konflikten zwischen Steuerungsaktionen (A1, A2, ...,AN) verschiedener
Schienenfahrzeuge.
8. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei die lokalen Steuerungsaktionen
(A1, A2, ..., AN) der Schienenfahrzeuge (315) ein Erzielen einer Ankunftszeit und/oder
einer Standzeit und/oder einer Abfahrtszeit des jeweiligen Schienenfahrzeugs (315)
an wenigstes einer Haltestelle eines durch das Schienenfahrzeug (315) befahrenen Schienenwegs
des Schienenverkehrsnetzes umfassen.
9. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei die lokalen Zustandsdaten
(S1, S2, ..., SN) eines Schienenfahrzeugs (315) eine Position und/oder eine Geschwindigkeit
und/oder eine Verspätung relativ zu einem vordefinierten Fahrplan des Schienenfahrzeugs
(315) im Schienenverkehrsnetz und/oder eine Position und/oder eine Geschwindigkeit
und/oder eine Verspätung von relativ zum Schienenfahrzeug auf einem durch das Schienenfahrzeug
befahrenen Schienenweg voraus- und/oder nachfahrenden Schienenfahrzeugen und/oder
eine Gesamtverspätung der Mehrzahl von Schienenfahrzeugen umfassen.
10. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei das Optimierungsziel
eine Reduzierung einer Gesamtverspätung der Mehrzahl von Schienenfahrzeugen (315)
relativ zu einem vorbestimmten Fahrplan des Schienenverkehrsnetzes und/oder Reduzierung
einer Varianz von Verspätungen einzelner Schienenfahrzeuge relativ zum vorbestimmten
Fahrplan und/oder Reduzierung einer minimalen Zeitspanne bis zu einer Widerherstellung
des vorbestimmten Fahrplans und/oder Reduzierung eines minimalen Energieverbrauchs
und/oder Reduzierung minimaler Energieverbrauchsspitzen der Mehrzahl von Schienenfahrzeugen
(315) umfasst.
11. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei das Verfahren (100)
in einem Online-Betrieb der Mehrzahl von Schienenfahrzeugen (315) im Schienenverkehr
(317) des Schienenverkehrsnetzes ausgeführt wird.
12. Verfahren (200) zum Trainieren einer Aktionsauswahlregel (P), umfassend:
- Ausführen (201) einer Simulation (SIM) eines Schienenverkehrs (317) einer Mehrzahl
von Schienenfahrzeugen (315) eines Schienenverkehrsnetzes;
- Empfangen (203) von globalen Zustandsdaten (GS) des Schienenverkehrs (317) der Simulation
(SIM);
- Ermitteln (205) eines Satzes von lokalen Zustandsdaten (S1, S2, ..., SN) der Mehrzahl
von Schienenfahrzeugen (315) des Schienenverkehrs (317) basierend auf den globalen
Zustandsdaten (GS);
- Ermitteln (207) eines optimierten Satzes von lokalen Steuerungsaktionen (A1, A2,
..., AN) für die Mehrzahl von Schienenfahrzeugen (315) basierend auf dem Satz von
lokalen Zustandsdaten (S1, S2, ..., SN) der Mehrzahl von Schienenfahrzeugen (315)
und unter Berücksichtigung wenigstens eines Optimierungsziels durch Ausführen der
Aktionsauswahlregel (P) auf die lokalen Zustandsdaten (S1, S2, ..., SN);
- Generieren (209) von globalen Steuerungsdaten (GA) basierend auf dem optimierten
Satz von lokalen Steuerungsaktionen (A1, A2, ..., AN) ;
- Bereitstellen (211) der globalen Steuerungsdaten (GA) an die Simulation (SIM) des
Schienenverkehrs (317);
- Ausführen (213) der Steuerungsaktionen (A1, A2, ..., AN) der globalen Steuerungsdaten
(GA) durch die Simulation (SIM) und Überführen des Schienenverkehrs (317) in einen
zweiten globalen Zustand;
- Berechnen (215) eines Werts (R) einer Belohnungsfunktion für den zweiten globalen
Zustand des Schienenverkehrs (317) in Bezug auf das wenigstens eine Optimierungsziel
unter Berücksichtigung von Techniken des bestärkenden Lernens;
- Modifizieren (217) von Parametern der Aktionsauswahlregel (P) gemäß dem Wert (R)
der Belohnungsfunktion unter Berücksichtigung von Techniken des bestärkenden Lernens;
und
- Iteratives Ausführen (219) der Verfahrensschritte (203) bis (217) und Maximieren
der Belohnungsfunktion.
13. Verfahren (200) nach Anspruch 12, wobei das Verfahren (200) in einem Offline-Betrieb
des Schienenverkehrsnetzes ausgeführt wird.
14. System (300) zum Optimieren eines Schienenverkehrs mit einer Recheneinheit (301),
die eingerichtet ist, das Verfahren (100) zum Optimieren eines Schienenverkehrs (317)
eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen (315) nach
einem der voranstehenden Ansprüche 1 bis 11 auszuführen, und/oder das Verfahren (200)
zum Trainieren einer Aktionsauswahlregel (P) nach Anspruch 12 oder 13 auszuführen.
15. Computerprogrammprodukt (400) umfassend Befehle, die bei der Ausführung des Programms
durch eine Datenverarbeitungseinheit diese veranlassen, das Verfahren (100) zum Optimieren
eines Schienenverkehrs (317) eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen
(315) nach einem der voranstehenden Ansprüche 1 bis 11 auszuführen und/oder das Verfahren
(200) zum Trainieren einer Aktionsauswahlregel (P) nach Anspruch 12 oder 13 auszuführen.