(19)
(11) EP 4 082 868 A1

(12) EUROPÄISCHE PATENTANMELDUNG

(43) Veröffentlichungstag:
02.11.2022  Patentblatt  2022/44

(21) Anmeldenummer: 21170663.5

(22) Anmeldetag:  27.04.2021
(51) Internationale Patentklassifikation (IPC): 
B61L 27/00(2022.01)
(52) Gemeinsame Patentklassifikation (CPC) :
B61L 27/10; B61L 27/16
(84) Benannte Vertragsstaaten:
AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR
Benannte Erstreckungsstaaten:
BA ME
Benannte Validierungsstaaten:
KH MA MD TN

(71) Anmelder: Siemens Mobility GmbH
81739 München (DE)

(72) Erfinder:
  • Campbell-Smith, Caroline
    38100 Braunschweig (DE)
  • Erhard, Karl-Heinz
    38126 Braunschweig (DE)
  • Hein, Daniel
    81549 München (DE)
  • Limmer, Steffen
    80687 München (DE)

   


(54) VERFAHREN ZUM OPTIMIEREN EINES SCHIENENVERKEHRS EINES SCHIENENVERKEHRSNETZES


(57) Die Erfindung betrifft ein Verfahren (100) zum Optimieren eines Schienenverkehrs (317) eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen (315), wobei das Verfahren (100) umfasst:
- Empfangen (101) von globalen Zustandsdaten (GS) eines Schienenverkehrsnetzes;
- Ermitteln (103) eines Satzes von lokalen Zustandsdaten (S1, S2, ..., SN) einer Mehrzahl von Schienenfahrzeugen (315) des Schienenverkehrs (317) des Schienenverkehrsnetzes basierend auf den globalen Zustandsdaten (GS);
- Ermitteln (105) eines optimierten Satzes von lokalen Steuerungsaktionen (A1, A2, ..., AN) für die Mehrzahl von Schienenfahrzeugen (315) basierend auf dem Satz von lokalen Zustandsdaten (S1, S2, ..., SN) der Mehrzahl von Schienenfahrzeugen (315) und unter Berücksichtigung wenigstens eines Optimierungsziels;
- Generieren (107) von globalen Steuerungsdaten (GA) basierend auf dem optimierten Satz von lokalen Steuerungsaktionen (A1, A2, ..., AN), wobei eine Ansteuerung der Mehrzahl von Schienenfahrzeugen (315) des Schienenverkehrs (317) gemäß den Steuerungsaktionen (A1, A2, ..., AN) der globalen Steuerungsdaten (GA) eine Erfüllung des wenigstens einen Optimierungsziels bewirkt; und
- Bereitstellen (109) der globalen Steuerungsdaten (GA).




Beschreibung


[0001] Die Erfindung betrifft ein Verfahren zum Optimieren eines Schienenverkehrs eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen.

[0002] Für das effiziente Betreiben von Schienenverkehrsnetzen ist das Verhindern von Verspätungen der Züge und das Einhalten von Fahrplänen nicht nur mit Blick auf eine Kundenzufriedeneinheit von Wichtigkeit. Auch im Hinblick auf Auslastung der Kapazitäten des Schienenverkehrsnetz ist die Einhaltung entsprechend optimierter Fahrpläne von Interesse. Insbesondere auf einen Energieverbrauch optimierte Fahrpläne sind nicht nur bezüglich wirtschaftlicher Aspekte sondern auch im Hinblick auf energiepolitische Zielsetzungen für das Betreiben entsprechender Schienenverkehrsnetze wichtig.

[0003] Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zum Optimieren eines Schienenverkehrs eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen bereitzustellen.

[0004] Diese Aufgabe wird durch ein Verfahren zum Optimieren eines Schienenverkehrs eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen gemäß dem unabhängigen Anspruch gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.

[0005] Nach einem Aspekt der Erfindung wird ein Verfahren zum Optimieren eines Schienenverkehrs eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen bereitgestellt, wobei das Verfahren umfasst:
  • Empfangen von globalen Zustandsdaten eines Schienenverkehrs, wobei die globalen Zustandsdaten einen globalen Zustand des Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen des Schienenverkehrsnetzes beschreiben;
  • Ermitteln eines Satzes von lokalen Zustandsdaten einer Mehrzahl von Schienenfahrzeugen des Schienenverkehrs des Schienenverkehrsnetzes basierend auf den globalen Zustandsdaten, wobei lokale Zustandsdaten eines Schienenfahrzeugs einen Zustand des Schienenfahrzeugs innerhalb des Schienenverkehrs beschreiben;
  • Ermitteln eines optimierten Satzes von lokalen Steuerungsaktionen für die Mehrzahl von Schienenfahrzeugen basierend auf dem Satz von lokalen Zustandsdaten der Mehrzahl von Schienenfahrzeugen und unter Berücksichtigung wenigstens eines Optimierungsziels, wobei lokale Steuerungsaktionen eines Schienenfahrzeugs eine individuelle Ansteuerung des jeweiligen Schienenfahrzeugs beschreiben;
  • Generieren von globalen Steuerungsdaten basierend auf dem optimierten Satz von lokalen Steuerungsaktionen, wobei die globalen Steuerungsdaten die lokalen Steuerungsaktionen umfassen, und wobei eine Ansteuerung der Mehrzahl von Schienenfahrzeugen des Schienenverkehrs gemäß den Steuerungsaktionen der globalen Steuerungsdaten eine Erfüllung des wenigstens einen Optimierungsziels bewirkt; und
  • Bereitstellen der globalen Steuerungsdaten.


[0006] Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Verfahren zum Optimieren eines Schienenverkehrs eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen bereitgestellt werden kann. Hierzu werden aus globalen Zustandsdaten eines zu optimierenden Schienenverkehrs, in denen ein Zustand des jeweiligen Schienenverkehrs inklusive der Mehrzahl von Schienenfahrzeugen zu einem vorbestimmten Zeitpunkt beschrieben ist, lokale Zustandsdaten der Mehrzahl von Schienenfahrzeugen separiert, die jeweils Zustände der einzelnen Schienenfahrzeuge individuell beschreiben. Hierauf basierend werden für die Mehrzahl von lokalen Zustandsdaten lokale Steuerungsaktionen generiert, die jeweils dazu dienen, die einzelnen Schienenfahrzeuge anzusteuern und eine Zustandsänderung des Schienenverkehrs zu bewirken. Die lokalen Steuerungsaktionen sind hierbei unter Berücksichtigung eines Optimierungsziels des Schienenverkehrs generiert. Basierend auf den lokalen Steuerungsaktionen werden darauffolgend globale Steuerungsdaten generiert, die die lokalen Steuerungsaktionen umfassen und die eingerichtet sind, bei Ansteuerung der Mehrzahl von Schienenfahrzeugen des Schienenverkehrs gemäß den Steuerungsaktionen das jeweilige Optimierungsziel des Schienenverkehrs zu erreichen.

[0007] Durch das Extrahieren der lokalen Zustandsdaten aus den globalen Zustandsdaten des Schienenverkehrs kann zur Generierung der lokalen Steuerungsaktionen die zu verarbeitende Datenmenge in Form der globalen Zustandsdaten auf die ausschließlich zur Generierung der lokalen Steuerungsaktionen benötigten Zustandsdaten der einzelnen Schienenfahrzeuge reduziert werden. Hierdurch kann das erfindungsgemäße Verfahren, insbesondere das Erzeugen der zum Ansteuern des Schienenverkehrs bzw. der einzelnen Schienenfahrzeuge benötigten lokalen Steuerungsaktionen zeitlich beschleunigt werden. Hierdurch kann das erfindungsgemäße Verfahren während des Betriebs der Schienenfahrzeuge, sozusagen in einem Onlinebetrieb des Schienenverkehrs, ausgeführt werden. Darüber hinaus kann durch das Separieren der lokalen Zustandsdaten aus den globalen Zustandsdaten erreicht werden, dass für jedes einzelne Schienenfahrzeug basierend auf den jeweiligen lokalen Zustandsdaten des Schienenfahrzeugs individuell entsprechende Steuerungsaktionen ermittelt werden können. Hierdurch können diese präzise an die Erreichung des jeweiligen Optimierungsziels angepasst werden, um somit eine präzise Optimierung des Schienenverkehrs erreichen zu können.

[0008] Ein Schienenverkehr ist im Sinne der Anmeldung durch eine Gesamtheit einer Mehrzahl von innerhalb eines Schienenverkehrsnetzes betriebenen Schienenfahrzeugen beschrieben. Im Schienenverkehr sind ferner Informationen bezüglich Ansteuerungszustände der Schienenfahrzeuge insbesondere in Bezug auf eine Regelfahrplan berücksichtigt. Ferner sind im Schienenverkehr Informationen bezüglich externer Begebenheiten, beispielsweise eines Fahrgastaufkommens, berücksichtigt.

[0009] Zustände eines Schienenverkehrs sind hierbei wenigstens durch Ansteuerungszustände der Mehrzahl von Schienenfahrzeugen gekennzeichnet und können sich in Bezug auf Verspätungswerte bezüglich eines vordefinierten Sollfahrplans der Mehrzahl von Schienenfahrzeugen unterscheiden.

[0010] Nach einer Ausführungsform wird das Ermitteln des optimierten Satzes von Steuerungsaktionen durch eine Aktionsauswahlregel durchgeführt, wobei die Aktionsauswahlregel eingerichtet ist, für jedes der Mehrzahl von Schienenfahrzeugen basierend auf den jeweiligen lokalen Zustandsdaten des Schienenfahrzeugs wenigstens eine entsprechende Steuerungsaktion zu ermitteln, die geeignet ist, das Optimierungsziel des Schienenverkehrs zu erfüllen.

[0011] Hierdurch kann der technische Vorteil erreicht werden, dass eine effiziente Ermittlung von individuellen Steuerungsaktionen für jedes der Schienenfahrzeuge basierend auf den jeweiligen lokalen Zustandsdaten ermöglicht ist. Indem die lokalen Zustandsdaten der verschiedenen Schienenfahrzeuge eine identische Datenstruktur aufweisen, kann somit mit lediglich einer Aktionsauswahlregel, die eingerichtet ist, auf die Zustandsdaten der entsprechenden Datenstruktur angewendet zu werden, für die Mehrzahl verschiedener Schienenfahrzeuge verwendet werden, entsprechende Steuerungsaktionen zu generieren. Indem die Aktionsauswahlregel individuell auf die lokalen Zustandsdaten der einzelnen Schienenfahrzeuge angewendet wird, ist die Aktionsauswahlregel auf verschiedene Verkehrsszenarien anwendbar, in denen unterschiedliche Anzahlen von Schienenfahrzeugen im Schienenverkehr betrieben werden, und für die somit die Datenstruktur der jeweiligen globalen Zustandsdaten des jeweiligen Schienenverkehrs variiert. Hierdurch ist eine breite Anwendbarkeit des erfindungsgemäßen Verfahrens für verschiedene Verkehrssituationen ermöglicht.

[0012] Eine Aktionsauswahlregel entspricht im Sinne der Anmeldung einer aus dem Bereich des bestärkenden Lernens (Reinforcement Learning) bekannte Policy.

[0013] Nach einer Ausführungsform ist die Aktionsauswahlregel durch bestärkendes Lernen trainiert.

[0014] Hierdurch kann der technische Vorteil erreicht werden, dass ein effizientes Verfahren zum Optimieren eines Schienenverkehrs bereitgestellt werden kann. Durch die Anwendung des bestärkenden Lernens zum Trainieren der Aktionsauswahlregel, basierend auf den lokalen Zustandsdaten der verschiedenen Schienenfahrzeuge unter Berücksichtigung der vordefinierten Optimierungsziele kann die Aktionsauswahlregel automatisiert auf eine große Anzahl verschiedener Verkehrssituationen und verschiedener Optimierungsziele trainiert werden, entsprechende die Optimierungsziele erfüllende Steuerungsaktionen zu generieren. Es kann somit ein effizientes Training der Aktionsauswahlregel und eine effizient anwendbare Aktionsauswahlregel erreicht werden, die in einem Offlinezustand des Schienenverkehrs trainiert werden kann, und nach abgeschlossenem Training auf eine Vielzahl verschiedener Verkehrssituationen anwendbar ist.

[0015] Nach einer Ausführungsform wird das Training der Aktionsauswahlregel basierend auf Simulationsdaten ausgeführt, wobei die Simulationsdaten auf einer Simulation eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen des Schienenverkehrsnetzes basieren.

[0016] Hierdurch kann der technische Vorteil erreicht werden, dass ein einfaches und effizientes Training der Aktionsauswahlregel ermöglicht ist. Darüber hinaus können über die Simulation zahlreiche verschiedene Verkehrssituationen simuliert werden, so dass eine möglichst effizient und umfassend trainierte Aktionsauswahlregel bereitgestellt werden kann, die eine effiziente Optimierung eines Schienenverkehrs für beliebige Verkehrssituationen ermöglicht. Darüber hinaus ist das Training nicht auf reale Zustandsdaten angewiesen, sodass das aufwändige Erzeugen realer Zustandsdaten, beispielsweise durch das Aufnehmen von Streckendaten durch Testfahrten der Schienenfahrzeuge oder das Protokollieren von Verkehrsdaten realer Verkehrssituationen, vermieden werden kann.

[0017] Nach einer Ausführungsform umfasst das Training der Aktionsauswahlregel ein Maximieren einer Belohnungsfunktion, wobei die Belohnungsfunktion das wenigstens eine Optimierungsziel definiert.

[0018] Hierdurch kann der technische Vorteil erreicht werden, dass ein effizientes Training der Aktionsauswahlregel ermöglicht ist.

[0019] Nach einer Ausführungsform ist die Aktionsauswahlregel als ein neuronales Netz ausgebildet.

[0020] Hierdurch kann der technische Vorteil erreicht werden, dass eine leistungsfähige Aktionsauswahlregel bereitgestellt werden kann, die eingerichtet ist, in einem vorbestimmten Zeitraum basierend auf den lokalen Zustandsdaten der einzelnen Schienenfahrzeuge entsprechende dem Optimierungsziel genügende lokale Steuerungsaktionen zu generieren. Hierdurch kann gewährleistet werden, dass das erfindungsgemäße Verfahren in einem Onlinebetrieb des Schienenverkehrs ausgeführt werden kann und deterministisch innerhalb eines vorbestimmten Zeitabschnitts entsprechende Steuerungsaktionen zum Steuern und Optimieren des Schienenverkehrs bereitstellen kann.

[0021] Nach einer Ausführungsform umfasst das Generieren von globalen Steuerungsdaten:
- Anpassen der lokalen Steuerungsaktionen verschiedener Schienenfahrzeuge und/oder Auflösen von Konflikten zwischen Steuerungsaktionen verschiedener Schienenfahrzeuge.

[0022] Hierdurch kann der technische Vorteil erreicht werden, dass trotz Berechnung der lokalen Steuerungsaktionen individuell für jedes der Mehrzahl von Schienenfahrzeugen Kollisionen der verschiedenen Steuerungsaktionen der einzelnen Schienenfahrzeuge vermieden werden können. Hierdurch kann ein gesicherter Betrieb des Schienenverkehrs gewährleistet werden.

[0023] Nach einer Ausführungsform umfassen die lokalen Steuerungsaktionen der Schienenfahrzeuge ein Erzielen einer Ankunftszeit und/oder einer Standzeit und/oder einer Abfahrtszeit des jeweiligen Schienenfahrzeugs an wenigstes einer Haltestelle eines durch das Schienenfahrzeug befahrenen Schienenwegs des Schienenverkehrsnetzes.

[0024] Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Optimierung des Schienenverkehrs bereitgestellt werden kann. Durch Berücksichtigung von Ankunftszeiten, Abfahrtszeiten und/oder Standzeiten der einzelnen Schienenfahrzeuge an verschiedenen Haltstellen des Schienenverkehrsnetzes durch die lokalen bzw. globalen Steuerungsaktionen können die Schienenfahrzeuge im Hinblick auf eine Optimierung des Schienenverkehrs in Bezug auf einen vordefinierten Fahrplan des Schienenverkehrs angesteuert werden. Indem die Ankunftszeiten, Abfahrtszeiten bzw. Standzeiten der Schienenfahrzeuge an den jeweiligen Haltestellen in den jeweiligen Steuerungsaktionen berücksichtigt werden, können die Steuerungsaktionen darauf ausgelegt sein, die entsprechenden Ankunftszeiten, Abfahrtszeiten bzw. Standzeiten derart zu optimieren bzw. anzupassen, dass ein Betrieb des Schienenverkehrs an einen optimierten Fahrplan angepasst bzw. bzgl. diesem optimiert werden kann. Die Ankunftszeiten, Abfahrtszeiten und/oder Standzeiten können hierbei entsprechend dem Optimierungsziel ermittelt werden und insbesondere von den Ankunftszeiten, Abfahrtszeiten und/oder Standzeiten, die im vordefinierten Fahrplan definiert sind, abweichen.

[0025] Nach einer Ausführungsform umfassen die lokalen Zustandsdaten eines Schienenfahrzeugs eine Position und/oder eine Geschwindigkeit und/oder eine Verspätung relativ zu einem vordefinierten Fahrplan des Schienenfahrzeugs im Schienenverkehrsnetz und/oder eine Position und/oder eine Geschwindigkeit und/oder eine Verspätung von relativ zum Schienenfahrzeug auf einem durch das Schienenfahrzeug befahrenen Schienenweg voraus- und/oder nachfahrenden Schienenfahrzeugen und/oder eine Gesamtverspätung der Mehrzahl von Schienenfahrzeugen.

[0026] Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Bestimmung der Zustände der einzelnen Schienenfahrzeuge basierend auf den lokalen Zustandsdaten ermöglicht ist. Durch die Berücksichtigung weiterer auf einem Schienenweg befindlicher Schienenfahrzeuge zur Beurteilung eines Zustands eines Schienenfahrzeugs können diese ebenfalls bei der Generierung der entsprechenden Steuerungsaktionen berücksichtigt werden. Hierdurch können die lokalen Steuerungsaktionen einzelner Schienenfahrzeuge präzise auf den tatsächlichen Zustand des Schienenfahrzeugs innerhalb des Schienenverkehrs, der auch weitere Schienenfahrzeuge wie auch Verspätungen der einzelnen Fahrzeuge berücksichtigt, angepasst werden. Hierdurch ist eine präzise Optimierung des Schienenverkehrs ermöglicht, der Verspätungen einzelnen Schienenfahrzeuge bzw. einer Mehrzahl von Schienenfahrzeugen verringert bzw. behoben werden können.

[0027] Nach einer Ausführungsform umfasst das wenigstens eine Optimierungsziel eine Reduzierung einer Gesamtverspätung der Mehrzahl von Schienenfahrzeugen relativ zu einem vorbestimmten Fahrplan des Schienenverkehrsnetzes und/oder eine Varianz von Verspätungen einzelner Schienenfahrzeuge relativ zum vorbestimmten Fahrplan und/oder eine minimale Zeitspanne bis zu einer Widerherstellung des vorbestimmten Fahrplans und/oder einen minimalen Energieverbrauch und/oder minimale Energieverbrauchsspitzen der Mehrzahl von Schienenfahrzeugen.

[0028] Hierdurch kann der technische Vorteil erreicht werden, dass der Schienenverkehr auf verschiedene relevante Optimierungsziele wie beispielsweise ein Energieverbrauch der Gesamtheit der Schienenfahrzeuge oder eine Gesamtverspätung der Gesamtheit der Schienenfahrzeuge bzw. Verspätungen einzelner Schienenfahrzeuge optimiert werden kann.

[0029] Nach einer Ausführungsform wird das Verfahren in einem Online-Betrieb der Mehrzahl von Schienenfahrzeugen im Schienenverkehr des Schienenverkehrsnetzes ausgeführt wird.

[0030] Hierdurch kann der technische Vorteil erreicht werden, dass eine Optimierung des Onlinebetrieb des Schienenverkehrs ermöglicht ist.

[0031] Nach einem zweiten Aspekt der Erfindung wird ein Verfahren zum Trainieren einer Aktionsauswahlregel bereitgestellt, wobei das Verfahren umfasst:
  • Ausführen einer Simulation eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen eines Schienenverkehrsnetzes;
  • Empfangen von globalen Zustandsdaten des Schienenverkehrsnetzes der Simulation;
  • Ermitteln eines Satzes von lokalen Zustandsdaten der Mehrzahl von Schienenfahrzeugen des Schienenverkehrs basierend auf den globalen Zustandsdaten;
  • Ermitteln eines optimierten Satzes von lokalen Steuerungsaktionen für die Mehrzahl von Schienenfahrzeugen basierend auf dem Satz von lokalen Zustandsdaten der Mehrzahl von Schienenfahrzeugen und unter Berücksichtigung wenigstens eines Optimierungsziels durch Ausführen der Aktionsauswahlregel auf die lokalen Zustandsdaten;
  • Generieren von globalen Steuerungsdaten basierend auf dem optimierten Satz von lokalen Steuerungsaktionen;
  • Bereitstellen der globalen Steuerungsdaten an die Simulation des Schienenverkehrs;
  • Ausführen der Steuerungsaktionen der globalen Steuerungsdaten durch die Simulation und Überführen des Schienenverkehrs in einen zweiten globalen Zustand;
  • Berechnen eines Werts einer Belohnungsfunktion für den zweiten globalen Zustand des Schienenverkehrs in Bezug auf das wenigstens eine Optimierungsziel unter Berücksichtigung von Techniken des bestärkenden Lernens;
  • Modifizieren von Parametern der Aktionsauswahlregel gemäß dem Wert der Belohnungsfunktion unter Berücksichtigung von Techniken des bestärkenden Lernens; und
  • Iteratives Ausführen der voranstehenden Verfahrensschritte und Maximieren der Belohnungsfunktion.


[0032] Hierdurch kann der technische Vorteil erreicht werden, dass ein effizientes Verfahren zum Trainieren einer Aktionsauswahlregel bereitgestellt werden kann. Hierzu wird die Aktionsauswahlregel durch bestärkendes Lernen basierend auf Simulationsdaten einer Simulation eines Schienenverkehrs trainiert. Hierzu werden zunächst aus globalen Zustandsdaten des Schienenverkehrs lokale Zustandsdaten der einzelnen Schienenfahrzeuge generiert und durch Anwendung der Aktionsauswahlregel auf die lokalen Zustandsdaten unter Berücksichtigung des zu erfüllenden Optimierungsziels entsprechende lokale Steuerungsaktionen generiert, die eingerichtet sind, bei Ausführung durch die jeweiligen Schienenfahrzeuge den Schienenverkehr in einen entsprechenden geänderten Zustand zu überführen. Durch Berücksichtigung von Belohnungswerten einer Belohnungsfunktion und das Modifizieren von Parametern der Aktionsauswahlregel zum Maximinieren der jeweiligen Belohnungsfunktion nach mehrfachem Überführen des Schienenverkehrs geänderte Zustände kann ein effizientes Training der Aktionsauswahlregel zum Optimieren eines Schienenverkehrs erreicht werden.

[0033] Nach einer Ausführungsform wird das Verfahren zum Trainieren einer Aktionsauswahlregel in einem Offline-Betrieb des Schienenverkehrsnetzes ausgeführt.

[0034] Hierdurch kann der technische Vorteil erreicht werden, dass ein effizientes Training der Aktionsauswahlregel ermöglicht ist, indem dieses in einem Offlinezustand des Schienenverkehrs durchgeführt wird, bzw. die Aktionsauswahlregel zum Optimieren des Schienenverkehrs erst tatsächlich eingesetzt wird, wenn das offline betriebene Training auf Basis der Simulation entsprechender Verkehrssituationen abgeschlossen ist.

[0035] Nach einem dritten Aspekt wird ein System zum Optimieren eines Schienenverkehrs mit einer Recheneinheit bereitgestellt, die eingerichtet ist, das erfindungsgemäße Verfahren zum Optimieren eines Schienenverkehrs eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen nach einer der voranstehenden Ausführungsformen auszuführen, und/oder das erfindungsgemäße Verfahren zum Trainieren einer Aktionsauswahlregel nach einer der voranstehenden Ausführungsformen auszuführen.

[0036] Nach einem vierten Aspekt der Erfindung wird ein Computerprogrammprodukt umfassend Befehle bereitgestellt, die bei der Ausführung des Programms durch eine Datenverarbeitungseinheit diese veranlassen, das erfindungsgemäße Verfahren zum Optimieren eines Schienenverkehrs eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen nach einer der voranstehenden Ausführungsformen auszuführen, und/oder das erfindungsgemäße Verfahren zum Trainieren einer Aktionsauswahlregel nach einer der voranstehenden Ausführungsformen auszuführen.

[0037] Die oben beschriebenen Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich durch die Erläuterungen der folgenden, stark vereinfachten, schematischen Darstellungen bevorzugter Ausführungsbeispiele. Hierbei zeigen jeweils:
FIG 1
eine schematische Darstellung eines Systems zum Optimieren eines Schienenverkehrs gemäß einer Ausführungsform;
FIG 2
eine weitere schematische Abbildung des Systems zum Optimieren eines Schienenverkehrs gemäß einer Ausführungsform;
FIG 3
ein Flussdiagramm des Verfahrens zum Optimieren eines Schienenverkehrs gemäß einer Ausführungsform;
FIG 4
eine schematische Darstellung des Systems in Fig. 1 in einem Simulationsmodus;
FIG 5
eine weitere schematische Abbildung des Systems zum Optimieren eines Schienenverkehrs gemäß einer Ausführungsform;
FIG 6
ein Flussdiagramm eines Verfahrens zum Trainieren einer Aktionsauswahlregel gemäß einer Ausführungsform; und
FIG 7
eine schematische Darstellung eines Computerprogrammprodukts.


[0038] FIG 1 zeigt eine schematische Darstellung eines Systems 300 zum Optimieren eines Schienenverkehrs gemäß einer Ausführungsform.

[0039] Ein System 300 zur Optimierung eines Schienenverkehrs umfasst gemäß der gezeigten Ausführungsform eine Mehrzahl von Modulen, die auf einer Recheneinheit 301 ausführbar sind. Das System 300 kann ferner sowohl in ein Offline- Teilsystem 302 und ein Online-Teilsystem 304 aufgeteilt sein, wobei das Offline- Teilsystem 302 offline, sprich unabhängig von einem Betrieb der Schienenfahrzeuge 203, ausgeführt wird, während das Online-Teilsystem 304 während des Betriebs der Schienenfahrzeuge 203 ausgeführt wird.

[0040] Die zentrale Komponente des Offline-Teilsystems 302 ist ein Fahrplanoptimierungsmodul 311. Das Fahrplanoptimierungsmodul 311 dient dazu, für einen vorbestimmten Zeitraum einen optimierten Fahrplan für einen Schienenverkehr einer Mehrzahl von Schienenfahrzeugen eines Schienenverkehrsnetzes zu erstellen. Den im Offline-Teilsystem 302 erstellten optimierten Fahrplan kann das Fahrplanoptimierungsmodul 311 über eine erste Schnittstelle an das Online-Teilsystem 304 übertragen, damit der Fahrplan zur Steuerung des Schienenverkehrs ausgeführt werden kann.

[0041] Im tatsächlichen Betrieb des Schienenverkehrs wird der von nun an Online-Fahrplan genannte Fahrplan durch ein Fahrplanmanagementmodul 305 verwaltet. Hierzu können Positionsdaten einzelner Schienenfahrzeuge des Schienenverkehrs über ein automatisches Schienenfahrzeugverfolgungsmodul 307 über eine zweite Schnittstelle S2 an das Fahrplanmanagementmodul 305 übertragen, damit dieses einen Vergleich zwischen Soll-Bewegungen des Fahrplans und tatsächlich durch die Schienenfahrzeuge des Schienenverkehrs ausgeführte Ist-Bewegungen ausführen kann.

[0042] Das Fahrplanmanagementmodul 305 kann ferner über eine dritte Schnittstelle S3 Befehle zur Auswahl entsprechend zu befahrender Schienenwege ein automatisches Streckenauswahlmodul 309 übertragen. Somit können rechtzeitig entsprechende Schienenwege reserviert werden, um einen Betrieb der Schienenfahrzeuge mit minimalen Verspätungen zu gewährleisten.

[0043] Das Fahrplanmanagementmodul 305 weist ferner eine bidirektionale Schnittstelle S2, S4 mit einem automatischen Schienenfahrzeugregelungsmodul 303 auf. Für den Fall, dass der Online-Fahrplan geändert werden muss, entweder durch einen neuen Sollfahrplan des Fahrplanoptimierungsmoduls 311 oder durch Änderungen eines Fahrdienstleiters, kann das automatische Schienenfahrzeugregelungsmodul 303 entsprechend informiert werden, um eine Änderung des Online-Fahrplans zu bewirken. Hierzu benötigt das automatische Schienenfahrzeugregelungsmodul 303 ferner aktuelle Positionsdaten der Schienenfahrzeuge, um aktuelle Verspätungen der Schienenfahrzeuge ermitteln und bei größeren Abweichungen geeignete Regelungen einzuleiten zu können.

[0044] Diese Regelungen können entsprechende durch die Schienenfahrzeuge auszuführende Steuerungsaktionen umfassen, mit denen gewünschte bzw. zur Aufhebung der Verspätung und zur Änderung des Fahrplans durch die Schienenfahrzeuge zu erreichende bzw. einzuhaltende Abfahrtszeiten und/oder Ankunftszeiten und Haltezeiten der Schienenfahrzeuge an Haltestellen der Schienenwege des Schienenverkehrsnetzes umfassen. Die entsprechenden Regelungen und/oder Steuerungsaktionen können über eine fünfte Schnittstelle S5 an das Fahrplanmanagementmodul 305 übermittelt werden.

[0045] Abschließend werden zur Anpassung des Fahrplans die entsprechenden Regelungen und Steuerungsaktionen und die entsprechenden optimierten Ankunftszeiten/Abfahrtszeiten/Haltezeiten vom automatischen Fahrplanmanagementmodul 305 über eine sechste Schnittstelle S6 an automatische Schienenfahrzeugsteuerungsmodule 313 der einzelnen Schienenfahrzeuge 315 des Schienenverkehrs übermittelt, damit diese die gewünschten Änderung bzw. Steuerungsaktionen ausführen können, um die optimierten Ankunftszeiten/Abfahrtszeiten/Haltezeiten zu erreichen oder einzuhalten.

[0046] Im Falle von automatisch fahrenden Schienenfahrzeugen kann das automatische Schienenfahrzeugsteuerungsmodul 313 energieoptimierte Fahrtrajektorien des Schienenfahrzeugs 203 ermitteln, die am besten zum aktuellen Online-Fahrplan passen. Im Falle des manuellen Fahrens wird der Fahrzeugführer beraten, ist aber in der Umsetzung der Regelungen frei.

[0047] In der gezeigten Ausführungsform ist das automatische Schienenfahrzeugregelungsmodul 303 eingerichtet, basierend auf den Zustandsdaten eines zu optimierenden Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen das erfindungsgemäße Verfahren zum Optimieren eines Schienenverkehrs einer Mehrzahl von Schienenfahrzeugen eines Schienenverkehrsnetzes auszuführen.

[0048] FIG 2 zeigt eine weitere schematische Abbildung des Systems 300 zum Optimieren eines Schienenverkehrs gemäß einer Ausführungsform.

[0049] Figur 2 zeigt eine Mehrzahl verschiedener Komponenten des Systems 300, die beispielsweise in dem automatischen Schienenfahrzeugregelungsmodul 303 integrierbar sind bzw. durch dieses ausgeführt werden können. Durch die gezeigten Komponenten ist das System 300 in der Lage, das erfindungsgemäße Verfahren zum Optimieren eines Schienenverkehrs auszuführen.

[0050] Hierzu werden zunächst von einem Schienenverkehr 317 globale Zustandsdaten GS empfangen. Der Schienenverkehr 317 beschreibt hierbei eine Mehrzahl innerhalb eines Schienenverkehrsnetzes betriebener Schienenfahrzeuge unter Berücksichtigung der individuellen Eigenschaften des jeweiligen Schienenverkehrsnetzes, der individuellen Eigenschaften der Schienenfahrzeuge, wie auch des optimierten Sollfahrplans zum Betrieb der Mehrzahl der Schienenfahrzeuge.

[0051] Die globalen Zustandsdaten GS beschreiben einen Zustand des Schienenverkehrs 317, der beispielsweise durch eine Verkehrssituation einer Mehrzahl verschiedener Schienenfahrzeuge 315 zu einem vorbestimmten Zeitpunkt beschrieben wird. Die globalen Zustandsdaten GS können neben detaillierten Zustandsbeschreibungen der einzelnen in der jeweiligen Verkehrssituation des Schienenverkehrs 317 beteiligten Schienenfahrzeuge 315 weitere Informationen beispielsweise bzgl. des Sollfahrplans, bzgl. verschiedener Zustände einzelner Schienenwege des Schienenverkehrsnetzes und weitere relevante Informationen zur Steuerung der Mehrzahl von Schienenfahrzeugen 315 bzw. zur Beschreibung der jeweiligen Verkehrssituation bzw. des Zustands des Schienenverkehrs 317.

[0052] Für verschiedene Verkehrssituationen, in denen beispielsweise eine unterschiedliche Anzahl von Schienenfahrzeugen beteiligt sind, beispielsweis aufgrund der Tages- oder Jahreszeit, in deren Abhängigkeit gemäß des optimierten Sollfahrplans zur Beförderung beispielsweise von Fahrgästen eine unterschiedliche Anzahl von Schienenfahrzeugen benötigt werden, kann die Datenstruktur der globalen Zustandsdaten GS variieren.

[0053] Zum Ausgleich der variierenden Datenstruktur der globalen Zustandsdaten GS, in denen beispielsweise zu Tageszeiten eine hohe Anzahl von Schienenfahrzeugen, die im Schienenverkehrsnetz mit einer hohen Taktung betrieben werden, über entsprechende Zustandsdaten berücksichtigt sind, während zu Tageszeiten mit lediglich einer geringen Dichte an betriebenen Schienenfahrzeugen, in den globalen Zustandsdaten GS entsprechend eine geringe Anzahl von Schienenfahrzeugen mit entsprechenden Zustandsbeschreibungen berücksichtigt sind, werden durch ein Generierungsmodul für lokale Zustandsdaten LSB aus den globalen Zustandsdaten GS lokale Zustandsdaten S1, S2, ..., SN der einzelnen Schienenfahrzeuge generiert. Die lokalen Zustandsdaten S1, S2, ..., SN beschreiben hierbei individuell die Zustände der einzelnen Schienenfahrzeuge des Schienenverkehrs 317.

[0054] Die Datenstruktur der einzelnen lokalen Zustandsdaten S1, S2, ..., SN kann hierbei für verschiedene Schienenfahrzeuge einheitlich ausgestaltet sein, so dass in den einzelnen lokalen Zustandsdaten S1, S2, ..., SN der verschiedenen Schienenfahrzeuge die jeweiligen Zustände der einzelnen Schienenfahrzeuge unter Berücksichtigung der gleichen Parameter beschrieben sind. Die lokalen Zustandsdaten S1, S2, ..., SN können beispielsweise Positionsangaben, Geschwindigkeitsangaben, Verspätungsangaben bzgl. des vordefinierten und optimierten Fahrplans, Streckenangaben, der durch das jeweilige Fahrzeug befahrenen Schienenwege, Haltestellenangaben, der durch das jeweilige Fahrzeug anzufahrenden Haltestellen und/oder weitere fahrzeugspezifische Informationen umfassen.

[0055] Darüber hinaus können die lokalen Zustandsdaten eines Schienenfahrzeugs zusätzliche Informationen bzgl. weiterer auf den durch das Schienenfahrzeug befahrenen Schienenwegs angeordnete Schienenfahrzeuge inklusive derer Positionen, Geschwindigkeiten bzw. Verspätungen umfassen. Darüber hinaus können die lokalen Zustandsdaten S1, S2, ..., SN eine Gesamtverspätung der Mehrzahl der Schienenfahrzeuge relativ zum vorbestimmten optimierten Fahrplan umfassen.

[0056] In einem folgenden Schritt wird auf die Mehrzahl der generierten lokalen Zustandsdaten S1, S2, ..., SN eine Aktionsauswahlregel P angewendet, die eingerichtet ist, für jedes Schienenfahrzeug individuell basierend auf den jeweiligen lokalen Zustandsdaten S1, S2, ..., SN des jeweiligen Schienenfahrzeugs unter Berücksichtigung wenigstens eines Optimierungsziels entsprechende lokale Steuerungsaktionen A1, A2, ..., AN des jeweiligen Schienenfahrzeugs zu generieren. Die lokalen Steuerungsaktionen A1, A2, ..., AN sind dabei derart ausgebildet, dass bei Ausführung der lokalen Steuerungsaktionen A1, A2, ..., AN durch das jeweilige Schienenfahrzeug dieses innerhalb des Schienenverkehrsnetzes derart ansteuerbar ist, dass das jeweilige Optimierungsziel des Schienenverkehrs erreichbar ist.

[0057] Die lokalen Steuerungsaktionen A1, A2, ..., AN können Ankunftszeiten und/oder Abfahrtszeiten und/oder Standzeiten des jeweiligen Schienenfahrzeugs an durch das jeweilige Schienenfahrzeug anzusteuernden Haltestellen berücksichtigen. Durch Ausführung der lokalen Steuerungsaktionen A1, A2, ..., AN durch das jeweilige Schienenfahrzeug wird somit erreicht, dass die entsprechenden Ankunftszeiten und/oder Abfahrtszeiten und/oder Haltezeiten des Schienenfahrzeugs an den jeweiligen Haltestellen eingehalten bzw. erreicht werden. Das Schienenfahrzeug wird folglich derart angesteuert, dass dieses die entsprechend definierten Ankunftszeiten und/oder Abfahrtszeiten und/oder Haltezeiten einhalten kann.

[0058] Das hierdurch zu erreichende Optimierungsziel der Optimierung des Schienenverkehrs kann beispielsweise eine Reduzierung einer Gesamtverspätung der Mehrzahl von in der jeweiligen Verkehrssituation beteiligten Schienenfahrzeugen relativ zum vorbestimmten optimierten Sollfahrplan umfassen. Alternativ oder zusätzlich kann das Optimierungsziel eine Varianz einer Mehrzahl individueller Verspätungen einzelner Schienenfahrzeuge der Mehrzahl der Schienenfahrzeuge des Schienenverkehrs relativ zum optimierten Sollfahrplan umfassen. Alternativ oder zusätzlich hierzu kann das Optimierungsziel ferner einen Energiebedarf der Mehrzahl der Schienenfahrzeuge, beispielsweise einen Gesamtenergieverbrauch und/oder zeitlich begrenzte Maximalwerte des Energieverbrauchs der Mehrzahl von Schienenfahrzeugen umfassen. Alternativ hierzu können auch mehrere verschiedene Optimierungsziele zur Optimierung des Schienenverkehrs berücksichtigt werden.

[0059] In einem weiteren Schritt wird darauffolgend durch ein Generierungsmodul für globale Steuerungsdaten GAB basierend auf der Mehrzahl von lokalen Steuerungsaktionen A1, A2, ..., AN der Mehrzahl von Schienenfahrzeugen globale Steuerungsdaten GA generiert. Die globalen Steuerungsdaten GA umfassen hierbei die Mehrzahl von lokalen Steuerungsaktionen A1, A2, ..., AN und sind eingerichtet, durch Ausführung der in den globalen Steuerungsdaten GA enthaltene lokale Steuerungsaktionen A1, A2, ..., AN durch die Mehrzahl von Schienenfahrzeugen dem Verkehr der Mehrzahl der Schienenfahrzeuge in Bezug auf das jeweilige Optimierungsziel zu optimieren.

[0060] Das Generierungsmodul für globale Steuerungsdaten GAB kann ferner eingerichtet sein, beim Generieren der globalen Steuerungsdaten GA basierend auf der Mehrzahl von lokalen Steuerungsaktionen A1, A2, ..., AN Kollisionen verschiedener lokaler Steuerungsaktionen A1, A2, ..., AN unterschiedlicher Schienenfahrzeuge zu vermeiden und eine entsprechende Anpassung der Steuerungsaktionen A1, A2, ..., AN durchzuführen. Hierdurch kann eine Abstimmung der Ansteuerung der Mehrzahl von Schienenfahrzeugen basierend auf den individuell generierten lokalen Steuerungsaktionen A1, A2, ..., AN erreicht werden. Insbesondere kann vermieden werden, dass beispielsweise verschiedene Schienenfahrzeuge sich zu identischen Zeiten an der gleichen Haltestellte befinden.

[0061] Zum Optimieren des Schienenverkehrs werden somit basierend auf den globalen Zustandsdaten GS des Schienenverkehrs, die die Gesamtheit des Schienenverkehrs inklusive aller hieran beteiligten Schienenfahrzeuge beschreiben, individuelle, lokale Zustandsdaten S1, S2, ..., SN der Mehrzahl von Schienenfahrzeugen generiert. Unter Berücksichtigung verschiedener Optimierungsziele werden daraufhin durch die Aktionsauswahlregel P individuell für jedes Schienenfahrzeug basierend auf den jeweiligen lokalen Zustandsdaten S1, S2, ..., SN des Schienenfahrzeugs entsprechend lokale Steuerungsaktionen A1, A2, ..., AN generiert. Die lokalen Steuerungsaktionen A1, A2, ..., AN können das Ansteuern des jeweiligen Schienenfahrzeugs zum Einhalten oder Erreichen einer Ankunftszeit und/oder einer Abfahrtszeit und/oder eine Standzeit des Schienenfahrzeugs an einer durch das Schienenfahrzeug anzusteuernden Haltestelle umfassen bzw. die Ankunftszeit und/oder Abfahrtszeit und/oder Standzeit für ein Schienenfahrzeug und wenigstens eine durch das Schienenfahrzeug anzusteuernde Haltestelle definieren.

[0062] Die einzelnen lokalen Steuerungsaktionen A1, A2, ..., AN der verschiedenen Schienenfahrzeuge können damit derart ausgewählt werden, dass die verschiedenen Schienenfahrzeuge an den unterschiedlichen Haltestellen derart synchronisiert werden, bzw. deren Abfahrtszeiten, Ankunftszeiten oder Standzeiten, derart aufeinander angepasst werden, dass die unterschiedlichen Optimierungsziele der Gesamtheit der Schienenfahrzeuge erreicht werden. Beispielsweise können die verschiedenen Ankunftszeiten, Abfahrtszeiten oder Standzeiten der unterschiedlichen Schienenfahrzeuge an den verschiedenen Haltestellen derart angepasst werden, dass hierdurch die Gesamtverspätung der Mehrzahl der Schienenfahrzeuge relativ zum optimierten Sollfahrplan reduziert wird. Alternativ oder zusätzlich können durch die entsprechend definierten Ankunftszeiten, Abfahrtszeiten oder Standzeiten die Verspätungen der einzelnen Schienenfahrzeuge derart definiert werden, so dass eine mehr oder weniger einheitliche Abweichung der einzelnen Schienenfahrzeuge vom Sollfahrplan erzielt wird. Alternativ oder zusätzlich können die Ankunftszeiten, Abfahrtszeiten oder Standzeiten der einzelnen Schienenfahrzeuge darauf angepasst werden, dass ein Energiebedarf der Gesamtheit der Schienenfahrzeuge reduziert wird, indem beispielsweise Beschleunigungs- und Bremsprozesse einzelner Schienenfahrzeuge zeitlich aufeinander abgestimmt werden.

[0063] Die Aktionsauswahlregel P kann gemäß Techniken des bestärkenden Lernens trainiert sein, die beispielsweise das Maximieren einer Belohnungsfunktion, in der die jeweiligen Optimierungsziele definiert sind, umfassen. Die Aktionsauswahlregel kann auf beliebige lokale Zustandsdaten S1, S2, ..., SN der einzelnen Schienenfahrzeuge angewendet werden und ist eingerichtet, für jedes Schienenfahrzeug individuell entsprechende lokale Steuerungsaktionen zu generieren. Die Aktionsauswahlregel P kann beispielsweise als ein entsprechend trainiertes neuronales Netz ausgebildet sein. Zur Anwendbarkeit der Aktionsauswahlregel auf die verschiedenen lokalen Zustandsdaten S1, S2, ..., SN weisen die lokalen Zustandsdaten S1, S2, ..., SN identische Datenstrukturen auf, so dass die lokalen Zustände der einzelnen Schienenfahrzeuge über eine einheitliche Anzahl verschiedener Merkmale innerhalb der lokalen Zustandsdaten beschrieben sind.

[0064] Die Aktionsauswahlregel P in Kombination mit dem Generierungsmodul für lokale Zustandsdaten LSB und dem Generierungsmodul für globale Steuerungsdaten GAB können dabei eingerichtet sein, innerhalb eines vorbestimmten Zeitabschnitts, beispielsweise im Sekundenbereich von üblicherweise 5 bis 10 Sekunden, basierend auf den globalen Zustandsdaten GS entsprechende globale Steuerungsdaten GA zu generieren. Somit kann eine Optimierung des Schienenverkehrs während des Onlinebetriebs der Schienenfahrzeuge ausgeführt werden und beispielsweise kann das erfindungsgemäße Verfahren zum Optimieren eines Schienenverkehrs wie oben beschrieben in einer vorbestimmten Taktung entsprechend dem vorbestimmten Zeitabschnitt ausgeführt werden, so dass den jeweiligen Schienenfahrzeugen im Sekundentakt entsprechende Steuerungsaktionen bzw. Steuerungsdaten bereitgestellt werden können, anhand deren die Schienenfahrzeuge angesteuert werden können, um somit den Schienenverkehr gemäß den entsprechenden Optimierungszielen zu optimieren und gegebenenfalls an den vordefinierten optimierten Sollfahrplan anzupassen.

[0065] FIG 3 zeigt ein Flussdiagramm eines Verfahrens 100 zum Optimieren eines Schienenverkehrs gemäß einer Ausführungsform.

[0066] Zur Ausführung des erfindungsgemäßen Verfahrens 100 zum Optimieren eines Schienenverkehrs 317 eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen 315 werden zunächst in einem Verfahrensschritt 101 globale Zustandsdaten GS des Schienenverkehrs 317 empfangen, wobei die globalen Zustandsdaten einen globalen Zustand des Schienenverkehrs 317 inklusive der Mehrzahl von Schienenfahrzeugen 315 beschreiben.

[0067] In einem Verfahrensschritt 103 wird basierend auf den globalen Zustandsdaten GS ein Satz von lokalen Zustandsdaten S1, S2, ..., SN der Mehrzahl von Schienenfahrzeugen 315 ermittelt, wobei die lokalen Zustandsdaten S1, S2, ..., S3 individuelle Zustände der verschiedenen Schienenfahrzeuge 315 beschreiben.

[0068] In einem Verfahrensschritt 105 wird darauffolgend basierend auf den lokalen Zustandsdaten S1, S2, ..., SN ein optimierter Satz von lokalen Steuerungsaktionen A1, A2, ..., AN der Mehrzahl von Schienenfahrzeugen 315 unter Berücksichtigung wenigstens eines Optimierungsziels ermittelt. Die lokalen Steuerungsaktionen A1, A2, ..., AN beschreiben hierbei individuelle Ansteuerungen der einzelnen Schienenfahrzeuge 315. Die Ermittlung des optimierten Satzes von Steuerungsaktionen A1, A2, ..., AN kann beispielsweise durch eine Aktionsauswahlregel ausgeführt werden, die eingerichtet ist, für jedes Schienenfahrzeug individuell basierend auf den lokalen Zustandsdaten S1, S2, ..., SN entsprechende lokale Steuerungsaktionen zu erzeugen. Die Aktionsauswahlregel P kann beispielsweise unter Anwendung von Techniken des bestärkenden Lernens trainiert sein und als ein entsprechend trainiertes neuronales Netz ausgebildet sein.

[0069] In einem Verfahrensschritt 107 werden basierend auf dem optimierten Satz von lokalen Steuerungsaktionen A1, A2, ..., AN globale Steuerungsdaten GA generiert, die die lokalen Steuerungsaktionen A1, A2, ..., AN umfassen und die eingerichtet sind, bei Ansteuerung der Mehrzahl von Schienenfahrzeugen 315 gemäß den Steuerungsaktionen A1, A2, ..., AN das Optimierungsziel zu erfüllen.

[0070] In der gezeigten Ausführungsform wird hierzu in einem Verfahrensschritt 111 eine Anpassung der lokalen Steuerungsaktionen A1, A2, ..., AN verschiedener Schienenfahrzeuge und einer Auflösung von Konflikten zwischen Steuerungsaktionen A1, A2, ..., AN verschiedener Schienenfahrzeuge bewirkt.

[0071] In einem Verfahrensschritt 109 werden die globalen Steuerungsdaten GA bereitgestellt, so dass eine Ansteuerung der Schienenfahrzeuge des Schienenverkehrs gemäß den entsprechend generierten lokalen Steuerungsaktionen A1, A2, ..., AN durchgeführt werden kann.

[0072] FIG 4 zeigt eine schematische Darstellung des Systems 300 in Fig. 1 in einem Simulationsmodus.

[0073] Das in Fig. 4 gezeigte System 300 basiert auf dem System in Fig. 1 und weist alle dort beschrieben Komponenten und Funktionalität auf. Von einer erneuten detaillierten Beschreibung wird somit abgesehen.

[0074] Abweichend zur Fig. 1 wird das System 300 in Fig. 4 hingegen nicht zum Steuern eines Schienenverkehrs betrieben. Stattdessen dient das System in Fig. 4 zum Trainieren einer Aktionsauswahlregel P nach den oben beschriebenen Ausführungsformen und mit den dort beschriebenen Eigenschaften.

[0075] Hierzu wird in der in Fig. 4 gezeigten Ausführungsform eine Simulation SIM ausgeführt, die alle Module des Systems 300, mit Ausnahme des automatischen Schienenfahrzeugregelungsmoduls 303, in einer entsprechenden Simulation simuliert. Die Simulation SIM simuliert ferner einen Schienenverkehr mit einer Mehrzahl von Schienenfahrzeugen eines Schienenverkehrsnetzes gemäß den oben beschriebenen Ausführungsformen. Hierzu ist die Simulation SIM eingerichtet, verschiedene Verkehrsszenarien für verschiedene Schienenverkehrsnetze mit Schienenfahrzeugen verschiedener Anzahl und Typ zu simulieren und darzustellen. Die simulierten Verkehrsszenarien sind dabei veränderbar, sodass realitätsnahe Simulationen tatsächlich auftretender Verkehrssituationen ermöglicht sind, die über einen vorbestimmten Zeitraum veränderbar sind und somit einen zeitlichen Verlauf eines zeitlich veränderbaren Schienenverkehrs darstellen.

[0076] Ferner ist die Simulation eingerichtet, die oben beschriebenen Funktionen der einzelnen Module, mit Ausnahme des automatischen Schienenfahrzeugregelungsmoduls 303, darzustellen, die mit Ausführung entsprechender Funktionen auf die jeweiligen Verkehrssituationen reagieren. Die Simulation SIM kann durch eine Simulationssoftware zum Simulieren von Schienenverkehr, beispielsweise durch die Simulationssoftware Falko, realisiert sein.

[0077] Das automatische Schienenfahrzeugregelungsmodul 303 wird hingegen nicht durch die Simulation SIM simuliert, sondern ist eingerichtet, das erfindungsgemäße Verfahren zum Trainieren einer Aktionsauswahlregel zu betreiben und die Aktionsauswahlregel basierend auf den Daten der Simulation SIM zu trainieren.

[0078] Die Simulation SIM kann hierzu globale Zustandsdaten GS eines Schienenverkehrs eines bestimmten Schienenverkehrsnetzes bereitstellen. Die globalen Zustandsdaten GS umfassen hierbei, analog zu globalen Zustandsdaten eines tatsächlich überwachten Schienenverkehrs, Positionsdaten und/oder Geschwindigkeitsdaten einer Mehrzahl von Schienenfahrzeugen und/oder Ankunftszeiten und/oder Abfahrtszeiten und/oder Standzeiten der Mehrzahl von Schienenfahrzeugen an verschiedenen Haltestellen des Schienenverkehrsnetzes und/oder Angaben zu Zuständen der verschiedenen Schienenwege des Schienenverkehrsnetzes.

[0079] FIG 5 zeigt eine weitere schematische Abbildung des Systems 300 zum Optimieren eines Schienenverkehrs gemäß einer Ausführungsform.

[0080] Figur 5 zeigt eine Ausführungsform des Systems 300, in der dieses eingerichtet ist, ein Verfahren zum Trainieren einer Aktionsauswahlregel P mit den oben beschriebenen Merkmalen auszuführen. In Figur 5 sind verschiedene Komponenten des Systems 300 gezeigt, die beispielsweise durch das automatische Schienenfahrzeugregelungsmodul 303 ausgeführt werden können. Die gezeigte Ausführungsform des Systems 300 bezieht sich hierbei auf die Ausführungsform in Figur 4, in der die dort beschriebenen Komponenten des Systems 300, mit Ausnahme des automatischen Schienenfahrzeugregelungsmoduls 303, durch eine entsprechende Simulation SIM simuliert ausgeführt werden.

[0081] Die Komponenten des Systems 300, insbesondere das Generierungsmodul für lokale Zustandsdaten LSB, das Generierungsmodul für globale Steuerungsdaten GAB und die Aktionsauswahlregel P entsprechen den zu Figur 2 beschriebenen Komponenten. Von einer erneuten detaillierten Beschreibung wird im Folgenden daher abgesehen.

[0082] Das Training der Aktionsauswahlregel P wird wie oben bereits dargelegt bevorzugt nicht auf realen Zustandsdaten eines zu optimierenden Schienenverkehrs durchgeführt, sondern auf entsprechenden simulierten Zustandsdaten einer Simulation SIM eines entsprechenden Schienenverkehrs. Die Simulation SIM kann hierzu wie oben ebenfalls bereits dargelegt beispielsweise durch ein entsprechendes Simulationsprogramm zur Simulation einer Steuerung eines Schienenverkehrs mit den oben beschriebenen Merkmalen ausgeführt sein.

[0083] Zum Durchführen des Verfahrens zum Trainieren der Aktionsauswahlregel P werden zunächst globale Zustandsdaten GS des durch die Simulation SIM simulierten Schienenverkehrs empfangen. Durch das Generierungsmodul für lokale Zustandsdaten LSG werden darauffolgend basierend auf den simulierten globalen Zustandsdaten entsprechende lokale Zustandsdaten der S1, S2, ..., SN der Mehrzahl von Schienenfahrzeugen generiert. Durch Anwendung der Aktionsauswahlregel P auf die einzelnen lokalen Zustandsdaten S1, S2, ..., SN werden entsprechende Aktionsauswahlregel A1, A2, ..., AN generiert. Durch das Generierungsmodul für globale Steuerungsdaten GAB werden basierend auf den lokalen Zustandsdaten A1, A2, ..., AN entsprechende globale Steuerungsdaten GA generiert.

[0084] Durch Ausführen der in den globalen Steuerungsdaten GA enthaltenen lokalen Steuerungsaktionen A1, A2, ..., AN der Mehrzahl von Schienenfahrzeugen durch die Simulation SIM wird der simulierte Schienenverkehr in einen geänderten Zustand überführt. Verschiedene Zustände des Schienenverkehrs betreffen hierbei zu unterschiedlichen Zeiten bestimmte Zustandsaufnahmen des Schienenverkehrs und beschreiben verschiedene Verkehrssituationen, in denen sich die Schienenfahrzeuge des Schienenverkehrs an unterschiedlichen Positionen innerhalb des Schienenverkehrsnetzes befinden. Verschiedene Zustände des Schienenverkehrs können sich darüber hinaus unter Anderem in verschiedenen Verspätungswerten der Schienenfahrzeuge in Bezug auf den vorbestimmten optimierte Sollfahrplan unterscheiden.

[0085] Hierauf basierend werden erneute globale Zustandsdaten GS empfangen und gemäß dem oben Beschriebenen durch Anwendung der Aktionsauswahlregel P erneut globale Steuerungsdaten GA generiert. Durch Anwendung bzw. Ausführung der lokalen Steuerungsaktionen A1, A2, ..., AN der erneut generierten globalen Zustandsdaten GS durch die Schienenfahrzeuge des simulierten Schienenverkehrs wird der simulierte Schienenverkehr erneut in einen geänderten Zustand gebracht.

[0086] Während des wiederholten Ausführens der oben beschriebenen Schritte werden nach jedem Überführen des Schienenverkehrs in einen geänderten Zustand durch Ausführen der zuvor generierten globalen Zustandsdaten GS durch ein Reinforcement Learning Optimierungsmodul RLO ein entsprechender Return einer Belohnungsfunktion R berechnet. Basierend auf dem berechneten Return der Belohnungsfunktion R werden durch das Reinforcement Learning Optimierungsmodul RLO Parameter der Aktionsauswahlregel P variiert bzw. angepasst. Somit kann nach jedem ausgeführten Durchgang der Erzeugung neuer globaler Zustandsdaten GS und der Überführung des simulierten Schienenverkehrs in einen geänderten Zustand eine Anpassung der Parameter der Aktionsauswahlregel P erfolgen. Alternativ kann eine Anpassung nach einer vordefinierten Anzahl von ausgeführten Durchgängen erfolgen. Die Anpassung der Parameter der Aktionsauswahlregel P erfolgt hierbei gemäß der Zielrichtung einer Maximierung des Returns der Belohnungsfunktion R, gemäß den Grundlagen des bestärkenden Lernens. Das Reinforcement Learning Optimierungsmodul RLO kann hierzu beispielsweise gemäß eines aus dem Stand der Technik bekannten Algorithmus für bestärkendes Lernen ausgebildet sein, der eingerichtet ist, die Parameter der Aktionsauswahlregel P derart zu variieren, dass eine Maximierung des Returns der Belohnungsfunktion R erfolgt. Die Belohnungsfunktion R definiert hierbei die zu erreichenden Optimierungsziele, so dass durch Maximierung des Returns der Belohnungsfunktion R die Parameter der Aktionsauswahlregel P derart variiert werden, dass die durch die Aktionsauswahlregel P generierten lokalen Steuerungsaktionen A1, A2, ..., AN eingerichtet sind, durch Ausführung bzw. Ansteuerung der Schienenfahrzeuge gemäß den generierten lokalen Steuerungsaktionen A1, A2, ..., AN eine Erfüllung der Optimierungsziele und damit verbunden eine Optimierung des Schienenverkehrs zu bewirken.

[0087] Alternativ kann das Training der Aktionsauswahlregel P auch auf realen Zustandsdaten eines tatsächlichen Schienenverkehrs trainiert werden.

[0088] FIG 6 zeigt ein Flussdiagramm eines Verfahrens 200 zum Trainieren einer Aktionsauswahlregel P gemäß einer Ausführungsform.

[0089] Das erfindungsgemäße Verfahren 200 zum Trainieren einer Aktionsauswahlregel P ist auf das in Figur 5 dargestellte System 300 anwendbar.

[0090] In einem ersten Verfahrensschritt 201 wird zunächst eine Simulation SIM eines Schienenverkehrs 317 einer Mehrzahl von Schienenfahrzeugen 315 ausgeführt.

[0091] In einem Verfahrensschritt 203 werden globale Zustandsdaten GS des Schienenverkehrs 317 der Simulation SIM empfangen.

[0092] In einem Verfahrensschritt 205 wird basierend auf den globalen Zustandsdaten GS ein Satz von lokalen Zustandsdaten S1, S2, ..., SN der Mehrzahl von Schienenfahrzeugen ermittelt.

[0093] In einem Verfahrensschritt 207 wird durch Ausführen der Aktionsauswahlregel P auf die lokalen Zustandsdaten S1, S2, ..., SN ein optimierter Satz von lokalen Steuerungsaktionen A1, A2, ..., AN ermittelt.

[0094] In einem Verfahrensschritt 209 werden basierend auf den lokalen Steuerungsaktionen A1, A2, ..., AN globale Steuerungsdaten GA generiert.

[0095] In einem Verfahrensschritt 211 werden die globalen Steuerungsdaten GA an die Simulation SIM des Schienenverkehrs 317 bereitgestellt.

[0096] In einem Verfahrensschritt 213 werden die Steuerungsaktionen A1, A2, ..., AN der globalen Steuerungsdaten GA durch die Simulation SIM ausgeführt und der simulierte Schienenverkehr 317 in einen zweiten globalen Zustand überführt.

[0097] In einem Verfahrensschritt 215 wird ein Wert R einer Belohnungsfunktion für den zweiten globalen Zustand des Schienenverkehrs in Bezug auf das wenigstens eine Optimierungsziel unter Berücksichtigung von Techniken des bestärkenden Lernens berechnet.

[0098] In einem Verfahrensschritt 217 werden Parameter der Aktionsauswahlregel P gemäß dem Wert R der Belohnungsfunktion unter Berücksichtigung von Techniken des bestärkenden Lernens derart modifiziert, dass eine Maximierung der Belohnungsfunktion erreicht wird. Das Modifizieren kann hierbei nach einem abgeschlossenen Zyklus oder nach einer Mehrzahl abgeschlossener aufeinanderfolgender Zyklen erfolgen.

[0099] In einem Verfahrensschritt 219 werden die Verfahrensschritte 203 bis 217 iterativ ausgeführt und hierdurch die Belohnungsfunktion maximiert.

[0100] FIG 7 zeigt eine schematische Darstellung eines Computerprogrammprodukts 400.

[0101] Figur 7 zeigt ein Computerprogrammprodukt 400, umfassend Befehle, die bei der Ausführung des Programms durch eine Recheneinheit dieses veranlassen, das Verfahren 100 nach einer der oben genannten Ausführungsformen auszuführen. Das Computerprogrammprodukt 400 ist in der gezeigten Ausführungsform auf einem Speichermedium 401 gespeichert. Das Speichermedium 401 kann hierbei ein beliebiges aus dem Stand der Technik bekanntes Speichermedium sein.

[0102] Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.


Ansprüche

1. Verfahren (100) zum Optimieren eines Schienenverkehrs (317) eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen (315), wobei das Verfahren (100) umfasst:

- Empfangen (101) von globalen Zustandsdaten (GS) eines Schienenverkehrs (317), wobei die globalen Zustandsdaten (GS) einen globalen Zustand des Schienenverkehrs (317) einer Mehrzahl von Schienenfahrzeugen (315) des Schienenverkehrsnetzes beschreiben;

- Ermitteln (103) eines Satzes von lokalen Zustandsdaten (S1, S2, ..., SN) einer Mehrzahl von Schienenfahrzeugen (315) des Schienenverkehrs (317) des Schienenverkehrsnetzes basierend auf den globalen Zustandsdaten (GS), wobei lokale Zustandsdaten eines Schienenfahrzeugs (315) einen Zustand des Schienenfahrzeugs (315) innerhalb des Schienenverkehrs (317) beschreiben;

- Ermitteln (105) eines optimierten Satzes von lokalen Steuerungsaktionen (A1, A2, ..., AN) für die Mehrzahl von Schienenfahrzeugen (315) basierend auf dem Satz von lokalen Zustandsdaten (S1, S2, ..., SN) der Mehrzahl von Schienenfahrzeugen (315) und unter Berücksichtigung wenigstens eines Optimierungsziels, wobei lokale Steuerungsaktionen (A1, A2, ..., AN) eines Schienenfahrzeugs (315) eine individuelle Ansteuerung des jeweiligen Schienenfahrzeugs (315) beschreiben;

- Generieren (107) von globalen Steuerungsdaten (GA) basierend auf dem optimierten Satz von lokalen Steuerungsaktionen (A1, A2, ..., AN), wobei die globalen Steuerungsdaten (GA) die lokalen Steuerungsaktionen (A1, A2, ..., AN) umfassen, und wobei eine Ansteuerung der Mehrzahl von Schienenfahrzeugen (315) des Schienenverkehrs gemäß den Steuerungsaktionen (A1, A2, ..., AN) der globalen Steuerungsdaten (GA) eine Erfüllung des wenigstens einen Optimierungsziels bewirkt; und

- Bereitstellen (109) der globalen Steuerungsdaten (GA).


 
2. Verfahren (100) nach Anspruch 1, wobei das Ermitteln (105) des optimierten Satzes von Steuerungsaktionen (A1, A2, ..., AN) durch eine Aktionsauswahlregel (P) durchgeführt wird, und wobei die Aktionsauswahlregel (P) eingerichtet ist, für jedes der Mehrzahl von Schienenfahrzeugen basierend auf den jeweiligen lokalen Zustandsdaten (S1, S2, ..., SN) des Schienenfahrzeugs (315) wenigstens eine entsprechende Steuerungsaktion (A1, A2, ..., AN) zu ermitteln, die geeignet ist, das Optimierungsziel des Schienenverkehrs (317) zu erfüllen.
 
3. Verfahren (100) nach Anspruch 2, wobei die Aktionsauswahlregel (P) durch bestärkendes Lernen trainiert ist.
 
4. Verfahren (100) nach Anspruch 3, wobei das Training der Aktionsauswahlregel (P) basierend auf Simulationsdaten ausgeführt wird, und wobei die Simulationsdaten auf einer Simulation (SIM) eines Schienenverkehrs (317) einer Mehrzahl von Schienenfahrzeugen (315) des Schienenverkehrsnetzes basieren.
 
5. Verfahren (100) nach Anspruch 3 oder 4, wobei das Training der Aktionsauswahlregel (P) ein Maximieren einer Belohnungsfunktion umfasst, und wobei die Belohnungsfunktion das wenigstens eine Optimierungsziel definiert.
 
6. Verfahren (100) nach 3, 4 oder 5, wobei die Aktionsauswahlregel (P) als ein neuronales Netz ausgebildet ist.
 
7. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei das Generieren (107) von globalen Steuerungsdaten (GA) umfasst:
- Anpassen (111) der lokalen Steuerungsaktionen (A1, A2, ..., AN) verschiedener Schienenfahrzeuge und/oder Auflösen von Konflikten zwischen Steuerungsaktionen (A1, A2, ...,AN) verschiedener Schienenfahrzeuge.
 
8. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei die lokalen Steuerungsaktionen (A1, A2, ..., AN) der Schienenfahrzeuge (315) ein Erzielen einer Ankunftszeit und/oder einer Standzeit und/oder einer Abfahrtszeit des jeweiligen Schienenfahrzeugs (315) an wenigstes einer Haltestelle eines durch das Schienenfahrzeug (315) befahrenen Schienenwegs des Schienenverkehrsnetzes umfassen.
 
9. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei die lokalen Zustandsdaten (S1, S2, ..., SN) eines Schienenfahrzeugs (315) eine Position und/oder eine Geschwindigkeit und/oder eine Verspätung relativ zu einem vordefinierten Fahrplan des Schienenfahrzeugs (315) im Schienenverkehrsnetz und/oder eine Position und/oder eine Geschwindigkeit und/oder eine Verspätung von relativ zum Schienenfahrzeug auf einem durch das Schienenfahrzeug befahrenen Schienenweg voraus- und/oder nachfahrenden Schienenfahrzeugen und/oder eine Gesamtverspätung der Mehrzahl von Schienenfahrzeugen umfassen.
 
10. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei das Optimierungsziel eine Reduzierung einer Gesamtverspätung der Mehrzahl von Schienenfahrzeugen (315) relativ zu einem vorbestimmten Fahrplan des Schienenverkehrsnetzes und/oder Reduzierung einer Varianz von Verspätungen einzelner Schienenfahrzeuge relativ zum vorbestimmten Fahrplan und/oder Reduzierung einer minimalen Zeitspanne bis zu einer Widerherstellung des vorbestimmten Fahrplans und/oder Reduzierung eines minimalen Energieverbrauchs und/oder Reduzierung minimaler Energieverbrauchsspitzen der Mehrzahl von Schienenfahrzeugen (315) umfasst.
 
11. Verfahren (100) nach einem der voranstehenden Ansprüche, wobei das Verfahren (100) in einem Online-Betrieb der Mehrzahl von Schienenfahrzeugen (315) im Schienenverkehr (317) des Schienenverkehrsnetzes ausgeführt wird.
 
12. Verfahren (200) zum Trainieren einer Aktionsauswahlregel (P), umfassend:

- Ausführen (201) einer Simulation (SIM) eines Schienenverkehrs (317) einer Mehrzahl von Schienenfahrzeugen (315) eines Schienenverkehrsnetzes;

- Empfangen (203) von globalen Zustandsdaten (GS) des Schienenverkehrs (317) der Simulation (SIM);

- Ermitteln (205) eines Satzes von lokalen Zustandsdaten (S1, S2, ..., SN) der Mehrzahl von Schienenfahrzeugen (315) des Schienenverkehrs (317) basierend auf den globalen Zustandsdaten (GS);

- Ermitteln (207) eines optimierten Satzes von lokalen Steuerungsaktionen (A1, A2, ..., AN) für die Mehrzahl von Schienenfahrzeugen (315) basierend auf dem Satz von lokalen Zustandsdaten (S1, S2, ..., SN) der Mehrzahl von Schienenfahrzeugen (315) und unter Berücksichtigung wenigstens eines Optimierungsziels durch Ausführen der Aktionsauswahlregel (P) auf die lokalen Zustandsdaten (S1, S2, ..., SN);

- Generieren (209) von globalen Steuerungsdaten (GA) basierend auf dem optimierten Satz von lokalen Steuerungsaktionen (A1, A2, ..., AN) ;

- Bereitstellen (211) der globalen Steuerungsdaten (GA) an die Simulation (SIM) des Schienenverkehrs (317);

- Ausführen (213) der Steuerungsaktionen (A1, A2, ..., AN) der globalen Steuerungsdaten (GA) durch die Simulation (SIM) und Überführen des Schienenverkehrs (317) in einen zweiten globalen Zustand;

- Berechnen (215) eines Werts (R) einer Belohnungsfunktion für den zweiten globalen Zustand des Schienenverkehrs (317) in Bezug auf das wenigstens eine Optimierungsziel unter Berücksichtigung von Techniken des bestärkenden Lernens;

- Modifizieren (217) von Parametern der Aktionsauswahlregel (P) gemäß dem Wert (R) der Belohnungsfunktion unter Berücksichtigung von Techniken des bestärkenden Lernens; und

- Iteratives Ausführen (219) der Verfahrensschritte (203) bis (217) und Maximieren der Belohnungsfunktion.


 
13. Verfahren (200) nach Anspruch 12, wobei das Verfahren (200) in einem Offline-Betrieb des Schienenverkehrsnetzes ausgeführt wird.
 
14. System (300) zum Optimieren eines Schienenverkehrs mit einer Recheneinheit (301), die eingerichtet ist, das Verfahren (100) zum Optimieren eines Schienenverkehrs (317) eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen (315) nach einem der voranstehenden Ansprüche 1 bis 11 auszuführen, und/oder das Verfahren (200) zum Trainieren einer Aktionsauswahlregel (P) nach Anspruch 12 oder 13 auszuführen.
 
15. Computerprogrammprodukt (400) umfassend Befehle, die bei der Ausführung des Programms durch eine Datenverarbeitungseinheit diese veranlassen, das Verfahren (100) zum Optimieren eines Schienenverkehrs (317) eines Schienenverkehrsnetzes mit einer Mehrzahl von Schienenfahrzeugen (315) nach einem der voranstehenden Ansprüche 1 bis 11 auszuführen und/oder das Verfahren (200) zum Trainieren einer Aktionsauswahlregel (P) nach Anspruch 12 oder 13 auszuführen.
 




Zeichnung
















Recherchenbericht












Recherchenbericht