Merge remote-tracking branch 'origin/main' into refine_dh_areas

Author: cpschau

README.md

@@ -1,14 +1,14 @@
 # PyPSA-DE - Hochaufgelöstes, sektorengekoppeltes Modell des deutschen Energiesystems
 
-PyPSA-DE ist ein sektorengekoppeltes Energiesystem-Modell auf Basis der Toolbox [PyPSA](https://github.com/PyPSA/pypsa) und des europäischen Modells [PyPSA-Eur](https://github.com/PyPSA/pypsa-eur). Der PyPSA-DE Workflow modelliert das deutsche Energiesystem mit deutschlandspezifischen Datensätzen (MaStR, Netzentwicklungsplan,...) im Verbund mit den direkten Stromnachbarn sowie Spanien und Italien. Der Ausbau und der Betrieb von Kraftwerken, des  Strom- und Wasserstoffübertragunsnetzes und die Energieversorgung aller Sektoren werden dann in einem linearen Optimierungsproblem gelöst, mit hoher zeitlicher und räumlicher Auflösung. PyPSA-DE wurde im Rahmen des Kopernikus-Projekts [Ariadne](https://ariadneprojekt.de/) entwickelt in dem Szenarien für ein klimaneutrales Deutschland untersucht werden, und spielt eine zentrale Rolle im [Ariadne Szenarienreport](https://ariadneprojekt.de/publikation/report-szenarien-zur-klimaneutralitat-2045/), als Leitmodell für den [Sektor Energiewirtschaft und Infrastruktur](https://ariadneprojekt.de/publikation/report-szenarien-zur-klimaneutralitat-2045/#6-sektorale-perspektive-energiewirtschaft) und als eines von drei Gesamtsystemmodellen. Die Ergebnisse aus der Modellierung mit PyPSA-DE werden auch im [Ariadne-Webinar zu den Kernaussagen des Berichts](https://youtu.be/UL3KAH7e0zs) ([Folien](https://ariadneprojekt.de/media/2025/03/Ariadne_Szen2025_Webinar_Folien_Kernaussagen.pdf)) und im [Ariadne-Webinar zur Energiewirtschaft](https://youtu.be/FcmHBL1MKQA) ([Folien](https://ariadneprojekt.de/media/2025/03/Ariadne_Szen2025_Webinar_Folien_Energiewirtschaft.pdf)) vorgestellt
+PyPSA-DE ist ein sektorengekoppeltes Energiesystem-Modell auf Basis der Toolbox [PyPSA](https://github.com/PyPSA/pypsa) und des europäischen Modells [PyPSA-Eur](https://github.com/PyPSA/pypsa-eur). Der PyPSA-DE Workflow modelliert das deutsche Energiesystem mit deutschlandspezifischen Datensätzen (MaStR, Netzentwicklungsplan,...) im Verbund mit den direkten Stromnachbarn sowie Spanien und Italien. Der Ausbau und der Betrieb von Kraftwerken, des  Strom- und Wasserstoffübertragunsnetzes und die Energieversorgung aller Sektoren werden dann in einem linearen Optimierungsproblem gelöst, mit hoher zeitlicher und räumlicher Auflösung. PyPSA-DE wurde im Rahmen des Kopernikus-Projekts [Ariadne](https://ariadneprojekt.de/) entwickelt in dem Szenarien für ein klimaneutrales Deutschland untersucht werden, und spielt eine zentrale Rolle im [Ariadne Szenarienreport](https://ariadneprojekt.de/publikation/report-szenarien-zur-klimaneutralitat-2045/), als Leitmodell für den [Sektor Energiewirtschaft und Infrastruktur](https://ariadneprojekt.de/publikation/report-szenarien-zur-klimaneutralitat-2045/#6-sektorale-perspektive-energiewirtschaft) und als eines von drei Gesamtsystemmodellen. Die Ergebnisse aus der Modellierung mit PyPSA-DE werden auch im [Ariadne-Webinar zu den Kernaussagen des Berichts](https://youtu.be/UL3KAH7e0zs) ([Folien](https://ariadneprojekt.de/media/2025/03/Ariadne_Szen2025_Webinar_Folien_Kernaussagen.pdf)) und im [Ariadne-Webinar zur Energiewirtschaft](https://youtu.be/FcmHBL1MKQA) ([Folien](https://ariadneprojekt.de/media/2025/03/Ariadne_Szen2025_Webinar_Folien_Energiewirtschaft.pdf)) vorgestellt. Die [gelösten Netzwerke](https://zenodo.org/records/15096970) sind auf zenodo verfügbar.
 
 # PyPSA-DE - High resolution, sector-coupled model of the German Energy System
 
-PyPSA-DE is a sector-coupled energy system model based on the toolbox [PyPSA](https://github.com/PyPSA/pypsa) and the European model [PyPSA-Eur](https://github.com/PyPSA/pypsa-eur). It solves a linear optimization problem to simulate the electricty and hydrogen transmission networks, as well as supply, demand and storage in all sectors of the energy system in Germany and its neighboring countries, as well as Italy and Spain, with high spatial and temporal resolution. PyPSA-DE was developed in the context of the Kopernikus-Projekt [Ariadne](https://ariadneprojekt.de/en/), which studies scenarios of a carbon-neutral German economcy, and plays a decisive role in the [Ariadne Szenarienreport](https://ariadneprojekt.de/publikation/report-szenarien-zur-klimaneutralitat-2045/), as reference model for the [energy and infrastructure sectors](https://ariadneprojekt.de/publikation/report-szenarien-zur-klimaneutralitat-2045/#6-sektorale-perspektive-energiewirtschaft). The results of modeling with PyPSA-DE are also presented in the [Ariadne-Webinar on the core messages of the report](https://youtu.be/UL3KAH7e0zs) ([slides](https://ariadneprojekt.de/media/2025/03/Ariadne_Szen2025_Webinar_Folien_Kernaussagen.pdf)) and in the [Ariadne-Webinar on the energy sector](https://youtu.be/FcmHBL1MKQA) ([slides](https://ariadneprojekt.de/media/2025/03/Ariadne_Szen2025_Webinar_Folien_Energiewirtschaft.pdf)).
+PyPSA-DE is a sector-coupled energy system model based on the toolbox [PyPSA](https://github.com/PyPSA/pypsa) and the European model [PyPSA-Eur](https://github.com/PyPSA/pypsa-eur). It solves a linear optimization problem to simulate the electricty and hydrogen transmission networks, as well as supply, demand and storage in all sectors of the energy system in Germany and its neighboring countries, as well as Italy and Spain, with high spatial and temporal resolution. PyPSA-DE was developed in the context of the Kopernikus-Projekt [Ariadne](https://ariadneprojekt.de/en/), which studies scenarios of a carbon-neutral German economcy, and plays a decisive role in the [Ariadne Szenarienreport](https://ariadneprojekt.de/publikation/report-szenarien-zur-klimaneutralitat-2045/), as reference model for the [energy and infrastructure sectors](https://ariadneprojekt.de/publikation/report-szenarien-zur-klimaneutralitat-2045/#6-sektorale-perspektive-energiewirtschaft). The results of modeling with PyPSA-DE are also presented in the [Ariadne-Webinar on the core messages of the report](https://youtu.be/UL3KAH7e0zs) ([slides](https://ariadneprojekt.de/media/2025/03/Ariadne_Szen2025_Webinar_Folien_Kernaussagen.pdf)) and in the [Ariadne-Webinar on the energy sector](https://youtu.be/FcmHBL1MKQA) ([slides](https://ariadneprojekt.de/media/2025/03/Ariadne_Szen2025_Webinar_Folien_Energiewirtschaft.pdf)). The [solved networks](https://zenodo.org/records/15096970) are available on zenodo.
 
 This repository contains the entire scientific project, including data sources and code. The philosophy behind this repository is that no intermediary results are included, but all results are computed from raw data and code.
 
-[`<img src="https://ariadneprojekt.de/media/2025/03/Abb-7.3.png" width="400"/>`](https://ariadneprojekt.de/media/2025/03/Abb-7.3.png)
+[<img src="https://ariadneprojekt.de/media/2025/03/Abb-7.3.png" width="400"/>](https://ariadneprojekt.de/media/2025/03/Abb-7.3.png)
 
 ## Getting ready
 

config/config.de.yaml

@@ -314,7 +314,6 @@ sector:
   biomass_spatial: true
   #relax so no infeasibility in 2050 with no land transport demand
   min_part_load_fischer_tropsch: 0.
-  regional_methanol_demand: true  #set to true if regional CO2 constraints needed
   regional_oil_demand: true  #set to true if regional CO2 constraints needed
   regional_coal_demand: true  #set to true if regional CO2 constraints needed
   gas_network: false

scripts/pypsa-de/plot_ariadne_report.py

@@ -4,7 +4,6 @@
 
 sys.path.insert(0, os.path.abspath(os.path.dirname(__file__)))
 from itertools import compress, islice
-from multiprocessing import Pool
 
 import cartopy
 import cartopy.crs as ccrs
@@ -376,8 +375,8 @@ def plot_nodal_elec_balance(
     tech_colors,
     savepath,
     carriers=["AC", "low voltage"],
-    start_date="2019-01-01 00:00:00",
-    end_date="2019-12-31 00:00:00",
+    start_date="01-01 00:00:00",
+    end_date="12-31 23:00:00",
     regions=["DE"],
     model_run="Model run",
     c1_groups=c1_groups,
@@ -414,6 +413,9 @@ def plot_nodal_elec_balance(
         )
         return
 
+    start_date = str(network.generators_t.p.index[0])[:4] + "-" + start_date
+    end_date = str(network.generators_t.p.index[-1])[:4] + "-" + end_date
+
     period = network.generators_t.p.index[
         (network.generators_t.p.index >= start_date)
         & (network.generators_t.p.index <= end_date)
@@ -535,11 +537,14 @@ def plot_nodal_elec_balance(
         df_pos[import_label] = (
             df["Electricity trade"].where(df["Electricity trade"] > 0).fillna(0)
         )
+    except KeyError:
+        print("Skipping Electricity import because it is too small")
+    try:
         df_neg[export_label] = (
             df["Electricity trade"].where(df["Electricity trade"] < 0).fillna(0)
         )
     except KeyError:
-        print("Skipping Electricity trade because it is too small")
+        print("Skipping Electricity export because it is too small")
     df_pos = df_pos.drop(columns=["Electricity trade"], errors="ignore")
     df_pos = df_pos.rename(columns={"urban central H2 CHP": "H2 CHP"})
     df_pos["other"] = df_pos.drop(columns=preferred_order_pos, errors="ignore").sum(
@@ -714,8 +719,8 @@ def plot_nodal_heat_balance(
     tech_colors,
     savepath,
     carriers=["AC", "low voltage"],
-    start_date="2019-01-01 00:00:00",
-    end_date="2019-12-31 00:00:00",
+    start_date="01-01 00:00:00",
+    end_date="12-31 23:00:00",
     regions=["DE"],
     model_run="Model run",
     c1_groups=c1_groups,
@@ -732,6 +737,9 @@ def plot_nodal_heat_balance(
     ylabel="total electricity balance [GW]",
     title="Electricity balance",
 ):
+    start_date = str(network.generators_t.p.index[0])[:4] + "-" + start_date
+    end_date = str(network.generators_t.p.index[-1])[:4] + "-" + end_date
+
     carriers = carriers
     loads = loads
     start_date = start_date
@@ -992,13 +1000,16 @@ def plot_storage(
     tech_colors,
     savepath,
     model_run="Model run",
-    start_date="2019-01-01 00:00:00",
-    end_date="2019-12-31 00",
+    start_date="01-01 00:00:00",
+    end_date="12-31 23:00:00",
     regions=["DE"],
 ):
     # State of charge [per unit of max] (all stores and storage units)
     # Ratio of total generation of max state of charge
 
+    start_date = str(network.generators_t.p.index[0])[:4] + "-" + start_date
+    end_date = str(network.generators_t.p.index[-1])[:4] + "-" + end_date
+
     n = network
     n.remove("Link", n.links.index[n.links.index.str[:2] != "DE"])
     n.remove("Store", n.stores.index[n.stores.index.str[:2] != "DE"])
@@ -1520,6 +1531,7 @@ def plot_elec_prices_spatial(
             2035: 4.27 + 27.51,
             2040: 5.60 + 27.51,
             2045: 6.53 + 27.51,
+            2050: 0.0,  # dummy value to make the function work for 2050
         }
     )
     nep_annuität = pd.Series(
@@ -1530,6 +1542,7 @@ def plot_elec_prices_spatial(
             2035: 13.05 + 27.51,
             2040: 15.39 + 27.51,
             2045: 15.82 + 27.51,
+            2050: 0.0,  #  dummy value to make the function work for 2050
         }
     )
     electricity_demand = exported_variables.loc["Demand|Electricity"].iloc[0, :] / 1000
@@ -2888,8 +2901,8 @@ def plot_h2_trade(
             network=network,
             nodal_balance=balance,
             tech_colors=tech_colors,
-            start_date="2019-01-01 00:00:00",
-            end_date="2019-12-31 00:00:00",
+            start_date="01-01 00:00:00",
+            end_date="12-31 23:00:00",
             savepath=f"{snakemake.output.elec_balances}/elec-all-year-DE-{year}.pdf",
             model_run=snakemake.wildcards.run,
             resample="D",
@@ -2907,8 +2920,8 @@ def plot_h2_trade(
             network=network,
             nodal_balance=balance,
             tech_colors=tech_colors,
-            start_date="2019-01-01 00:00:00",
-            end_date="2019-01-31 00:00:00",
+            start_date="01-01 00:00:00",
+            end_date="01-31 23:00:00",
             savepath=f"{snakemake.output.elec_balances}/elec-Jan-DE-{year}.pdf",
             model_run=snakemake.wildcards.run,
             german_carriers=True,
@@ -2923,8 +2936,8 @@ def plot_h2_trade(
             network=network,
             nodal_balance=balance,
             tech_colors=tech_colors,
-            start_date="2019-01-01 00:00:00",
-            end_date="2019-01-31 00:00:00",
+            start_date="01-01 00:00:00",
+            end_date="01-31 23:00:00",
             savepath=f"{snakemake.output.elec_balances}/elec-Jan-DE-{year}.pdf",
             model_run=snakemake.wildcards.run,
             german_carriers=False,
@@ -2939,8 +2952,8 @@ def plot_h2_trade(
             network=network,
             nodal_balance=balance,
             tech_colors=tech_colors,
-            start_date="2019-05-01 00:00:00",
-            end_date="2019-05-31 00:00:00",
+            start_date="05-01 00:00:00",
+            end_date="05-31 23:00:00",
             savepath=f"{snakemake.output.elec_balances}/elec-May-DE-{year}.pdf",
             model_run=snakemake.wildcards.run,
             german_carriers=True,
@@ -2958,8 +2971,8 @@ def plot_h2_trade(
                 network=network,
                 nodal_balance=balance,
                 tech_colors=tech_colors,
-                start_date="2019-01-01 00:00:00",
-                end_date="2019-12-31 00:00:00",
+                start_date="01-01 00:00:00",
+                end_date="12-31 23:00:00",
                 savepath=f"{snakemake.output.heat_balances}/heat-all-year-DE-{carriers}-{year}.pdf",
                 model_run=snakemake.wildcards.run,
                 resample="D",
@@ -2978,8 +2991,8 @@ def plot_h2_trade(
                 network=network,
                 nodal_balance=balance,
                 tech_colors=tech_colors,
-                start_date="2019-01-01 00:00:00",
-                end_date="2019-01-31 00:00:00",
+                start_date="01-01 00:00:00",
+                end_date="01-31 23:00:00",
                 savepath=f"{snakemake.output.heat_balances}/heat-Jan-DE-{carriers}-{year}.pdf",
                 model_run=snakemake.wildcards.run,
                 plot_lmps=False,
@@ -2995,8 +3008,8 @@ def plot_h2_trade(
                 network=network,
                 nodal_balance=balance,
                 tech_colors=tech_colors,
-                start_date="2019-05-01 00:00:00",
-                end_date="2019-05-31 00:00:00",
+                start_date="05-01 00:00:00",
+                end_date="05-31 23:00:00",
                 savepath=f"{snakemake.output.heat_balances}/heat-May-DE-{carriers}-{year}.pdf",
                 model_run=snakemake.wildcards.run,
                 plot_lmps=False,
@@ -3013,8 +3026,8 @@ def plot_h2_trade(
         plot_storage(
             network=network,
             tech_colors=tech_colors,
-            start_date="2019-01-01 00:00:00",
-            end_date="2019-12-31 00:00:00",
+            start_date="01-01 00:00:00",
+            end_date="12-31 23:00:00",
             savepath=f"{snakemake.output.results}/storage-DE-{year}.pdf",
             model_run=snakemake.wildcards.run,
         )
@@ -3162,79 +3175,3 @@ def plot_h2_trade(
         tech_colors,
         savepath=f"{snakemake.output.elec_transmission}/elec-trade-DE.pdf",
     )
-
-    ## nodal balances general (might not be very robust)
-    logger.info("Plotting nodal balances")
-    plt.style.use(["bmh", snakemake.input.rc])
-
-    year = 2045
-    network = networks[planning_horizons.index(year)].copy()
-    n = network
-
-    months = pd.date_range(freq="ME", **snakemake.config["snapshots"]).map(
-        lambda x: x.strftime("%Y-%m")
-    )
-
-    # only DE
-    ct = "DE"
-    buses = n.buses.index[(n.buses.index.str[:2] == ct)].drop("DE")
-    balance = (
-        n.statistics.energy_balance(
-            aggregate_time=False,
-            groupby=["bus", "carrier", "bus_carrier"],
-        )
-        .loc[:, buses, :, :]
-        .droplevel("bus")
-    )
-
-    n.carriers.color.update(snakemake.config["plotting"]["tech_colors"])
-    n.carriers.color.update(tech_colors)
-    colors = n.carriers.color.rename(n.carriers.nice_name)
-    # replace empty values TODO add empty values with colors to plotting config
-    colors[colors.values == ""] = "lightgrey"
-
-    # wrap in function for multiprocessing
-    def process_group(group, carriers, balance, months, colors):
-        if not isinstance(carriers, list):
-            carriers = [carriers]
-
-        mask = balance.index.get_level_values("bus_carrier").isin(carriers)
-        df = balance[mask].groupby("carrier").sum().div(1e3).T
-
-        # daily resolution for each carrier
-        plot_energy_balance_timeseries(
-            df,
-            resample="D",
-            ylabel=group,
-            colors=colors,
-            threshold=THRESHOLD,
-            dir=dir,
-        )
-
-        # monthly resolution for each carrier
-        plot_energy_balance_timeseries(
-            df,
-            resample="M",
-            ylabel=group,
-            colors=colors,
-            threshold=THRESHOLD,
-            dir=dir,
-        )
-
-        # native resolution for each month and carrier
-        for month in months:
-            plot_energy_balance_timeseries(
-                df,
-                time=month,
-                ylabel=group,
-                colors=colors,
-                threshold=THRESHOLD,
-                dir=dir,
-            )
-
-    args = [
-        (group, carriers, balance, months, colors)
-        for group, carriers in CARRIER_GROUPS.items()
-    ]
-    with Pool(processes=snakemake.threads) as pool:
-        pool.starmap(process_group, args)