Supervision a building microgrid by machine learning approaches
Apprentissage automatique appliqué à la gestion d'énergie dans un micro-réseau
Résumé
The share of renewable energy resources, such as PV production, must be significantly increased to achieve environmental goals and address global warming concerns. In this context, Building Microgrids (BMGs) represent a promising avenue. However, deploying energy storage units and solar panels entails substantial investments. Therefore, optimizing the utilization of existing PV panels and Energy Storage Systems (ESS) is crucial to enhance BMGs' self-consumption rates and reduce local production costs compared to dependence on the main grid.Efficiently managing BMGs and reducing operational costs present challenges, including the intermittent nature of Renewable Energy Sources (RESs), storage limitations, and uncertainties related to renewable energy production and energy demand tied to human activities. Therefore, a reliable home energy management system (HEMS) with effective decision-making strategies becomes crucial to address these complexities.This research delves into advanced HEMS within building microgrid environments, specifically emphasizing real-time operations. The principal methodology employed in this study is deep reinforcement learning (DRL), a contemporary machine learning approach that learns by interacting with the system. Reinforcement learning approaches (RL) have demonstrated their effectiveness in solving complex decision-making problems across various domains. Unlike traditional optimization methods, RL for optimal strategies does not necessitate perfect forecasts of consumption and production, which are often unavailable in real-world conditions.Furthermore, compared to other machine learning approaches, reinforcement learning offers advantages such as not requiring extensive labeled datasets, reducing bias from labeled data, and enabling exploration of novel task-solving approaches. RL can transcend simple input-output tasks and propose innovative methods to achieve goals. The training objective in RL is for the agent to explore the state/action space and develop sequences of optimal actions for various states.This doctoral thesis aims to design a Markov decision process framework to model BMGs and develop a comprehensive Home Energy Management System (HEMS) that controls both the battery unit and thermal loads (hot water boiler and heating system) within a BMG. This HEMS will be trained using RL to maximize energy savings and reduce carbon emissions, accounting for variable electricity prices, load demand, and uncertainties in renewable energy generation.Consequently, our study begins by constructing a HEMS in a simplified environment, initially focusing on managing the battery unit alone, emphasizing Q-learning, a fundamental RL algorithm. Subsequently, a more advanced algorithm, Deep Q-Network (DQN), and some variants like DDQN and DDQN+PER are deployed to handle continuous states. In the second step, our primary objective is to train the HEMS to manage thermal loads exclusively, considering the boiler's and house's thermal dynamic models. The final phase involves training a HEMS to control the battery unit and thermal loads.Throughout this study, we address challenges such as evaluating the impact of initializing the Q-table algorithm with prior knowledge. We also employ trial and error approaches to determine optimal hyperparameters for DQN training.Numerous numerical experiments and simulation results demonstrate that the agent can acquire effective strategies through interactions with its environment. In the first use case, the DDQN+PER algorithm exhibits superior performance during the learning and testing phases compared to other DRL algorithms. Additionally, it is evident that this EMS shows robustness across different seasons and outperforms a near-optimal rule-based method.
Pour faire face aux problems liées au réchauffement climatique la part des énergies renouvelables doit être significativement augmentée.Dans ce contexte, les micro-réseaux électriques équipé de PV à l'échelle de bâtiments (building microgrid BMG) représentent un chemin prometteur.La gestion efficace des micro-réseaux et la réduction des coûts opérationnels présentent des défis, notamment en raison de la nature intermittente des sources d'énergie renouvelable, des limitations de stockage et des incertitudes liées à la production d'énergie renouvelable et à la demande d'énergie liée aux activités humaines. Par conséquent, un système fiable de gestion de l'énergie domestique (home energy management system - HEMS) doté de stratégies de prise de décision efficaces devient impératif pour faire face à ces complexités.Ce travail de recherche s'intéresse à la gestion d'un micro-réseau à l'échelle d'un bâtiment, en mettant spécifiquement l'accent sur les opérations en temps réel. La méthodologie principale utilisée dans cette étude est l'apprentissage par renforcement profond (DRL). Contrairement aux méthodes d'optimisation traditionnelles, l'apprentissage par renforcement ne nécessite pas de prévisions parfaites de la consommation et de la production, qui sont souvent indisponibles dans des conditions réelles. De plus, par rapport à d'autres approches d'apprentissage machine, l'apprentissage par renforcement offre des avantages tels que la non-nécessité de vastes ensembles de données étiquetées. L'objectif de l'apprentissage par renforcement est que l'agent explore l'espace état/action du système et développe des séquences d'actions optimales pour différents états.Cette thèse vise à concevoir un cadre de processus décisionnel de Markov pour modéliser un micro-réseau de bâtiment et à développer un système complet de gestion de l'énergie domestique (HEMS) qui contrôle à la fois l'unité de batterie et les charges thermiques (eau chaude sanitaire et système de chauffage) au sein d'un BMG. Ce HEMS sera formé en utilisant une approche de DRL pour maximiser les économies d'énergie et réduire les émissions de carbone, en tenant compte des prix variables de l'électricité, de la demande de charge et des incertitudes liées à la génération d'énergie renouvelable.Par conséquent, notre étude commence par la construction d'un HEMS dans un environnement simplifié, en se concentrant initialement sur la gestion de l'unité de batterie seule, en mettant l'accent sur l'apprentissage par Q-learning, un algorithme de RL fondamental mais limité à des états et des actions discrets. Ensuite, un algorithme plus avancé, le DQN (deep Q-network) et quelques variantes de cet algorithme comme DDQN et DDQN+ PER, sont déployés pour gérer les états continus. Dans la deuxième étape, notre objectif principal est de former le HEMS à gérer exclusivement les charges thermiques, en tenant compte des modèles thermodynamiques de la chaudière et de la maison. La phase finale implique l'apprentissage d'un HEMS pour contrôler à la fois l'unité de batterie et les charges thermiques.Tout au long de cette étude, nous abordons des défis tels que l'évaluation de l'impact de l'initialisation de l'algorithme de la Q-table de l'algorithme de Q-learning grâce à des connaissances préalables. Nous utilisons également une approche par essais-erreurs pour déterminer les hyper paramètres optimaux de l'algorithme DQN.De nombreuses expériences numériques et des résultats de simulation démontrent que l'agent peut acquérir des stratégies efficaces grâce à des interactions avec son environnement. Dans le premier cas d'utilisation, l'algorithme DDQN+PER présente des performances supérieures lors des phases d'apprentissage et de test par rapport à d'autres algorithmes RL. De plus, il est évident que ce HEMS fait preuve de robustesse à travers différentes saisons et surpasse une méthode basée sur des règles quasi-optimales.
| Origine | Version validée par le jury (STAR) |
|---|