<?xml version="1.0" encoding="utf-8"?>
<TEI xmlns="http://www.tei-c.org/ns/1.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hal="http://hal.archives-ouvertes.fr/" xmlns:gml="http://www.opengis.net/gml/3.3/" xmlns:gmlce="http://www.opengis.net/gml/3.3/ce" version="1.1" xsi:schemaLocation="http://www.tei-c.org/ns/1.0 http://api.archives-ouvertes.fr/documents/aofr-sword.xsd">
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>HAL TEI export of hal-00437006</title>
      </titleStmt>
      <publicationStmt>
        <distributor>CCSD</distributor>
        <availability status="restricted">
          <licence target="https://creativecommons.org/publicdomain/zero/1.0/">CC0 1.0 - Universal</licence>
        </availability>
        <date when="2026-05-24T07:41:01+02:00"/>
      </publicationStmt>
      <sourceDesc>
        <p part="N">HAL API Platform</p>
      </sourceDesc>
    </fileDesc>
  </teiHeader>
  <text>
    <body>
      <listBibl>
        <biblFull>
          <titleStmt>
            <title xml:lang="fr">Différences Temporelles de Kalman : le cas stochastique</title>
            <author role="aut">
              <persName>
                <forename type="first">Matthieu</forename>
                <surname>Geist</surname>
              </persName>
              <email type="md5">c025140e3cc06ac39e7de0f0db2a4b70</email>
              <email type="domain">univ-lorraine.fr</email>
              <idno type="idhal" notation="string">matthieu-geist</idno>
              <idno type="idhal" notation="numeric">6945</idno>
              <idno type="halauthorid" notation="string">7492-6945</idno>
              <affiliation ref="#struct-36484"/>
              <affiliation ref="#struct-26305"/>
            </author>
            <author role="aut">
              <persName>
                <forename type="first">Olivier</forename>
                <surname>Pietquin</surname>
              </persName>
              <email type="md5">d7ca8400327f875d5b916c43fee3b2c5</email>
              <email type="domain">univ-lille1.fr</email>
              <idno type="idhal" notation="string">olivier-pietquin</idno>
              <idno type="idhal" notation="numeric">4024</idno>
              <idno type="halauthorid" notation="string">23089-4024</idno>
              <idno type="IDREF">https://www.idref.fr/142821861</idno>
              <idno type="ORCID">https://orcid.org/0000-0002-5386-465X</idno>
              <affiliation ref="#struct-26305"/>
            </author>
            <author role="aut">
              <persName>
                <forename type="first">Gabriel</forename>
                <surname>Fricout</surname>
              </persName>
              <idno type="halauthorid">356858-0</idno>
              <affiliation ref="#struct-36484"/>
            </author>
            <editor role="depositor">
              <persName>
                <forename>Sébastien</forename>
                <surname>Van Luchene</surname>
              </persName>
              <email type="md5">983556412cb0e7fb6d6508a01ac9cf46</email>
              <email type="domain">supelec.fr</email>
            </editor>
          </titleStmt>
          <editionStmt>
            <edition n="v1" type="current">
              <date type="whenSubmitted">2009-11-28 13:46:41</date>
              <date type="whenModified">2023-02-14 03:35:28</date>
              <date type="whenReleased">2009-12-01 11:41:44</date>
              <date type="whenProduced">2009-06-02</date>
              <date type="whenEndEmbargoed">2009-11-28</date>
              <ref type="file" target="https://centralesupelec.hal.science/hal-00437006v1/document">
                <date notBefore="2009-11-28"/>
              </ref>
              <ref type="file" subtype="author" n="1" target="https://centralesupelec.hal.science/hal-00437006v1/file/Supelec513.pdf" id="file-437006-289988">
                <date notBefore="2009-11-28"/>
              </ref>
            </edition>
            <respStmt>
              <resp>contributor</resp>
              <name key="123540">
                <persName>
                  <forename>Sébastien</forename>
                  <surname>Van Luchene</surname>
                </persName>
                <email type="md5">983556412cb0e7fb6d6508a01ac9cf46</email>
                <email type="domain">supelec.fr</email>
              </name>
            </respStmt>
          </editionStmt>
          <publicationStmt>
            <distributor>CCSD</distributor>
            <idno type="halId">hal-00437006</idno>
            <idno type="halUri">https://centralesupelec.hal.science/hal-00437006</idno>
            <idno type="halBibtex">geist:hal-00437006</idno>
            <idno type="halRefHtml">&lt;i&gt;JFPDA 2009&lt;/i&gt;, Jun 2009, Paris, France. (13 p.)</idno>
            <idno type="halRef">JFPDA 2009, Jun 2009, Paris, France. (13 p.)</idno>
            <availability status="restricted">
              <licence target="https://about.hal.science/hal-authorisation-v1/">HAL Authorization<ref corresp="#file-437006-289988"/></licence>
            </availability>
          </publicationStmt>
          <seriesStmt>
            <idno type="stamp" n="SUPELEC">SUPELEC</idno>
            <idno type="stamp" n="CENTRALESUPELEC">Ecole CentraleSupélec</idno>
          </seriesStmt>
          <notesStmt>
            <note type="audience" n="1">Not set</note>
            <note type="invited" n="0">No</note>
            <note type="popular" n="0">No</note>
            <note type="peer" n="1">Yes</note>
            <note type="proceedings" n="1">Yes</note>
          </notesStmt>
          <sourceDesc>
            <biblStruct>
              <analytic>
                <title xml:lang="fr">Différences Temporelles de Kalman : le cas stochastique</title>
                <author role="aut">
                  <persName>
                    <forename type="first">Matthieu</forename>
                    <surname>Geist</surname>
                  </persName>
                  <email type="md5">c025140e3cc06ac39e7de0f0db2a4b70</email>
                  <email type="domain">univ-lorraine.fr</email>
                  <idno type="idhal" notation="string">matthieu-geist</idno>
                  <idno type="idhal" notation="numeric">6945</idno>
                  <idno type="halauthorid" notation="string">7492-6945</idno>
                  <affiliation ref="#struct-36484"/>
                  <affiliation ref="#struct-26305"/>
                </author>
                <author role="aut">
                  <persName>
                    <forename type="first">Olivier</forename>
                    <surname>Pietquin</surname>
                  </persName>
                  <email type="md5">d7ca8400327f875d5b916c43fee3b2c5</email>
                  <email type="domain">univ-lille1.fr</email>
                  <idno type="idhal" notation="string">olivier-pietquin</idno>
                  <idno type="idhal" notation="numeric">4024</idno>
                  <idno type="halauthorid" notation="string">23089-4024</idno>
                  <idno type="IDREF">https://www.idref.fr/142821861</idno>
                  <idno type="ORCID">https://orcid.org/0000-0002-5386-465X</idno>
                  <affiliation ref="#struct-26305"/>
                </author>
                <author role="aut">
                  <persName>
                    <forename type="first">Gabriel</forename>
                    <surname>Fricout</surname>
                  </persName>
                  <idno type="halauthorid">356858-0</idno>
                  <affiliation ref="#struct-36484"/>
                </author>
              </analytic>
              <monogr>
                <title level="m">Actes des Journées Francophones de Planification, Décision et Apprentissage pour la conduite de systèmes</title>
                <meeting>
                  <title>JFPDA 2009</title>
                  <date type="start">2009-06-02</date>
                  <date type="end">2009-06-03</date>
                  <settlement>Paris</settlement>
                  <country key="FR">France</country>
                </meeting>
                <imprint>
                  <biblScope unit="pp">(13 pages)</biblScope>
                  <date type="datePub">2009-06</date>
                </imprint>
              </monogr>
            </biblStruct>
          </sourceDesc>
          <profileDesc>
            <langUsage>
              <language ident="en">English</language>
            </langUsage>
            <textClass>
              <classCode scheme="halDomain" n="info.info-lg">Computer Science [cs]/Machine Learning [cs.LG]</classCode>
              <classCode scheme="halTypology" n="COMM">Conference papers</classCode>
              <classCode scheme="halOldTypology" n="COMM">Conference papers</classCode>
              <classCode scheme="halTreeTypology" n="COMM">Conference papers</classCode>
            </textClass>
            <abstract xml:lang="fr">
              <p>Les différences temporelles de Kalman (KTD pour Kalman Temporal Differences) sont un cadre de travail statistique qui traite de l'approximation de la fonction de valeur et de qualité en apprentissage par renforcement. Son principe est d'adopter une représentation paramétrique de la fonction de valeur, de modéliser les paramètres associés comme des variables aléatoires et de minimiser l'espérance de l'erreur quadratique moyenne des paramètres conditionnée à l'ensemble des récompenses observées. Ce paradigme s'est montré efficace en terme d'échantillons (i.e. convergence rapide), capable de prendre en compte la non-stationnarité ainsi que de fournir une information d'incertitude. Cependant ce cadre de travail était restreint au processus décisionnels de Markov bénéficiant de transitions déterministes. Dans cette contribution nous proposons d'étendre le modèle au transitions stochastiques à l'aide d'un bruit coloré, ce qui mène aux différences temporelles de Kalman étendues (XKTD pour eXtended KTD). L'approche proposée est illustrée sur des problèmes usuels en apprentissage par renforcement.</p>
            </abstract>
          </profileDesc>
        </biblFull>
      </listBibl>
    </body>
    <back>
      <listOrg type="structures">
        <org type="laboratory" xml:id="struct-36484" status="VALID">
          <orgName>ArcelorMittal Maizières Research SA</orgName>
          <desc>
            <address>
              <addrLine>Voie romaine, BP 30320, 57283 Maizières-lès-Metz</addrLine>
              <country key="FR"/>
            </address>
          </desc>
          <listRelation>
            <relation active="#struct-508203" type="direct"/>
          </listRelation>
        </org>
        <org type="laboratory" xml:id="struct-26305" status="OLD">
          <orgName>SUPELEC-Campus Metz</orgName>
          <date type="start">1985-01-01</date>
          <date type="end">2014-12-31</date>
          <desc>
            <address>
              <addrLine>2 rue Edouard Belin 57070 Metz</addrLine>
              <country key="FR"/>
            </address>
            <ref type="url">http://www.metz.supelec.fr/metz/</ref>
          </desc>
          <listRelation>
            <relation active="#struct-303397" type="direct"/>
          </listRelation>
        </org>
        <org type="institution" xml:id="struct-508203" status="VALID">
          <orgName>ArcelorMittal</orgName>
          <desc>
            <address>
              <country key="LU"/>
            </address>
          </desc>
        </org>
        <org type="institution" xml:id="struct-303397" status="VALID">
          <orgName>Ecole Supérieure d'Electricité - SUPELEC (FRANCE)</orgName>
          <desc>
            <address>
              <country key="FR"/>
            </address>
          </desc>
        </org>
      </listOrg>
    </back>
  </text>
</TEI>