LOGIN TO YOUR ACCOUNT

Username
Password
Remember Me
Or use your Academic/Social account:

CREATE AN ACCOUNT

Or use your Academic/Social account:

Congratulations!

You have just completed your registration at OpenAire.

Before you can login to the site, you will need to activate your account. An e-mail will be sent to you with the proper instructions.

Important!

Please note that this site is currently undergoing Beta testing.
Any new content you create is not guaranteed to be present to the final version of the site upon release.

Thank you for your patience,
OpenAire Dev Team.

Close This Message

CREATE AN ACCOUNT

Name:
Username:
Password:
Verify Password:
E-mail:
Verify E-mail:
*All Fields Are Required.
Please Verify You Are Human:
fbtwitterlinkedinvimeoflicker grey 14rssslideshare1
Languages: English
Types: Article
Subjects: Décision dans l'incertain, Processus Décisionnels de Markov, Problèmes de planification dépendant du temps, Modélisation de processus décisionnels stochastiques, Contrôle de processus à événements discrets, Processus à événements implicites et explicites, Decision under uncertainty, Markov Decision Processes, Time-dependent planning problems, Stochastic decision processes modeling, Discrete event process control, Implicit and explicit-event processes, 621.39
Cette thèse traite de planification dans l'incertain en environnement instationnaire. Nous cherchons à construire un agent logiciel autonome, capable de se coordonner avec l'évolution de son environnement. Cet environnement est constitué d'autres agents communiquant leurs intentions ou de processus concurrents non-contrôlables pour lesquels un modèle est disponible. Nous explorons plusieurs approches de modélisation d'une dépendance continue au temps dans le cadre des Processus Décisionnels de Markov (MDP), aboutissant à la définition des Problèmes Décisionnels de Markov Temporels. Puis, nous nous intéressons à deux paradigmes distincts. En premier lieu, nous considérons des modèles à événements implicites et les écrivons comme des MDP dépendants du temps (TMDP). Nous étendons l'équation d'optimalité classique et présentons un algorithme d'Itération de la Valeur utilisant des représentations polynômiales par morceaux que nous testons sur deux problèmes de planification pour drones. Ces conclusions permettent alors une discussion plus générale au sujet des actions paramétriques pour les MDP à temps observable. Dans un second temps, nous modélisons séparément les contributions concurrentes d'événements exogènes au système. Cette approche de modélisation à événements explicites mène aux Processus Décisionnels Semi-Markoviens Généralisés (GSMDP). Nous établissons un lien entre la théorie de Spécification des Systèmes à Evénements Discrets (DEVS) et le formalisme GSMDP, permettant ainsi la définition de simulateurs cohérents. Puis nous adoptons une approche d'Itération de la Politique fondée sur la simulation que nous testons sur un problème de contrôle d'un réseau de métro. This thesis addresses the question of planning under uncertainty in a time-dependent environment. Motivation for this work came from the problem of building an autonomous agent able to coordinate with its uncertain environment; the latter being composed of noncontrollable processes (other agents or environment) for which some discrete-event model is available. We investigate several approaches for modeling continuous time-dependency in the framework of Markov Decision Processes (MDPs), leading to a definition of Temporal Markov Decision Problems. Then our approach focuses on two separate paradigms. First, we consider time-dependent problems as implicit-event processes and describe them as Time-dependent MDPs (TMDPs). We extend existing results concerning optimality equations and present a Value Iteration algorithm based on piecewise polynomial functions which is tested on two drone planning problems. This leads to a general discussion on parametric actions in hybrid state and action spaces MDPs with continuous time. In a second time, we investigate the option of modeling separately the concurrent contributions of exogenous events. This explicitevent modeling approach leads to Generalized Semi-Markov Decision Processes (GSMDPs). We establish a link between the general framework of Discrete Events Systems Specification (DEVS) and the formalism of GSMDP, allowing to build sound simulators. Then we introduce a simulation-based Policy Iteration approach for explicit-event Temporal Markov Decision Problems bringing together results from simulation theory, forward search, and statistical learning theory. We test our appproach on a subway network control problem.
  • No references.
  • No related research data.
  • No similar publications.

Share - Bookmark

Cite this article