L'application de l'apprentissage par renforcement (RL) à des systèmes physiques complexes fait face à des défis avec des temps d'entraînement longs en raison des coûts de simulation computationnels élevés. L'apprentissage par transfert peut réduire les temps d'entraînement en tirant parti de modèles entraînés sur des problèmes similaires. Les modèles d'ordre réduit (ROMs) créent des environnements plus rapides et simplifiés pour l'entraînement RL tout en conservant la précision.

Les ROMs peuvent être générés par diverses méthodes, y compris des approches d'apprentissage non supervisé issues de la science basée sur les données. Les systèmes dynamiques évoluent dans le temps et sont décrits par des vecteurs d'état et leurs dérivées. Les systèmes physiques du monde réel présentent souvent une non-linéarité, les rendant difficiles à caractériser.

Ces systèmes manquent fréquemment d'équations gouvernantes solvables, nécessitant des simplifications qui limitent leur utilité. La dynamique des turboréacteurs sert de problème d'exemple où des équations couplées doivent être résolues itérativement plutôt que directement.