Aplicar el Aprendizaje por Refuerzo (RL) a sistemas físicos complejos enfrenta desafíos con tiempos de entrenamiento prolongados debido a los altos costos computacionales de simulación. El aprendizaje por transferencia puede reducir los tiempos de entrenamiento aprovechando modelos entrenados en problemas similares. Los Modelos de Orden Reducido (ROMs) crean entornos más rápidos y simplificados para el entrenamiento de RL mientras mantienen la precisión.

Los ROMs pueden generarse mediante varios métodos, incluyendo enfoques de aprendizaje no supervisado de la ciencia basada en datos. Los sistemas dinámicos evolucionan a través del tiempo y se describen mediante vectores de estado y sus derivadas. Los sistemas físicos del mundo real a menudo exhiben no linealidad, lo que los hace difíciles de caracterizar.

Estos sistemas frecuentemente carecen de ecuaciones gobernantes resolubles, requiriendo simplificaciones que limitan su utilidad. La dinámica de motores turbojet sirve como problema de ejemplo donde ecuaciones acopladas deben resolverse iterativamente en lugar de directamente.