Diseño de un sistema de control basado en aprendizaje reforzado aplicado a un reactor industrial tipo Klatt-Engell

Abstract

En la presente investigación, el sistema de control basado en el enfoque de aprendizaje reforzado es desarrollado para controlar la temperatura y la concentración de producto de una planta reactor industrial tipo Klatt-Engell representado por un modelo matemático de comportamiento no lineal. El diseño del sistema de control sigue una metodología en base a la mejora del esquema de control de aprendizaje libre de modelo. Comprende elementos de aprendizaje reforzado como el uso del algoritmo Q-learning, parámetros de aprendizaje, exploración y explotación. La representación del sistema de control consiste en un diagrama de bloques, con dos subsistemas de control de aprendizaje libre de modelo. Además, previo a la ejecución del sistema de control, el cálculo de los valores óptimos necesarios para la buena elección de las señales de control es requerido mediante un proceso de entrenamiento. Finalmente, se muestran resultados simulados obtenidos para distintas señales de referencias, señales de entrada exógena, presencia de ruido en las variables de salida; y la comparativa de estos resultados mediante un índice de desempeño frente a otros sistemas de control.

In this research, a control system based in reinforcement learning approach is developed to control the temperature and product concentration of an industrial reactor Klatt-Engell represented by a mathematical model of non-linear behavior. The design of the control system follows a methodology based on the improvement of the model free learning control scheme. It includes elements of reinforcement learning such as the use of the Q-learning algorithm, learning parameters, exploration and exploitation Parameters. The representation of the control system consists of a block diagram, with two model free learning control subsystems that control each variable. In addition, before executing the control of the plant, the calculation of the optimal values necessary for the good choice of the control signals is required through a training process. Finally, the results obtained for different reference signals, exogenous input signals and presence of noise in the output variables are shown, and the comparison of these results by means of a performance index against other control systems.