(Delta) - radius IVRL: paradigma de integración de aprendizaje por refuerzo en sistemas multi-agente

Abstract

Los sistemas multi-agente han mostrado, por su propia naturaleza, permitir resolver problemas que requieren coordinación y/o cooperación, ello por cuanto permiten representar de forma natural dichas situaciones. Sin embargo, existen algunos problemas relacionados a su representación formal y en consecuencia a su aplicación. El estudio de los modelos formales actuales ha dejado al descubierto algunas de las falencias respecto a su representación y aplicación; con un fallido sistema de comunicación como el problema mayor comúnmente encontrado. Estando al tanto de este problema proponemos : δ-radius Communication Model, una representación formal para la comunicación en sistemas multi-agentes. Los paradigmas dominantes de aprendizaje en el área son Independent Learning e Influence Value Reinforcement Learning. Polos opuestos en relación a la influencia de los agentes respecto a sus compañeros. Independent Learning busca establecer un sistema libre de influencia; mientras tanto, Influence Value Reinforcement Learning presenta un escenario en el cual los agentes son influenciados por todos sus compañeros en un entorno compartido. Basándonos en ambos extremos, una vista unificada de ambos paradigmas es definida: δ-radius Influence Value Reinforcement Learnig. La visión unificada ha de permitir el desarrollo de sistemas intermedios, en los cuales se pueda definir limitaciones explícitas a la comunicación mediante una noción de distancia entre los agentes y teniendo como limitante a δ, una variable que determinara la distancia máxima bajo la cual es posible establecer comunicación entre dos agentes. Más aún, los resultados de los experimentos desarrollados han demostrado que los sistemas intermedios han de tener una menor complejidad algorítmica y una mejor capacidad de convergencia.