Acceso usuarios
, Íñigo López Gazpio
Esta investigación aborda el crítico pero subestimado problema al que se enfrentan los grandes modelos del lenguaje (LLMs) conocido como la Maldición de la Reversión (RC). La RC denota una limitación inherente al tratar de inferir relaciones bidireccionales que socava las capacidades de razonamiento lógico. Bajo los efectos de la RC, los LLMs no pueden inferir relaciones bidireccionales de manera efectiva y eso limita su capacidad de razonamiento deductivo. Si un LLM se entrena con una oración de la forma “A se relaciona con B”, automáticamente no generaliza a la forma inversa, “B se relaciona con A”. A través de una revisión sistemática de la literatura y del análisis experimental, destacamos las dificultades para mantener la coherencia causal existentes en los LLMs del estado de la cuestión. Analizamos estrategias de mitigación reconociendo la RC como un problema persistente en diversas arquitecturas, incluyendo técnicas de ampliación de datos y optimización de objetivos innovadores. Analizamos avances recientes y las causas fundamentales de este problema, ofreciendo valiosas lecciones aprendidas, discusión sobre los enfoques aplicados y limitaciones de las técnicas de mitigación. El objetivo de este trabajo es contribuir al desarrollo de sistemas de inteligencia artificial más fiables y coherentes.
This research addresses the critical yet underappreciated problem in state-of-the-art Large Language Models (LLMs) known as the Reversal Curse (RC). The RC denotes a failure to infer bidirectional relationships that undermines logical reasoning capabilities. Under the RC, LLMs are unable to infer bidirectional relationships effectively leading to logical errors in deductive reasoning. If a model is trained on a sentence of the form “A relates to B”, it does not automatically generalize to the reverse form, “B relates to A”. Through a systematic literature review and experimental analysis, we highlight the difficulties in maintaining causal coherence in state-of-the-art LLMs. Recognizing the RC as a persistent problem across architectures, we review mitigation strategies including data augmentation and innovative training objectives to offer valuable insights into the root causes and discuss their limitations. This work aims to contribute to the development of more reliable and coherent AI systems.
