Proyecto: Implementación de un Sistema de Recuperación de la Información
Hugo E. Ryckeboer	    h_ryckeboer@yahoo.com.ar
Descriptores: buscadores  lexematizadores  LSI
Resumen: El proyecto investiga en la tecnología de los “recuperadores de información” para propósitos especiales y en lengua española. Las soluciones existentes para la etapa léxica no son satisfactorias, lo que afecta a la calidad de la recuperación, para la cual se quiere armar una propuesta propia. Se ha prestado especial atención en la etapa de selección al método “Latent Semantic Indexing” (LSI), de profunda base matemática. Tiene el inconveniente de no poder procesar el operador de exclusión, frente a lo cual se quiere probar propuestas propias. Se tiene funcionando un buscador adaptado a un corpus jurídico, sobre el cual se harán sustituciones de módulos para poder juzgar el eventual logro de mejoras.

El tema del proyecto es más conocido por su nombre en inglés “Information Retrieval”, nombre no del todo feliz, ya que en una Base de Datos también hay información que también es recuperada. La diferencia es que la información de una Base de Datos está estructurada y tiene una semántica bien definida.
Resultaría más adecuado llamarlo “Selección de documentos”. Ya que responde a la necesidad de separar de una gran cantidad de documentos aquellos que responden a una inquietud intelectual. 
Ayudar con recursos informáticos a este tipo de selecciones es un problema de antigua data. Posiblemente las bibliotecas fueron los primeros en encarar una respuesta, ya que aquí se plantea el mismo problema. Hay multitud de libros. Un usuario se acerca buscando ilustrarse sobre un tema. ¿Qué libro hay que darle? Las clasificaciones temáticas fueron la primera respuesta, pero ello no satisface todas las consultas. Hay libros que enlazan dos temas distintos y la biblioteca debió juzgar cuál de los dos es su tema principal, perdiéndose su carácter de interdisciplinario.
Para poder catalogar y eventualmente asentar bajo varios temas un texto, es necesario leerlo. Cuando el volumen es grande queremos mecanizar esa lectura.  Lo que complica esta mecanización es la incapacidad de la máquina de entender un escrito. Esa incapacidad se suplanta con la hipótesis de que un texto que expone en detalle un tema inevitablemente usa reiteradamente  el vocabulario que describe las entidades acerca de las cuales gira la exposición.
Si el cliente del sistema de recuperación formula su consulta usando esas mismas entidades, o al menos algunas de ellas, provee al sistema de una pauta para juzgar si un documento debe ser sugerido como adecuado a sus necesidades intelectuales. No sólo eso, sino, en función de la densidad de aparición de las entidades provistas, podrá ordenarlos de acuerdo a una computada mejor adecuación.
Este tipo de trabajo es el que realizan buscadores como Bing, Yahoo, Google… Pero ellos no resuelven todas las necesidades y tampoco poseen todos los documentos.
Una empresa con una voluminosa correspondencia comercial puede tener alguna dificultad para localizar el duplicado de una carta y no tiene ningún interés en ingresarlas en Internet a disposición de cualquier navegante.  Este es un ejemplo de usos en pequeña o mediana escala.
La tarea tal como se expuso parece sencilla, sin embargo surgen diversas complicaciones que atentan contra la efectividad de la técnica. Es bueno tener presente que es factible apartarse de la selección ideal de dos modos: aportar documentos que no respondan a las expectativas del cliente, se habla de índice de relevancia, la segunda es omitir documentos que si hubieran respondido, se habla de índice de recuperación.
La organización del depósito de documentos, técnicamente el corpus (cuerpo en latín), hace pasar los documentos por dos etapas.
La primera etapa, la de separación de palabras, se encuentra con que los nombres comunes españoles tienen inflexiones por número y si son adjetivos además por género. Los verbos  tienen numerosas inflexiones por voz, modo, tiempo, persona y número. Observen que buscando un texto que ilustre el concepto físico de movimiento también se debiera ofrecer en la selección de documentos uno que reiteradamente hable de un móvil. Aquí la diferencia es algo más que una inflexión verbal o de nombre, simplemente son dos palabras que comparten la raíz “mov” del verbo mover. En esta etapa no sólo se quitan inflexiones sino que toda palabra es reducida, hasta donde la similitud lo permita a una raíz. Se puede hacer algunas consideraciones sobre la diferencia entre raíz y tema, pero a este nivel descriptivo del problema ello es innecesario.
Esta actividad se llama lematizar y el módulo que lo escribe es un lematizador. Es de notar que el lematizador está orientado a una lengua en particular. Obviamente el mayor trabajo ha sido realizado para la lengua inglesa, pero queda la posibilidad de proponer nuevos enfoques de lematización en español. El grupo ha observado en detalle la calidad del trabajo del lematizador español comúnmente usado y lo ha encontrado poco satisfactorio, por lo cual ha encarado un nuevo diseño del mismo.  Para poder realizar progresos en esta materia es necesario una fuerte preparación en la morfología española. 
Hay que tener presente que un documento es apropiado si contiene una o más, y cuanto más mejor, palabras involucradas en la consulta, siempre y cuando  esas palabras no estén simultáneamente en los documentos que debieran ser desechados. Enseguida se descubre que artículos, proposiciones conjunciones están presentes en forma numerosa en la gran mayoría de los documentos con lo cual nada aportan a la selección.  Técnicamente estas se denominan en lógica palabras sincategoremáticas o cosignificativas. Observen que palabras como “de“, “como”, “el“, “que“,… no tienen un significado propio. Curiosamente estas palabras son fundamentales para hacer un análisis gramatical de un discurso.  Este fenómeno lingüístico también se observa en las lenguas artificiales, ¿qué significa “;” para un compilador? estrictamente nada, pero sirvió para que el análisis sintáctico de por terminado una sentencia. Estas palabras se reconocen porque se dispone de una lista de ellas. La lista se puede aproximar con un recuento de frecuencia sobre la totalidad de los documentos.
Se pueden señalar otros aspectos que complican a un lematizador, por ejemplo la escritura de fechas, unos pueden haber escrito la fecha en forma numérica compacta “dd/mm/aaaa”, otros usando varias palabras que en conjunto representan esa misma entidad temporal. Este es un ejemplo de reconocimiento de frases en lugar de palabras aisladas...  
Cuando el universo es más limitado pueden surgir otras frases tácitas. Este proyecto nació con la necesidad de proveer acceso a una base jurídica especializada. Se descubrió que frases como “Secretaría de Educación” no podía ser separada en dos sustantivos pues quién buscara esa frase recibiría también documentos que hablaran de otra secretaría por la coincidencia de una de las dos palabras.
La segunda parte del proceso de selección de documentos aunque independiente del idioma, permite muchos enfoques distintos. La más sensible o booleana consiste en haber marcado y almacenado de cada documento los lexemas que hay en ella con independencia de su frecuencia y luego enfrentarlo con los lexemas de la consulta. Al incorporar documentos al corpus se puede considerar que se construye una matriz rala de documentos por lexemas fila por fila.  Llegado el momento de la selección conviene tener esta matriz transpuesta, de modo tal que estén contiguos en memoria las referencias a los documentos que lo contienen. Las consultas se expresan siempre con una cantidad baja de vocablos de modo tal que sólo haya que mirar unas pocas filas para identificar los documentos de interés.
Algo más avanzado es asentar en esa matriz un coeficiente que refleje la importancia del lexema, ya sea por la frecuencia con que aparece en el documento como por la baja frecuencia con la que aparece en los restantes.
En los pasos siguientes se asemeja al método booleano, pudiendo considerarse a éste como un caso particular con coeficientes unitarios.
La indexación por lexemas en lugar de palabras absorbe el hecho de que un mismo concepto pudo ser citado con diversas palabras de igual raíz pero no contempla la existencia de sinónimos para referirse a un mismo concepto, ni el fenómeno inverso, palabras equívocas, o de múltiple acepción.
Palabras como “coche” y “auto” ilustran el primer fenómeno y “vela”, tanto instrumento de iluminación como parte del aparejo de una nave, el segundo, problema dual del primero.
Los creadores del método “Latent semantic indexing” (LSI)  observaron atinadamente que sinónimos se usan en contextos similares, de modo tal que si bien no comparten la raíz comparten el uso de otros muchas lexemas, no interesa si hablan de autos o coches pero hablarán de suspensiones, motores, etc... Si vemos un documento como un vector en el espacio multidimensional de los lexemas, sus direcciones serán en grandes líneas coincidentes salvo por una componente.
Este fenómeno queda mejor reflejado analizando los autovalores y autovectores izquierdos y derechos de la matriz documento-lexema.
El inconveniente de reescribir la matriz de ese modo es que todos los vectores pasaron de ralos a llenos, lo que aumenta el volumen de cálculo. Para compensar esto se aprovecha la baja incidencia que tienen los autovalores más pequeños para anularlos con lo cual sin cometer un gran error se evita el cálculo con las filas y columnas correspondientes.  Los autores han encontrado una recuperación satisfactoria conservando sólo 300 autovalores.
Este tratamiento también resuelve el problema dual de la múltiple acepción o equivocidad de la palabra. Si los significados difieren los términos que la acompañan serán manifiestamente distintos de manera tal que no es de esperar una similitud en las direcciones de los documentos que los contienen.
Este método ha ganado competencias en donde se los clasifica por  la calidad de selección de documentos. 
El inconveniente de este método es que no tiene forma rigurosa de expresar la negación. En este proyecto se quiere estudiar algunas formas de hacer influir negativamente los términos negados de la consulta.
Se ha armado un sistema de “selección de documentos” siguiendo la propuesta de LSI y sobre él se harán cambios experimentales.