INTRODUÇÃO À INFORMAÇÃO

Recuperação de informação em documentos XML

Desde 2000, quando aconteceu o primeiro workshop sobre XML e Recuperação de Informação,

este tema tem estado presente nas conferências ACM SIGIR, mostrando o interesse da comunidade de

Recuperação de Informação em explorar melhor as informações semi-estruturadas, dando a estas um

enfoque de RI, em contrapartida ao enfoque de Banco de Dados que sempre receberam. Esta abordagem é

importante para estender o papel do XML além do objetivo de troca de dados na Web , tornando-o

interessante para troca de informação, dentro de toda a flexibilidade e liberdade que caracterizam a Web.

Em 2002, na Finlândia, durante o 2° workshop sobre o tema, debates sobre o sentido da

recuperação de documentos XML, levaram a conclusão de que é importante trata-la desvinculada de

operações de Banco de Dados.

Tendo estudado a Web Semântica anteriormente, e concluído ser uma proposta ambiciosa demais

para a diversidade da Web e pouco disseminada até o momento, optamos por recuar um passo atrás e

estudar de que forma as informações semi-estruturadas, e mais especificamente o XML, podem contribuir

para melhorar a precisão e revocação das máquinas de busca. Fomos motivados pelo entendimento de que

as

tags ajudam a definir o significado dos termos que delimitam, podendo, conseqüentemente, contribuir

para a precisão dos resultados de uma pesquisa.

Com este objetivo, os principais artigos encontrados sobre o assunto foram estudados e

comparados, permitindo algumas conclusões que servirão de base para a escolha de futuros caminhos.

Apresentaremos um breve apanhado de cada um dos artigos abordando suas características mais

marcantes, os principais avanços e limitações, seguido de um quadro comparativo. E fechando o presente

trabalho apresentaremos nossas conclusões e uma proposta para trabalhos futuros.

Artigo [1] - Searching Text-rich XML Documents with Relevance Ranking

Assumindo o compromisso de utilizar o máximo possível as técnicas convencionais de

Recuperação de Informação, seu principal objetivo é permitir a recuperação de documentos XML

ordenados por relevância, em contraposição às diversas linguagem que tratam apenas as pesquisas

exatas. As consultas serão genéricas, e os resultados não serão exatos, permitindo a ordenação por

relevância, calculada a partir do grau de similaridade entre a consulta e o documento.

O Artigo considera intratável a recuperação de documentos XML com estruturas arbitrárias e

impõe restrições aos tipos de sub-estruturas dos documentos que poderão ser especificadas na consulta. É

definido o conceito de “campos de pesquisa “ mapeados em sub-estruturas dos documentos.A partir

dessa decisão de projeto, somente sub-estruturas especificas, chamadas de

tag-path, poderão ser

apontadas por uma consulta.

Os trechos em negrito na figura 1.0 correspondem a

tag-paths.

Fig 1.0

Os princípios básicos do projeto são:

·

O sistema indexa e pesquisa documentos XML bem-formados, sem considerar as DTDs;

·

Um número finito de sub-estruturas pesquisáveis serão definidas previamente à indexação . A

associação entre campos de pesquisas e

tag-paths será definida em um arquivo chamado Format

File;

·

O indexador verifica o Format File e cria um arquivo para cada “campo de pesquisa”;

·

Um serviço de aplicação deverá formular uma consulta aceitável pela máquina de busca a partir da

informação requisitada pelo usuário. Para isso, este serviço deverá conhecer os “campos de

pesquisa“ e sua associação semântica com as sub -estruturas dos documentos XML.

A implementação da máquina de busca possui a arquitetura mostrada na figura 2.0 , cujos módulos

funcionais detalhamos a seguir:

Fig 2.0

Format File

- Este arquivo destina-se a definir os índices que serão criados para um conjunto de

documentos da coleção. Em sua estrutura ele traz o nome e o formato dos arquivos de índices, as

associações entre

tag-paths e “campos de pesquisas” e a localização de processadores específicos para o

idioma dos documentos.

Indexer –

É o módulo responsável pela interpretação do Format File e posterior criação dos índices nele

definidos. Os termos contidos em cada campo de um documentos receberão pesos utilizando a fórmula

tradicional de TFxIDF. Neste módulo ocorrerá a leitura, extração dos termos e o cálculo de seus pesos .

Query Engine -

A máquina de pesquisa foi implementada acrescentando-se extensões a uma máquina de

busca de texto já existente. Ela permite a busca por termos ou

tags.

Aplication Service

– É o módulo responsável pela interpretação da estrutura da consulta proposta pelo

usuário, para identificar o “campo de pesquisa” e o respectivo arquivo de índice.

Não há esclarecimentos sobre como o Format File será criado, nem como consultas sem indicação

de sub-estrutura serão tratadas. Os resultados apresentados referem-se apenas ao tempo de processamento

necessário à geração dos índices e ao tamanho dos mesmos, mas nenhuma análise sobre a precisão dos

resultados é apresentada.

A grande limitação desta proposta é a pré-definição da estrutura dos índices através dos Format

Files, diminuindo a flexibilidade das pesquisas, mas representa a primeira tentativa de explorar a estrutura

XML em benefício da recuperação de informação.

Artigo [2] – Generating Vector Spaces On-the-fly for Flexible XML Retrieval

O foco dessa proposta é criar mecanismos que permitam ao usuário de uma máquina de busca

compor consultas que explorem a estrutura dos documentos XML, obtendo resultados ordenados por

relevância de acordo com uma granularidade desejada. Em busca deste objetivo, rompe as barreiras da

máquina de busca tradicional que enxergam os documentos de forma plana e também as limitações das

linguagens de consulta de XML que efetuam basicamente pesquisas exatas.

A ordenação por relevância leva em conta a estrutura do documento e as restrições que a consulta

impõe sobre esta estrutura. Mais especificamente, os conteúdos em diferentes níveis da árvore que

representam o documento terão importância diferente para consultas diferentes. Os autores utilizam a

idéia de Fuhr [4] que introduz pesos chamados de

augmentation weights atribuídos a estatísticas como

TFxIDF de cada termo, conforme a sua posição na árvore. Os elementos presentes na estrutura de cada

documento são agrupados em nós de indexação que implementam as listas invertidas (vide fig 3.0)

Fig 3.0

As consultas são agrupadas em três tipos diferentes, conforme o escopo da árvore que pretendem

abranger:

Single_category

– consultas que buscam termos em apenas uma sub-árvore. Por exemplo consultas

interessada apenas em livros de medicina, na arvore mostrada na fig 3.

Multi-category

– consultas que buscam termos em mais de uma sub-árvore. Por exemplo consultas

interessadas em livros sobre medicina e biologia.

Nested- category

– consultas que buscam termos em toda uma sub-árvore mas cujos elementos possuem

diferentes relevâncias para uma mesma consulta. Por exemplo o elemento título e parágrafo no exemplo.

(a presença de um termo no título certamente será mais relevante que a presença do mesmo termo num

parágrafo.)

Para cada uma das três categorias de consulta os termos terão pesos diferentes, dependendo da

estrutura da consulta. Estes pesos deverão ser calculados dinamicamente a partir de um índice básico précalculado.

Os índice básicos serão criados para cada elemento da árvore que possuem conteúdo textual ,

sendo que o artigo não detalha como isso ocorrerá, mas apenas sugere que poderão ser criados a partir de

técnicas padrões de RI como extração de termos e eliminação de

stop words. Partindo destes índices

básicos ,cada tipo de consulta terá uma fórmula especifica obtidas a partir do Modelo Vetorial.

Eq.1.0 – Single-category

Eq. 2.0 - Multi-category

Eq. 3.0 – Nested_category

Em todas as equações observa-se que as estatísticas são calculadas para cada elemento na estrutura

do documento e não para cada documento, como na fórmula original do Modelo Vetorial. Na equação 2.0

a freqüência do elemento na coleção será a somatória da freqüência do elemento nas diversas categorias

abrangidas pela consulta (

ief mcat). Para a consulta aninhada (equação 3.0) a relevância será a soma

ponderada da relevância para uma categoria simples, onde os pesos serão os

augmentation weights

O grande avanço deste artigo é a flexibilidade admitida no processo de indexação, criando índices

específicos para cada documento sem restrições em sua estrutura. Em contrapartida o processamento da

consulta torna-se mais demorado tendo em vista a maior complexidade das fórmulas especialmente para

consultas em multi-categorias e categorias aninhadas.

A intenção de tratar diferentes granularidades de consulta, por outro lado, exigem do usuário um

conhecimento da estrutura do documento ou a sua dedução. Não há a possibilidade de uma busca

integrada em documentos XML ou não, uma vez que os índices trazem estatísticas a nível de elemento e

não de documento. Destina-se portanto, exclusivamente à recuperação de informação em documentos

XML.

Artigo [3] – An Extension of the Vector Space Model for Querying XML Documents via XML

Fragments

Esta proposta busca criar uma ferramenta de pesquisa mais amigável, onde usuários possam

expressar suas consultas na forma de texto livre ou através de consultas mais complexas dependendo do

conhecimento que possuem das DTDs. O resultado também será ordenado por relevância colocando no

topo do

ranking documentos cuja estrutura mais se aproxime daquela proposta na consulta.

O

ranking será gerado a partir de uma extensão do modelo vetorial que utilizará como unidades de

indexação não apenas termos, mas pares da forma

(ti,ci), onde os termos serão qualificados pelo contexto

onde aparecem. Na equação 4.0, o peso de termos individuais será substituído pelo peso dentro de uma

contexto,

wd(t,c). Mas além disso o modelo vetorial deixa de ter dimensões ortogonais entre t e c,

passando a considerar diferentes níveis de semelhança entre os contexto da consulta e do documento,

representada pelo fator

cr(ci,ck), conforme equação 5.0.

RVS(q,d) =

å wq(ti)*wd(ti)/ |Q|*|D| Eq. 4.0

RVS(q,d) =

åci åck wq(ti,ci)*wd(ti,ck)*cr(ci,ck)/ |Q|*|D| Eq. 5.0

Durante a indexação os documentos XML serão percorridos e um vetor de pares

(t,c) será extraído

para criar o perfil de cada documento. Armazenando os termos e seus contextos, a lista invertida do

termo

t, contendo todos os documentos onde t aparece, será divida em diversas listas, uma para cada

contexto, permitindo assim a recuperação do termo em determinado contexto. A estrutura dos

indexadores armazenará

t e c como uma única chave t#c e no momento da recuperação o sistema poderá

identificar ocorrências precisas de

t dentro de um contexto c. Poderá, também, recuperar todos os

contextos onde

t aparece fazendo uma junção de todas as listas através do sufixo t#. As consultas poderão

ser formuladas contendo os termos dentro de contextos ou apenas termos, como numa máquina de busca

tradicional, ou poderá também conter uma mistura das duas situações, como por ex: