Um método baseado em informações de renderização para extração de dados de páginas web.

Abstract

A extração de dados de páginas web é uma importante tarefa para várias aplicações, como comparadores de preços, bibliotecas digitais e mineradores de dados. Grande parte dos dados necessários para essas aplicações é disponibilizada através de páginas de resultado de busca, onde cada resultado, chamado de search result record, representa um registro de um banco de dados. Um dos passos mais importantes para extrair esses registros é identificar, dentre as diferentes regiões de dados de uma página, aquela que contém os registros a serem extraídos, ou seja, a principal região de dados. Uma identificação errada dessa região pode resultar em uma extração incorreta dos search result records. Outro passo importante é a detecção e a separação de cada registro dentro dessa principal região de dados, bem como de seus respectivos atributos. Nesse trabalho, é proposto um método que, baseado nas informações de renderização dos elementos da página de resultado de busca, seleciona a sua principal região de dados e extrai seus registros e atributos. Experimentos utilizando páginas de vários domínios de aplicação mostram que o método é efetivo e competitivo em relação a alguns métodos já existentes.