Normalizador de Texto para Lingua Portuguesa baseado em Modelo de Linguagem

摘要

O processamento automatico de textos gerados pelo usuario na internet têm sido um grande desafio. A escrita informal e urna das raides dessa dificuldade. Essa informalidade tem motivado a pesquisa por metodos para normalizagao de textos. A normalizacao de texto e urna etapa que precede o processamento usual, convertendo o texto gerado pelo usuario em um formato 'padrao' (mais formal). Neste trabalho, prototipamos um normalizador para a Lingua Portuguesa que e baseado em modelo de linguagem. Nessa abordagem, usamos a tecnica de traducao automatica para normalizar os textos. Testamos nosso normalizador em um corpus sobre politica e comparamos os resultados obtidos com os de outro normalizador. Automatic processing of user-generated content on the Internet is a major challenge. Informal writing is one reason for this difficulty. This informality motivated the research on methods for text normalization. Text normalization is a step that precedes the usual processing, converting the text from user into a 'standard' (more formal) writing format. In this work, we prototype a nor-malizer for the Portuguese Language that is based on language model. In this approach, we use the machine translation technique to normalize the texts. We tested our normalizer in a corpus on Politics and compared the results obtained with those of another normalizer.