Ad verba per numeros

Identificacin de idioma
Tuesday, May 8, 2007, 06:33 PM
Un aspecto relevante en los proyectos de identificacin de idiomas es la evaluacin del sistema construido, es decir, cmo de bien identifica los idiomas de los textos que recibe. Para ello debe contarse con suficientes textos de muestra de varios idiomas que sern enviados al servicio web y, posteriormente, se determinar si la identificacin ha sido correcta o no y se calcular un valor que nos informar del rendimiento del sistema.

Hace algn tiempo prepar una coleccin con ese fin que podis descargar de mi pgina web. Contiene 1500 artculos tomados al azar de cinco grupos soc.culture.*: basque, catalan, french, galiza y german.

Como se puede suponer la idea era disponer de textos en vasco, cataln, francs, gallego y alemn adems de, probablemente, castellano. Lamentablemente, la coleccin contiene bastante spam y se mezclan varios idiomas de tal modo que los idiomas disponibles en realidad son: alemn, castellano, cataln, francs, gallego, ingls, italiano y vasco.

A esto se une la dificultad de que los artculos no tienen informacin asociada sobre el idioma "real" en que estn escritos, slo el grupo en el que fueron publicados y, adems, no se han eliminado las cabeceras (vase la siguiente figura).

From: "miss calm" <nospam@cat.net>
Newsgroups: soc.culture.german
Subject: A Great And Brave President
Date: Wed, 26 Nov 2003 19:11:10 -0000
Lines: 14
Message-ID: <bq5i9b$u3r$1@newsg3.svr.pol.co.uk>
NNTP-Posting-Host: 217.135.36.114
X-Trace: newsg3.svr.pol.co.uk 1069960299 30843 217.135.36.114 (27 Nov 2003 19:11:39 GMT)
NNTP-Posting-Date: 27 Nov 2003 19:11:39 GMT
X-Complaints-To: abuse@theplanet.net
X-Priority: 3
X-MSMail-Priority: Normal
X-Newsreader: Microsoft Outlook Express 6.00.2600.0000
X-MimeOLE: Produced By Microsoft MimeOLE V6.00.2600.0000


Despite the ban on aircraft flying into Baghdad after the downing of the DHL
carrier last week. President George. W. Bush led from the Front by risking
his life to visit the troops on Thanksgiving, flying in at the time of
maximum danger to aircraft over the city.
Along with a message of support and thanks to the troops for their defence
of their country and service to the Iraqi people, the President reconfirmed
the Coalition and Americas promise to do all in his power to bring
democracy, freedom and prosperity to the liberated people of Iraq.
Good People who for many years despaired at a US foreign policy that
supported dictators and oppression are proud and glad that this fine Leader
of the Free World is pledged to bring democracy to it's four corners.

As pues, si alguno de vosotros ya tiene el servicio web terminado y parece que funciona bien puede pasar a la que ser la fase final del proyecto y evaluarlo con esta coleccin. Debido a los problemas descritos antes el procedimiento sera ms o menos el que sigue:
  1. Enviar uno a uno todos los artculos al servicio web para su identificacin almacenndolos en un directorio correspondiente al idioma identificado (p.ej. el artculo de la figura es soc.culture.german.1500 y sera almacenado en un directorio para el idioma ingls).
  2. Aquellos artculos en los que coincida el idioma identificado con el del grupo (p.ej. soc.culture.german.1498) pueden suponerse correctamente identificados :).
  3. Aquellos artculos en los que el idioma identificado no se corresponda con el idioma "terico" del grupo debern examinarse manualmente :(.
  4. Al finalizar el proceso se dispondra de grupos de artculos en los que, bien de manera automtica o bien de manera manual, se habr determinado el idioma en que estn escritos.
  5. En ese momento deberas volver a hablar conmigo


Next