Wikipedia vs. Britannica: el experimento y su reanálisis

Supongo que esta entrada no va a descubrir nada a nadie. Ningún blog que se precie de hablar de conocimiento libre y la Internet abierta y colaborativa ha dejado de comentar el reciente estudio y artículo de Nature comparando Wikipedia y Britannica (también han publicado un editorial sobre el tema).

Debo reoconocer que, a pesar de que la mayor parte de mis feeds de Bloglines han citado el artículo y de que sigo regularmente Nature, de esto me he enterado primero por mis alumnos (alguien había colgado el artículo en el tablón del aula). A veces la vida "real"  actualiza los feeds más rápidamente ...

Para aquellos que aún sigan leyendo esto, espero poder aportar algo más de interés. En uno de los blogs de Nature, Nascent, se resume el experimento y sus conclusiones (Comparing Wikipedia and Britannica)

This week's issue of Nature has a news feature that reports on an experiment our journalists conducted to discover how reliable the scientific content of Wikipedia is compared to Britannica's.

They sent 50 pairs of Wikipedia and Britannica articles on scientific topics to recognised experts and, without telling them which article came from which source, asked them to count the numbers of errors (mistakes, misleading statements or omissions). Among the 42 replies, Britannica content had an average of just under 3 errors per article whilst Wikipedia had an average of just under 4 errors — not as much difference, perhaps, as most people would expect.
...
Of course this only covers scientific content, and it doesn't look at every aspect of an encyclopedia's value (e.g., timeliness, depth, the quality of its references), but I think it's a useful addition to the less rigorous and anecdotal information that seems to have fuelled the debates about Wikipedia so far.

Bien por Nature que ha tratado de empezar a abordar el debate con objetividad y datos duros. Por supuesto, como ya ellos reconocen, su experimento se ha centrado sólo en los errores que no son más que no de los parámetros que medirían la calidad de ambas enciclopedias. Como ejemplos de otros factores que deberían incluirse: Wikipedia ha demostrado en muchas ocasiones que actualiza mucho más rápidamente sus entradas que Britannica, pero la calidad de los textos sea posiblemente inferior.

El principal problema que veo al estudio de Nature es el sesgo que puede motivar el diferente tamaño de las entardas en ambas enciclopedias (si los artículos son más largos en una de ellas, auqnue tengan una calidad promedio similar, el número de errores será mayor en la más grande). Estaba tratando de localizar datos sobre el tamaño (número de palabras pro entrada) de cada enciclopedia, cuando me encuentro en Slashdot (y en el blog de Enrique Dans) que algunos wikipedistas ya lo han hecho, y con resultados sorprendentes (o no?):

Nature magazine recently conducted a head-to-head competition between Wikipedia and Britannica, having experts compare 42 science-related articles. The result was that Wikipedia had about 4 errors per article, while Britannica had about 3. However, a pair of endevouring Wikipedians dug a little deeper and discovered that the Wikipedia articles in the sample were, on average, 2.6 times longer than Britannica's - meaning Wikipedia has an error rate far less than Britannica's." Interesting, considering some past claims. Story available on the BBC as well.

Me pregunto porque Nature ha seleccionado artículos largos de Wikipedia cuando globalmente, y al menos hace unos meses, las entradas de Wikipedia eran más cortas que las de Britannica. El experimento de Nature es sólo una primera aproximación: su tamaño de muestra (42 entradas) es pequeño y su selección de artículos puede no representar cada enciclopedia adecuadamente. Pero, sus resultados, y especialmente el re-análisis, arrojan conclusiones muy relevantes: tanto Wikipedia como Britannica son perores de lo que cabría esperar (lo cual para los críticos del modelo Wikipedia puede resultar demoledor). Pero Wikipedia tiene una "tasa de error" mucho menor y por tanto no existe ninguna evidencia empírica de que, en este aspecto, sea mejor que Britannica (más bien podríamos concluir lo contrario).

Las recientes noticias sobre los cambios en el sistema de gobierno de Wikipedia, que tratan de frenar a los "vándalos profesionales" y las guerras entre bandos en entradas polémicas, puede ayudarle a mejorar su calidad en las otras dimensiones de la calidad.

This week's issue of Nature has a news feature that reports on an experiment our journalists conducted to discover how reliable the scientific content of Wikipedia is compared to Britannica's.

They sent 50 pairs of Wikipedia and Britannica articles on scientific topics to recognised experts and, without telling them which article came from which source, asked them to count the numbers of errors (mistakes, misleading statements or omissions). Among the 42 replies, Britannica content had an average of just under 3 errors per article whilst Wikipedia had an average of just under 4 errors — not as much difference, perhaps, as most people would expect.
...
Of course this only covers scientific content, and it doesn't look at every aspect of an encyclopedia's value (e.g., timeliness, depth, the quality of its references), but I think it's a useful addition to the less rigorous and anecdotal information that seems to have fuelled the debates about Wikipedia so far.

Bien por Nature que ha tratado de empezar a abordar el debate con objetividad y datos duros. Por supuesto, como ya ellos reconocen, su experimento se ha centrado sólo en los errores que no son más que no de los parámetros que medirían la calidad de ambas enciclopedias. Como ejemplos de otros factores que deberían incluirse: Wikipedia ha demostrado en muchas ocasiones que actualiza mucho más rápidamente sus entradas que Britannica, pero la calidad de los textos sea posiblemente inferior.

El principal problema que veo al estudio de Nature es el sesgo que puede motivar el diferente tamaño de las entardas en ambas enciclopedias (si los artículos son más largos en una de ellas, auqnue tengan una calidad promedio similar, el número de errores será mayor en la más grande). Estaba tratando de localizar datos sobre el tamaño (número de palabras pro entrada) de cada enciclopedia, cuando me encuentro en Slashdot (y en el blog de Enrique Dans) que algunos wikipedistas ya lo han hecho, y con resultados sorprendentes (o no?):

Nature magazine recently conducted a head-to-head competition between Wikipedia and Britannica, having experts compare 42 science-related articles. The result was that Wikipedia had about 4 errors per article, while Britannica had about 3. However, a pair of endevouring Wikipedians dug a little deeper and discovered that the Wikipedia articles in the sample were, on average, 2.6 times longer than Britannica's - meaning Wikipedia has an error rate far less than Britannica's." Interesting, considering some past claims. Story available on the BBC as well.

Me pregunto porque Nature ha seleccionado artículos largos de Wikipedia cuando globalmente, y al menos hace unos meses, las entradas de Wikipedia eran más cortas que las de Britannica. El experimento de Nature es sólo una primera aproximación: su tamaño de muestra (42 entradas) es pequeño y su selección de artículos puede no representar cada enciclopedia adecuadamente. Pero, sus resultados, y especialmente el re-análisis, arrojan conclusiones muy relevantes: tanto Wikipedia como Britannica son perores de lo que cabría esperar (lo cual para los críticos del modelo Wikipedia puede resultar demoledor). Pero Wikipedia tiene una "tasa de error" mucho menor y por tanto no existe ninguna evidencia empírica de que, en este aspecto, sea mejor que Britannica (más bien podríamos concluir lo contrario).

Las recientes noticias sobre los cambios en el sistema de gobierno de Wikipedia, que tratan de frenar a los "vándalos profesionales" y las guerras entre bandos en entradas polémicas, puede ayudarle a mejorar su calidad en las otras dimensiones de la calidad.