Chrysanthos Dellarocas firma un artículo muy interesante: “Designing Reputation Systems for the Social Web”, en el libro de los editores Hassan Masum y Mark Tovey: “The Reputation Society”.

Ya he explicado en un post anterior (“¿Por qué los Sistemas de Reputación son tan necesarios?”) que los sistemas de reputación pueden ser un mecanismo valioso para discernir lo que es auténtico, útil y relevante, de lo que no lo es. Funcionan como filtros que, si están bien diseñados, permiten reducir los costes-de-discernimiento en una sociedad que padece de una crónica sobrecarga informacional.

Ahora bien, diseñar sistemas de reputación que sean eficaces y eficientes es un asunto bastante complicado. Yo diría que el dilema sistémico al que nos enfrentamos aquí es encontrar un difícil equilibrio entre funcionalidad y fiabilidad. Estos sistemas deben ser sencillos para que la gente los use, pero al mismo tiempo seguros y confiables, o sea, suficientemente robustos para que sea difícil manipularlos. Esos dos objetivos son a menudo contradictorios, porque si intentas construir un sistema infalible, que haga imposible cualquier falsificación, seguramente será inoperativo por exceso de complejidad. Y si bajas mucho los requerimientos para simplificarlo, corres el riesgo de convertirlo en un coladero de spammers e impostores que se dediquen a adulterar los resultados en su beneficio.

Por dar algunas pistas, y ordenar un poco el trabajo por hacer, ahí van algunas decisiones clave que hay que tomar en el diseño de sistemas de reputación:

• ACCIONES: Qué “acciones” (interacciones, hechos, eventos) del comportamiento de los usuarios creemos que son relevantes para contabilizar en los perfiles reputacionales. O sea, qué tipos de acciones cuentan, hay que registrar y monitorizar. Esta decisión dependerá de los objetivos que persiga la web, y de las actitudes o actuaciones que se quieran estimular en esa comunidad. Por ejemplo, sugiere Dellarocas en su artículo, si uno de los objetivos del sistema es ayudar a los usuarios a decidir si un vendedor es fiable, entonces registrar el porcentaje de transacciones que éste ha completado con éxito puede ser una “acción” a monitorizar. Asimismo, si un objetivo del sistema es aumentar el volumen (cantidad) de contribuciones entonces habrá que incluir en el perfil reputacional de los usuarios el número de entradas y de comentarios publicados; pero si lo que importa es la calidad, entonces es posible que no interese tanto visibilizar el dato anterior sino las evaluaciones o ratings que han recibido esas entradas/comentarios por otros usuarios.
• FUENTES DE INFORMACIÓN: Una vez identificadas las “acciones” que se quieren monitorizar, entonces hay que decidir cómo obtener la información de cada una. A menudo hay que optar entre un mecanismo “implícito” o “explícito”, o sea, entre datos generados internamente por el sistema o por el feedback aportado explícitamente por los usuarios. La fuente interna o “implícita” suele ser preferible porque es más fiable y no-sesgada (son hechos, no opiniones), pero no siempre es posible disponer de esos datos. La fuente externa o “explícita” (opinión de los usuarios) es más fácil de manipular y puede ser sesgada. Esto último se intenta atenuar a través de mecanismos del tipo “Rate-the-rater” para discernir la relevancia y credibilidad del opinante. Un ejemplo de fuente “implícita” (“System-generated reputation”) sería contabilizar el número de posts, comentarios y otras métricas que se generan automáticamente por el modulo de gestión de la web. Por el contrario, cuando eBay pide a los usuarios que han comprado algo, que valoren al vendedor según distintos parámetros de la compra, está usando un mecanismo “explícito” de recogida de información reputacional (“User-generated reputation”).
• MODELO DE AGREGACIÓN: Una vez decididas las fuentes de información para monitorizar las distintas acciones, uno de los desafíos más complicados en el diseño de estos sistemas es definir cómo agregar y presentar la información reputacional para que consiga el efecto esperado en los usuarios. Se utiliza una gran variedad de métodos para presentar los resultados, que van desde la publicación de estadísticas de actividad, hasta la asignación de estrellas, puntuaciones numéricas o sistema de insignias, entre otros. Según explica Dellarocas, las estadísticas tienen la ventaja de que no se emiten juicios explícitos de calidad y el usuario puede sacar sus propias conclusiones. Los mecanismos como las estrellas y las insignias simplifican la información y la hacen mucho más digerible. Una solución interesante es usar “dimensiones múltiples” para juzgar a los usuarios, de modo que uno pueda hacerse una opinión de ellos según distintos atributos. Aquí se produce un dilema importante y es el de transparentar o no las reglas de agregación, o sea, ocultar o revelar los detalles de la fórmula o algoritmo de agregación. Desvelar la fórmula ayuda a generar confianza entre los usuarios (porque de ese modo saben cómo el sistema asigna reputación) pero al mismo tiempo incrementa de forma notable el riesgo de manipulación, Como sabemos, Amazon y Google no revelan sus algoritmos de agregación, y la razón principal que aducen para no hacerlo es que el sistema sea adulterado.
• MECANISMOS DE PROTECCIÓN: Este cuarto bloque es también de los más complicados, porque hay que prever por anticipado los posibles comportamientos destructivos o no-deseados para los fines de la comunidad, e integrar “por diseño” en el sistema respuestas adecuadas para atenuarlos. Ya hemos comentado que no es nada fácil evitar los riesgos de manipulación del sistema sin complicarlo en exceso.  El diseñador o diseñadora debe anticipar qué mecanismos pueden inducir a sesgos y qué situaciones pueden incentivar a mentir. Un punto crítico aquí es decidir cómo se va a gestionar la identidad de los usuarios. Apostar por el anonimato puede facilitar las prácticas negativas, mientras que controlar la identidad suele disuadir a que muchos usuarios participen o que los que participen lo hagan con un sesgo demasiado positivo. Una solución mixta que suele funcionar bien, sugiere Dellarocas, es que la identidad del usuario sea completamente conocida por el sistema pero no sea revelada a la comunidad. John Henry Clippinger lo tiene claro, afirmando que “una identidad verificable es absolutamente esencial en los sistemas de reputación”. Dado los riesgos personales que esto tiene, propone un “anonimato autenticado”, lo que significa que uno puede tener su identidad autenticada sin tener que revelar información de su identidad personal.

Antes de terminar, me gustaría insistir en la importancia de recoger y analizar “metadatos” sobre los miembros de una red. De los metadatos se genera información reputacional basada en el comportamiento y las contribuciones de cada miembro. Por eso es fundamental un adecuado diseño de la arquitectura de metadatos que soporte la gestión de la comunidad.

Asimismo, recordar que la reputación en la vida real es algo sutil y dinámico, porque implica factores sociales, culturales y personales complejos, que en la mayoría de los casos hace difícil el uso de indicadores numéricos.

Nota: La imagen del post es del album de ben matthews en Flickr