Cómo llevar a cabo su campaña de anotación de datos: la guía (2/2)
Los pasos preliminares mencionados en la primera parte de esta guía condujeron a la constitución de un equipo, la definición precisa del problema del proyecto y el desarrollo de reglas precisas para las tareas de anotación. ¡La campaña puede empezar! En este artículo, hemos recopilado una serie de recomendaciones para llevar a cabo campañas de anotación de datos exitosas.
Capacitar y movilizar a los etiquetadores de datos para proyectos de IA exitosos
La capacitación y la movilización de los etiquetadores de datos (o anotadores) es un paso necesario en cualquier campaña de anotación de datos. La naturaleza repetitiva, tediosa y, a veces, compleja de la tarea de anotación expone al riesgo de errores, como la omisión de un objeto para anotarlo en una imagen determinada o la asignación de una etiqueta inapropiada. La formación exhaustiva y la movilización eficaz de los anotadores, tanto al principio como durante el proyecto, son esenciales para mitigar estos riesgos de errores y, especialmente, para identificarlos lo antes posible.
En la fase preliminar del proyecto, es esencial explicar claramente los desafíos del proyecto al equipo de anotadores, destacando el papel central de la anotación en el éxito del proyecto. Se trata de una fase esencial de sensibilización. Esta etapa de integración también representa una oportunidad para que los anotadores conozcan los conceptos relacionados con la inteligencia artificial y la realidad de los ciclos de desarrollo de productos de inteligencia artificial.
También es una buena práctica mantener un registro de los errores más comunes, actualizado a medida que avanza el proyecto, con un enfoque participativo (es decir, se invita a cada anotador a completar el registro con los casos específicos identificados, complementados con ejemplos concretos e ilustrados con capturas de pantalla).
Mantener la participación de los anotadores durante todo el proyecto
Mantener el compromiso de los anotadores durante todo el proyecto requiere una dinámica constante de intercambios. La creación de herramientas para compartir, como la mensajería instantánea, los foros de debate y los documentos colaborativos, es útil para fomentar las discusiones dentro del equipo del proyecto, lo que permite resolver las dificultades, hacer preguntas y brindar apoyo mutuo. También se pueden configurar sesiones de sincronización periódicas para informar sobre el progreso del proyecto, compartir posibles cambios o resaltar puntos de atención específicos relacionados con la anotación.
Controlar y garantizar la calidad de los datos
Cuando el objetivo final de la campaña de anotación es desarrollar un algoritmo para automatizar una tarea, la presencia de errores en los datos y metadatos utilizados para el entrenamiento puede hacer que el algoritmo reproduzca las imperfecciones de la anotación manual. Aquí reunimos varias de las mejores prácticas para hacer que los proyectos sean confiables, independientemente de su tamaño.
Crear un conjunto de datos Verdad fundamental (o Ground Truth)
Un conjunto de datos, también denominado »Verdad fundamental«, consiste en documentos anotados cuyas anotaciones han sido revisadas rigurosamente, garantizando así una calidad incuestionable. Este conjunto de datos se puede utilizar de diversas maneras.
Por un lado, los documentos correspondientes (excluidas las anotaciones) pueden enviarse para que los anotadores los anoten al inicio del proyecto. Este enfoque tiene como objetivo garantizar una comprensión adecuada de la tarea por parte de los anotadores y verificar que el esquema de anotaciones no sea ambiguo, es decir, no puede llevar a dos anotadores a anotar el mismo documento de manera correcta pero divergente. Al comparar las anotaciones de los anotadores con las de calidad garantizada, se pueden detectar errores o ambigüedades. Estos hallazgos ayudarán a aclarar los elementos del esquema de anotación que requieren una explicación adicional, o a corregir el esquema de anotaciones para eliminar algunas ambigüedades.
Por otro lado, el conjunto de datos «Ground Truth» también se puede utilizar como conjunto de datos de prueba, ofreciendo así la posibilidad de evaluar el algoritmo desarrollado sobre un conjunto de datos de máxima calidad. Este enfoque permite medir el rendimiento del algoritmo en condiciones confiables y garantizar su robustez y precisión.
Verificación aleatoria de documentos anotados por etiquetadores de datos
Se recomienda que, durante todo el proyecto, el director del proyecto revise periódicamente los documentos anotados, seleccionados al azar, para garantizar la calidad de las anotaciones.
Implementación de pruebas de coherencia en las anotaciones
En el contexto de algunos proyectos, es posible implementar pruebas automáticas que reflejen las reglas comerciales que deben respetar las anotaciones. Cuando estas pruebas se pueden integrar, ofrecen la posibilidad de detectar automáticamente los documentos anotados con un alto riesgo de errores, por lo que requieren una verificación prioritaria por parte del experto empresarial.
Por último: haz un balance de tu campaña de anotaciones
La realización de una campaña de anotación, que a menudo se enfrenta a desafíos complejos, requiere una evaluación cuidadosa al final de la campaña para identificar lecciones útiles para futuros proyectos que involucren la anotación. Esta fase crítica permite documentar en detalle la metodología utilizada, el progreso de la campaña y las métricas clave. La siguiente sección proporciona una lista no exhaustiva de métricas y preguntas relevantes para una evaluación en profundidad de su campaña de anotaciones, por lo que ofrece Perspectivas precioso.
A continuación se muestran algunos indicadores que se pueden utilizar para evaluar el rendimiento y la relevancia de las campañas de anotación:
• Duración de la campaña de anotaciones
• Número de anotadores movilizados
• Volumen total de documentos anotados
• Tiempo promedio dedicado a anotar un documento
• Adecuación del software de anotación (rendimiento, comparación de resultados utilizando varias plataformas, ergonomía, etc.)
• Adecuación del esquema de anotación (legibilidad, reproducibilidad, cobertura de casos específicos)
• Capacidad para movilizar a anotadores profesionales expertos en su campo
Un enfoque de evaluación integral contribuye a una mejor comprensión de los éxitos y desafíos encontrados, proporcionando así información esencial para mejorar las futuras campañas de anotación.
(Fin de la guía. Encuentra la primera parte de nuestra guía en esta dirección).
Para ir más allá, descubra nuestro artículo sobre los criterios para elija la plataforma de anotación adecuada según sus casos de uso.
Para administrar sus campañas de anotación de datos, Innovatiana se destaca por presentar una solución integrada a través de una plataforma que se distingue por ofrecer una solución global, accesible en https://dashboard.innovatiana.com, para los desafíos de recopilación y anotación de datos. Representa un enfoque integral que centraliza los requisitos específicos de cada proyecto en el mismo entorno de trabajo, lo que permite una personalización adecuada.
