Datos optimizados para LLMs y TA.
Recopilación, limpieza y normalización de datos
Recopilamos texto de fuentes públicas y privadas. Eliminamos duplicados y ruido, normalizamos codificaciones y formatos. Luego seleccionamos del corpus el dominio que prefieras. Trabajamos con un amplio conjunto de lenguas, incluidas lenguas con pocos recursos, donde hemos acumulado una gran experiencia. El resultado es un dataset de referencia que permite entrenar LLMs o modelos de TA de manera más rápida, más barata y con mayor precisión. Nuestros flujos de datos ya se utilizan en el proyecto OpenEuroLLM, donde Prompsit se encarga de recopilar y preparar corpus multilingües.
Alineamiento de documentos y oraciones paralelas
Nuestros algoritmos alinean con precisión documentos y oraciones entre idiomas, teniendo en cuenta el contexto. El resultado es un corpus paralelo de alta calidad optimizado para adaptar modelos de traducción, preservando la coherencia terminológica y monitorizado con procesos de evaluación fiable. Este proceso es crucial para la adaptación a dominio y especialmente valioso en pares de idiomas de bajos recursos, una de las áreas de especialización de Prompsit.
Análisis y evaluación de datos
A través de nuestras herramientas especializadas podemos analizar corpus textuales de grandes volúmenes cualitativa y cuantitativamente. Evalúa métricas clave como la proporción de segmentos únicos en un corpus, el volumen de datos personales (PII), la distribución de tipologías textuales, la longitud media y mediana de las frases o documentos y más de una docena de parámetros adicionales. Nuestros informes muestran qué partes deben limpiarse o enriquecerse y te ayudan a priorizar los próximos pasos, ahorrando tiempo y presupuesto en la preparación de datos. Esta herramienta ya ha demostrado su fiabilidad en el proyecto HPLT, donde se usó para auditar corpus con miles de millones de documentos y segmentos. Está lista para hacer lo mismo con tus datos.
Enriquecimiento y generación de datos sintéticos
Nuestros procesos están preparados tanto para añadir metadatos valiosos a datos ya existentes como para añadir nuevos datos sintéticos que complementen los que ya existen en dominios especializados o idiomas de bajos recursos. Usando combinaciones cuidadosas de modelos masivos de lengua (LLM) y traducción automática neural (NMT), anotamos datos o generamos nuevos datos y aplicamos filtros automáticos, basados en reglas, para seleccionar solo aquellas que cumplen con el estilo, la terminología y la cobertura de dominio requeridos. Este método permite enriquecer y escalar tu dataset rápidamente, haciéndolo apto para entrenamiento, evaluación o pruebas internas.
Adecuación a la normativa de la UE
Seguimos atentamente los requerimientos de la UE para adecuar nuestros datos y modelos a la normativa vigente. Esto incluye la documentación de fuentes de datos, la detección y posible anonimización de datos personales (PII) y la trazabilidad del tratamiento de los datos, etc. De este modo velamos porque tu modelo sea efectivo y legalmente desplegable en la Unión Europea.
