Datasets optimitzats per a LLM i NMT — recollits, nets, alineats, avaluats
Recollida, neteja i normalització de dades
Recollim text de fonts públiques i de clients, eliminem duplicats i soroll HTML, i normalitzem codificacions i formats. Després adaptem el corpus al vostre domini — incloses llengües europees de pocs recursos on tenim una experiència única. El resultat és un dataset de referència que permet als vostres models LLM o NMT entrenar més ràpid, més barat i amb més precisió. Els nostres fluxos de dades ja s’utilitzen en el projecte OpenEuroLLM, on Prompsit és responsable de la recollida i preparació de corpus multilingües.
Alineació de segments paral·lels
Els nostres algorismes alineen amb precisió parells de frases entre llengües — tenint en compte context, marcat, terminologia de domini i fins i tot desajustos estructurals. El resultat és un corpus paral·lel d’alta qualitat optimitzat per a l’ajust fi en NMT, la coherència terminològica i l’avaluació fiable. Aquest procés és crucial per a l’adaptació a dominis i especialment valuós en parells de llengües de pocs recursos — una de les àrees d’especialització històrica de Prompsit.
Anàlisi de qualitat i avaluació
Prompsit Dataset Insights és una eina propietària desenvolupada pel nostre equip per analitzar corpus textuals. Avalua mètriques clau com la proporció de segments únics, el volum potencial de dades personals (PII), la distribució d’etiquetes de domini, la longitud mitjana i mediana de les frases i més d’una dotzena de paràmetres addicionals. L’informe ressalta àrees sorolloses, mostra quines parts cal netejar o enriquir i us ajuda a prioritzar els propers passos — estalviant temps i pressupost en la preparació de dades. Aquesta eina ja ha demostrat la seva fiabilitat en el projecte HPLT, on Prompsit va auditar corpus amb milers de milions de segments — i està preparada per fer el mateix amb les vostres dades.
Enriquiment sintètic
Quan les dades són escasses — sobretot en dominis especialitzats o llengües de pocs recursos — enriquim el corpus amb segments paral·lels sintètics. Utilitzant combinacions acurades de LLM + NMT, generem traduccions i després apliquem filtres automàtics i basats en regles per seleccionar només aquelles que compleixen amb l’estil, la terminologia i la cobertura de domini requerits. Aquest mètode permet escalar ràpidament el vostre dataset sense afegir soroll, fent-lo adequat per a entrenament, avaluació o proves internes.
Compliment RGPD / AI Act UE
Amb l’AI Act de la UE ja en vigor, tots els models lingüístics i datasets d’entrenament destinats al mercat europeu han de complir requisits legals estrictes — inclosa la documentació de les fonts de dades, l’anonimització de PII i la traçabilitat de la curació de datasets. A Prompsit implementem aquestes salvaguardes per defecte: cada dataset inclou traçabilitat completa, metadades estructurades i proves clares de compliment amb el RGPD i l’AI Act — perquè el vostre model sigui efectiu i legalment desplegable a Europa.
