En cliquant sur "Accepter ", vous acceptez que des cookies soient stockés sur votre appareil afin d'améliorer la navigation sur le site, d'analyser son utilisation et de contribuer à nos efforts de marketing. Consultez notre politique de confidentialité pour plus d'informations.
La tokenización es un proceso de procesamiento del lenguaje natural que implica dividir el texto en unidades más pequeñas llamadas «fichas» (palabras, frases o caracteres). Cada token representa una unidad distinta que la IA puede procesar. Este paso es fundamental para permitir que los modelos analicen y comprendan el texto.
