Découpage en deux parties

Dans ce projet, vous apprendrez à implémenter un tokenizer de sous-mots, qui est une étape cruciale dans les tâches de traitement du langage naturel. La tokenization est le processus de division d'une chaîne de texte en unités plus petites, appelées tokens, qui peuvent être des mots individuels, des caractères ou des sous-mots. Ce projet se concentre sur la tokenization au niveau des sous-mots, qui est couramment utilisée en anglais et dans d'autres langues à base latine.

💡 Ce tutoriel est traduit par l'IA à partir de la version anglaise. Pour voir la version originale, vous pouvez cliquer ici