Un token d’IA est l’unité fondamentale de texte que les grands modèles de langage utilisent pour traiter et générer du langage. Les tokens ne correspondent pas exactement à des mots : ce sont des fragments de texte déterminés par le tokeniseur du modèle, qui découpe le texte en segments exploitables pour le traitement.
La tokenisation varie selon le modèle : GPT-4 utilise environ 1 token pour 4 caractères de texte anglais (soit environ 0,75 mot par token), ce qui signifie qu’un document de 1 000 mots représente environ 1 333 tokens. Les langues se tokenisent différemment : certaines langues asiatiques peuvent utiliser davantage de tokens par caractère. Les caractères spéciaux, le code et les données structurées peuvent aussi se tokeniser différemment du langage naturel.
Les tokens sont importants pour la gestion de l’IA en entreprise pour plusieurs raisons : la gestion des coûts (la tarification des API d’IA repose généralement sur les tokens consommés, en entrée comme en sortie), les limites de fenêtre de contexte (les modèles ont un nombre maximal de tokens par conversation, ce qui conditionne les informations traitables), les implications de performance (des séquences de tokens plus longues augmentent la latence et le temps de traitement), la planification budgétaire (estimer les coûts d’IA suppose de comprendre les habitudes de consommation de tokens) et la surveillance de sécurité (l’analyse des tokens peut révéler le volume de données transitant par les outils d’IA).
Les organisations qui gèrent les coûts et la gouvernance de l’IA devraient surveiller la consommation de tokens entre les services et les outils, définir des budgets et des alertes de tokens, optimiser les requêtes pour l’efficacité en tokens et comprendre comment différents cas d’usage consomment des tokens afin de prendre des décisions éclairées sur l’allocation et les dépenses liées aux outils d’IA.