Il processo mediante il quale un flusso di caratteri è raggruppato in una serie di elementi lessicali o gettoni, e tutti i dati disponibili dizionario è associato con gli elementi lessicali. Analisi lessicale comprende tre fasi distinte: segmentazione, normalizzazione e annotazione.