Английский ⇄ Немецкий Русский Украинский Японский +

tokenized глаг. ударения
ИТ.	размеченный
tokenize глаг.
комп.	пометить; помечать; снабжать метками
прогр.	маркировать (ssn); разбивать на лексемы (ssn); выделять лексемы (ssn)

tokenized : 5 фраз в 3 тематиках

Искусственный интеллект	3
Майкрософт	1
Программирование	1