tokenize
| tokenize abbr. | |
| comp. | пометить; помечать; снабжать метками |
| progr. | маркировать; разбивать на лексемы; выделять лексемы |
| |||
| пометить; помечать; снабжать метками | |||
| маркировать (ssn); разбивать на лексемы (ssn); выделять лексемы (ssn) | |||
| |||
| размеченный | |||
|
tokenize : 2 phrases in 2 subjects |
| Microsoft | 1 |
| Programming | 1 |