tokenized
| attribute type
| tokenize abbr. | |
| comp. | пометить; помечать; снабжать метками |
| progr. | маркировать; разбивать на лексемы; выделять лексемы |
| attribute type abbr. | |
| comp., MS | тип атрибута |
| IT | тип атрибута |
| tech. | тип признака |
| |||
| пометить; помечать; снабжать метками | |||
| маркировать (ssn); разбивать на лексемы (ssn); выделять лексемы (ssn) | |||
| |||
| размеченный | |||
|
tokenized : 5 phrases in 3 subjects |
| Artificial intelligence | 3 |
| Microsoft | 1 |
| Programming | 1 |