Stemming ва lemmatization дар IR чӣ аст?

Stemming ва lemmatization — это методҳои стандарткунии калимаҳост, ки дар ҷустуҷӯи иттилоот (IR) кӯмак мекунанд, то шаклҳои гуногуни калимаро ба шакли асосӣ баргардонанд, то беҳтар кардани ҷустуҷӯ ва таҳлили матн.

• Stemming — ин равандест, ки дар он суффиксҳо ва охиринҳои калимаҳоро мебурад, то решаи калимаро ба даст орад. Он одатан қоидаҳои содда истифода мекунад ва метавонад ба шаклҳои нодуруст ё кӯтоҳ оварда расонад. Масалан, калимаҳое мисли "running", "runs", "runner" метавонанд ба "run" ё ҳатто ба "runn" кӯтоҳ карда шаванд.

• Lemmatization — раванди мураккабтарест, ки ба контекст ва шакли грамматикӣ диққат медиҳад, то калимаро ба шакли луғӣ (лемма) баргардонад. Масалан, "better" ба "good" ва "running" ба "run" табдил меёбад.

Дар IR, ин усулҳо кӯмак мекунанд, ки шаклҳои гуногуни калимаҳоро муттаҳид кунанд, то аҳамияти ҷустуҷӯро беҳтар кунанд.