Lecture 2 Text Preprocessing

目录

• • • Some Definitions
    • Reasons for Preprocessing
    • Preprocessing Steps
    • Sentence Segmentation 句子分割
    • Binary Classifier 二元分类器
    • Word Tokenization: English 英文词元标记化
    • Word Tokenization: Chinese 中文词元标记化
    • Word Tokenization: German 德语词元标记化
    • Subword Tokenization 子词标记化
    • • Byte-Pair Encoding 字节对编码
      • Disadvantage of Word Tokenization 词元标记化的缺点
    • Word Normal