PunctuationPreTokenizer

Full name Microsoft.VisualBasic.Data.NLP.ChineseTokenizer.HuggingFace.PunctuationPreTokenizer Assembly Microsoft.VisualBasic.Data.NLP Members 1

按标点符号切分的预分词器。

01 Syntax

Microsoft.VisualBasic.Data.NLP.ChineseTokenizer.HuggingFace.PunctuationPreTokenizer

02 Methods

Name	Overloads	Summary
IsPunctuation	1	与 huggingface 保持一致：ASCII 区间内的非字母数字字符也视为标点。

03 Members

method IsPunctuation #

IsPunctuation(Char)

与 huggingface 保持一致：ASCII 区间内的非字母数字字符也视为标点。