组合预分词器:把上一级产出的分片依次交给子预分词器继续细分。
SequencePreTokenizer
00 Remarks
这里采用逐级 map-flatten 的处理方式,即第 N 个子预分词器处理的是第 N-1 个 子预分词器产出的全部分片,而不是重新处理原始输入串。
01 Syntax
Microsoft.VisualBasic.Data.NLP.ChineseTokenizer.HuggingFace.SequencePreTokenizer
02 Methods
| Name | Overloads | Summary |
|---|---|---|
| PreTokenize | 1 |
03 Members
PreTokenize(
List(Of Split))