nuget server logo nuget api documents
↑

API Docs / Microsoft.VisualBasic.Data.NLP / SequencePreTokenizer

SequencePreTokenizer

Full name Microsoft.VisualBasic.Data.NLP.ChineseTokenizer.HuggingFace.SequencePreTokenizer Assembly Microsoft.VisualBasic.Data.NLP Members 1

组合预分词器:把上一级产出的分片依次交给子预分词器继续细分。

00 Remarks

这里采用逐级 map-flatten 的处理方式,即第 N 个子预分词器处理的是第 N-1 个 子预分词器产出的全部分片,而不是重新处理原始输入串。

01 Syntax

Microsoft.VisualBasic.Data.NLP.ChineseTokenizer.HuggingFace.SequencePreTokenizer

02 Methods

NameOverloadsSummary
PreTokenize 1

03 Members

method PreTokenize #
PreTokenize(List(Of Split))