IPostProcessor

Full name Microsoft.VisualBasic.Data.NLP.ChineseTokenizer.HuggingFace.IPostProcessor Assembly Microsoft.VisualBasic.Data.NLP Members 1

后处理器契约，对应 tokenizer.json 中的 post_processor 段。

01 Syntax

Microsoft.VisualBasic.Data.NLP.ChineseTokenizer.HuggingFace.IPostProcessor

02 Methods

Name	Overloads	Summary
Process	1	对模型产出的 token 序列执行后处理（例如添加 CLS/SEP 等特殊 token）。

03 Members

method Process #

Process(List(Of Token), Boolean)

对模型产出的 token 序列执行后处理（例如添加 CLS/SEP 等特殊 token）。

Parameters

Name	Type	Description
`addSpecialTokens`	`List(Of Token)`	是否允许添加特殊 token。