nuget server logo nuget api documents
↑

API Docs / Microsoft.VisualBasic.Data.NLP / PrecompiledNormalizer

PrecompiledNormalizer

Full name Microsoft.VisualBasic.Data.NLP.ChineseTokenizer.HuggingFace.PrecompiledNormalizer Assembly Microsoft.VisualBasic.Data.NLP Members 2

SentencePiece 的 Precompiled 归一化器。

00 Remarks

完整实现需要解释 SentencePiece 内嵌的 precompiled_charsmap 有限状态机 二进制数据,这里退化为语义上最接近的 NFKC 标准化,并在首次使用时打印一次 警告,避免使用者在结果不一致时无从排查。

01 Syntax

Microsoft.VisualBasic.Data.NLP.ChineseTokenizer.HuggingFace.PrecompiledNormalizer

02 Methods

NameOverloadsSummary
WarnOnce 1 仅在首次调用时输出一次降级警告,避免刷屏。
Normalize 1

03 Members

method WarnOnce #
WarnOnce

仅在首次调用时输出一次降级警告,避免刷屏。

method Normalize #
Normalize(String)