SentencePiece 的 Precompiled 归一化器。
PrecompiledNormalizer
00 Remarks
完整实现需要解释 SentencePiece 内嵌的 precompiled_charsmap 有限状态机 二进制数据,这里退化为语义上最接近的 NFKC 标准化,并在首次使用时打印一次 警告,避免使用者在结果不一致时无从排查。
01 Syntax
Microsoft.VisualBasic.Data.NLP.ChineseTokenizer.HuggingFace.PrecompiledNormalizer
02 Methods
03 Members
WarnOnce
仅在首次调用时输出一次降级警告,避免刷屏。
Normalize(
String)