BertNormalizer

Full name Microsoft.VisualBasic.Data.NLP.ChineseTokenizer.HuggingFace.BertNormalizer Assembly Microsoft.VisualBasic.Data.NLP Members 2

BERT 的归一化器：清理控制字符、可选地在 CJK 字符两侧补空格、去变音符号与小写化。

01 Syntax

Microsoft.VisualBasic.Data.NLP.ChineseTokenizer.HuggingFace.BertNormalizer

02 Methods

Name	Overloads	Summary
IsChineseChar	1	判断是否为 CJK 统一表意文字区段内的字符。
Normalize	1

03 Members

method IsChineseChar #

IsChineseChar(Char)

判断是否为 CJK 统一表意文字区段内的字符。

method Normalize #

Normalize(String)