nuget
Metaspace 预分词器：把空格替换为 ▁（U+2581），SentencePiece 系列专用。
MetaspacePreTokenizer
01 Syntax
Microsoft.VisualBasic.Data.NLP.ChineseTokenizer.HuggingFace.MetaspacePreTokenizer
02 Methods
| Name | Overloads | Summary |
|---|---|---|
| .ctor | 1 |
03 Fields
| Name | Overloads | Summary |
|---|---|---|
| DefaultReplacement | 2 | SentencePiece 用于表示空格的替代字符。 |
04 Members
#ctor(
String, String, Boolean)Parameters
| Name | Type | Description |
|---|---|---|
replacement | String | 用于替换空格的字符。 |
prependScheme | String |
|
split | Boolean | 为真时按替代字符再切分为多个分片。 |
DefaultReplacement
SentencePiece 用于表示空格的替代字符。
DefaultReplacement