nuget server logo nuget api documents
↑

API Docs / Microsoft.VisualBasic.Data.NLP / ByteLevelDecoder

ByteLevelDecoder

Full name Microsoft.VisualBasic.Data.NLP.ChineseTokenizer.HuggingFace.ByteLevelDecoder Assembly Microsoft.VisualBasic.Data.NLP Members 1

ByteLevel 解码器:把映射字符还原为字节序列之后按 UTF-8 解码。

00 Remarks

必须先把所有 token 拼接起来再统一还原,因为一个多字节的 UTF-8 字符 完全有可能被拆分到相邻的两个 token 之中,逐个 token 解码会产生乱码。

01 Syntax

Microsoft.VisualBasic.Data.NLP.ChineseTokenizer.HuggingFace.ByteLevelDecoder

02 Methods

NameOverloadsSummary
Decode 1

03 Members

method Decode #
Decode(IEnumerable(Of String))