ByteLevelPostProcessor

ByteLevel 后处理器。

该后处理器不会增删任何 token。其配置中的 add_prefix_space 与 trim_offsets 只影响偏移量的对齐语义，编码结果本身保持原样。这一点非常 关键：如果在此处再次追加前导空格，整个 id 序列都会发生偏移，从而与 python 端的 输出产生系统性差异。