跳到正文
原文
Hugging Face Blog·· 10 天前AI 评分51

tokenizers v1 性能实测:编码、解码与并行扩展

tokenizers v1: encode, decode and scaling, measured

AI 导读

Hugging Face 实测 tokenizers v1 候选版,在 Apple M4 Max 上覆盖的 10 个模型家族中,单线程编码比 v0.23 快 3 至 30 倍,保持相同 token ID 输出。

来源:Hugging Face Blog · huggingface.co