搜索关键词：unigram，共找到 1 个结果
排序方式：
当前按 更新时间
降序 排列
webrek/tokenizers
Native byte-level BPE (tiktoken-compatible: cl100k_base/o200k_base) plus WordPiece and Unigram tokenizers for PHP 8.3+, with a process-shared vocab cache. Loads HuggingFace tokenizer.json models and counts Claude/Gemini tokens via their APIs.
版本：未知版本
下载：0
Stars：0
点击：3
时间：2026-06-29 23:03