cxrxexo/tiktoken
最新稳定版本：1.0.1
Composer 安装命令：
composer require cxrxexo/tiktoken
包简介
PHP version of tiktoken. PHP 7.4+ required.
README 文档
README
This is a port of the tiktoken-php.
Installation
$ composer require cxrxexo/tiktoken
Usage
use CxRxExO\Tiktoken\EncoderProvider; $provider = new EncoderProvider(); $encoder = $provider->getForModel('gpt-3.5-turbo-0301'); $tokens = $encoder->encode('Hello world!'); print_r($tokens); // OUT: [9906, 1917, 0] $encoder = $provider->get('p50k_base'); $tokens = $encoder->encode('Hello world!'); print_r($tokens); // OUT: [15496, 995, 0]
Limitations
- Encoding for GPT-2 is not supported.
- Special tokens (like
<|endofprompt|>) are not supported.
License
统计信息
- 总下载量： 2.11k
- 月度下载量： 0
- 日度下载量： 0
- 收藏数： 2
- 点击次数： 0
- 依赖项目数： 0
- 推荐数： 0
其他信息
- 授权协议： MIT
- 更新时间： 2023-06-24