README

English

doris通过极少量数据（5 分钟一次）时可以使用 INSERT 写入数据, 吞吐较高时推荐使用 Stream Load 通过 HTTP 写入数据

Stream Load

安装

composer require tangwei/doris

使用

快速使用

$feHost = 'http://127.0.0.1:8030';       
$db = 'test_db';       
$user = 'root';       
$password = '';       
$streamLoad = new StreamLoad($feHost, $db, $db,$password);
$builder = $streamLoad->table('test_stream_load');
$builder->data([
    ['user_id' => 1, 'name' => 'q', 'age' => 11],
    ['user_id' => 2, 'name' => 'w', 'age' => 118],
]);
$builder->data(
    ['user_id' => 3, 'name' => 'q3', 'age' => 9],
);
$data = $builder->load();

获取streamLoad对象

通过.env文件配置,获取streamLoad对象

DORIS_FE_HOST=http://192.168.1.72:8040
DORIS_DB=testdb
DORIS_USER=root
DORIS_PASSWORD=''
DORIS_CONST_MEMORY=1

$streamLoad = Doris::streamLoad();

内存模式

提交大量数据时,可以设置constMemory为true,减少内存占用

$streamLoad = Doris::streamLoad();
$builder = $streamLoad->constMemory(true)->table('test_stream_load');

设置Header参数

可以通过setHeader方法设置参数,参考官方文档Header参数

$builder = Doris::table('test_stream_load');
$builder->setHeader(\Doris\StreamLoad\Header::COLUMNS, 'user_id,name,age');

异步模式

$builder = Doris::table('test_stream_load');
$builder->setHeader(\Doris\StreamLoad\Header::GROUP_COMMIT, 'async_mode');

通过文件提交数据

本地有cvs文件,可以通过文件直接导入上传

$builder = Doris::table('test_stream_load')
            ->setHeaders([
                'format' => 'csv',
                'column_separator' => ',',
                'trim_double_quotes' => 'true',
                'enclose' => '"',
            ])
            ->load('/user/test.csv');

hyperf 框架使用

底层自动判断协程环境,无需额外处理

性能测试