全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

Doris如何实现数据的冷热分层？

提问者：帅平问题分类：数据库

Doris如何实现数据的冷热分层？

Doris

发布于：3个月前 (02-08) IP属地：四川省

2 个回答

蓝鲸少女与猫

实现冷热分层的步骤如下：
1、在fe.conf中分别打开冷热分层的配置

enable_storage_policy=true

2、创建一个minio的resources

CREATE RESOURCE "remote_s3"
PROPERTIES
(
    "type" = "s3",
    "AWS_ENDPOINT" = "localhost:9000",
    "AWS_REGION" = "xian",
    "AWS_BUCKET" = "test",
    "AWS_ROOT_PATH" = "/test/test001",
    "AWS_ACCESS_KEY" = "minioadmin",
    "AWS_SECRET_KEY" = "minioadmin",
    "AWS_MAX_CONNECTIONS" = "50",
    "AWS_REQUEST_TIMEOUT_MS" = "3000",
    "AWS_CONNECTION_TIMEOUT_MS" = "1000"
);

3、创建数据迁移策略，用于冷热数据交换

CREATE STORAGE POLICY test_policy
PROPERTIES(
    "storage_resource" = "remote_s3",
    "cooldown_ttl" = "1h"
);

发布于：3个月前 (02-08) IP属地：四川省

心已打烊

4、创建一张表，应用上面的数据迁移策略

CREATE TABLE IF NOT EXISTS create_table_use_created_policy 
(
    k1 BIGINT,
    k2 LARGEINT,
    v1 VARCHAR(2048)
)
UNIQUE KEY(k1)
DISTRIBUTED BY HASH (k1) BUCKETS 1
PROPERTIES(
    "storage_policy" = "test_policy",
    "replication_num" = "1"
);

发布于：3个月前 (02-08) IP属地：四川省

我来回答