TDMQ CKafka 版弹性存储能力重磅上线！
导语
自 2024年5月起，TDMQ CKafka 专业版支持弹性存储能力，这种产品形态下，存储可按需使用、按量付费，一方面降低消费即删除、存储使用波动大场景下的存储成本，另一方面存储空间理论上无穷大。
TDMQ CKafka 版产品能力介绍
腾讯云 TDMQ CKafka 版是一个分布式、高吞吐量、高可扩展性的消息系统，100%兼容开源 Kafka API 2.4、2.8、3.2 版本。基于发布/订阅模式，通过消息解耦，使生产者和消费者异步交互，无需彼此等待。TDMQ CKafka 版具有高可用、数据压缩、同时支持离线和实时数据处理等优点，适用于日志压缩收集、监控数据聚合、流式数据集成等场景。
为什么要做弹性存储？
随着技术的发展，Serverless 的技术形态和使用姿势，为用户带来了技术和成本二者兼得的益处。一方面，通过商业化 PaaS 产品的技术实力，设计系统架构。另一方面，计费模式从购买固定规格改变为弹性按量付费，使得客户的存储按照实际的使用量进行计费，且存储支持弹性扩容，帮助客户有效提升资源利用率并降低业务成本。
比如，某客户在购买集群时，需要指定最小集群存储 200G，但业务初期，实际使用率不到10%，而后期随着业务的上量，在不改动规格的基础上，又要不断给存储扩容。
故而，TDMQ CKafka 专业版推出 弹性存储 形态。一方面降低消费即删除、存储使用波动大场景下的存储成本，另一方面存储空间理论上无穷大。
技术方案
专业版的弹性存储形态，基于「本地存储 + 远程存储」相结合的方式实现。即采用分级存储方案，本地会有少量的云盘热数据，远程存储有大量的冷数据。
本地存储
● 本地存储服务写流量/Tail-Read 读，提供与原生 Kafka 一致的延时、可用性和一致性。
● 远程存储故障或者性能衰退，本地存储支持弹性扩容提供读写服务。
远程存储
● 远程存储服务 Catch- Up 读，冷热数据分离。
● 按需使用，按量计费。
● 未来扩展性良好，支持多模存储，多介质存储。
该技术方案在写入延迟和本地写入延时是一致的，在远程存储出现故障或者毛刺的时候，可以退化为本地存储，再结合自动化运营系统对本地存储形态进行动态扩容。同时，远程的存储相对廉价，可以一定程度上实现降本。
分级存储读写流程
生产流程
生产的主体流程和原生 Kafka 类似，写入到云盘的数据会异步同步到远端存储 COS。
消费流程
消费的流程也是类似的，会根据用户 Consumer 的 Offset来做一个比较，如果是在本地存储，那么就本地存储优先返回。如果本地存储没有，那就从远端存储里面去实时读取，或者说根据不同的读取策略有不同的读取下载策略，进行消息读取的消费。
更加详细的数据生命周期管理、Offset 约束、Segment 状态机、分级存储架构等，请参考Kafka 分级存储在腾讯云的实践与演进。
弹性存储售卖方式
按照消息存储所占用的存储空间大小和存储时长计费。
● 计费方式：按量计费（后付费），计量单位为 “XX 元/GB/小时”。
● 计费粒度：小时，不足1小时按1小时计算。按1小时内使用的磁盘容量的最大值计费。
存储费用 = 消息存储大小 × 存储单价 × 时长。
不同的地域价格不同，具体单价请参考实际售卖页价格：登录 - 腾讯云
使用说明
当前功能还是在白名单状态，如需使用请联系我们或售后架构师。
提单地址：https://cloud.tencent.com/online-service
使用限制
● 引擎版本：当前仅在专业版 Kafka 2.8.1 引擎版本下支持弹性存储。
● 地域：当前仅在北京、上海、广州、新加坡、香港地域下，支持该形态。
购买方式
-
控制台购买集群时：
-
规格类型，选择专业版；
-
存储类型，选择弹性存储；
-
确定其他选项后，发起创建即可。