目录
产品简介
lindorm是阿里云推出的一款适用于任何规模、多种类型的云原生数据库服务,支持海量数据的低成本存储处理和弹性按需付费,提供宽表、时序、搜索、文件等多种数据模型,兼容hbase、cassandra、phoenix、opentsdb、solr、sql等多种开源标准接口,是互联网、iot、车联网、广告、社交、监控、游戏、风控等场景首选数据库,也是为阿里巴巴核心业务提供关键支撑的数据库之一。
lindorm基于存储计算分离、多模共享融合的云原生架构,具备弹性、低成本、简单易用、开放、稳定等优势,适合元数据、日志、账单、标签、消息、报表、维表、结果表、feed流、用户画像、设备数据、监控数据、传感器数据、小文件、小图片等数据的存储和分析,其核心能力包括:
-
多模超融合:支持宽表、时序、对象、文本、队列、空间等多种数据模型,模型之间数据互融互通,具备数据接入、存储、检索、计算、分析等一体化融合处理与服务的能力,帮助应用开发更加敏捷、灵活、高效。
-
极致性价比:支持千万级高并发吞吐、毫秒级访问延迟,并通过多级存储介质、智能冷热分离、自适应特征压缩,大幅减少存储成本。
-
云原生弹性:支持计算资源、存储资源独立弹性伸缩,并提供按需即时弹性、按使用量付费的serverless服务。
-
开放兼容:兼容sql、hbase/cassandra/s3、tsdb、hdfs、solr、kafka等多种标准接口,支持与hadoop、spark、flink、kafka等系统无缝打通,并提供简单易用的数据交换、处理、订阅等能力。
产品优势
lindorm是一款适用于任何规模、多种模型的云原生数据库服务,其基于存储计算分离、多模共享融合的云原生架构设计,具备弹性、低成本、稳定可靠、简单易用、开放、生态友好等优势。
云原生弹性
- 基于存储计算分离的全分布式架构,支持计算资源和存储资源的独立弹性伸缩。
- 存储资源支持秒级在线扩缩,计算资源(宽表引擎、时序引擎、搜索引擎)支持分钟级在线伸缩。
- 提供按需即时弹性、按使用量付费的serverless服务,自适应弹性伸缩,无需人工容量管理。
多模超融合
- 多模型之间支持数据互通,搜索引擎可无缝作为宽表引擎、时序引擎的索引存储,加速多维检索与分析。
- 具备数据接入、存储、检索、计算、分析等一体化融合处理与服务的能力
- 支持统一的sql访问,以及跨多模引擎关联查询。
- 无需二次开发,内置数据转换、同步、订阅等能力
低成本
- 提供性能型、标准型、容量型多种存储规格,可满足不同场景的性价比选择。
- 多种引擎共享统一的存储池,减少存储碎片,降低使用成本。
- 容量型存储单价为业界最低标准,大幅低于基于ecs本地盘自建。
- 内置深度优化的压缩算法,数据压缩率高达10:1以上,相比snappy提高50%以上。
- 内置面向数据类型的自适应编码,数据无需解码,即可快速查找。
- 支持智能冷热分离,多种存储规格混合使用,大幅降低数据存储综合成本。
高性能
- 宽表引擎:支持千万级并发吞吐,支持百pb级存储,吞吐性能是开源hbase的3-7倍,p99时延为开源hbase的1/10。
- 时序引擎:写入性能和查询性能是influxdb的1.3倍,是opentsdb的5-10倍。
- 搜索引擎:基于lucene引擎深度优化,综合性能比开源solr/es提升30%。
易用
- 兼容多种开源标准接口,包括hbase/cassandra/phoenix、opentsdb、solr,业务可以无缝迁移。
- 云托管服务,免运维。
- 图形化系统管理和数据访问,操作简单。
高可用
- 系统采用分布式多副本架构,集群自动容灾恢复,并提供99.9%以上的sla保障。
- 支持跨可用区、强一致的容灾能力,具备金融级可用性标准。
- 支持全球多活部署。
高可靠
- 底层多副本存储,99.99999999%的数据可靠性。
- 提供企业级备份能力。
- 在阿里部署上万台,支持过10年天猫双十一,久经验证。
开放生态
- 支持与mysql、hbase、cassandra等系统的平滑在线数据搬迁。
- 可轻松与spark、flink、hadoop、maxcompute等计算引擎无缝对接。
- 支持无缝订阅kafka、sls等日志通道的数据,并具备快速处理能力。
- 可以实时订阅lindorm的增量变更数据,自定义消费。
产品架构
lindorm创新性地使用存储计算分离、多模共享融合的云原生架构,以适应云计算时代资源解耦和弹性伸缩的诉求。
其中云原生存储引擎lindormstore为统一的存储底座,向上构建各个垂直专用的多模引擎,包括宽表引擎、时序引擎、搜索引擎、文件引擎。在多模引擎之上,lindorm既提供统一的sql访问,支持跨模型的联合查询,又提供多个开源标准接口(hbase/phoenix/cassandra、opentsdb、solr、hdfs),满足存量业务无缝迁移的需求。
最后,统一的数据stream总线负责引擎之间的数据流转和数据变更的实时捕获,以实现数据迁移、实时订阅、数湖转存、数仓回流、单元化多活、备份恢复等能力。
应用场景
lindorm可以提供单个毫秒响应的性能,支持水平扩展到pb级存储和千万级qps,在iot、淘宝、支付宝、菜鸟等众多阿里巴巴核心服务中起到了关键支撑的作用。
- 阿里巴巴集团内部最佳实践
- 大数据场景:海量数据存储与分析
- 广告场景:海量广告营销数据的实时存储
- 金融&零售:海量订单记录与风控数据的实时存储
- 车联网:车辆轨迹与状况数据的高效存储处理
- 互联网社交:高效、稳定的社交feed流信息存储
2021年双11,lindorm为手淘互动营销、智能风控、媒体大屏、生意参谋、花呗决策、消费记录等核心系统保驾护航,提供集群水位和状态透传产品化能力,业务可自行按需伸缩,提升备战效率,业务支持成本降低80%。云原生serverless架构升级,大促资源按需弹性伸缩,资源管理效率提升10倍 ,降本增效。基于存储池化及透明压缩技术,最高降低53%存储成本。分布式3az架构,实现秒级恢复的跨机房强一致容灾能力,支撑金融级高可用场景。
所属公司
阿里云
相关资料
lindorm官方文档:https://help.aliyun.com/product/172543.html
2021年,lindorm 已经在阿里发展了十年的时间,从基于 hbase 深度改造的 lindorm 1.0 版本,到全面重构,架构大幅升级的 lindorm 2.0 版本;从单一的宽表引擎,到支持搜索、时序、文件等多种结构化数据处理的多模引擎,lindorm 始终保持着快速迭代和升级的速度,以满足阿里集团各类业务的数据存储需求。