半岛体育-长安汽车使用 IoTDB 构建 1.5 亿时间序列车况数据处理方案，查询稳定实现毫秒级返回

山工机械长安汽车利用 IoTDB 构建 1.5 亿时候序列车况数据处置方案，查询不变实现毫秒级返回 www.6300.net 2023-04-04中国工程机械信息网

1. 长安汽车营业场景

重庆长安汽车股分有限公司是中国汽车四年夜团体阵营企业，是一家开辟、制造、发卖全系列乘用车和商用车的汽车公司，其首要产物有全系列乘用车、小型商用车、轻型卡车、微型面包车和年夜中型客车，全系列策动机等。长安汽车始终以“引领汽车文明，造福人类糊口”为任务，以客户为中间，以产物为主线，延续供给高品质的产物和办事，奋力推动第三次创业——立异创业打算，向智能低碳出行科技公司转型，为实现世界一流汽车企业尽力奋斗。

今朝，数字化手艺对汽车进行了深度的重构，汽车从一个配备电子功能的机械产物逐步演化为一个配备机械功能的电子产物，云数据和 AI 手艺的融会逐步将汽车变成一个年夜型的智能移动终端、数据收集载体、能源储能单位和一个移动的多功能空间。总的来讲此刻的智能汽车已逐步改变为一个具有多功能空间的轮式移念头器人。在如许的布景下，国度政策鼎力鼓动勉励成长智能化汽车和主动驾驶的产学研带动，国内头部和新权势主机厂也逐步将智能网联车或主动驾驶标的目的作为焦点营业展开。

长安汽车出力成长智能化汽车标的目的，利用全景包罗智能车控（长途节制阐发）、智能座舱（车机埋点、车机用户行动阐发）、IoT 数据接入（准入检测、车机激活监控）和 IoT 的车况治理（车况监控、动力研究、车联网年夜屏），实现营业揭示包罗慧眼系统、车辆长途诊断和长途预警系统、长途调试系统等。

为实现智能化汽车扶植，长安汽车构建了长安智能汽车数据平台，此年夜数据处置平台一共分为五层：数据接入层、数据存储层、资本调剂层、计较引擎层、营业揭示层。今朝 IoTDB 首要用在数据存储层，以应对车联网海量时序数据的治理。

实现智能化汽车标的目的的工业场景触及到车辆装备和传感器层年夜量的时序数据收集，这就对时序数据解决方案的完美性和效力提出了庞大挑战。长安汽车今朝的时序数据解决方案存在较着局限性，是以但愿追求对智能化汽车范畴的时序数据更优的写入、存储、查询、阐发方案。

基在 IoTDB 时序数据库的特点和优势，长安汽车选择利用 IoTDB 作为海量智能网联车辆的车况时序数据处置方案，实现了年夜体量数据写入与存储矫捷扩容，并有用提高查询机能，下降装备与运维本钱。

2. 营业需求痛点

2.1亿级数据测点，每秒超万万条新增数据点

长安汽车作为中国四年夜汽车团体之一，营业体量重大，需处置车辆多、数据量年夜。今朝长安汽车的网联车海量车况时序数据治理系总共收集网约车约 57 万辆，总计数据测点到达 1.5 亿，数据点每秒新增超万万。是以，长安汽车对此数据量下时序数据库的及时写入、紧缩与存储能力均要求较高。

2.2 高速旌旗灯号收集频率高

长安汽车的车辆收集旌旗灯号分为高速旌旗灯号和常规旌旗灯号两种。高速旌旗灯号需告竣毫秒级收集，常规旌旗灯号 3-4 秒级收集。长安汽车的时序数据解决方案需可以或许同时撑持此两类分歧的收集频次，并包管高速旌旗灯号的及时低延迟收集的延续运行。

2.3 低延迟数据查询

长安汽车的车辆数据查询场景首要包罗单车多时候序列的高效查询和单车全时候序列的最新点的查询，也就是车联网场景中很经典的及时车况和离线车况/汗青车况的查询场景。长安汽车的时序数据解决方案需在低延迟的环境下有用撑持即时的及时查询，与年夜体量已存储的汗青数据查询。

基在之前长安汽车的时序数据解决方案，一份车况数据进入 HBase 后假如要做阐发，需要从 HBase 里把增量的数据完全卸载出来，而这个批量的规模读取进程耗时很长。例如 HBase 假如要做昨天数据的离线处置，今天清晨就需要把操作性数据卸载出来放入 Hadoop 做阐发。别的，跟着营业量增年夜，利用 HBase 进行批量读取的耗时也愈来愈长，不顺应快速扩大的数据量场景。

2.4 本钱、保护难度高

长安汽车最最先对时序数据治理的解决方案采取 HBase，但面临每秒万万的数据测点，HBase 的集群数据写入用了 25 个数据节点承当，如斯多的数据节点直接致使系统的保护难度和本钱较高。

3. 选型IoTDB缘由

3.1 数据布局包管高扩大性、低本钱、高不变性

针对长安汽车重大的已稀有据体量和新增数据体量处置需求，IoTDB 专属的物联网原生时序模子以装备、测点/传感器为层级存储时候序列数据，跟着数据量的不竭增添，只需直接扩大查询节点的硬件装备，无需中止系统的正常运行，可告竣秒级扩容，有用下降治理与运维本钱。

3.2 实现万万写入速度

针对长安汽车对时序数据频密写入的需求，IoTDB 可以或许实现每秒万万数据点写入、处置多装备亿级点位的能力，且写入速度不随数据量增加而降落，保持不变高速程度。

3.3 撑持高效明细、最新值查询

长安汽车在车辆故障报警场景下，会利用 IoTDB 进行海量网联车车况数据的明细查询。IoTDB 采取从根节点以下，以数据点自带的时候戳，与多层级存储的路径连系的存储架构，使得分歧维度的时序数据可以被有用分类存储，继而在查询�뵺��时可较快独一肯定 IoTDB 中的时序数据，从而在利用明细查询的环境下，仍然连结查询高效力。

3.4 晋升批量读取速度，告竣及时阐发

针对长安汽车在数据阐发前对数据的快速批量读取需求，IoTDB 因存在时候索引，可直接同步 IoTDB 底层数据文件，并应用 IoTDB 与其他年夜数据系统的无缝集成，用 Spark 引擎直接对存储文件 TsFile 进行及时阐发，比拟本来的方案削减阐发数据所需的导出份数，提高阐发计较效力。

3.5 和时运维，积极验证

长安汽车项目方认为，当营业场景给时序数据解决方案带来新的挑战时，处置问题的效力和思绪是很主要的，一个优异的时序数据解决方案背后的团队需要可以或许快速解决问题，使数据库涵盖营业场景所需的机能晋升与丰硕功能。长安汽车在出产情况上碰到的问题，IoTDB 的研发团队总会很快调和到相干的研发资本进行帮忙。作为聚集了一批数据库焦点手艺专家和工业资深专家、具有十几年研究和办事工业用户的经验的团队，团队成员也特殊愿意用 IoTDB 在工业互联网场景去做生态情况的验证，使得项目标成功与产物的成熟可以实现互利双赢。长安汽车项目方暗示了对 IoTDB 开辟团队的感激。

可以看到，IoTDB 的手艺优势可以或许有用的解决长安汽车今朝治理时序数据的营业痛点，是以长安汽车选择 IoTDB 构建长安智能汽车数据平台的数据存储层。下面就长安汽车基在 IoTDB 构建的年夜范围时序数据治理的解决方案架构、时序模子布局设置与查询机能结果睁开介绍与阐发。

4. 解决方案架构

车联网是一个典型的物联网场景。物联网场景的数据主体是时序数据，全部时序数据的生命周期分为收集、缓存、处置、存储、查询阐发和可视化利用六年夜阶段。

在长安汽车车联网场景中，利用 Tbox 和 THU 等装备和传感器做车联网数据（例如策动机的电喷数据、转速、车辆的车速等）的收集。数据上云以后，基在长安汽车私有的 TCP 和谈和基在 Netty 编写的网关进行报文的摄取。经由过程 CLB 进入 K8s 的 TU-GW 利用后，对报文进行解析。报文解析后发送到动静队列，并把分歧营业所需要的时序动静分发到分歧的存储端上。写入至存储引擎后，长安汽车 TSP 营业系统和 APP 将针对车辆的最新数据和汗青车况，对时序数据进行查询操作。

今朝长安汽车的年夜范围时序数据治理的架构，分为 1.0 和 2.0 版本。1.0 版本针对车况场景首要利用的时序存储引擎为 HBase，实现汗青车况数据写入。因汗青数据体量重大，需 25 个 HBase 数据节点写入集群数据。同时，1.0 版本的 HBase 集群设置装备摆设 10 个 Region Server。因为 HBase 的存储架构没法自力撑持最新车况查询，最新车况查询需基在 Redis 实现。

2.0 版本的架构采取经由过程 Kafka 将数据写入 IoTDB 的架构。测试场景采取单机高 IO 的机型，即年夜内存（约 384 G）+全 SSD（约 50 T）的集群设置装备摆设。颠末 IoTDB 杰出的数据 schema 设计后，一台 IoTDB 的机械即取代了 25 个 HBase 节点的写入功能，并成功保持跨越一年的高不变度。今朝测试数据体量约 150 万条数据/秒，一条时序数据平均触及 16-17 个测点，不变撑持整体写入数据体量约万万级。

同时，IoTDB 的壮大数据查询能力，使基在 IoTDB 的 2.0 版本实现了一套引擎撑持单车时候规模查询（及时查询）和单车全时候序列最新点的查询（最新车况查询）场景，并能不变告竣两种查询类型成果的毫秒级返回。

写入与查询能力的晋升，让基在 IoTDB 的时序数据治理架构年夜幅下降了原有 HBase+Redis 方案的复杂度，并使 IoTDB 可接入装备和数据的体量得以不竭增添。今朝，长安汽车利用 IoTDB 单机接入装备约57万，托管时候序列约1.5亿。

5. 时序模子和查询利用

今朝，在 IoTDB 的根节点、营业名称、装备层、传感器层的四级节点时序模子设计上，长安汽车的装备层采取 TBOX 的 TUID，即装备 ID 作为第三级节点；在传感器/测点层，除涵盖旌旗灯号名，利用下划线毗连 CANID 作为第四级节点。此存储布局的设计缘由是可以便利的利用 IoTDB 撑持的 select last * from root.CANID 号令查询，以便查询单车在某 CANID 下所有的数据值，进而让 IoTDB 同时实现长安汽车的首要查询场景：及时车况和汗青车况的组合查询。