AI构建特斯联数据分析大脑-达尔文平台

简介

特斯联达尔文平台，这是中国巨大的AIoT平台，AI技术与物联网大数据应用场景落地的平台，也被定位为“特斯联的智慧大脑”。

目前的达尔文-数据智能分析平台V1.0，通过深度挖掘，包括特斯联已在全国落地智能项目超8300余个项目的人、车、物、通行、能源、消防等多维数据的内在联系、因果关系，形成数据神经网络，赋能于智能城市、智能楼宇、智能停车等不同业务场景，服务政府、企事业单位等不同用户群体。

本文，通过对行业、技术、案例等多方面的详细内容，带大家更全面的了解特斯联达尔文平台。

前言

AI在数据分析领域简介

在物联网技术飞速发展的今天，数据变成了物联网世界的宝贵资产，有了持续产生的大规模的数据，机器学习和AI变成了助推物联网平台技术发展的强有利器，AIoT的时代的到来预示着未来几十年科技发展与进步。目前很多物联网公司只做到了物联感知的阶段，通过感知设备，实现数据BI化可视化，通过物联网云平台实现自动预警推送。已经能帮助城市管理者或者物业管理方实现大部分节省人力，实时查看管理范围内的人、车、物、设备等事件预警通知、状态观测。但特斯联达尔文平台在数据AI化，实现物联网数据的清洗、过滤、结构化、构建数据应用模型，实现在众多场景的机器学习、深度学习智能应用率先落地。

AI在数据分析中的重要性和适用性

AI的重要作用是识别能力，而这恰恰在数据分析中的重要一环，数据分析第一步就是识别数据，为数据打标签、分类，这是数据分析的基础。在数据处理过程中，通过AI的机器学习、深度学习技术，挖掘数据的因果关系、内在联系和业务规律起到至关重要的作用。

与此同时，人工智能技术不仅在贴近用户层面的边缘化扩展，也在向更深层次的计算需求扩展。云计算和超算技术的发展正在带领人工智能进入一个前所未有的领域。作为人工智能三大因素之一，计算力的发展让人工智能能涉足的事情变多起来。

AI在数据分析中的现状

目前绝大多数的数据分析平台都是将AI将一个插件或工具辅助于平台，这种模式不仅在前期的配置复杂程度和开发者的技术能力要求都比较高；而且由于都是插件或工具方式，藕合性并不高，都是小规模运用，没有发挥出自身优势，同时还会在使用过程中耗费大量系统资源。

另一方面，数据管理不同步在经历了一轮轮爆发之后，企业在处理数据时所面对的海量数据需要进行数据筛选和数据清洗，但是数据清洗过程正在让数据管理变得复杂化，非结构化数据包含的意义正在增多，数据清洗可能去掉有用的信息只留下想看到的不完整信息，这种数据管理方式会导致最终处理结果的偏差。

• 特斯联达尔文平台-中国较大的AIoT的平台，AI技术与物联网大数据应用场景落地的平台。

特斯联达尔文平台基于智能物联网多维业务领域长时间的数据沉淀为运作核心，以大数据、AI技术为框架，通过神经网络，搭建一套数据分析平台引擎，取名达尔文平台，用于深度挖掘人、车、物、通行、能源、消防等多维数据的内在联系、因果关系，形成数据神经网络，服务于数据精细化管理、设备生命周期管控、通过搭建通行、节能、停车、消防等业务模型，智能预测等各业务发展趋势。

解析特斯联达尔文平台架构

Ø 采集与处理：采集的数据经过数据清洗，数据合并形成STD正式数据，经过spark的高性能计算融合成BI建模需要的细粒度数据，每天会将相关快照数据进行清洗和计算后，形成STD数据表。随后将STD表切成更多的细粒度数据进行BI建模，经过BI引擎预计算后索引存储到HBASE ，BI查询会通过BI查询引擎到HBASE进行快速数据查询。

Ø 数据存储与数据运算：架构采用hadoop为基础的融合离线和实时计算能力的大数据系统，作业调度采用Azkaban,基于强大的spark作为计算引擎，采用kylin为核心的BI引擎，采取空间换时间的策略，把大数据预计算为查询模型，让千万级查询缩短为秒级返回。采用ClickHouse+Kafka作为实时计算引擎，实现海量数据的大规模运算。

Ø 数据挖掘框架与算法：与AI紧密结合，内置常用的数据分析工具R、Python等，并集成深度学习框架包括TensorFlow、Theano等，基于Spark的机器学习库MLib等，支持大规模并行训练。

Ø 数据可视化：达尔文平台支持多种结果展现方式，包括数据可视化、统计报表分析等，可供运营平台、代理商平台、物管平台等非技术人员根据需求查询。

达尔文平台赋能数据分析

数据是载体，智能是目标，而机器学习是从数据通往智能的技术途径。因此，机器学习是数据科学的核心，也是现代AI的本质。特斯联达尔文平台大量使用了机器学习算法，应用一些场景案例，解决一些实际问题。

1

Kmeans聚类算法解决设备安装位置的计算

Kmeans算法是一个重复移动类中心点的过程，首先确定类簇数K，然后把类的中心点，移动到其包含成员的平均位置，然后迭代划分其内部成员。下图为对设备操作经纬度-通行设备聚类的结果，颜色代表聚类后类别：

通行设备的地理坐标一般是缺失的，通过对APP用户发出通行行为时刻的经纬度数据进行聚类，每一个类别的中心点即可作为通行设备的经纬度信息，弥补了获取设备经纬度的不精确的问题，有助于在设备生命周期中快速定位问题设备，及时恢复使用提供便捷条件。

2

Prophet时序分析不同类型人群、不同季节对通行规律的影响

智慧通行的时序数据大多具有一定的周期性，平台提供了基于prophet的时序分析功能，用于分析和预测周期性数据，挖掘特定的时间粒度下的时序变化规律。以下为田林十二村的24小时的通行规律，包括年龄分层分析和季节性差异。

可以看出，不同年龄段的通行规律相差不多，区别主要在于数量上。

春夏秋冬不同季节的24小时通行规律，如下图所示：

呈现出的主要特点是春夏出行较多，秋冬出行较少，四季出行的时刻有一定的差异。

3

GBDT预测回归解决对各个时间段人流量预测

梯度提升决策树（GBDT）是一种近年来有效的机器学习算法之一，其原理是将大量简单CART树在提升过程中进行集成，以提高树模型的预测能力。以下为利用GBDT基于一些通行特征对田林十二村一周内每天分时通行量进行预测：

通过上图，可以看出吻合度相当高，这就证明深度学习和回归预测在通行预测方面起到至关重要的作用。

达尔文平台延展的应用场景

目前达尔文平台除了在通行领域外，通过对不同场景创建数据模型，结合数据预警等技术赋能到智慧城市、智慧楼宇、智慧停车等不同业务领域。比如在智慧城市领域，通过对不同场景的数据、不同人群的因果关系、通过AI代替业务专家规则对于能源节省策略、城市人口安保预警、停车流量控制策略等，达到模型策略代替专家策略，实现真正的智能化。

对于城市人口管理和安保方面，构建大数据实现FaceID的生成和图像结构化。挖掘关系图谱，预警策略，重点人员行为预测模型等等方面实现突破。             

达尔文多年的沉淀已经成为特斯联城市大脑的核心，不仅为城市管理提供AI支撑，业务数据质量进行校准，更为重要的是对日常业务数据背后的逻辑关系、业务规律进行挖掘探索，为智慧城市各业务领域的发展提供强大的平台驱动力。

本文作者：特斯联科技副总裁 李杨