百万级分布式GPS平台建设方案
一、GPS系统面临的问题
由于车贷业务安装GPS作为重要风控手段之一，带来车贷GPS安装量大幅增长，很多车贷金融GPS后台都面临的是10万到100万以上车辆安装容量，而传统的gps系统往往难以满足需求，核心原因在于GPS车联网业务有以下主要特点：数据采集量超过百亿级，百万级通信终端实时在线，数据监控实时性，报警实时性, 涉及LBS,GPS,北斗定位等等以上特点往往不是传统行业开发公司或传统互联网开发公司所熟悉。GPS系统在技术上具有相当高的门槛，要连接十万、百万量车甚至更多，用传统IT技术很难解决。我们在汽车定位，汽车金融风控，车联网领域具有成熟的解决方案和产品，很多行业的龙头企业都采用我们提供的整体GPS解决方案，不受传统IT技术的局限，随着规模的扩大而水平扩展。
我们2012年花费上千万重新开发新一代物联网、移动互联网、互联网的关键核心平台,采用现有,京东等大型互联网公司同样的技术架构,开发出可以支持百万级乃至千万级别的车联网3+1核心后台。
二、我们能提供什么?
三、我们的百万级系统架构
四、我们的3+1核心技术介绍
车辆实时连接百万级+消息队列MQ
分布式高效存储中心
大数据实时处理后台
核心能力架构中心-快速展示到多个屏（手机，电脑，微信）
五、分布式平台建设方案
1.分布式系统技术指标
指标
数值
备注
支持终端在线数
≥500000台
后期可扩充升级到100万
支持终端并发数
≥50000台
按50万终端、30秒访问一次。充分利用终端的精密时钟，终端随机均匀上报数据。每个终端30秒上报一次数据，每次耗时3秒，500,000终端可均匀划分到个10时间片，由此得出并发终端数为50,000。
静态用户（注册用户）
≥50000
动态用户（在线用户）
≥10000
假设用户中有百分之20的活跃用户，即2000动态用户
并发用户（同时访问用户）
≥2000
按客户每5秒与后台交互一次(查询),分析获取实时并发容量为1000/每秒
历史数据存放
180天
默认6个月180天
数据安全权限设置
多级
数据权限采用上下级多级架构,每一级只看到自己的车辆数据和相关数据
用户功能权限
角色
用户基于角色功能权限分配,可以访问所属角色的相关功能
系统登录时间
≤4s
页面间跳转时间
≤4s
轨迹查询时间
<5s
1到3天轨迹数据查询
服务器负载
CPU负荷率：
正常情况下：服务器小于40%（5分钟间隔）。
系统事故情况下：服务器小于70%（5分钟间隔）。
2.系统开发设计说明
2.1 设备接入并发通信容量：通信服务器采用C++开发的IOCP完成端口，对上传数据进行加密传输；
2.2 数据库并发设计: 数据库针对100万台以上车辆的数据的查询与并发写入，采用10个分区表，分库分表,读写分离,采用水平分区与切片分区方式，实现大数据的并发写入与读取，避免数据库死锁等问题。
2.3 实时大数据存储: 历史轨迹数据采用分布式文件系统Key-value(NoSQL) 存储大量历史轨迹数据,采用多台分布式文件数据库实现分布式存储。
2.4 业务类数据存储: 利用3-5台数据库服务器组成Galera cluster高可用集群,存储报表,报警,统计类数据。
2.5 基础类数据采用MySQL的双机主从自动备份机制,采用日志同步逻辑，实现数据库实时同步；
2.4 Web并发负载均衡，采用Nginx+tomcat的多Web负载均衡，实现5000+以上用户并发访问，并采用Redis内存数据库缓存，提高系统响应时间，及时处理并发信息，采用排队轮询机制响应请求，并开辟应用缓冲池。
3. 网络拓扑图
3.1 集群服务器架构:
3.2 Web负载均衡:
六、平台硬件方案
服务器性能配置(100000)台容量
名称
配置
数量
备注
终端接入服务器
CPU：32核
内存：64GB
10M(20000台)
硬盘-500G固态
公网IP地址,
3
参见选取原则：上行流量免费使用可提供的最大带宽；
按使用流量计费需要严格测试上行流量是否稳定支撑数据上行。
最低带宽值估值：并发数*位转字节(8)/包有效载荷（参考值60%）/使用率(参考值60%)*数据包平均值（512字节）
消息中间件服务器
CPU:64核
内存128G
20M
1
最低带宽值估值:请求并发数(参考值300)*平均请求数据大小(参考值5K)/最低响应时间要求3秒
Web服务器+Web负载
CPU：32核
内存：64 GＢ
硬盘：500G-固态
按固定带宽计费： 10M
按使用流量计费：
1
最低带宽值估值:请求并发数(参考值300)*平均请求数据大小(参考值5K)/最低响应时间要求3秒
数据库服务器
(主从互备)
CPU：32核
内存：64G
硬盘：1000G*8个硬盘
或者1000G固态硬盘*8
做Raid10
从服务器可以与web服务共同使用
2
配置和历史记录的保存时间，和在线活跃设备数相关
硬盘容量估值：每月（30天）*活跃(6小时)*每小时（数据量500K字节）；设备活跃时间*活跃设备*保存时间（小时）*活跃设备每小时数据量
服务器性能配置(500000)台容量
名称
配置
数量
备注
终端接入服务器
CPU：32核
内存：64GB
10M(20000台)
硬盘-500G固态
公网IP地址
18
参见选取原则：上行流量免费使用可提供的最大带宽；
按使用流量计费需要严格测试上行流量是否稳定支撑数据上行。
最低带宽值估值：并发数*位转字节(8)/包有效载荷（参考值60%）/使用率(参考值60%)*数据包平均值（512字节）
消息中间件服务器
CPU:64核
内存258G
100M
3
最低带宽值估值:请求并发数(参考值300)*平均请求数据大小(参考值5K)/最低响应时间要求3秒
Web服务器+Web负载
CPU：32核
内存：128 GＢ
硬盘：500G-固态
按固定带宽计费： 10M
按使用流量计费：
5
最低带宽值估值:请求并发数(参考值300)*平均请求数据大小(参考值5K)/最低响应时间要求3秒
数据库服务器
(主从互备)
CPU：64核
内存：256G
硬盘：1000G*32个硬盘
或者1000G固态硬盘*32
做Raid10
从服务器可以与web服务共同使用
5
配置和历史记录的保存时间，和在线活跃设备数相关
硬盘容量估值：每月（30天）*活跃(6小时)*每小时（数据量500K字节）；设备活跃时间*活跃设备*保存时间（小时）*活跃设备每小时数据量
七、平台软件功能说明
主功能
功能项
详细说明
登陆页面个性化
登陆页面个性化
定制登陆页面
首页导航
首页导航
首页导航可以查询车辆定位在线，位置清空
在线车辆/离线车辆
显示当前用户所有车辆在线与离线统计图
快捷操作
车辆列表快捷操作-详情，指令，跟踪，回放
快速查询
离线1天，3天，5天，7天，30天快速查询
定位监控
车辆定位
支持车辆定位，显示车辆位置，速度，里程，状态，行驶，停车，报警
车辆信息显示
车辆显示信息设置（在地图上显示车牌号，也可以分组把不同部门的车辆显示信息采用不同的颜色等个性化设置）
车辆报警
支持报警弹出，报警查询
列表监控
列表监控,可以快速查看车辆,状态,速度
树形监控
当您的设备比较多时，可在此搜索，以快速查找您的设备
百度地图
支持百度地图
谷歌地图
支持谷歌地图，卫星图
实景地图
支持实景地图
地图操作
地图的放大，缩小、移动、测距, 打印等功能
查找车辆
支持模糊查询车牌，序列号，SIM
可以按车牌号等模糊信息查找，只要按确定后，自动会转到该车在地图上的位置，同时在车辆信息列表栏也会选中
车辆跟踪
车辆跟踪
特定目标跟踪（对车辆进行实时监控，并可选择是否同时显示轨迹。）
地图区域
标注
支持点(圆型)的电子围栏
全国区县围栏
多边形围栏
支持多边型电子围栏的新增,删除,修改
进范围车辆设置
出范围车辆设置
报表中心
里程日统计
支持按天查询车辆和相关部门的里程日统计
里程月报表
可按月查询车辆和部门的车辆月里程统计
里程明细
可按时间或部门进行查询相关里程行驶明细
行驶查询
查询车辆单次行驶记录，行驶里程
运行统计
统计车辆每天各类状态，报警统计，
上线报表
查询车辆上线清空，未上线车辆
离线报表
查询不同时间的离线车辆，3天，15天，30天，1天
报警报表
查询车辆各种不同报警的记录
报警汇总
报警汇总记录
超速报警报表
查询车辆超速报表
图像报表
支持拍照设备的图像查询
停车报表
查询车辆停车报表明细,停车时间,地点
进区域报表(
车辆驶入设置的区域,自动报警
"};
