基于云平台的数据存储及算力设计
摘 要：云计算作为一种新的应用模式，已在各行各业广泛应用，尤其是在智慧公安领域，通过可靠的公有云服务与私有云服务相结合的模式，搭建适合智慧公安业务应用的混合云。以上海某区智慧公安视频数据建设为例，对当前已建的12 760路视频监控进行数据转发存储和智能分析算力设计，建设计算和数据存储处理兼顾的综合云计算平台。通过对云平台架构分析，数据存储及算力计算，设备选型，实现基于云平台的公安数据存储及算力设计。
关键词：云平台;云存储;云计算;混合云;智慧公安;算力设计
中图分类号：TP311.13;TP393.09 文献标识码：A 文章编号：2096-4706（2021）02-0080-05
Abstract：As a new application mode，cloud computing has been widely used in all walks of life，especially in the field of intelligent public security. Through the reliable combination of public cloud services and private cloud services，we can build a hybrid cloud suitable for intelligent public security business applications. Taking the construction of intelligent public security video data in a district of Shanghai as an example，this paper designs the data forwarding storage and intelligent analysis computing power of the existing 12 760 channels of video surveillance，and constructs a comprehensive cloud computing platform with both computing and data storage and processing. Through the analysis of cloud platform architecture，data storage and computing power，equipment selection，the design of public security data storage and computing power based on cloud platform is realized.
Keywords：cloud platform;cloud storage;cloud computing;hybrid cloud;intelligent public security;computing power design
0 引 言
上海智慧公安建設以智能化安防体系和大数据应用为支撑，实现感知泛在、多维研判、智慧扁平、处置高效的精准警务应用，实现最有序、最安全、最干净的智慧城市终极目标[1]。上海市某区分局积极参照公安部下发的《公安大数据云平台功能性要求》以及上海市公安局发布的《关于智慧公安大脑三级架构建设指导意见》，拟在感知网中建设基于飞天云平台及私有云平台的智慧公安视频数据存储及算力设计，实现数据资源的云端管理、弹性计算，提供负载均衡、数据分布式存储、大数据在线运算等各种云服务。笔者作为该项目技术咨询顾问，全程协助项目开展，项目结合该区智慧公安监控数据建设应用的实际需求，为分局各业务部门的业务应用和大数据应用提供云端资源，对该区基于飞天云平台及私有云平台的智慧公安监控数据存储及算力分析技术应用进行了整体研究和设计。
1 数据存储及算力需求现状
某区智慧公安基础视频前端经过近几年的建设发展，通过上海市“十二五”规划、“十三五”规划、智慧社区及分局自建等方式，当前已建设共计18 610路视频监控，同步实现以NVR方式存储前端实时监控录像。当前纳入本次视频数据建设的前端摄像机主要分为两类，一类是泛智能摄像机（可输出视频流和特征图片），一类是非智能高清摄像机（只输出视频流），同时针对该区视频监控可视场景的具体需求进行用途类别划分，具体分析汇总情况如表1所示。
1.1 图像围栏需求
在该区重点区域及周边选取1 200路前端摄像机（包含泛智能摄像机750路和非智能高清摄像机450路），形成区域图像虚拟围栏。通过图像围栏一体机自带人脸/人体解析算法对前端摄像机视频流进行实时解析的方式，生成场景大图、人脸/人体小图、特征抽取及结构化数据信息，通过后端实现人像比对、布控预警、以图搜人、人体轨迹、同行分析等功能。
1.2 数据存储需求
数据存储是指把私有云算力平台处理解析后的各用户类别场景大图、人脸/人体小图、机动车小图等半结构化数据和结构化数据集中存储到分局私有云数据存储平台，保存时间不低于180天;私有云算力平台输出的结构化数据、特征值集中存储到飞天云平台，保存时间不低于365天。区级搭建私有云存储平台，租赁飞天公安云综合平台（云存储+云计算+安全及其他）[2]。
1.3 算力分析需求
算力分析包括四方面需求，一是对图像围栏涉及的1 200路前端摄像机（包含智能摄像机750路和非智能高清摄像机450路）视频流的实时计算解析智能分析需求;二是对剩余2 840路非智能摄像机视频流的实时计算解析智能分析需求;三是对剩余12 720路泛智能摄像机人脸图片流及视频流的实时计算解析智能分析需求;四是对本区存储到市局飞天云平台的结构化数据进行离线大数据计算解析智能分析需求。区级搭建私有云算力平台（图像围栏算力+其他算力），市级租赁飞天公安云综合平台（云存储+云计算+安全及其他）。
1.4 数据转发需求
数据转发包括四方面需求，一是将9 470路泛智能摄像机图片流按照GA/T1400协议推送至市局韬安管理平台和分局私有云存储平台，二是将9 470路泛智能摄像机中用于人体分析的2 100路图片流推送至区级私有云算力平台;三是将图像围栏涉及的1 200路前端摄像机（包含泛智能摄像机750路和非智能高清摄像机450路）视频流和剩余2 840路非智能摄像机视频流转发至私有云算力平台;四是将私有云算力平台解析后的半结构化数据和结构化数据分别推送至分局私有云存储平台和飞天云平台。具体数据转发设备的配置需求按照前端摄像机的用途分类进行合理设计。
2 数据存储及算力解析设计架构
经过上述需求统计，深入调研分析，该区数据存储及算力设计整体拓扑架构如图1所示。
根据需求调研及上图分析汇总，数据存储、算力解析、数据转发等汇总表格如表2、表3、表4所示。
3 數据存储设计
3.1 私有云数据存储设计
在某区分局总机房搭建私有云数据存储平台，采取全对称分布式架构并行读写，性能、容量随节点数增加而呈线性增加。每台单节点存储容量为350 TB（35×10 TB），单节点间通信带宽可达2.8 GB/s，每台节点配置内存为128 GB，支持N+M冗余模式，最多可接受2个节点同时失效而业务不中断，数据不丢失;为提升磁盘利用率，采取纠删码（EC）算法编码进行云存储，磁盘冗余度按1.4估算（磁盘利用率约为70%）。所有节点组合搭建私有云数据存储平台，支持虚拟化管理。选用华为OceanStor 9000 V5存储节点搭建云存储平台。
私有云数据存储平台主要存储私有云算力平台处理解析后的各用户类别场景大图、人脸/人体小图、机动车小图等半结构化数据。根据表2汇总和对数据保存180天的实际应用需求，数据存储核算容量为：
（1）每张场景大图按500 kB计算，每张特写小图按50 kB计算;按照每路摄像机每24小时采集的大图和小图分别为10 000张，保存180天计算，同时考虑私有云存储磁盘冗余度。
（2）人脸图片存储容量为3 725×10 000×180×（500+ 50）/（1 024×1 024×1 024）/（70%）≈4 906 TB。
（3）车辆图片存储容量为4 805×10 000×180×（500+ 50）/（1 024×1 024×1 024）/（70%）≈6 329 TB。
（4）人体图片存储容量为4 230×10 000×180×（500+ 50）/（1 024×1 024×1 024）/（70%）≈5 572 TB。
（5）整体私有云存储平台半结构化存储容量为4 906+ 6 329+5 572=16 807 TB。
（6）云存储节点需求数量为16 807÷350≈49（台）。
该区智慧公安私有云平台存储需配置存储节点服务器49台，略有冗余。
3.2 飞天云数据存储设计
从该区智慧公安实际业务需求出发，租赁阿里飞天云平台，核心部分是云计算和云存储功能，同时也包括云安全、云运维及云管理等各类云服务。飞天云ODPS数据处理存储平台是分布式存储系统，采用Shared-nothing架构设计，支持1万以上用户并发读写，通过存储虚拟化、网络虚拟化以及负载均衡技术，实现资源存储的动态分配，形成统一的飞天云平台体系[3]。
飞天云数据存储为该区智慧公安提供数据块级别的随机存储，具有低时延、持久性、高可靠性等特点，采用分布式三副本机制，三份数据拷贝副本分别保存在不同的服务器上，这样任何一个服务器宕机都不会造成数据丢失，为智慧公安用户提供高于99.99%的数据可靠性，可实现随时创建或释放，支持随时扩容。为了降低整体的带宽消耗和读取延时，系统设计为尽量让读取程序读取离它最近的副本。
根据表2汇总和对数据保存365天的实际应用需求，对12 760路结构化数据存储集群核算容量如下：
（1）每条结构化数据按2 kB计算，按每路摄像机每24小时生成10 000条结构化数据估算，保存365天;计算磁盘需求空间的数据膨胀率按2计，数据压缩率按2计，HDFS副本数目按3计，磁盘利用率（格式化损耗等）按0.9计，ODPS集群存储控制线设置按85%计。
（2）结构化数据总的入库数据量为12 760×10 000× 365×2/（1 024×1 024×1 024）≈87 TB。
（3）需求基本磁盘空间为87×2×2×3/0.9/0.85≈1 365 TB。
（4）单机存储单元数量。选用阿里云PN68M2单机存储单元，磁盘物理容量为96 TB，需求单机存储单元数量为1 365÷96≈15（台）。
某区智慧公安飞天云平台存储至少要租赁基本磁盘存储空间1 365 TB，至少要搭建15个飞天云存储平台单机存储单元。
4 数据算力设计
4.1 私有云算力平台设计
私有云算力平台硬件资源按照算力资源、存储资源、检索资源等需求分类池化，业务应用部署在容器上，对具体硬件环境不感知;在一台实体服务器虚拟化后的多台逻辑服务器上，支持灵活部署不同功能的智能算力分析、存储检索服务模块并且不受数量限制，算力云平台通过异构资源池、智能编排等关键技术，可以将GPU、检索等资源池化，拉远后进行统一编排调度，从而使硬件资源利用率最大化[4]。主要包括图片流人体建模算力、图片流车辆智能分析、视频流人体建模分析、视频流车辆智能分析、视频流人脸智能分析、视频流图像围栏解析等。
4.1.1 圖片流人脸人体建模算力计算
根据选用产品的性能和图片流人脸人体建模算力解析需求计算为：
（1）图片流人脸人体建模算力智能分析并发路数要求不少于3 725路，图片流半结构化数据解析为结构化数据。
（2）检索云节点计算。每路每24小时按人脸人体建模30 000张计算，存储180天，总共产生的数据量=3 725×30 000×180/10 000/10 000=201.15亿条。配置华为CloudIVS 3000R检索云节点，单节点支持不少于6亿条人体元结构化数据存储，则需要检索云节点数量=201.15÷6≈34（台）。
（3）算力分析云节点计算。配置华为CloudIVS 3000CR算力分析云节点，单台分析云节点支持配置6块GPU卡，单个GPU计算卡处理人体建模图片按100张/秒计算，3 725路摄像机并发峰值按每路1张/秒估算，则需GPU卡数量= 3 725÷1÷100≈38（张），需要配置算力分析云节点数量= 38÷ 6≈7（台）。
4.1.2 图片流车辆智能算力计算
根据选用产品的性能和图片流车辆智能算力解析需求计算为：
（1）图片流车辆智能算力并发路数要求不少于4 805路，图片流半结构化数据解析为结构化数据。
（2）检索云节点计算。如果每路每24小时按车辆抓拍15 000张计算，存储时间180天，总共产生的数据量= 4 805×15 000×180/10 000/10 000=129.735亿条。配置华为CloudIVS 3000R检索云节点，单节点支持不少于6亿条车辆结构化数据存储，则需要检索云节点数量=129.735÷6≈22（台）。
（3）算力分析云节点计算。配置华为CloudIVS 3000CR算力分析云节点，单台分析云节点支持配置6块GPU卡，单个GPU计算卡处理车辆图片按100张/秒计算，4 805路摄像机并发按每路1张/秒进行估算，则需GPU卡数量=4 805÷100≈49（张），需要配置算力分析云节点数量=49÷6≈9（台）。
4.1.3 视频流人体建模算力计算
根据选用产品的性能和视频流人体建模算力解析需求计算为：
（1）视频流人体建模算力智能分析并发路数要求不少于1 230路，视频流解析为人体图片流（半结构化数据），图片流半结构化数据再解析为结构化数据。
（2）检索云节点计算。如果每路每24小时按人体建模20 000张计算，存储时间180天，总共产生的数据量=1 230×20 000×180/10 000/10 000=44.28亿条。配置华为CloudIVS 3000R检索云节点，单节点支持不少于6亿条人体结构化数据存储，则需要检索云节点数量=44.28÷6≈8（台）。
（3）算力分析云节点计算：配置华为CloudIVS 3000CR算力分析云节点，单台分析云节点支持配置6块GPU卡，单个GPU计算卡处理人体建模图片按100张/秒计算或视频接入处理按16路计算，每台云节点1 230路摄像机并发峰值按每路1张/秒进行估算，则需GPU卡数量=1 230÷ 1÷100+1 230÷16≈90（张），需要配置算力分析云节点数量=90÷6≈7（台）。
4.1.4 视频流车辆智能算力计算
根据选用产品的性能和视频流车辆智能算力解析需求计算为：
（1）视频流车辆智能算力分析并发路数要求不少于1 155路;视频流解析为车辆图片流（半结构化数据），图片流再解析为车辆结构化数据。
（2）检索云节点计算。如果每路每24小时按车辆图片30 000张计算，存储时间180天，总共产生的数据量= 1 155×30 000×180/10 000/10 000=62.37亿条。配置华为CloudIVS 3000R检索云节点，单节点支持不少于6亿条人体元结构化数据存储，则需要检索云节点数量=62.37÷6≈11（台）。
（3）算力分析云节点计算。配置华为CloudIVS 3000CR算力分析云节点，单台分析云节点支持配置6块GPU卡，单个GPU计算卡处理车辆分析图片按100张/秒计算或视频接入处理按16路计算，每台云节点1 155路摄像机并发峰值按每路1张/秒进行估算，则需GPU卡数量=1 155÷ 1÷100+1 155÷16≈85（张），需要配置算力分析云节点数量=85÷6≈15（台）。
4.1.5 视频流人脸智能算力计算
根据选用产品的性能和视频流人脸智能算力解析需求计算为：
（1）视频流人脸智能算力分析并发路数要求不少于905路;视频流解析为人脸图片流（半结构化数据），图片流再解析为人脸结构化数据。
（2）检索云节点计算。如果每路每24小时按人脸图片30 000张计算，存储时间180天，总共产生的数据量=905×30 000×180/10 000/10 000=48.87亿条。配置华为CloudIVS 3000R检索云节点，单节点支持不少于6亿条人体结构化数据存储，则需要检索云节点数量=48.87÷6≈9（台）。
（3）算力分析云节点计算。配置华为CloudIVS 3000 CR算力分析云节点，单台分析云节点支持配置6块GPU卡，单个GPU计算卡处理人脸分析图片按100张/秒计算或视频接入处理按16路计算，每台云节点905路摄像机并发峰值按每路1张/秒进行估算，则需GPU卡数量=905÷1÷100+905÷16≈66（张），需要配置算力分析云节点数量=66÷6=11（台）。
4.1.6 视频流图像围栏算力解析计算
根据选用产品的性能和视频流图像围栏算力解析需求计算为：
（1）视频流图像围栏算力解析并发路数要求不少于1 200路;采取融合算力架构，对图像围栏选取的1 200路视频流进行解码并对解码后的图像数据进行检索和智能化解析，生成场景图、人脸小图、人体小图、特征抽取及结构化数据信息。选用依图YS-AIS视频流全解析一体机，通过AI服务器及CPU、GPU服务器融合设计，实现高性能智能解析，每台一体机设备最多支持144路视频流接入检索和解析。
（2）视频流全解析一体机数量为1 200÷144≈9（台）。
根据以上计算结果，检索云节点配置数量=34+22+ 8+11+9=84（台），算力分析云节点配置数量=7+9+15+ 11=49（台），图像围栏全解析一体机配置数量为9台。整体设备搭建分局私有云算力平台，配置设备按20%冗余考虑，总共需配置检索云节点101台，算力分析云节点59台，图像围栏全解析一体机11台。
4.2 飞天云大数据算力设计
飞天云大数据算力服务[5]，提供计算引擎以适应结构化数据、半结构化数据的计算，满足离线OLAP和实时OLAP分析业务场景，基于分布式服务框架能够支持统计分析类、数据挖掘类等计算分析服务。当前主要为某区智慧公安提供离线大数据计算服务，主要针对智慧公安提供TB/PB级别数据的日志分析、数据挖掘、数据预测等处理;大数据离线计算服务由客户端、接入层、控制层及计算层组成，每层均可平行扩展。以下内容仅针对计算层进行算力设计。
系统采用多個单机节点并行计算的策略和基于代价的优化方式（CBO），实现数据高性能时空碰撞计算，支持高并发、低延时的数据处理，满足单表1亿条记录的常规应用场景，可承载不少于100个并发查询和碰撞分析，平均响应时间小于2秒。选用阿里云PN68M2P物理资源服务器，设立BlinkCluster-A云服务集群。经理论估算分析，公安业务碰撞分析每秒最高处理需求暂估为300万条业务数据。
根据选用的产品和数据处理计算规则，服务集群物理资源服务器需求计算为：
（1）根据服务能力及业务需求，理论评估1CU每秒处理0.8万条数据。
（2）按每秒处理300万条数据计算，理论需要的CU数量=300÷0.8=375CU。
（3）每台PN68M2P数据处理能力=服务器CPU物理逻辑核数[64]-系统消耗[4]=60CU。
（4）PN68M2P需求数量=375÷60≈7（台），考虑服务集群算力冗余不低于30%，建议配置10台PN68M2P物理资源服务器。
5 结 论
通过公有云加私有云的混合云平台架构，搭建一体化的数据存储与算力分析应用平台，实现非结构化数据、半结构化数据、结构化数据的集中存储、算力分析、转发共享及应用展示。通过对某区现有资源利用的综合分析和业务应用需求分析，选择适合本项目的硬件产品，进行存储资源核算、算力资源核算、转发资源核算，科学合理设计，对该区智慧公安视频数据资源进行高效分析应用，实现研判多维、指挥扁平、处置高效的精准警务应用。
参考文献：
[1] 漆源.基于“智慧警务云”的公安科技信息化管理建设研究 [J].现代计算机，2019，648（12）：92-95.
[2] 王众托，吴江宁，郭崇慧.信息与知识管理 [M].北京：电子工业出版社，2010.
[3] 李挥，张宇蒙，陈俊.大数据环境下的可靠存储技术思考 [J].中兴通讯技术，2015，21（5）：27-31.
[4] 虚拟化与云计算小组.云计算宝典：技术与实践 [M].北京：电子工业出版社，2011.
[5] 闫德生，佟敏.云存储技术在支撑系统中的应用 [J].中国新通信，2016，18（8）：58-59.
[6] 徐含，许连生.云平台数据中心的安全防护技术分析 [J].科学与信息化，2018（13）：45-46.
作者简介：孟凡龙（1981—），男，汉族，江苏邳州人，工程师，本科，研究方向：计算机软硬件系统集成及开发应用。
猜你喜欢 云存储云平台云计算 关于云计算大数据安全隐私的保护探究成长·读写月刊(2018年5期)2018-05-29基于云计算的网络教学平台设计与实践电脑知识与技术(2018年8期)2018-05-07云计算下小微企业财务管理信息化建设模式探究新一代(2018年1期)2018-04-23基于云存储的教学资源共享系统的设计电子技术与软件工程(2016年16期)2017-03-17云平台下的中学信息技术教学探索亚太教育(2016年36期)2017-01-17浅析大数据在移动通信中的应用科教导刊·电子版(2016年24期)2016-10-29