软件服务 | |
项目名称 | 建设要求 | 数量 | 单位 | 备注 |
数据节点授权 | 分布式数据库软件授权(含2节点)专用软件,支持与集成指挥平台核心版软件的无缝对接 | 2 | 节点 | |
分布式文件系统HDFS提供FTP服务接口,支持 FTP 客户端直接上传文件到数据平台支持通过Ketle 等图形化ETL工具以及Sqoop 命令行工具将数据从关系数据库导入到 HDFS,以及将数据导出到关系数据库。 |
支持将日志文件通过分布式 Flume 工具流式采集到 HDFS 中进行数据分析。支持对存储在 HDFS 上的数据进行加密数据存储支持 Erasure Code,降低数据的副本数量至源数据的 1.4倍,而不是HDFS 缺省的 3倍。同时保证系统的可靠性,14 个数据块中,可以同时容忍4个数趾阁据讃崍冭勧渗槛块同时丢失。 |
分布式数据库HBase 具备与传统数据库相近的接口以及开发方式,以减少系统迁移和新应用开发成本,支持SQL2003 以及 PL/SOL,具体支持列表详见 SOL.2003语法支持与 PL/SOL语法支持栏目 |
提供标准 JDBC(包括 JDBC bpe 4driver)、0DBC 驱动,ODBC 驱动至少兼容 linux、windows(64位)支持直接在 HBase 分布式数据库数据上进行 SOL统计分析(数据不得另行复制后再分析)。支持对数据库数据按给定字段建立辅助索引(Secondany Index)和全文索引,并支持智能索引技术,无需在查询语句中显示指定索引。支持数据在已创建索引的情况下高速导入,避免数据导入完毕后再创建索引。支持索引的自动创建(在创建表时指定索引),也支持对已有表创建索引。不管通过哪种方法创建索引后,对源表的任何修改都可以自动更新索引支持多行分布式事务处理能力支持多存储层级支持,能够将应用表建立在不同 I0 读写速度的不同介质上,包括磁盘、SSD 固态硬盘、高速闪存卡和内存,其中建立的非易失存储上的数据表在整个系统重启后能保证数据不丢失,能在 SSD上提供与内存相近的性能为了减少大数据场景下对数据管理代价,应该提供基于特定时间类型字段的表生命周期设置,并进行归档。支持对HBase 进行低延时高并发的SQI查询,满足在线业务低延时的需求。支持对存放在 HBase 中的全量数据直接进行批量扫描和统计,性能要求跟数据直接存放在 HDFS 上进行统计的性能接近。 |
支持非结构化大对象数据(图片、语音等)的高速存储技术以及高并发低延时的检索技术,避免海量的图片、语音等数据的存取影响分布式在线 HBase 数据库的性能支持半结构化(JSON/BSON 形式存储)和非结构化数据的高效存取,其中半结构化数据支持字段内部建立索引。提供全文索引功能,支撑内容管理,实现文本数据等非结构化数据的提取和处理内存列式计算能力支持从数据仓库或者HBase数据库中将数据装载入内存或 SSD 组成的分布式内存列式缓存,进行交互式 SOL 分析和数据挖掘支持将 Spark 作为缺省计算引擎,能够长时间并在海量数据计算上稳定运行为了降低内存硬件开销以及提高海量数据分析性价比,分布式内存存储支持基于 SSD 固态硬盘的内存替代方案,并提供与内存相近的计算性能。 |
支持标准 SOL2003 以及兼容 PL/SOL。具体语法支持见SOL2003与PL/SOL语法支持能力一栏。 |
SQL2003 语法支持 |
创建数据库、删除数据库,配置数据库的容量: |
创建表、删除表、增加表字段: |
创建、修改、删除视图 |
CREATE/DROP/ALTER VIEW表数据类型包括:整形、字符串、浮点型、布尔型、二进制、时间类型、JSON数据类型: |
创建索引、删除索引: |
数据表的连接、嵌套、in、not in 等复杂查询 |
字符串、日期等常用操作函数 |
最大值、最小值、平均值等聚合函数,支持常用 Oracle 函数 |
支持select into、insert into、merge into功能支持子查询(sub-queryfactoring),包括非同步子查询(Non-correlatedSub-query)和同步子查询(CorrelatedSub-qucny),支持子查询的多层嵌套。支持在 where clause 子句使用 同步和非同步subquery(包括IN 和 NOTIN)支持在 From clause 子句中使用非同步subquery |
支持 Having clause 子句使用非同步subquery |
支持 Selectlist 里面使用同步和非同步subquery |
WITH . AS .. 可以被当作一个临时表,如果内容被多次调用,可有效提高效率,避免多次查询支持Inner JOlN,Outer JOIN(LeAOuter JOIN, Right Outer JOIN, FulOuter JOlN),Implicit JOlN, NaturJOIN, Cross JOIN,SELF JOIN, Non-equiJOINGOI 条件可以是不等式),MapJOIN支持 union, intersect, except操作,并且他们可以作为 top level operator支持 in 、betwecn 以及运算符*)直接操作 subquery具备较完整的事务处理支持(包括嵌套事务),支持 BEGIN TRANSACTIONENDTRANSACTION.COMMITROLLBACK 操作常用窗口函数支持,如 avg()over (),sum() over (), rank() over (), min( aver(),max0 aver0 等。PL/SQL语法支持 基本语句:赋值语句、匿名块执行、函数定义和调用、存储过程定义调用、UDF/UDAF 调用数据类型:标量类型、集合类型及其方法(COUNTO/LIMITO/ete.)、RECORD类型、隐/显式类型转换流程控制语句:IF/ELSE IF/ELSE 语句GOTO 语句、LOOP 循环、FOR 循环、FORALL 循环、WHILE 循环、CONTINUE(WHEN)语句EXIT(WHEN)语句游标支持:显示 CURSOR 及其基本操作OPEN/FETCH(BULKCOLLECTYNOTFOUND/etc.:支持SELECT(BULK COLLECT INTO 语句Package 包支持,包括包内全局变量包内类型、包内函数 |
异常支持: 支持用户自定义异常和系统预定义异常:支持 RAISE 语句:支持 WHEN (OR)THEN (OTHERS)异常处理:支持存储过程内部和存储过程之间的异常传播:部分系统预定义异常抛出点:部分编译时刻错误检测数据分析和挖掘支持标准的 JDBC/ODBC 接口,与 BI报表工具和分析工具无缝整合,支持Tableau, SAP Business Object, Oracle Bl.MicroStrategy等常见BI分析工具,无需编程即可实现大数据的交互式报表生成。可以快速支持临时新增的统计分析要求。 |
支持并行化统计算法和机器学习基础算法库,支持的并行化基础算法,能够处理大数据集,支持算法包括但不限于:直方图、饼图、箱线图、归一化等:贝叶斯网络、向量支持机分类、逻辑回归、线性回归、聚类分析、广义线性模型、决策树(随机森林决策树)、协同过滤等。 |
支持 R 语言进行快速数据分析。可在 R语言中访问 HDFS,HBase数据库或者数据仓库中的数据以及能够在 R中通过SOL进行数据的抽取清洗转换预处理。支持在R语言中创建所需的分布式计算集群,并提供并行化R语言统计与机器学习基础算法库支持可视化界面编辑和调试 R语言程序。 |
平台可维护要求 系统的存储容量能够动态不停机扩容,扩容时现有系统可以不间断正常运行,不受扩容影响。扩容时无需迁移数据,无需要求用户对数据进行重新分区(partition)或重分布,避免硬盘和数据损坏。 |
集群管理软件需要支持分布式文件系统、分布式数据库和分布式数据参数所有参数配置及用户自定义参数配置:集群管理软件需提供图形化界面对集群服务器角色,配置和状态进行管理集群管理软件需要支持集群服务器上分布式系统状态监控和服务器状态监控 |
管理界面支持同时管理多个Hadoop/HBase 集群,适应用户创建研发、测试、生产等多个集群并统一管理,支持在同一个 HDFS 集群上创建多个计算集群。 |
可靠性与容错要求系统中不允许存在单点故障,任何一个角色故障后都应有备份机器承担原失效节点工作,并在监控页面上对错误状态进行显示标识发生硬件故障时,系统能够自动检测错误并修复数据,无需人工干预,即使机器未修复,系统仍然能够不间断正常运行:支持细粒度的出错处理,对长时间的查询/分析任务,发生故障后无需重新运行应用,系统只需要单独运行失败的子任务即可,在故障情况下可极大缩短应用处理时间。 |
支持分布式数据库表跨地市远程复制支持双向复制,实现异地灾备。多租户与安全控制多租户支持,计算集群可以按需创建,按需销毁:创建集群时只需要指定所需计算资源,无需指定具体物理机YARN 支持对 Spark 集群以及MapReduce 集群进行计算资源和内存资源的管理能力,避免占用内存资源多的Spark或 Map/Reduce 集群之间争抢内存资源。为此,资源调度框架需要支持内存管理和 CPU 调度,也需要增加对Spark 资源各种调度算法的支持。具备严格的数据安全访问控制。支持对存放在 HDFS中的选定文件单独进行加密以及支持对 HBase 数据库中选定列进行加密。 |
实现用户身份认证、角色访问权限控制、安全访问审计等安全管理。支持数据表、字段、行、单元格级的数据访问权限管理。 |
车辆特征智能识别与图片检索比对模块 | 能够识别卡口过车图片中车辆号牌、车辆类型、车身颜色、品牌型号、年检标识、摆件挂件位置等车辆外观属性,数字化描述车辆个性化特征,针对伪造变造号牌、挪用号牌、遮挡号牌等严重交通违法行为,应用以图搜车技术发现其未遮挡或者悬挂真实号牌的通行图片,通过集成指挥平台布控、比对、预警,实现对涉牌类违法行为高效打击。支持自动提取主副驾驶不系安全带、开车使用手机等交通违法行为识别预警。至少支持 2500 种车辆品牌型号识别,车牌识别准确率不小于 95%,驾驶人未系安全带和开车使用手机识别准确率不小于 70%。 | 1 | 套 | |
卡口图片人脸智能识别比对 | 能够按照公安交通集成指挥平台人脸识别服务软件接口要求提供接口服务:人脸检测与特征提取,每秒并发访问 50次以上,单次平均返回时间不超过1秒:特征库要求单块显卡至少支持存储2000 万特征:1比N比对在N为6000万的前提下,每秒并发比对不小于50次,单次返回时间不超过1秒,在相似度大于可信阈值的前提下,TOP1准确率不小于 95%:1比1比对在误识率低于十万分之一的前提下,拒识率低于10%。 | 1 | 套 | |
集成平台违法证据智能审核应用软件 | 在公安网运行,检测后的违法须全量接入集成指挥平台:能自适应不同违法图片组合方式,且识别准确率不受影响:支持自适应场景,无需人工标注:单条违法识别时间不超过2秒:支持常见违法行为的识别,至少包括闯红灯、不按导向行驶、违反禁止标线、逆行、不礼让行人;与公安交通集成指挥平台无缝对接,各项智能审核应用功能直接嵌入集成指挥平台:支持在国产芯片服务器上运行。 | 1 | 套 | |
硬件环境 | |
项目名称 | 建设要求 | 数量 | 单位 | 备注 |
专网接入服务器 | 2U 机架式服务器处理器:2颗16核/2.5GHz 主频 CPU内存:32G DDR4 内存*4RAID卡:IGB 缓存 SAS RAID 卡,支持RAID W |