Web开发

首页 » 常识 » 诊断 » 规划和自然资源信息化技术发展从业务基础平
TUhjnbcbe - 2023/3/4 18:50:00

一直以来,企业信息化领域都在试图解决数字资产的采集、挖掘、管理和利用问题,通过数字资产的高效复用,提质增效,适应用户需求的快速变化。作为服务于规划和自然资源领域、住房和城乡建设领域的IT应用服务提供商,上海数慧系统技术有限公司(简称上海数慧)自成立以来,近20年从来没有停止过在这方面的探索。

一、行业信息化的启蒙和成长

回顾以往,展望未来,我们可以把规划和自然资源信息化的发展历程初略地划分为四个阶段。即:年之前的启蒙和成长阶段;本世纪第一个十年的基于业务基础平台的建模和模型驱动阶段;年后兴起的、采用面向服务架构(SOA)的服务化阶段;以及在年后,随着互联网大潮的到来,以大数据和云计算作为基础支撑,进入到了以云原生和中台化为核心的认知和云化阶段。

图规划和自然资源信息化发展的四个阶段

我国原规划和原国土行业的信息化都大致起始于年代早期,在直至年之前的20多年发展过程中,主要依靠遥感数据应用、计算机辅助设计和制图(CAD)、城市地理信息系统(UGIS)、基础空间数据建库,以及基于工作流的办公自动化系统(OA)、电子报批等信息化辅助手段的引入,完成了整个行业的信息化启蒙过程,为进入21世纪的全面蓬勃发展奠定了坚实的基础。

二、业务基础平台和模型驱动

上海数慧成立于年,当时国内IT业界对于业务基础平台、模型驱动开发(MDA)的热情很高。借着这股东风,上海数慧在城市规划行业率先开发出了基于建模和模型驱动技术的业务基础平台(DAP1.0),以及基于组件技术的GIS应用平台(DGP1.0/MoEditor3.0)。

在建模阶段,DAP把业务分为主体和客体两大部分。主体即办理业务的组织机构、人员、角色等要素;客体即业务载体,由流程、表单、报表等基本业务要素,以及材料管理、GIS和CAD等扩展要素(或应用)组成。主客体之间通过权限连接起来。权限是由主体、客体、操作共同组成的多元组。比如:通过“(角色、流程环节、表单域/报表项、操作)”这个四元组,就可以准确描述出:“谁(角色)在什么流程环节下,对哪些表单域或报表项,具有读、写(或修改)操作权”。

将建模得到的业务模型提交给DAP业务引擎后,即可对业务要素元数据做出解释,将其实例化为相应的业务实体并连接起来,从而快速生成集工作流、表单、报表、GIS、CAD、文档管理等为一体的规划业务应用系统。

由于具有非常严谨、清晰的数学模型,令DAP具有良好的扩展性和适应能力。它还提供个性化定制接口(SDK),能够敏捷响应用户业务需求的快速变化。

DAP/DGP平台从根本上颠覆了之前以GIS为主,对接CAD、工作流、办公自动化等IT技术的规划信息系统建设模式,所体现出来的业务应用系统快速构建和敏捷响应能力,令整个城市规划行业耳目一新,得到了热烈反响。在城市规划领域得到初步验证后,我们把DAP/DGP基础平台和应用产品进一步推广到了原国土和原环保行业。

随着业务领域的拓展,特别是在进入原国土行业后,为更好地满足用户对空间数据管理和数据质检的需求,在DGP基础上,上海数慧又扩展出了空间数据管理平台(DDP)和空间数据质检平台(DCP)两个产品。DAP也从基于C/C++开发、C/S模式的V1.0,发展到基于C#.net开发的V2.0,以及基于B/S模式的V3系列,到V3.4版本做到了基于JavaEE开发的Web模式。

图上海数慧业务基础平台及应用解决方案总体架构(-年)

在把DAP/DGP平台及其上快速搭建出来的应用系统推向全国的过程中,上海数慧学习了面向对象分析与设计(OOAD)、信息资源规划(IRP)、统一软件开发过程(UP)、集成产品开发(IPD)等主流的软件分析、设计和开发方法与过程,积极尝试并掌握了统一建模语言(UML)、企业总体架构(EA)、系统体系结构(SA)等相关规范、工具和技能。

与DAP/DGP平台的推出相配合,在规划信息系统建设方面,上海数慧提出了“以业务为导向、以数据为基础、以技术为支撑”的总体指导思想,进一步让GIS/IT技术回归到了以业务为中心的方向上来。

三、新时代、新挑战

到了年,随着信息化建设成果的持续积累,各地原规划局和原国土局存在的信息系统越来越多。在业务办理过程中,业务人员需要在不同应用系统间来回切换,不堪其烦,还容易出错。在缺乏统一的用户管理、信息安全和数据共享机制情况下,建成的信息系统成为一个又一个竖井,“信息孤岛”普遍存在。信息系统不但没有成为业务和组织变革的助推器,反而越来越成为改革的滞后因素,拖了后腿。

有些用户提出来:现有的应用系统功能已经非常丰富,之所以还不能满足新的业务需求,是因为这些功能被固化到了每个应用系统中,无法与其他应用功能形成有效衔接,需要重新开发,费时费力还费钱。能不能把这些相似的功能剥离出来,形成可复用的公共资产,在此之上,采用搭积木的形式,多快好省地搭建出新的业务应用系统?

从业务层来看,随着应用系统范围的延伸,促使原来各自孤立的业务流程连接起来,打造端到端的业务体系。传统的片断式工作流技术已经越来越难以适应这一要求,需要有新的技术,把业务应用系统有机衔接起来。

在进入本世纪第二个十年后,以云计算、大数据为代表的新一代信息技术加速涌现,甚至成为了经济社会生活中的热点话题。人们对新IT产生了极高的期望,对行业信息化也产生了明显的推动作用——很多新需求,实际上是被新技术激发出来的。行业信息系统的建设越来越受到业务和IT的双重驱动。

四、技术转型的决策过程

这些在年前后出现的种种迹象,都意味着原规划、原国土行业的信息化面临着一场新的变革,在技术上要求有新的突破,做到与时俱进。

图面向服务架构(SOA)实现业务和IT的对齐

为了跟上时代的发展要求,上海数慧开展了大量的新技术研究、探索和评估工作:我们研究了基于消息中间件的企业应用集成(EAI)技术;了解到面向服务架构(SOA)能够将已有功能组件封装成服务接口,通过企业服务总线(ESB)对服务接口实行编排,采用“服务+服务=新服务”的搭积木开发模式,消除“信息孤岛”;在SOA基础上,利用业务流程管理(BPM)技术,可以把片断式业务连接起来,打造端到端的业务流程。

在着手研发具有BPM/SOA特性的DAPV4版本前,我们考察了开源、国产和国外的多个主流技术。经过全面评估,征求并采纳部分用户意见后,上海数慧于年9月与IBM结成战略合作伙伴关系,并于年6月与IBM共同成立了大数据联合创新实验室,正式启动了向BPM/SOA全面转型的征程。在IBM的帮助下,我们加速跟上了云计算、大数据、移动互联和信息安全等前沿信息技术的发展步伐。

五、BPM/SOA服务化转型

从年开始,我们首先对DAP做出了基于BPM/SOA的全面重构,发布了DAP4系列版本并推向市场,受到了多个标杆用户的迅速接受和广泛好评。现在,BPM/SOA已经成为规划和自然资源业务流程信息化的标准解决方案。

我们在对Hadoop/Spark为代表的大数据底层支撑技术基本吃透的前提下,在重庆交规院的大数据平台建设项目中,实现了海量数据(每天近GB)的实时采集、存储、分析、计算和展现,以及平台的可持续运行。我们把大数据方面所取得的技术成果注入到原有的空间数据管理平台DDP,使之具备了新的内涵,并将之重新命名为DBP。

在对非结构化数据有了更深入理解的情况下,我们推出了上海数慧的内容管理平台(DCM),发布了基于知识管理和社交网络的SaaS协作软件“规划小智”,为规划研究、编制提供虚拟化的社区协同工作模式,以及“工作过程即收集”的知识采集和分层分级共享机制。

在对移动技术多年坚持不懈的努力探索下,我们发布了上海数慧移动应用平台(DMP),帮助许多用户解决了已有信息系统快速移动化的问题。现在,移动化已经成为大多数用户信息化解决方案的标准配置。年,我们将DMP平台进一步升级为“移动小喔”,除助力用户已有应用的移动化、快速开发出新的移动APP外,还具备了云上的SaaS服务能力。

认识到信息安全的重要性,我们从年开始组建专门团队,开展应用系统的安全技术研究和开发。在将所取得的技术成果成功应用于多个项目后,我们于年正式发布了统一应用安全中心(DASC)。针对已有的应用系统,采用非侵入的快速配置方式,无需改造或重建,即可满足安全等保三级要求。目前,DASC已经成为上海数慧信息化解决方案的标准配置之一。

总之,通过年开始的BPM/SOA服务化转型,上海数慧的行业应用平台、产品和解决方案全面走向了开放式的企业级架构,融合了以云计算、大数据、信息安全为代表的前沿信息技术,为下一步走向微服务化、云原生奠定了坚实的基础。

图上海数慧核心应用平台体系(年-)

从年开始,上海数慧的技术体系得到了很大的扩展:在已有的DAP、DGP、DDP、DCP四大平台基础上,增加了DMP、DCM、DASC等平台;我们具备了交付可持续运行的大数据分析和计算平台的能力;除提供面向行业应用的各种解决方案外,我们还发布了“规划小智”和“移动小喔”两个SaaS云应用产品。

六、新方法论和对行业信息化的推动

为了帮助用户打造端到端的业务体系,优化业务流程,我们向IBM学习,掌握了业务流程分析(BPA)、业务组件建模(CBM)、面向服务建模(SOMA)、业务规则管理(BRM)等方法论。并且与面向对象分析与设计(OOAD)、企业总体架构(EA)、信息资源规划(IRP)、系统体系结构(SA)等方法论结合,打造成了信息化建设总体分析、设计和咨询能力,为多个城市和省级用户单位提供了信息化咨询服务。业务流程分析优化、信息化顶层设计和IT应用咨询,成为上海数慧一项新业务。

上海数慧的BPM/SOA服务化转型也加速推进了全行业的数字化转型进程。在公司每年举办的“数慧新年大讲堂”、“规划和自然资源信息化实务论坛”、“CIO圆桌研讨会”等活动中,我们和IBM、亚马逊、腾讯等国内外IT巨头一起,持续向行业传递了推动数字化转型的理念、技术、架构、平台、方法和过程,帮助全行业进一步拓展了对企业信息化的认知边界,逐步形成了由*府部门、研究机构、高校、国内外IT厂商等组成的良性生态系统。

七、SOA和微服务

原规划和原国土行业信息系统的BPM/SOA服务化转型为应用资产的剥离和复用提供了良好基础。随着服务接口的不断积累,国外IT厂商提出了“API经济”生态,而国内IT业界则提出了“中台”架构。两者的本质,都是通过数字资产的积累和复用,提高应用软件系统的开发效率,达到快速响应用户需求变化的目的。

图API全生命周期管理(图片内容来源于怡和祥云)

在微服务架构提出并流行开来之前,API服务接口主要由单体应用提供。单体应用体量大,结构复杂。对单体应用做出修改时,容易牵一发而动全身,可能产生的副作用难以预料,因此必须做出全面的回归测试,以确保已有功能的正确性。随着应用规模的不断扩大,开发、测试和发布周期越来越长。SOA服务接口的灵活编排机制具备快速响应用户需求变化的能力。但是,当需求变化涉及到应用服务组件的重构时,单体架构将使SOA带来的敏捷性消失殆尽。

因此,对单体应用做出分割,使之成为一个一个体量适中的微服务,然后通过微服务提供的API服务接口进行协作,就能够从接口层到实现层都提供灵活应变机制。另外,微服务可以在不同的服务节点上独立部署,其资源利用率和可伸缩性都将得到极大提升。这是企业信息系统走向更加敏捷高效的必然选择。

所谓“如人饮水,冷暖自知”,经历过BPM/SOA服务化转型后,上海数慧对于SOA服务化带来的优势和存在的问题,有着直观的感知和切身的体会。在看到微服务能够带来的潜在价值后,从年开始,上海数慧开始大力向行业推介微服务架构,同时展开了微服务相关技术的研究和应用实践。

八、云原生技术

随着以Docker为代表的容器技术逐渐成熟,微服务的容器化渐成必然之选。轻量级容器采用进程隔离技术,共享宿主机的操作系统内核和资源。与虚拟机技术相比,Docker容器的性能和资源利用率有了数量级(几十甚至上百倍)的提高,特别适合于业务流量较大且存在潮汐效应,需要大规模应用集群动态伸缩的场合。

源自谷歌的Kubernetes则是容器自动部署、扩展和管理的开源平台,凝聚了开源社区的最佳创意和最佳实践。它把容器组合成应用系统的逻辑单元(Pod),提供灵活的容器管理和服务发现能力。

年7月,由谷歌牵头,联合Linux基金会、IBM、微软、RedHat等,成立了云原生计算基金会(CNCF)。谈到“云原生”,可以简单理解为围绕Kubernetes和Docker为内核,融合与微服务相关的其他开发和治理技术,形成面向微服务的开发和运维环境,以及开发运维一体化(DevOps)的软件过程。

基于云原生的JavaEE开发最佳实践:采用SpringBoot框架开发微服务,然后把微服务装载到Docker容器上——通常一个容器只装一个微服务,形成一对一的关系,再把容器交给Kubernetes实行自动部署和灵活编排。Kubernetes使用Pod把多个容器组合在一起,对Pod进一步编排后,便形成业务应用系统。

图基于云原生技术的应用系统开发最佳实践

云原生有望成为下一代应用软件开发的主流模式,IT主流业界已经迅速向云原生靠拢,规划和自然资源的信息化也不会例外。

九、云原生实践探索

上海数慧在年发布了“规划小智”,这是我们首次采用SaaS模式,在公有云上开发和交付应用软件产品。在“规划小智”的开发过程中,我们利用了Docker容器,与GitLab代码仓库、Jenkins持续集成和发布(CI/CD)工具结合,初步尝试了开发运维一体化(DevOps)模式。

紧接着,我们采用Zookeeper和Dubbo技术,对DAP4做了分布式微服务化改造。其中,Zookeeper实现服务的注册和发现,Dubbo实现服务调用和路由。对于新增的基础平台功能组件,例如调度中心(DTM)、消息中心、规则中心等,不再把它们作为新增功能模块放到DAP大平台中,而是作为微服务来独立开发和独立部署,由分布式服务治理框架实现互联互通。

为了进一步提升服务治理能力,我们尝试用DubboNacos替代Zookeeper,以承接服务注册、发现和配置功能;我们研究了SpringCloud相关的开源组件,实现微服务的日志采集、链路分析和监控、流量控制、健康检查等治理能力;为了适应多语言环境的微服务治理要求,我们对服务网格(ServiceMesh)和Istio展开了跟踪研究。

图基于Spring和Dubbo的上海数慧微服务技术框架(年-)

从年开始,对于内部新立项的基础平台研发项目,以及外部新启动的部分合同项目,我们开始采用SpringBoot微服务开发框架。到了年,在某些项目中,我们开始使用以Kubernetes为骨干的云原生技术,支持GIS应用组件的容器化自动部署和编排,并逐步进入到生产环境,发挥实际效用。

目前,我们大部分的API服务接口还是来自于传统的单体应用,少量接口可以由微服务提供。有些微服务已经容器化,并采用Kubernetes实现了自动部署,具有了DevOps的初步特征;有些还离不开手工部署。从发展趋势来看,单体应用的比重在逐渐降低,云原生(微服务和容器化)的比重在不断提升。虽然如此,但在可预见的未来,单体应用不会完全消失。云原生和单体应用将是一种共生关系,而不是互相排斥。

十、数字服务资产和中台战略

阿里于年提出中台战略,被国内IT业界广泛接受。这一过程与微服务、容器化、容器编排等云原生技术的兴盛几乎同步,近两年达到了高潮。

上海数慧在完全转向中台战略之前,在规划和自然资源行业提出了基于数字服务资产的信息化总体架构。它围绕着数字服务资产,以云计算和大数据(即“一云一湖”)为基础支持,通过人和机器的有机协作体现业务价值(即“人机同行”),由信息安全提供保驾护航。

图以数字服务资产管理和利用为中心的信息化总体架构

无论来自于单体应用,还是来自于微服务,以公共应用组件和数据资源为主的数字资产,都应该尽可能服务化,提供API服务接口。只有通过API服务接口的灵活编排,才能充分复用已有的数字资产,满足业务层面随需应变的要求。把所有API服务接口汇集起来,便形成数字服务资产。

中台架构的核心价值正是以可复用的数字服务资产为基础,为前台应用提供灵活搭建和敏捷响应能力,以适应业务创新和业务需求的快速变化。可见,服务化和云原生为中台的建立提供了强大的基础技术底座,在此之上,注入具有行业特性的可复用数字服务资产,便得到所谓的业务中台和数据中台。

因为走过了完整的服务化转型过程,积累了大量的数字服务资产,使上海数慧得以敏锐地抓住服务化和云原生技术,顺畅地向中台战略转型。

十一、数字化转型和数字治理

“数化、连接、赋能”是进入数字化时代的三个基本特征。首先,通过全面数字化,使现实世界的任何事物都有与之对应的数字孪生;其次,通过以信息传播为本质的信息技术(IT,或信息与通讯技术,ICT),把所有人和物都连接起来;最后,采用以信息加工为本质的数据技术(DT),从浩如烟海的大数据中提取出信息,形成知识,最后获得人工智能(AI),为业务赋能。我们所处的规划和自然资源行业,正加速走向全面数字化时代。数字治理,势在必行。

为了促进行业数字化转型和数字治理能力的提升,近年来,我们在云计算、大数据、区块链、人工智能等新一代信息技术应用方面,又不断取得一些新突破。

在云计算方面,除了加速拥抱云原生技术外,我们开发了更多的SaaS应用。例如:在线office文档编辑器可以实现多人同文档的在线修订、审阅留痕并实时同步;类excel在线公式编辑器能够支持各种计算公式的编写、参数设计、动态联动、表达式扩展、函数扩展等。

在大数据技术(DT)方面,我们引入了增量数据实时抽取技术,融合Kafka和列式数据库技术,形成了新型数据仓库;我们对全面数字化后产生的数据资源实行谱系化梳理,形成数据地图;我们为数据注入业务办理、协同、决策和管控等各种规则,使之转变为具有业务性的数字实体;我们编写了大量面向空间数据和非空间数据的智能算法和分析模型,以洞察数据,提供决策支持;我们采用分布式存储和计算框架,汇总、分析和计算各类监测、评估、评价指标,必要时做出预警;最后,我们采用二三维一体化的数据可视化技术,直观清晰地展现各类数据资源和认知计算结果,让各种数据能够为业务人员所理解,回归到业务本身,体现其业务价值。

在区块链方面,我们部署了开源的HyperledgerFabric区块链平台,模拟真实业务场景,编写了智能合约并做了验证。我们把与区块链相关的统一身份认证、哈希加密算法、去中心化等技术,应用于诸如电子签章、证照管理、地块跟踪等不同业务场景。

在人工智能(AI)方面,我们在移动产品中集成了人脸识别功能,在多个项目中应用了OCR文字识别技术,在面向公众的智能客服中应用了语音识别、自然语言处理和知识图谱建立等技术。

十二、行业PaaS云平台

以微服务、Docker和Kubernetes为核心的云原生技术使得应用系统的开发、运行和维护环境全面走向云化。其中,Docker容器可以对公有云、私有云上的物理机和虚拟机等资源实行统一的容器化管理,构成多云资源池;Kubernetes可以对容器实行自动部署、一键发布和多租户管理。它还提供平台即服务(PaaS)能力,即对基础软件平台(中间件)实行统一托管和编排,依照应用模板,自动实例化出应用系统。

因此,在云原生技术支持下,基础软件平台(中间件)也将被转化为数字服务资产,与数据中台、业务中台合在一起,构成具有行业特征的PaaS云平台。这样,我们就得到一个以云原生为基础支撑框架,上面承载了技术、业务和数据等各类中台服务资产的行业应用体系结构。

与操作系统的圈层结构对比:它的最里层是微服务和Docker容器,对应于操作系统的内核(kernel);在其外面是服务治理,如Kubernetes(或Istio),用于接管多云资源,以及容器的管理、部署和编排,相当于操作系统的驱动层(Driver);第三层是由各种数字服务资产组成的业务中台和数据中台,为上层业务应用提供支撑,对应于操作系统的外壳(Shell)层;最外层则是应用软件,也就是APP层了。

图以云原生为核心的规划和自然资源应用体系圈层结构

这个体系结构体现了以业务为核心,做到了“资源资产化、资产服务化、服务业务化”;也体现了采用服务化、云原生和中台架构,实现数字资产的充分挖掘、科学管理和高效复用。这些,正是上海数慧一路走来、继续前行,在技术上坚持不懈的奋斗目标!

附录:英文缩略词

1.DIST:上海数慧系统技术有限公司,ShanghaiDigitalIntelligenceSystemTechnologyCo.Ltd.

2.IBM:国际商业机器公司,InternationalBusinessMachinesCorporation

3.ESRI:美国环境系统研究所公司,EnvironmentalSystemsResearchInstitute,Inc.

4.DAP:数慧业务基础平台,DISTApplicationPlatform

5.DGP:数慧地理信息应用平台,DISTGISPlatform

6.DDP:数慧数据管理平台,DISTDataManagementPlatform

7.DCP:数慧数据质检平台,DISTDataCheckPlatform

8.DBP:数慧大数据管理平台,DISTBigdataPlatform

9.DCM:数慧内容管理平台,DISTContentManager

10.DASC:数慧应用安全中心,DISTApplicationSecurityCenter

11.DMP:数慧移动平台,DISTMobilePlatform

12.DTM:数慧任务调度中心,DISTTaskManager

13.MoEditor:基于ESRIMapObjects的数慧GIS桌面应用平台

14.IT:信息技术,InformationTechnology

15.ICT:信息与通讯技术,InformationandCommunicationTechnology

16.DT:(大)数据技术,DataTechnology

17.OA:办公自动化,OfficeAutomation

18.MIS:管理信息系统,ManagementInformationSystem

19.GIS:地理信息系统,GeographicInformationSystem

20.UGIS:城市地理信息系统,UrbanGeographicInformationSystem

21.CAD:计算机辅助设计,ComputerAidedDesign

22.AI:人工智能,ArtificialIntelligence

23.OCR:光学字符识别,OpticalCharacterRecognition

24.MDA:模型驱动架构,ModelDrivenArchitecture

25.OOAD:面向对象分析与设计,Object-orientedAnalysisandDesign

26.UML:统一建模语言,UnifiedModelingLanguage

27.EA:企业架构,EnterpriseArchitecture

28.SA:系统体系结构或系统架构,SystemArchitecture

29.IRP:信息资源规划,InformationResourcePlanning

30.BPM:业务流程管理,BusinessProcessManagement

31.BRM:业务规则管理,BusinessRulesManagement

32.EAI:企业应用集成,EnterpriseApplicationIntegration

33.SOA:面向服务架构,Service-OrientedArchitecture

34.ESB:企业服务总线,EnterpriseServiceBus

35.UP:统一软件开发过程,UnifiedSoftwareDevelopmentProcess

36.IPD:集成产品开发,IntegratedProductDevelopment

37.CBM:组件业务建模,ComponentBusinessModeling

38.BPA:业务流程分析,BusinessProcessAnalysis

39.SOMA:面向服务建模与体系结构,Service-orientedModelingandArchitecture

40.SDK:软件开发工具包,SoftwareDevelopmentKit

41.API:应用编程接口,ApplicationProgrammingInterface

42.APP:应用程序,Application

43.DevOps:开发运维一体化,DevelopmentandOperation

44.CI/CD:持续集成与持续交付,ContinuousIntegration/ContinuousDelivery

45.C/S:客户机/服务器结构,Client/Server

46.B/S:浏览器/服务器结构,Browser/Server

47.JavaEE或J2EE:Java企业级版本,JavaEnterpriseEdition

48.SaaS:软件即服务,SoftwareasaService

49.PaaS:平台即服务,PlatformasaService

50.RDBMS:关系数据库管理系统:RelationalDatabaseManagementSystem

51.SoR:记录系统,SystemofRecord

52.SoE:互动系统,SystemofEngagement

53.CNCF:云原生计算基金会,CloudNativeComputingFoundation

1
查看完整版本: 规划和自然资源信息化技术发展从业务基础平