Web开发

首页 » 常识 » 问答 » 混合开发框架孙元浩Hadoop将取代MP
TUhjnbcbe - 2021/6/21 19:28:00

《混合开发入门Vue结合Android/iOS,开发仿?东京?项目App》网盘分享本?程课?融合Vue、Android等流行?前的?端和移动端技术,混合?发开?经典电商APP——京东。课程将?杂复?功能与知?点识?完美融合,带你真?感实?受到明星级?品产?开发的全过程。除?之此?外,还有一?用流?户体验和优?交秀?互设计?你等?一探究竟,拓宽?发开?眼界。混合开发框架

不出意外我也买了这个课,首先我想说建议去
  【it评论选择大数据基础架构时,您经常听到数据大小可以在TB级别选择MPP架构的关系数据库。如果数据比例升至PB级别,则需要选择Hadoop。但实际上,MPP架构关系数据库的理论基础非常相似。这在对节点的独立操作之后包含操作。差异仅适用于前一个执行SQL。后者是MapReduce计划。做什么样的事情实际运行。用户使用习惯。与SQL的关系更广泛地用于实际语言作为数据库。这将用户的快速访问步骤限制为用户的Hadoop大数据时代。


  使用web2。0,web3。0,移动互联网上升,互联网等。人们已经创建了更多数据,可以收集更多数据。对业务的需求正在推广大型数据技术,包括Hadoop开发。许多公司正在加速SQL发展。纯技术是其中之一。年第6届中国数据库技术会议(DTCC)描述了SterlingTechnologyCTOSunYuanhao。Hadoop的SQL性能持续改进包括安全。Hadoop在未来两年或三年内取代MPP。混合架构逐渐消失。


  作为国内数据库最大的技术剧情和大数据领域,年第六届中国数据库技术委员会(DTCC)近年来,北京最大的沙斯特州成立。4月16日,第一次上午的会议,明星戒指科技CTO孙元豪带来了“两个主要方向和最新发展成绩”的主题讲述了大数据脱节。


  大数据基础技术的主要方向是什么?这两个为什么为什么?SterlingTechnology是否在这两个方面具有这些研究和发展的突破?Hadoop可以取代MPP混合体系结构的原因消失了吗?定位基本软件公司六角形圈科技协会吗?Sterling产品策略是什么?旧的鱼在会议结束后采访了SterlingTechnologyCTOSunYuanhao。联系并回答这些问题混合开发框架


  老鱼:太阳,你好!我一直听说你是一个传奇人。我今天终于看到了真正的人。请让我说我们的网友你好。我们简要介绍了自己和你公司的产品。


  圣元浩:每个人,你好,我是孙艳浩,实际上我的经历仍然相对容易。我在英特尔工作了10年,在大学硕士毕业后添加了英特尔(曾任亚洲太平洋研发有限公司,Ltd。CTO)。年,我留下了英特尔的企业家精神两年。换句话说,核心平台数据库软件的研究和开发和服务用于SterlingTechnology和大数据期。大多数研究和开发团队来自一家知名外国公司。85%的员工是研发工程师。耐心为医生的主人。


  我们的产品Transwarp数据集线器(TDH)基于Hadoop和Spark分布式内存分析引擎和实时在线大型计算分析平台。与开源Hadoop版本相比,您可以处理从10倍到倍性能改进GB的PB级别。斯特林技术还提供了大数据的存储,分析和挖掘调查的高性能数据平台和服务。


  老鱼:你提到Hadoop技术通过10年的发展。到目前为止,广阔的区域中没有两个普遍的因素。不满足SQL技术约束和弹性计算。这两个因素限制了Hadoop的普及。解决这两个问题将是大数据技术发展的两个主要方向。Hadoop有许多问题。为什么你认为这两个问题将是大数据技术的方向?你能给我们具体的分析吗?


  圣元浩:这实际上是过去几年。我观察了来自市场的现象。Hadoop广泛用于广域。障碍来自两个方面:


  1。Hadoop在SQL限制企业迁移和开发新申请的技术进步。


  2,Hadoop加速Docker,大数据平台和湖泊数据湖多租户资源控制和弹性计算要求。这些不满足现有的纱线或虚拟化技术。


  在第一方面,我谈到了过去的大数据。完成了几个数据挖掘工作,但更多的应用程序处于结构化数据,语言的主要使用是SQL。我们发现60%的Hadoop应用程序用于SQL统计信息。


  使用Hadoop进入公司时,它是验证新应用程序。旧应用实际上出现在大数据中。您必须使用Hadoop来加快急需需求。但是,问题是客户想要去Hadoop,形成效率降低成本,但你不能移动!一个重要因素是大量客户的SQL非常复杂。这种情况位于商业和银行。银行贷款风控制SQL非常复杂。要完成迁移,它将需要太多时间来转换。有些语法不会改变,因此SQL支持比性能更重要。如果您没有这些语法支持,则如果要将现有应用程序迁移到Hadoop,则无法运行。


  SQL作为数据库字段中的实际语言。比较API(MapReduceAPI等),SparkAPI等。要用先天性效益建立大型解决方案:首先,工业链是完美的,可以堆叠各种报告工具,ETL工具等。其次,具有SQL的低技术阈值低。第三,可以降低原始系统的迁移成本。因此,SQL语言已成为大数据分析的主流技术标准。您需要解决此问题以使SQL用户能够快速输入HadoopBig数据时代。


  在第二方面,从实际用户的请求。要求三分之一的客户在虚拟机上运行Hadoop。但是,每次拒绝时,Hadoop都放在虚拟机上,因此性能瓶颈非常严重。稳定性非常差,主要原因是传统的虚拟机将物理机转换为多个虚拟机。CPU负载非常低。运行大数据应用的虚拟机,CPU使用率频繁达到99%,并且很少有人使用虚拟机CPU至99%。目前,管理程序无法帮助它。稳定性是一个主要问题,这也可以防止使用Hadoop用户的第二个主要问题。


  因此,这两个方向想要帮助客户解决。如果您解决这两个问题,市场将非常大,Hadoop将能够播放使用的水平。


  老鱼:太阳,这两个问题可以在这里介绍,最新的技术研发成果


  圣元浩:事实上,我们最新的技术研发结果由客户强制。我们的研究和开发结果来自用户的需求。有些客户问我们,我在这里,行的SQL,你可以运行吗?那也是30,行SQL。你说Hadoop不是牛吗?我可以试试吗?这使您可以在年组织编译专家编制的团队。开发HadoopPL/SQL编译器的目标是选择与Oracle兼容。首先,经过两年的发展,我们的SterlingTranswarpInctever在经过两年的发展后实现了自己的SQL解析执行引擎。兼容SQL99和HiveQL。自动识别语法,因此可以符合现有的基于Hive的应用程序。TranswarpInctiveor支持标准SQL99标准。在传统数据库上运行的企业对于迁移到TranswarpInctever系统非常有用。此外,TranswarpInctepor支持PL/SQL扩展。基于传统数据仓库(例如ETL工具)的应用程序可以在Inctever上轻松实现。此外,TranswarpInctepor支持一些SQL标准。我们开发了一个专门的窗口统计数据库,安全审核功能和多个行业。因此,您可以满足多种工业特性要求。


  另一个很漂亮的进步我们开设了一个新的产品线TOS(Transw操作系统),TOS是一个调整大数据的云操作系统。基于Docker和Kubernetes的TOS支持一个按钮部署TDH。首选的抢占资源调度和基于资源分配的微型数据,大数据将轻松应用于接收云服务,并执行传统的数据库服务,如MySQL,不仅限于运行Loot群集执行。也可以。解决第二个问题,包括PostgreSQL,Redis。该操作系统今年6月正式发布。实际上,客户可以开始试用。Dokki,DokkeyHadoop系统,我们被带领。


  旧鱼类:我们经常听陈述,处理PB水平,高质量的结构化数据。使用Hadoop提供半结构化的非结构数据处理。这允许构造,半结构化和非结构数据处理要求同时满足。并谈论今天的观点。SQL持续改进导致Hadoop取代Hadoop连续改进的MPP。混合建筑消失了!这个观点的基础是什么?


  圣元浩:混合架构本身是无助的选择。保持多种系统操作和维护也很难。起初,Hadoop的诞生是促进处理非结构化数据和半结构化数据。但是,在处理结构化数据时,该功能在处理时不完整功能。用户必须使用数据库或MPPS(大规模并行处理)数据库。支持Hadoup处理结构化数据。此外,Hadoop旨在处理数百TB和几个PB数据。但如果数据量小于10TB,则Hadoop处理性能优于MPP数据库。


  提高SQL在Hadoop技术中快速发展的SQL完整性,提高性能,以及我们的第一个决定是混合架构逐渐消失。过去的MPP数据库有三个优点。现在我们的SQL支持在MPP数据库附近,这次是第一个SQL已完成。第二个高于Hadoop性能。但是,可以看出Hadoop性能可能超过MPP几次。第三个优点是说上述BI工具。外延工具非常完整。传统的BI供应商查看Hadoop,Hadoop系统的BI工具丰富。有几个新的初创公司在Hadoop中开发新的BI工具。本工具本身支持。从这个角度来看,Hadoop生态系统超出了传统的MPP数据库。


  在明年2年内,Hadoop将逐步取代MPP数据库。无需使用混合架构。无需在各种数据库之间迁移。有人说我的mpp正在迁移。这也是一个靠近Hadoop的事实。整个MPP数据库缓慢消失。我完全前往Hadoop。最后一项结果希望所有数据都将放在Hadoop中。无论某些GB级别或10PB级别数据如何,都可以处理Hadoop。真的无限的线性延伸。


  旧鱼类:纯技术我明白它是一个基本的软件(数据库)公司。你不知道你是否理解它?为什么这位定位?


  圣元浩:你非常好,现在有很多客户寻求同样的问题。客户位于大型数据应用和解决方案公司。这是因为中国的大多数大型数据公司都是这种类型的。事实上,我们的立场是一个大型数据平台。基本软件。为什么你有基本软件?这是因为看到了明显的技术进化的趋势。从单机进行多核计算到计算色散计算,这一趋势是技术趋势。建筑革命一次。这个机会可能会有一次或20年后,这个领域正是我们的好处。所以我们准备投资这个领域。在中国,除了用户和美国的数量之外,中国公司的数据量通常不仅仅是外国公司。中国的应用方案也非常复杂。海外产品不能在中国运行,几乎没有变化。因此,中国是一个需要如此大数据的基本软件公司。所以我们相信我们在中国市场中有一个非常大的机会。这就是为什么这也是基本软件。中国也有很多合作伙伴。我们开发我们还建立了生态系统的各种应用程序。


  总之,技术趋势最初是该领域。其次,市场环境对我们有用。第三,我们的创始人和团队技术预订和经验非常深入。这是建立纯技术的首要意图。承诺提供优秀的大数据基础软件。解决这些问题。


  旧鱼类:基本软件很难。资金,人才,技术,规模等要求非常高。您是否考虑过您的业务中的这些问题?


  圣元浩:这也是一个很好的问题。我们为意识形态做好了准备。基本软件真的很大,你可以运行亿投资,你的产品。如果您申请,大数据应用领域没有太多的创新。没有办法将其与其他公司区分开来。基本软件对我们很好。


  我们的目标不是追逐短期利润,或个人财富的短期增长。我们的目标是年长,就是这样。大多数斯特林出国外企业。每个人都放弃了一个高薪。唯一的目的是做这个承运人。


  基本软件的人才更难以解决问题,而是企业家公司与大型外国公司和互联网公司相比。我认为更有吸引力:


  首先,我们的作品是创新的最前沿,挑战,这对技术硕士更具吸引力。


  其次,员工激励措施,我们都是所有权,每个人都有公司的选择,与外国公司的工作有很大不同。每个人都是同样的指挥官,每个人都在一起挣扎。


  第三,国内企业家环境非常好。国家鼓励创新和企业家精神。为人才参与创造了一个有利的环境。


  当然,通过仍然是一个问题,所以我们正在与招聘组织合作,同时我将促进新员工。请介绍一些技术硕士。


  旧鱼类:从建筑图中,看着火花,Habas,Habase和其他HadoopEcotropic成分有许多转变和优化。我们还注意国内外大数据的最新技术动态,并考虑如何参加产品。什么规则将转换新产品功能?它是基于英镑的新功能吗?


  圣元浩:我们的产品策略,我们的产品架构自地图以来地图。如下所示


  Hadoop我们与社区同步。并为社区做出贡献。在HAPOP上有三个主要成分翻译过剩。运输街,运输人机,这三个组件我们位于自己的产品中。我们将独立开发和开发,此产品可启用标准SQL。或打开API,这是一个拆分线。HadoopEcosystem组件保证源版本并打开。Sparks还包括接口兼容性。

混合开发入门Vue结合Android/iOS,开发仿?东京?项目App

本?程课?融合Vue、Android等流行?前的?端和移动端技术,混合?发开?经典电商APP——京东。课程将?杂复?功能与知?点识?完美融合,带你真?感实?受到明星级?品产?开发的全过程。除?之此?外,还有一?用流?户体验和优?交秀?互设计?你等?一探究竟,拓宽?发开?眼界。混合开发框架

不出意外我也买了这个课,首先我想说建议去

1
查看完整版本: 混合开发框架孙元浩Hadoop将取代MP