免费试用
新闻动态
高效、安全保护文件中集成的核心业务系统,根据业务需求,提供定制开发。
如何将大数据迁移到云存储
发布时间:2012年08月27日 来源:连用科技

      如今,很多企业的IT管理人员都在考虑将企业数据向云中迁移,云存储逐渐成为一个热门的趋势。如果为目前的信息技术产业搭配关键词,云存储无疑是其中之一。权威技术研究和咨询公司Gartner预测,到2015年,云存储将增长89.5%,市场份额达到28.8亿美元 ;到2016年,共享内容并且能够实现从多个设备上并发访问内容的愿望将促使消费者将超过三分之一的数字内容存储到云中 。越来越多的客户咨询有关将 50TB左右的数据迁移至云环境的问题。从理论上来说,将数据移至云环境是一个很简单的问题,而实际上,有很多重要的问题需要提前考虑,比如:您的带宽有多少?您的数据规模有多大?您需要恢复数据吗?可接受的数据恢复时间是多长?您的云服务提供商允许您来“植入”数据吗(例如,将驱动器或设备发送给客户,由客户在本地备份其数据,然后将驱动器/设备递送给提供商)?您的云服务提供商有基于云的服务器以便您能够直接从云存储恢复数据吗?

      接下来,让我们仔细分析两个计划将50TB 数据移至云端的客户案例。一个客户有一个 T1 线路,而另一个客户则有光纤OC3网络。

      例 1:具有 T1 线路的客户

      50TB 的数据,通过 1.544 Mbps,链路也称为 T1 线路)=       79124 小时或者近 3297 天

      首次通过 T1 备份 50TB 数据(典型重复数据删除率为 57%)= 33549 小时或 1398 天

      连续通过 T1 备份 50TB 数据(典型不间断重复数据删除率为 90%)= 8387 小时或 349 天,这代表了预计 10% 的日增量和 90%的重复数据删除率。在这个例子中,很显然,对于云服务提供商而言,收到每日增量数据的时间并不合理。

      例 2:拥有 OC3 网络的客户

      50TB 数据,通过 OC3 = 788 小时或者近 32 天

      首次通过 OC3 备份 50TB 数据(重复数据删除率为 57%)= 334 小时或 14 天

      连续通过 OC3 备份 50TB 数据(重复数据删除率为 90%)= 84 小时或 3.5 天,重申一下,这代表了预计 10% 的日增量和 90% 的重复数据删除率。云服务提供商仍然没有在 24 小时的时间窗口内收到每天的变更数据。如果要使提供备份或归档数据的时间窗口不超过24 小时,则是一个更大的挑战。

      另外,要说明的一点是,目前假设的是一个仅有最低 WAN 开销无其他网络负载的“原始”环境。但如果您使用这些线路上网、收发电子邮箱或拨打 IP 电话的话,那么,对于带宽和数据传输的时间影响不言而喻。

      下表列出了基于这些相同假设细分的 10TB 数据。


      这就是为什么我们在部署云存储前将需要考虑的问题列举出来,其实将数据写入云只是第一步而已。如果在灾难事件发生的情况下云是您公司的存储资源的一部分,那么将数据找回来特别是备份或者归档数据将更加重要。您的云服务提供商允许您向云端“植入”数据吗?您的云服务提供商有基于云的服务器以便您能够直接从云存储恢复数据吗?如果遇到灾难,您的云服务提供商会将存有您的数据的驱动器递送给您以供数据恢复吗?对这些问题的回答至关重要。

      随着大规模、50TB 数据云解决方案的出现,客户该如何应对上述数学挑战?现在,我要向大家介绍针对这一问题的一个有效的解决方案。在这个案例中,客户与一家云服务提供商密切合作,该提供商能够:1) 让客户将数据“植入”云环境 2) 基于 VMware 构建其计算云以充分利用物理到虚拟 (P2V) 技术。这种类型的云解决方案具有诸多优势。

      首先,向云环境“植入”数据的功能使客户能够将介质递送至云服务提供商,随后只需以在线方式即可发送变更数据。在充分利用了集成数据缩减技术(如源端重复数据删除和压缩)的情况下,这种方式显著减少了所需的带宽。

      其次,一旦出现灾难,客户能够通过服务提供商的云接入口进行数据恢复。由于服务提供商运行了 VMware,客户不仅能够进行数据恢复,还能够充分利用 P2V 技术 — 在 CommVault 的案例中,我们的 Virtualize Me功能能够自动将物理服务器恢复到虚拟机。此外,企业还应当向其云服务提供商询问他们是否能够使用工具来以多流方式将数据传至云,并最大程度利用带宽,尤其是,对于有专用 1Mbps 带宽客户。 

       CommVault的 Simpana 9软件中引入了第三代重复数据删除技术,可以在客户端删除90% 的冗余备份和归档数据。 Simpana 9 使用这种方式将客户端——磁盘——磁带中的重复数据删除扩展到整个企业,将网络中发送的数据量锐减90%,藉此有助于帮助企业显著加快将大量备份或归档数据迁移至云环境的速度。很多客户向我反馈,通过使用现代数据管理功能(如重复数据删除、压缩和多流等技术),显著缩短了他们向云环境迁移大量数据所需的时间 — 从数月缩短至数天,甚至数小时。

      对于将来考虑将硬件及物理设备迁移到“云端”的客户,希望以上的建议也会使他们云存储的部署准备更加充分和周到。因为,我们相信有效规划此类实施对于将数据迁移至云和测试数据恢复目标的成功具有举足轻重的作用。


最新新闻
连用科技:信贷催收数据安全共享解决方案
为了更好地开展催收工作,银行需要通过优化催收数据处理流程,提高数据质量、处理效率和可用性,加强对数据的监管和安全保护。基于此,连用科技推出信贷催收数据安全共享解决方案,通过对催收数据提取、交付、管控现状等进行分析,基于FC平台,通过网间交换功能,来满足数据内容安全合规、数据外发可管可控、多场景适用、高质高效的文件传输平台,进一步推动银行业金融机构催收业务这块的数字化转型。
连用科技:ISO体系文控管理解决方案
连用受邀参加深圳CIO夏季峰会,以企业全融合内容管理平台助力企业数字化建设
2023年5月19日-21日,由深圳市CIO协会主办的“2023中国(深圳)数字化转型大会暨粤港澳大湾区CIO高峰论坛”于广东河源万绿湖美思威尔顿酒店成功举办,本次交流会以“数字企业 制造强势”为主题,集结了众多各行各业的CIO及专家、学者参加会议,共同探讨了数字化对制造业的影响以及如何推动新一代信息技术与制造业深度融合。连用科技作为国内专业的企业内容管理服务商应邀出席了此次盛会。
最高荣誉!连用科技荣获「企业内容管理最具影响力品牌」
2023年5月11日,由工业和信息化部(工信部)直属单位赛迪网和《数字经济》杂志社主办的“2023数字驱动创新峰会”在北京隆重召开,连用科技作为国内领先的企业内容管理服务商,受邀参加了此次峰会。
连用科技受邀参加2023深信服城市峰会-上海站
2023年4月21日由深信服主办的“2023深信服城市峰会—上海站”于上海雅居乐万豪侯爵酒店成功举办。连用科技作为国内领先的企业内容管理服务厂商,受邀亮相此次会议。
连用档案管理系统:纸质档案·电子档案一体化管理
现如今,数字档案管理已成为档案管理的一种重要方式,传统档案管理模式已很难适应数字化的发展需求;为释放档案资源价值,升级数字化档案管理,实现新时期档案工作的高质量发展,连用科技推出基于连用文件云构建的CAM档案中心解决方案
数智领航 . 乘风破浪,连用科技亮相2023 WBCIO技术交流会
2023年4月8日-9日,为期两天的2023 WBCIO技术交流会(以下简称“交流会”)在惠州金海湾嘉华度假酒店成功举办,本次交流会以“数智领航 乘风破浪”为主题,集结了众多各行各业的CIO参加了会议。连用科技作为国内专业的企业内容管理服务商应邀出席了此次会议。
测绘院:数据安全融通解决方案
在大数据时代,伴随互联网技术的不断应用,作为国家建设和城市规划中最重要的信息源之一的测绘成果数据的获取、处理、存储和传输越来越频繁,数据的安全融通成为了亟待解决的问题。

留言