为了提高对公民的服务和保护国家利益,政府必须能够迅速和有效地收集来自世界各地的巨量结构化和非结构化的数据,并对这些大数据进行分析。随着全球范围内的大数据持续以惊人的速度增长,而技术的不断进步,也促使数据收集功能(智能手机、高清卫星影像、先进的传感器等)持续增长。
进而带来了政府部门在各个关键领域的改进:遏制欺诈行为、浪费和滥用、加强国土安全、改善科研、保护公众健康以及更多更多的相关服务领域。
对于政府部门来说,当下的问题不是如何收集数据,而是如何避免被快速增长的大数据所“淹没”,而无法对其数据解析工作带来任何借鉴意义。此外,我们的政府已经在卫星系统技术、先进的数据收集技术与数据框架和应用程序方面进行了重大投资,因此不会带来大量数据的产生。
这就是为什么我们需要大数据分析平台的原因了。这些平台可以存储、管理、分析PB、乃至艾字节规模数据集的结构化和非结构化数据,提供见解,可以用来指导决策和加快被动和主动两种方式的决策。大数据分析可以让政府全面看待所有数据有关的特定程序、政策、或情况。
传统技术基本上无法进行扩展,以满足政府机构今天所面临的无论是数据容量或解析方面的要求。过去,在TB规模的数据中运行查询或统计模型,可能需要数天或数周的时间才能返回一个答案。更有可能的是,这种努力会带来整个系统运行效率变低。另一方面,大数据分析技术,可以在几分钟乃至几秒钟内处理这些负载,这使得查询可以迅速完善,并可以重新分析微调的见解。
正确实施大数据平台,还可以显著的降低数据管理成本,同时提高输出结果。利用大数据平台,成千上万的离散数据集可以合并或消除,降低IT基础设施、软件许可证和物理迁移的费用。