国产新型数据库:大数据时代的创新机遇
三十年数据库的发展和形成的以Oracle、IBM、Microsoft等为代表的强势垄断格局,使得传统国产数据库不仅生不逢时,加上技术上采取跟随战略、在事务处理领域顽强拼杀,虽然产品不断进步、市场应用也不断取得单点突破,但大多处于非核心应用。尽管政府给予了持续的大力支持,但在垄断壁垒和开源软件左右夹击下,除了政策性市场之外,很难取得规模化突破,尚未形成企业发展良性循环和政府支持的双赢局面。
大数据时代的到来,使得传统数据库在处理百TB以上、特别是PB级数据的查询、统计、分析等应用时,遇到性能上的瓶颈。面对电信、金融、安全、政企等大数据量应用,包括电信话单、金融细帐、智能电网、经营分析、公安网监、舆情监控、审计稽查、应急指挥等,用户体验往往不可接受。海量数据的3V(数量Volume、速度Velocity、多样Variety)挑战着传统数据库曾经非常成功的“一种架构支持多类应用”的模式。互联网和大数据应用的冲击下,世界数据库格局在发生革命性的变化,通用数据库(OldSQL)一统天下变成了OldSQL、NewSQL、NoSQL共同支撑多类应用的局面。
大数据是信息化的一个崭新发展阶段,通过分析各种大数据,人类对知识的认知可以见微知著、集腋成裘、由此及彼,对世界的认知也将更全面、更深入、和更具前瞻性。自2011年5月,EMC和IDC在合作研究“数字宇宙”五年之后提出“大数据”概念以来,“大数据经济”的影响力愈发显著,谷歌、Facebook竞相超过微软,曾经的“软件为王”让位于“数据为王”。
可以预见,大数据时代将引发大量应用创新,比如,城市大数据应用将支撑智慧城市建设,还有智慧教育、智慧医疗、智慧交通、智慧金融等;各级政府利用大数据对经济和社会统计、预测和规划,可以提升洞察能力、决策能力和国际竞争力,这将助力我国许多行业创新转型,是中国发展中变道超车的重要机遇。
当前美国、英国、加拿大、新西兰、德国、法国、日本等都在积极推动和布局大数据战略。特别是美国,2012年3月29日奥巴马政府就宣布实施“大数据的研究和发展计划”,美国国家科学基金会(NSF)、国家卫生研究院(NIH)、国防部(DOD)、能源部(DOE)、国防部高级研究局(DARPA)、地质勘探局(USGS)等六个联邦部门和机构联合参与。在我国,多位院士也在积极建言制定大数据国家战略,从国家层面顶层规划,实施“专项计划”,突破关键技术,构建我国大数据良性生态环境。中国的数据优势在于,不仅有海量网民和互联网信息企业,我们省地县各级政府和单位都已建立了“专业数据库”和“数据中心”。当这些数据被打通,当各种“专业知识服务系统”和智能系统被建立起来,我国大有可能登上大数据掌控与应用的战略制高点。据预测,2014年中国大数据市场将近100亿元,并且未来几年将持续保持100%以上的高速增长。
因此,集中政府、地方、企业各方资源,聚焦研发支撑大数据的核心技术和关键产品显得十分急迫:数据分析技术、知识计算技术;·非结构化数据处理技术、新型数据库管理技术;·数据安全共享技术;·可视化技术;·等等。
如果说过去二十年,国产数据库厂商缺少生存空间,那么今天大数据时代,国产数据库则迎来难得的历史发展机遇。以研制承载大数据应用的新型数据库为突破口,以数据价值密度高的行业大数据为重点,首先聚焦于结构化大数据的应用需求,研发能够支持企业级大数据分析的列存+MPP数据库集群,达到对百TB至PB级结构化数据的分析类应用比传统数据库快10-100倍的性能指标。接着研发能够对结构化、半结构化和非结构化数据进行统一管理和分析的全数据处理平台。逐步形成以国产分析型数据库为核心,联合各行业的数据分析类应用开发和集成厂商建设企业级大数据的综合分析与展示平台、商业智能、运营智能和数据辅助的人工智能平台构成的企业级大数据应用产业链。
这对于保障国家数据安全、突破国产基础软件一直以来的被动局面,推动我国软件产业发展都至关重要!