翰云数据库在数据挖掘应用领域的案例
webmaster 在 2014-01-23 12:52 提交
某互联网企业为其电子商务交易网站,开发商业信息数据挖掘的应用。其中涉及对服务器中用户的浏览、搜索、关注、交易、评价等信息,进行导出、清洗、存储,进而进行分析和挖掘的应用。项目初期开发团队将电子商务网站原始信息数据,全部保存到INFOBRIGHT数据库中,再通过每日夜间服务器空闲时段,对原始信息数据进行萃取转换,存储到MYSQL数据库后,基于MYSQL数据库进行分析和挖掘任务。
但该方案现在实际运行中遇到了瓶颈,MYSQL数据库计算性能有限,测试中发现数据量达到百万级时,应用操作响应时间需几十秒以上才能得出结果,当数据量规模增加至上亿条时,MYSQL数据库便无法响应。
开发团队重新部署了翰云数据库系统,其电子商务网站一天的数据量约1.3GB、550万条记录左右,一年的数据量约为15亿条记录以上。商业信息数据挖掘需分别对一天、一月、一季度、一年的数据进行统计和分析。分析所涉及的数据量巨大,但应用翰云数据库系统,统计分析均得到了非常好的应用效果。其处理结果响应时间如下图所示:
最终翰云数据库为其应用提供了高效、稳固的数据仓储平台,采用易于扩展的分布式集群架构,以及列压缩的存储技术,大大提高了存储和分析性能。与传统的关系型数据库相比,系统的性能、扩展能力、可靠性以及性价比都有了质的提升。