168大数据

标题: 大数据应用之双色球算奖平台总体设计大纲篇一 [打印本页]

作者: 168主编 时间: 2015-4-21 09:21
标题: 大数据应用之双色球算奖平台总体设计大纲篇一

作者：张子良

引子：双色球延期开奖，你Hold住了吗

　　福利彩票走进百姓生活，每期的500w大奖吸引了千万彩民的眼球和关注，备受争议的双色球延期开奖也成了争议的焦点，成为继12306之后，又一个站在风口浪尖的悲催儿。黑幕说，红会说，各种说甚嚣尘上。IT人只做技术事，至于类似美美卡里究竟几个零，一套内衣值几多银子的问题，还是交给干爹们去撕扯吧。当然福彩中心是不是红会，还是交给时间来证明吧。

一概述

　　本文作者试图从纯技术的角度解决双色球延迟开奖的问题，不考虑其他因素，用最新的云计算技术建立一套海量数据处理的技术解决方案。同时考虑到把这种想法付诸实践，搞一个开源海量数据处理平台，以双色球算奖问题，作为一个业务应用案例，指引我们前进的方向。本文是这一解决方案的第一篇，目的在于把整个平台当前面临的技术问题和未来发展方向做一个纲领性的界定，考虑到一个人的能力毕竟是有限的，群众的力量是无穷，本文仅定位于抛砖引玉，希望能够得到各位技术同行的支持和关注，让大家一起来共同完成整个解决方案的设计。开源社区的兄弟们，顶一个吧。

二纲要

数据规模评估篇
根据双色球历史销量数据，评估存储双色球历史购彩数据所需要的数据规模，按照全部存储、一年期存储、单期存储规模进行估算。
历史数据存储篇
根据双色球历史投注数据（每一注的选号明细），按照存储时间的长短，评估存储双色球历史投注明细数据所需要的存储容量。根据其业务特点和存储容量，探讨实际采用的存储方案，是文件存储，还是数据库存储，亦或者是其他的存储方案。针对当前期算奖需要，评估存储该规模下的，该类型的数据所需要的内存空间或硬盘空间。
实时数据算奖篇
面对2~3亿注的数据量级，7个数据项，6个中奖级别的设置，我们需要采用什么样的存储方式，存储待算奖期次的投注明细；我们需要采用什么样的算法，算法的时间复杂度和空间复杂度如何？计算一期中奖数据需要的时间和空间是多少？给出分省中奖统计数据的时间又是多少？
开奖算奖算法篇
因为数据量级的问题，每一期的投注规模在2~3亿注之间，这样一个计算规模的数据量级，加上奖项级别的设置，算法的时间复杂度要求还是很高的。在这一篇需要针对当前的数据规模，给出一个优化的算法，并能够给出按照该算法进行，特定的硬件配置环境下，需要的计算时间和计算频次。以及相关算法的设计原理和规则。
数据分析BI篇
关于历史投注明细数据的应用，商业价值的提炼和数据分析，目前还没有明确的概念，期望参与的园友能够给出答案。其一，数据可以用来做什么？其二数据应该怎么来用？其三这些应用将会带来什么样的商业价值。

以上内容仅为作者一人之浅见，算是从业务划分的角度，将要解决的问题，进行了一次分类。遗漏部分，需要各位园子里的兄弟指正完善，谢谢各位了。至于每一部分的内容结构暂时还没有具体的东西出来，待完善总体大纲后，再单独征询各位的意见和建议。

三招募

考虑到解决方案的设计和开源平台的开发，特征集对本项目感兴趣并在并行计算和大数据处理方向有独到见解的同仁参与进来。让大家为大数据的应用技术共同努力，在实践中进步，在进步中成熟。建了一个技术交流QQ群，群号：307807112

彩票算奖只是一个引子，真正要做的是海量数据的计算和分析，欢迎拍砖，感兴趣的话，请给个推荐，并畅所欲言。

欢迎光临 168大数据 (http://bi168.cn/)