传统行业如何搭建大数据团队？

这个问题很笼统但也情有可原。现在很多企业认可了数据的价值，提升业务，降低成本，开拓新产品，减少风险等等，越来越多的企业要进行数字化转型，要建设大数据平台，要成立大数据团队。


说到传统行业要搭建大数据团队，那么其实问题就来了：


为什么要搭建大数据团队？这个起因是什么？
传统行业，具体指的是哪个类型的行业，最好可以细分；
有哪些需要注意的地方？——这个是从技术角度，还是从管理角度？还是二者都有？
第一个问题会有以下几种可能：


1、企业的管理者意识比较超前，希望提前布局大数据技术，储备好大数据团队，那么需要进行大数据领域探索时就可以快速上手。


2、企业的数据存量很大，已有的Oracle、MySQL或者其他类型的数据库已经无法承担这种工作，随着数据量越来越大，传统的数据库计算速度较慢，或者根本无法支撑。企业可能已经引入tableau、@帆软之类的BI工具，但是BI工具经常“卡死”，其实不是BI工具的问题，而是底层数据库无法支撑，急需采用大数据技术，支撑BI系统的需求；


关于BI应用于大数据平台的结合，大家可以看看这篇文章《基于hadoop架构的企业数字化转型方案！》

架构图

BI报表

3、数据存量虽然不大，但是数据增量很快，那么这时候就“着急”了，希望尽快研究大数据技术，进行迁移，否则后面数据库扛不住。


已上几种情况都是需要采用大数据技术的，那么是否需要搭建大数据团队来实现，这又要看其他几个问题了：


1、业务部门有无大数据诉求？这里并不是说业务部门希望使用什么大数据技术，而是说业务部门希望某个模块希望更“智能”，例如有商品推荐、有实时告警、有更快的生产经营分析报表……，种种诉求都是业务诉求，但是既有的技术无法支撑，这时候就需要引入大数据技术；


通常，业务诉求是大数据的出发点，也是最终目标，也是让老板看到“价值”的地方，如果搭建了大数据团队，研究了大数据技术，却没有解决业务问题，老板会觉得这是成本的浪费。


2、业务部门的诉求细化：业务需求决定技术架构，搭建大数据团队之前，需要先了解业务部门的规划和诉求，基于这个诉求再来设计技术架构，技术架构的设计可以与团队搭建并行，二者相辅相成，大数据的技术框架非常多，没有什么人是精通所有框架的，一般只能精通其中的一两门就不错了。


3、在技术架构设计之前：是否采用独立搭建大数据平台？是否可以采用公有云平台？独立搭建的特点是数据自有，且可以深入研究大数据技术，比较适合规模较大，技术能力强的企业；采用公有云平台，特点是不用理解技术，只需将数据传递到公有云服务商即可（阿里云、腾讯云、百度云、华为云……，其中阿里云的技术相对成熟度高一些）；


4、技术架构的设计：如果确定不采用公有云的话，就是自己搭建大数据平台，那么就理清楚以下几个问题：数据在哪里？数据平台的建设需要哪些组件？是否需要实时计算、是否需要离线计算、是否需要交互式查询？有哪些分析主题？数据仓库怎么搭？……


这里是技术架构了，这并不矛盾，就像刚才说的，技术架构与人才团队建设需要并行。


5、已有团队的人员组成情况：笔者参与的多个项目中都会遇到，对接的客户都是传统企业，对ERP技术挺了解的，写SQL也还行，但是大数据技术就很不了解了，解决办法有2种，第一是招人，从外面招聘大数据开发或架构师，第二是直接采购商用的易用的大数据平台。


对第一种方法有好处也有坏处：好处是招来的人是自有人员，相当于企业自己掌握了这门技术，这种比较适合金融、运营商或财力雄厚、IT基础设施比较好的大型企业；弊端是招聘可能并不容易，大数据的优秀人才一般集中在互联网领域，跳槽到传统企业的可能并不多。


第二种方法是采购已有的商用平台，这种方式与作者的问题并不偏题。市面上有很多成熟的商用大数据平台，Cloudera、星环、华为、亚信等等，都有对应的产品线。


如果是自己搭建大数据团队需要注意哪些问题呢?


我认为，传统企业在搭建大数据团队时，要做到以下几点：


1、老大不参与?那可不行


中国有句老话叫做“屁股决定脑袋”，具体办事人员往往难以在全局和宏观的高度把握大数据对于一个企业的应用规划和价值。


企业推行大数据的最终目的，是要让它成为公司决策的“大脑”、市场销售的“指挥棒”，说到底，大数据要能够支撑方方面面的工作，是整个企业级别的大事。


所以，大数据战略的推进，需要企业领导者充分参与，才能保证不跑偏。否则，大数据项目只会沿袭旧有的运营模式或流于形式。


2、先内部“组队”，专家只能做“外援”


企业做大数据要先组队：除了“外援”，自己企业里搞IT建设的、做市场的、做销售的、做服务的、搞管理的都得配上。简单来说，就是这个队伍里，必须有“做数据”的人、“分析数据”的人和“用数据”的人。


“外援”总归是要离开的，只有通过大数据的前期实施，实现自己大数据团队的快速成长，最终才能达到自有团队独立、持续应用大数据的目标。


3、先尝尝大数据的“味道”，再谈怎么做


很多企业做大数据，一开始就大张旗鼓做建设。要知道大数据平台一旦建起来，若是不好用或是有问题，再来改，搞不好就是全盘颠覆。


所以，建议在建大数据平台之前，先花一点时间做大数据的尝试。比如对于要开展的一个促销活动，给出大数据的支撑。即便是最简单的大数据尝试，也能让我们发现搭建大数据体系时可能存在的问题。





4、做大数据就得“私人定制”


数据拿不到?流程走不通?系统和系统之间无法交互?这些看似不大的问题，却是大数据在未来是否能够发挥效力的底层基础。把好企业的脉，发现潜在的问题，才能够最大程度的发挥大数据的效力。
---------------------
作者：yuanziok
来源：CSDN
原文：https://blog.csdn.net/yuanziok/article/details/86518522