深深的感受到“细节决定成败”,“蝴蝶效应“一句话细节体现工作质量也体现个人能力。今天复盘回顾一个个坑哭的小细节,更好的迎接未来挑战。
1,窥见数据三重门
全局着眼,登高望远,窥见数据的三重门:ODS,DW,APP
每一层的存在分管着不同的数据工作,一起探探门里的细节,把握清晰的脉络。
ODS层:是关注用户重点事务的原始业务表,重在离线统计用户细节的行为日志表。日志表可以包含业务表的相关数据,但是缺乏结构,需要ETL。
DW层:将ODS层作为直接的数据源,去建设满足业务分析要求的数仓,进行基础整合BAS,然后开发出事实层/维度层/宽表层。其目的将一大坨数据整合分类,方便快速查询。
APP层:是我们熟知的应用层,有报表,数据产品,API接口,特征数据,专题集市,OLAP, 业务系统。
三层形成上下游的环形网络,缺一不可。从而解耦三者的关系实现低耦合高内聚任重道远。
2,危险的金字塔
三重门可以拆解成一个倒立的金字塔,这个倒立着的金字塔是危险的,总要一种摇摇欲坠的感觉,需要数据攻城狮们殚心竭虑的守护。
因为ODS数据源:业务表,埋点日志的采集 两大源头,一些细枝末节的变动,牵动ODS基础层,生产一只黑蝴蝶,让DW/APP层来一场雪崩。累惨数据工程师。
业务表和日志采集:动要有原则:
1,能添加值不要新增列,比如在json类型中加值,不要增加额外的列名。
2,能增加列不要新增一个表。
3,能加一个辅助表,不要重构原有表结构。
4,遵循添值,增列,副表的优先集,提前周知变化,早做应对。
3,动一下就是一万年
数据开发的工作流程是这样的。
接到一个数据需求,
第一步,我们要分析需求的合理性,能不能做。
第二步,我们要怎么做,哪一种方式最合适,安全快速。
第三步,需要哪些数据资源权限。
第四步,用SQL实现出自己的ETL逻辑代码。
第五步,测试自己的逻辑代码,看看小单位数据是否合理。
第六步,提交审核,生产数据(回溯数据很慢)。
其实在大数据量面前,生产数据的过程是漫长的,需要花费很多时间去等待。
第五步的测试极为重要 ,而且需要使用八倍镜,仔细推荐,认真核对。
比如:统计当日支付要看支付时间不要看下单时间应为下单可以在第二天支付。还有一个小小“=”号让统计意义南辕北辙。也一定要主要主要表的字段类型,不要望文生义,id不一定是数字。
第五步一定要多花点时间反复校验,不要因为小细节而花大时间回溯数据。
4,借助工具
用IDE 管理自己的ETL代码,方便查找。
高亮的语法提示也能更好的发现细节。
代码一定有做好格式处理,清晰可读很重要。
多写wiki,磨练写作基本功,沉淀常用的数据方法。
工具不要多,两个就够了。
数据仓的经典模型
码字不易,如果您觉得文章写得不错,
请您 1.关注作者,您的关注是我写作的最大动力
2.留下你宝贵的评论,哪怕一个字都行!
3.私信我“大数据”
我将与您分享一套最新的大数据学习资源和全套开发工具
推荐阅读:财经全搜索
-
“上海之根”松江发出邀请函 24项秋季文旅
为积极落实文旅融合和长三角一体化高质量发展的国家战略,推进以“人文松江”为特质的全域旅游发展,金秋时节,上海市松江区推出“秋季寻根 根深叶茂”秋季文旅活动24项...
2020-09-14 -
苹果员工新年福利曝光 看完你羡慕不羡慕?
苹果员工的年终福利都有什么呢?是不是有点期待呢?别急,这就来看看苹果Applestore零售门店员工的年终福利如何。据外媒报道,自2020年1月起,苹果将为Ap...
2019-12-24 -
继万能充之后,充电宝也面临淘汰?网友:还是苹
在以前的功能机时代,人们基本没有为手机的续航问题而担心过。原因在于,当时的手机电池基本上都是可拆卸的,人手两块电池,搭配给电池充电的万能充,基本就实现了“永不断...
2019-12-24 -
小米发布超跑摩托车,离小米汽车还远吗?
众所周知,小米是一家神奇的公司,其除了做手机外,产业几乎涵盖各行各业,衣食住行可谓是玩了个遍。2015年,雷军在一次采访中曾回答,小米有制造汽车的可能,这让许多...
2019-12-24 -
iPhone 12砍掉刘海,采用后置四摄,且
嗯,回答本行业问题!首先需要说明的是,iPhone手机是自成一派,而三星手机则一直被称为安卓机皇!所以这两款手机真心不太好比较,但两款都可以看作是明年的机皇。至...
2019-12-24 -
小罗伯特·唐尼演了个YouTube新纪录片,
YouTube最近刚推出了个新的免费纪录片《AI时代》(The Age of AI),由“钢铁侠”扮演者小罗伯特·唐尼主演。据称,这部纪录片的目的是揭开人们对人...
2019-12-24 -
独家|传华为将发布石墨烯电池手机,产品线副总
12月24日早盘,石墨烯板块大涨,截至发稿,德尔未来、融钰集团、新金路涨停,道氏技能、珈伟新能、华丽家族、东方新材等个股涨超5%。但24日午间,华为手机产品线副...
2019-12-24