大数据培训
美国上市大数据培训机构

400-111-8989

大数据培训

大数据工程师岗位工作内容是什么

  • 发布:大数据培训
  • 来源:大数据职场
  • 时间:2018-12-27 09:45

数据工程师岗位工作内容是什么?如果你是大数据新人,或者想转行进入大数据领域,或者职业生涯上存在一些疑惑,大数据相关工作岗位很多,有大数据分析师、大数据挖掘算法工程师、大数据专家、大数据总监、大数据研究员、大数据科学家等等。接下来我们看看大家关心的大数据工程师岗位工作内容是什么?

大数据工程师

大数据开发工作

刚入职一家创业公司做大数据开发~趁之前紧张准备面试还有点余热,不请自来怒答一波~

大数据工程师工作内容取决于你工作在数据流的哪一个环节。

从数据上游到数据下游,大致可以分为:

数据采集 -> 数据清洗 -> 数据存储 -> 数据分析统计 -> 数据可视化 等几个方面

工作内容当然就是使用工具组件(Spark、Flume、Kafka等)或者代码(Java、Scala等)来实现上面几个方面的功能。

具体说说吧:

数据采集:

业务系统的埋点代码时刻会产生一些分散的原始日志,可以用Flume监控接收这些分散的日志,实现分散日志的聚合,即采集。

数据清洗:

原始的日志,数据是千奇百怪的

1.一些字段可能会有异常取值,即脏数据。为了保证数据下游的"数据分析统计"能拿到比较高质量的数据,需要对这些记录进行过滤或者字段数据回填。

2.一些日志的字段信息可能是多余的,下游不需要使用到这些字段做分析,同时也为了节省存储开销,需要删除这些多余的字段信息。

3.一些日志的字段信息可能包含用户敏感信息,需要做脱敏处理。如用户姓名只保留姓,名字用'*'字符替换。

数据存储:

清洗后的数据可以落地入到数据仓库(Hive),供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高,则可以把日志记录入到kafka。

数据分析统计:

数据分析是数据流的下游,消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据,简单的报表统计可以用sql在kylin或者hive统计,复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。

数据可视化:

用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据~

当然,大数据平台(如CDH、FusionInsight等)搭建与维护,也可能是大数据工程师工作内容的一部分喔~

感谢大家阅读由大数据职场分享的“大数据工程师岗位工作内容是什么?”希望对大家有所帮助,了解更多专业课程培训内容请关注达内大数据培训机构官网。

免责声明:以上内容仅作为信息传播,文中部分信息来源于互联网,仅供阅读参考。

预约申请免费试听课

填写下面表单即可预约申请免费试听!怕钱不够?可就业挣钱后再付学费! 怕学不会?助教全程陪读,随时解惑!担心就业?一地学习,可全国推荐就业!

上一篇:IT行业大数据工程师干不过35岁?
下一篇:想进入大数据科学职场该如何准备?

大数据工程师就业指南让你轻松搞定面试

大数据前景:大数据未来的7个发展方向

大数据就业前景:大数据分析师是青春饭吗?

想进入大数据科学职场该如何准备?

相关栏目

开班时间

选择城市和中心
贵州省

广西省

海南省