大数据开发--1.1大数据概论
目录
一.大数据的概念
什么是大数据？
二. 大数据的特点
三. 大数据应用场景
四. 大数据分析业务步骤
大数据分析的业务流程：
五.大数据职业规划
职业方向
岗位技术要求
六. 大数据学习路线
一.大数据的概念
什么是大数据？
- 数据
世界的本质是数据
--大数据研究专家维克托·迈尔-世恩伯格博士- 大数据定义
大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，因此需要新处理模式，该处理模式就是大数据。- 大数据处理的数据量有多大？
（2的10次方）
目前的大数据应用，数据量主要集中在PB/EB级别- 大数据解决什么问题？
海量数据存储：数据分析的前提是有数据，数据存储的目的是支撑数据分析。究竟怎么去存储庞大的数据量，是开展数据分析的企业在当下面临的一个问题。
海量数据运算：当解决了海量数据的存储问题，接下来面临的海量数据的计算问题也是比较让人头疼，因为企业不仅追求可以计算，还会追求计算的速度、效率。
二. 大数据的特点
- 大数据的特点可以使用5个字来概括：大、多、值、快、信
结构化：文字、数字。
非结构化：图片、音频、视频。
半结构化：json。
三. 大数据应用场景
- 行业领域
四. 大数据分析业务步骤
- 大数据的应用场景--大数据让借贷更放心
在金融行业中，以借贷款为例。在贷款前，贷款借出方会先利用大数据对借款人进行贷前审核，以此来保障贷后的还款率。
借出方从各个渠道合法收集借款人的标签信息，如学历，职业，薪资状况，历史借还款情况等。海量数据被放入反欺诈模型，还款能力模型，身份验证模型等数个中做训练，最终得出是否通过本次贷款申请，贷款的额度，贷款人的还款意愿等评估信息。
借款人数据收集的越多，标签维度越细，数据越真实，则审核效果越全面。（逻辑回归、人物画像）
- 大数据的应用场景-大数据让广告营销更高效
广告作为互联网行业最常见的变现手段之一，曾几何时，你会发现日常生活中看到的广告居然那么懂你。
在广告的投放期间，通过大数据手段大量的整合、分析数据，包括用户的浏览习惯、消费行为、浏览记录、对广告的点击数量等，构建全面的用户画像，保证广告定向投放。
在广告投放的中后期，通过实时的数据反馈，结合用户所处地域，时间的变化，动态优化广告素材，让同一个用户在不同的场景下享受不一样的广告服务。落地的产品，但是大数据不做这些，算法团队来做个性化推荐，大数据杀熟
通过型的算法有：spark（MLlib），贝叶斯，效果非常的差。所以要自己写算法。
- 大数据的应用场景--大数据让新媒体更懂你
短视频平台会通过大数据平台，分析用户的喜好，根据用户的喜好给用户推荐小视频。
头条平台会根据你的浏览历史推荐你喜欢或者关注的内容。
大数据分析的业务流程：
五.大数据职业规划
- 大数据开发工程师
- Hadoop开发工程师
- Spark开发工程师
- 实时计算开发工程师
flink+kafka，sparksreaming+kafka- 数据仓库工程师
Hive脚本开发（Hive开发工程师）- ETL开发工程师
- BI开发工程师
数据分析，Python+fineBI，tableau- 数据挖掘工程师
算法- 数据架构师
5年起步
职业方向
岗位技术要求
六. 大数据学习路线
- Linux系统
（大数据的所有组件都是在Linux环境下搭建的）- 编程语言
- 大数据框架
（核心框架：Hadoop、Hive、Spark、Kakfa、Hbase）
大数据工具：
zookeeper
Hadoop（MapReduce、hdfs）
Hive
azkaban：调度工具
impala
HBASE
Phoenix
Redis
elasticsearch
logstash
kibana
hue
oozie
spark
flink
kafka
clickhouse
DS
