课程:python数据分析与应用:python数据分析概述
差别
这里会显示出您选择的修订版和当前版本之间的差别。
| 后一修订版 | 前一修订版 | ||
| 课程:python数据分析与应用:python数据分析概述 [2020/01/01 16:30] – 创建 zhuyalin | 课程:python数据分析与应用:python数据分析概述 [2020/06/06 14:35] (当前版本) – 外部编辑 127.0.0.1 | ||
|---|---|---|---|
| 行 1: | 行 1: | ||
| - | ====== 数据案例 | + | |
| + | ====== python数据分析概述 ====== | ||
| + | |||
| + | ===== 数据案例 ===== | ||
| **1. 啤酒与尿布** | **1. 啤酒与尿布** | ||
| 行 22: | 行 25: | ||
| **讨论：**数据如何成为发展动能？ | **讨论：**数据如何成为发展动能？ | ||
| - | ====== 什么是数据分析 | + | ===== 什么是数据分析 ===== |
| - | ===== 什么是数据 | + | ==== 什么是数据 ==== |
| 百度百科关于数据的定义： | 百度百科关于数据的定义： | ||
| 行 32: | 行 35: | ||
| 因此，数据不同于信息，没有固定的格式去规定其呈现形式。 | 因此，数据不同于信息，没有固定的格式去规定其呈现形式。 | ||
| - | ===== 数据分析的目的 | + | ==== 数据分析的目的 ==== |
| 数据分析的目的在于：将隐没在一大批看起来杂乱无章的数据中的信息集中和提炼出来，以找出所研究对象的内在规律。从而帮助人们做出判断，进行决策。 | 数据分析的目的在于：将隐没在一大批看起来杂乱无章的数据中的信息集中和提炼出来，以找出所研究对象的内在规律。从而帮助人们做出判断，进行决策。 | ||
| - | ===== 数据分析概念的界定 | + | ==== 数据分析概念的界定 ==== |
| {{https:// | {{https:// | ||
| - | ===== 数据分析的作用 | + | ==== 数据分析的作用 ==== |
| 最初，数据分析用来进行数据保护，现在已发展成数据建模的方法论，成为了一门真正学科。模型实际上是将所研究的系统转化为数学形式。一旦建立数学或逻辑模型，对系统的响应能做出不同精度的预测，我们就可以预测在给定输入的情况下，系统会给出怎样的输出。 | 最初，数据分析用来进行数据保护，现在已发展成数据建模的方法论，成为了一门真正学科。模型实际上是将所研究的系统转化为数学形式。一旦建立数学或逻辑模型，对系统的响应能做出不同精度的预测，我们就可以预测在给定输入的情况下，系统会给出怎样的输出。 | ||
| - | ===== 数据分析的范畴 | + | ==== 数据分析的范畴 ==== |
| - | ==== 学科范畴 | + | === 学科范畴 === |
| {{https:// | {{https:// | ||
| 行 58: | 行 61: | ||
| 这些都是数据采集的结果，接下来就是应该是分析师根据统计学的知识，借助于计算机的手段来分析确定哪一种方案更适合最初的目的了。 | 这些都是数据采集的结果，接下来就是应该是分析师根据统计学的知识，借助于计算机的手段来分析确定哪一种方案更适合最初的目的了。 | ||
| - | ===== 数据分析的流程 | + | ==== 数据分析的流程 ==== |
| 对于一个需要依靠数据来进行认证的问题，我们一般可以将其划分为以下几个步骤，从而实现数据的分析。 | 对于一个需要依靠数据来进行认证的问题，我们一般可以将其划分为以下几个步骤，从而实现数据的分析。 | ||
| 行 64: | 行 67: | ||
| {{https:// | {{https:// | ||
| - | ==== 需求分析 | + | === 需求分析 === |
| 需求分析是指，从用户的需要出发，挖掘用户的真实意图，并转化为产品需求的过程。数据分析中的需求分析，决定了数据分析的方向和方法。 | 需求分析是指，从用户的需要出发，挖掘用户的真实意图，并转化为产品需求的过程。数据分析中的需求分析，决定了数据分析的方向和方法。 | ||
| - | ==== 数据获取 | + | === 数据获取 === |
| 数据是数据分析工作的基础，数据获取是指根据需求分析的结果提取、收集数据。 | 数据是数据分析工作的基础，数据获取是指根据需求分析的结果提取、收集数据。 | ||
| 行 76: | 行 79: | ||
| 实例：从古诗文网上获取指定作者的诗歌 | 实例：从古诗文网上获取指定作者的诗歌 | ||
| - | ==== 数据预处理 | + | === 数据预处理 === |
| 数据的来源往往不尽相同。对于不同规模、不同格式的数据，在使用前要进行相应的预处理，以使其达到可用状态。 | 数据的来源往往不尽相同。对于不同规模、不同格式的数据，在使用前要进行相应的预处理，以使其达到可用状态。 | ||
| 行 82: | 行 85: | ||
| 数据预处理是对获取到的数据进行清洗和标准化的处理，以及把数据变换为优化过的形式。例如去年重复、缺失、异常、不一致的数据。 | 数据预处理是对获取到的数据进行清洗和标准化的处理，以及把数据变换为优化过的形式。例如去年重复、缺失、异常、不一致的数据。 | ||
| - | ==== 数据分析与建模 | + | === 数据分析与建模 === |
| 数据分析与建模是指通过对比分析、分组分析、交叉分析、回归分析等分析方法，以及聚类模型、分类模型、关联规则、智能推荐等模型与算法，发现数据中的有价值信息，并得出结论的过程。 | 数据分析与建模是指通过对比分析、分组分析、交叉分析、回归分析等分析方法，以及聚类模型、分类模型、关联规则、智能推荐等模型与算法，发现数据中的有价值信息，并得出结论的过程。 | ||
| 行 92: | 行 95: | ||
| 二是为新数据分类，使用分类模型或聚类模型。 | 二是为新数据分类，使用分类模型或聚类模型。 | ||
| - | ==== 模型评估 | + | === 模型评估 === |
| 模型评估是指对于已经建立的一个或多个模型，根据其模型的类别，使用不同的指标评价其性能优劣的过程。 | 模型评估是指对于已经建立的一个或多个模型，根据其模型的类别，使用不同的指标评价其性能优劣的过程。 | ||
| - | ==== 最终部署 | + | === 最终部署 === |
| 数据分析的最后一步是部署，旨在展示结果，就是给出数据分析的结论。 | 数据分析的最后一步是部署，旨在展示结果，就是给出数据分析的结论。 | ||