智能分析
智能分析是在通用场景下,通过数据清洗、推荐分析方案、快速生成图表的技术能力,
使用数学方法为用户提供一键化的数据分析解决方案。
1. 传统实现
一个Excel表格,要统计成数据报表,运营人员需要操作这几个步骤:
- 筛选数据
- 组织数据透视表
- 制作表格+图表、总结结论
- 整理成报告
而智能分析利用AI + BI
可以为用户提供一键化产出数据分析报告的工具。
2. 智能分析
智能分析包含表格结构识别、列类型识别、数据校对、数据清洗、多维数据库建模、根据数据特性选择分析方法、推荐图表类型和结论、数据可视化等多个模块。
2.2 数据清洗
用户的Excel表格不能直接拿来分析,它们的表头往往复杂、不规范,由多行单元格组成。
需要转为方便分析的数据表,让表中的每列均有列名、数据类型、具体数据。
- 识别:一个excel sheet里可能会有多个表格,这时需要切表、选择需要分析的表格
- 校对:识别列类型、校对不正确的数据,让表中的每列均有列名、数据类型、具体数据
- 清洗:删除不需要分析的行、平铺单元格,生成数据表
有了数据表之后,接下来的问题就是,如何生成分析结果?
2.2 数据挖掘
数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。
我们想知道的往往是,表格字段之间是否有关系?
这时可以:
- 假设字段之间存在关系
- 选择分析方法,进行检验
- 得出结论
将这个步骤,转化为数学问题,并用数学方法求解
- 假设关系
- 检验:分析方法转为数学公式,求解结果
- 根据求解结果 + 分析方法,得出描述性语句
2.3 数据可视化
得到求解结果、描述性语句后,生成图表,进行数据可视化