智能分析是在通用场景下,通过数据清洗、推荐分析方案、快速生成图表的技术能力,
使用数学方法为用户提供一键化的数据分析解决方案。

1. 传统实现

一个Excel表格,要统计成数据报表,运营人员需要操作这几个步骤:

  • 筛选数据
  • 组织数据透视表
  • 制作表格+图表、总结结论
  • 整理成报告

而智能分析利用AI + BI 可以为用户提供一键化产出数据分析报告的工具。

2. 智能分析

智能分析包含表格结构识别、列类型识别、数据校对、数据清洗、多维数据库建模、根据数据特性选择分析方法、推荐图表类型和结论、数据可视化等多个模块。

2.2 数据清洗

用户的Excel表格不能直接拿来分析,它们的表头往往复杂、不规范,由多行单元格组成。
需要转为方便分析的数据表,让表中的每列均有列名、数据类型、具体数据。

  • 识别:一个excel sheet里可能会有多个表格,这时需要切表、选择需要分析的表格
  • 校对:识别列类型、校对不正确的数据,让表中的每列均有列名、数据类型、具体数据
  • 清洗:删除不需要分析的行、平铺单元格,生成数据表

有了数据表之后,接下来的问题就是,如何生成分析结果?

2.2 数据挖掘

数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。

我们想知道的往往是,表格字段之间是否有关系?
这时可以:

  • 假设字段之间存在关系
  • 选择分析方法,进行检验
  • 得出结论

将这个步骤,转化为数学问题,并用数学方法求解

  • 假设关系
  • 检验:分析方法转为数学公式,求解结果
  • 根据求解结果 + 分析方法,得出描述性语句

2.3 数据可视化

得到求解结果、描述性语句后,生成图表,进行数据可视化