rust的学习笔记

电气化、自动化、数字化、智能化、智慧化

0%

顶级开源商业智能BI开发软件Superset————入门篇

Posted on Edited on In Disqus:

%%%%%2021-9-2更新%%%%%%
更新使用docker安装连接宿主机的数据库

介绍

Apache Superset是一个现代的、企业级的商业智能（Business Intelligence）网络应用程序，它使得用户可以使用无代码可视化构建器和SQL编辑器来轻松探索和可视化自己的数据。
其最初由Airbnb开源，后来由Apache进行孵化，并且于今年（2021年）1 月 21 日宣布毕业并成为 Apache 软件基金会（ASF）的顶级项目（Top-Level Project），截止到现在（2021年8月25日）已经在GitHub上收获了超过4万颗star。
官网地址在这里。
示例看板在这里。
有一句评价非常中肯：对开发人员最大的吸引力在于：支持的数据源足够多，界面足够花里胡哨！。

安装

有多种方式安装superset，比如使用docker、使用pip安装等方式。
使用docker安装是最简单的一种方式，因为它已经将相关依赖都做成了一个镜像，同时其包含了github上的源码，有最大的自由度可供开发。
使用pip安装也较为方便，但是pip包本质上是一个已经编译好的包，没法修改源码，尤其是没法修改前端ui相关的代码。
下面介绍两种安装方式。

docker安装

安装docker软件

可以参考此处的教程。

拉取superset镜像

1
docker pull apache/superset

使用镜像

（1）开启一个superset实例：

1
docker run -d -p 8080:8088 --name superset apache/superset

（2）初始化实例：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 配置管理员账号
docker exec -it superset superset fab create-admin \
               --username admin \
               --firstname Superset \
               --lastname Admin \
               --email [email protected] \
               --password admin

# 迁移数据库
docker exec -it superset superset db upgrade

# 加载实例
docker exec -it superset superset load_examples

# 初始化
docker exec -it superset superset init

（3）登录：
在浏览器中的地址为：
1
http://localhost:8080/login/

连接宿主机的数据库

（具体怎样连接数据库是在下面一节，但是因为docker安装方式会有一点不同，这里先说明一下，后面具体连接时注意这点即可）
如果数据库也是安装在同一个docker容器中，就没有如下特殊操作；
而如果数据库是在本地宿主机中，而superset安装在docker容器中，这样直接使用localhost是不能连接到宿主机的。还需要进行如下配置才可以。
（1）设置宿主机的数据库可外部访问
（1.1）修改postgresql.conf
确保数据库可以接受来自任意IP的连接：

1
listen_addresses = '*'

（1.2）修改pg_hba.conf
默认pg只允许本机通过密码认证登录，修改为以下内容后即可以对任意IP访问进行密码验证：
1
host  all  all 0.0.0.0/0 md5

（1.3）重启PostgreSQL服务
在windows的services中重启服务。

（2）连接数据库时主机名更改
如上所述，连接数据库时主机名不能使用localhost，而需要使用特定名称。
对于Mac和Windows系统，docker有一个自动的解析，使用：

1
host.docker.internal

作为主机名即可。
对于Linux，可以先尝试：
1
172.18.0.1

作为主机名。如果这个不行，可以用以下命令：
1
docker inspect <container-id-or-name> | grep Gateway

查看一下docker容器指向的宿主机的ip地址。

pip安装

创建虚拟环境

使用virtualenv或Conda。
使用虚拟环境主要是为了安装环境的独立性，防止里面的库的版本混乱。这一步不详述了。

安装必要的包

大部分的包都能自动下载，但是下面这两个有可能会在自动安装时出现错误，导致整个安装出错（我在windows平台上安装时遇到了这两个问题）。
建议是自动安装，如果出错，再手动安装一下看看是不是这两个出现的问题。
（1）安装Sasl:
下载Sasl的wheel文件:
https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl
然后：

1
pip install

（2）安装python-geohash package:
下载wheel包，然后pip install。
https://www.lfd.uci.edu/~gohlke/pythonlibs/#python-geohash

安装Superset

1
2
3
4
# 最好确保一下superset是最新版
# 第一次安装时1.1.0版本有个注释层的bug
# 更新到1.3.0版本后就好了
pip install apache-superset

初始化数据库

1
superset db upgrade

配置superset

1
2
3
4
5
6
7
8
# 将Flask默认的app设置为superset，这样flask就能找到它
export FLASK_APP=superset # 在windows上就是set命令
# 创建管理员账户
superset fab create-admin
# 加载一些示例看板
superset load_examples
# 初始化superset
superset init

启动superset

1
superset run -p 8088 --with-threads --reload --debugger

连接数据库

Superset本身不提供数据库，其需要连接已有的数据库来作为数据存储的容器。
Superset支持各种数据库，包括MySQL，Presto，Hive，Postgres，Dremio，Snowflake，Teradata和其他数PB级的。由于Superset后端是用Python编写的，因此本质上是Python后端的Flask应用程序……在Python中，所有数据库都有很多驱动程序支持。
这里我们选用PostgreSQL数据库作为后端。

安装PostgreSQL

可以通过下面的链接进行下载安装：
PostgreSQL Database Download
里面自带了pgAdmin图形管理工具来操作PostgreSQL数据库。

创建数据库

安装好pgAdmin后，再通过它来手动创建一个自己的数据库，用于后续存储数据。
具体可以参考如下教程：
PostgreSQL 创建数据库
特别注意的是该数据库的用户名username、密码password、主机地址host（本机就是localhost）、端口号port（默认是5432）和名称database。

初次创建后该数据库就直接跑起来后，但后面电脑关机后，有可能出现明明信息都正确，但是启动不起来的问题，比如出现下面这个问题：

1
Is the server running on host "localhost" (::1) and accepting TCP/IP connections on port 5432?

这是因为后台的数据库服务没有启动。解决方法是在windows的Services中找到postgresql-x64-13这个服务，然后启动它。

安装数据库驱动

首先需要安装一个额外的库：

1
pip install psycopg2

连接

在上面的启动的superset的web页面中，选择添加一个数据库，然后根据PostgreSQL的连接语法与前面创建的数据库进行连接，语法格式为：

1
postgresql://{username}:{password}@{host}:{port}/{database}

然后点击“测试连接”，连接成功后即表明可以正确添加该数据库。

数据集

有了底层数据库，还需要提取里面的数据。
对于本来就存在数据的数据库，可以在superset的“数据集”中进行添加选择，按照提示进行相关操作就行。
对于初次创建的数据库，里面是空的，没有任何的数据。此时可以通过上传csv文件进行添加，这样既在superset中添加了数据集，也在底层PostgreSQL数据库中添加了数据。
开启上传csv功能需要首先在数据库中进行设置，在superset的某个数据库的Extra/扩展选项卡中勾选“Allow Data Upload”/“允许数据上传”。
然后再在“数据”菜单中选择“上传CSV文件”。

额外福利：如果手头没有可玩的数据，可以通过下面三个链接获取一些示例数据（第三个时superset教程中的示例数据）：
https://github.com/plotly/datasets
https://github.com/fivethirtyeight/data
https://github.com/apache-superset/examples-data

导入数据集后，可以对数据集的属性进行配置，比如哪一列是时间条件、是否可被过滤等。
需要注意的是superset对数据集加了一个语义层semantic layer，它存储了两种类型的计算数据：
（1）虚拟指标：对应Metrics这一标签页，可以编写不同列之间的聚合SQL查询，然后使得结果作为“列”来使用。这里可以使用并且鼓励使用SQL的聚合函数，如COUNT、SUM等；
（2）虚拟计算列：对应Calculated Columns这一标签页，可以对某一特定的列编写SQL语句来定制它的行为。在这里不能使用SQL的聚合函数。

可视化数据

Superset有两种探索数据的方式：
（1）Explore：零代码可视化编辑器，只需选择数据集，选定相应图表，配置一些外观属性，然后就可以创建可视化图表；只需点击相应的数据集，就可以进入Explore模式；Save Chart时可以选择添加到新看板或者某一个已存在的看板。
（2）SQL Lab：SQL工具箱，可以提供强大的SQL语言编辑功能，用于清洗、联合和准备数据，可以用于下一步的Explore流程。

superset的官方教程中给出了一个详细地Explore模式的使用教程，其使用的示例数据来自以下链接：
flights
强烈建议根据官方教程一步步走一遍，教程在这里。
这里列举一下自己跑教程时踩的一些坑：
（1）上传CSV文件时，一定要在“Parse Dates”解析日期那里手动填上“Travel Date”，否则如果不明确指定时间的话，在数据库里存的该项的数据类型是Text，无法进行后面的时间序列的计算。
（2）在添加“指标Metrics”时，保存的指标指的是“编辑数据集”时的“指标Metrics”那个选项卡的指标。
（3）配置“分组Group by”时，选择“Time”这一项，就会自动使用之前在Time那块定义的时间列、时间粒度等。
（4）添加“注释层annotation layer”那一块时，注意使用最新版的superset，已测试1.1版本会有bug，1.3版本已经修复该bug，见该PR。
（5）在Advanced Analystics一项中，有对时间序列数据的更强大的操作，比如求平均、时间平移、使用python函数重新采样等操作。

其他

superset开发团队基于开源的superset推出了SaaS云服务Preset，可以使得用户在无需安装任何软件的情况下直接使用superset。
Preset除了提供开箱即用的superset，其官网上的教程也比superset官网上的要详细很多，所以可以参考preset的文档来学习superset，如下：
https://docs.preset.io/