程序员

外部工具连接SaaS模式云数仓MaxCompute — 开源BI分析工具篇 &am

作者:admin 2021-07-29 我要评论

作者 木弈 阿里云智能 产品经理 直播视频请点击 直播 观看。 本次分享将从四个方面讲解。 01 上节回顾 02 开源BI 数据库管理工具概览 03 实操展示 04 查询加速 ...

在说正事之前,我要推荐一个福利:你还在原价购买阿里云、腾讯云、华为云服务器吗?那太亏啦!来这里,新购、升级、续费都打折,能够为您省60%的钱呢!2核4G企业级云服务器低至69元/年,点击进去看看吧>>>)

作者 木弈 阿里云智能 产品经理


直播视频请点击 直播 观看。


本次分享将从四个方面讲解。

01 上节回顾

02 开源BI 数据库管理工具概览

03 实操展示

04 查询加速


一、上节回顾

在第一讲中我们主要讲了 MaxCompute 生态 重点介绍了商业BI工具 包括Tableau、FineReport、FineBI、Quick BI、Yonghong Desktop BI工具的连接原理以及实操的展示。本次直播我们将会重点关注开源BI工具和数据库管理工具 主要是商业智能部分的Superset和Davinci 开发管理部分的DataGrip、DBeaver、SQL Workbench/J。

MC生态0720(1).jpg

二、开源BI 数据库管理工具概览

MaxCompute 支持的开源BI工具主要是Davinci和Superset 分别是以JDBC和PyODPS做为连接驱动。

商业智能 (BI) 工具支持将计算引擎得到的数据通过仪表板、图表和其他图形输出提供数据可视化 以直观的形式展示给决策者 帮助高管和经理做出更明智的业务决策。

1.png

数据库管理工具 即数据库图形化工具 是数据库人员必需的工具之一 MaxCompute支持与DBeaver、DataGrip和SQL Workbench/J 通过JDBC驱动连接 并可以形象化方便快捷地进行列举数据库、列举表、查看表结构、查询表数据、建表、写表、建视图、查询视图等相关操作。

1.png

连接方式JDBC

FD99B6C1-AE33-49B9-987B-5B260E7B3F1F.png

PyODPS

PyODPS是MaxCompute的Python SDK 提供DataFrame框架和MaxCompute对象的基本操作方法。您可以通过MaxCompute轻松地分析数据。

PyODPS 支持Python 2.6 以上的 Python 版本 包括Python 3。系统安装了 pip 后 只需运行

pip install git http://gitlab-ci-token:c60faf31b1f475342c790cca880e06 gitlab-sc.alibaba-inc.com/odps/pyodps.git 

PyODPS 的相关依赖会自动安装。

注意 对于Linux和Mac用户 先安装Cython 再运行安装pyodps命令 能加速Tunnel的上传和下载。

常用参数信息

? maxcompute_endpoint MaxCompute项目所属区域的Endpoint。

? project_name 待连接的目标MaxCompute项目名称。

? User 有访问指定项目权限的AccessKey ID。

? Password AccessKey ID对应的AccessKey Secret。


三、实操展示Superset实操展示

请点击 视频 查看实操部分

DBeaver实操展示

请点击 视频 查看实操部分

其他实操文档

Davinci连接MaxCompute

DataGrip连接MaxCompute

SQL Workbench/J连接MaxCompute


四、查询加速

MaxCompute 查询加速 – 针对实时性要求高的查询作业 全链路加快 MaxCompute 查询执行速度

?使用MaxComputeSQL语法和引擎 针对近实时场景进行优化

?系统自动进行查询优化选择 同时支持用户选择延时优先还是吞吐优先的执行方式

?针对近实时场景使用不同的资源调度策略 latencybased

?针对低延时要求的场景进行全链路优化 独立执行资源池 多层次的数据和meta Caching 交互协议优化


1.png


QuickBI查询加速

1.png

其他工具查询加速- interactiveMode trueinteractiveMode 可选。查询加速功能开关。如果您需要启用查询加速功能 在URL后追加 interactiveMode true配置即可。更多查询加速功能信息 请参见查询加速


是否启动查询加速功能查询速度对比

使用Davinci测试对比

查询数据量

不使用查询加速功能

使用查询加速功能

1w

10s

3s

5w

12s

7s


对比实操视频

请点击 视频 查看实操部分


更多关于大数据计算、云数仓技术交流 欢迎扫码加入 “MaxCompute开发者社区” 钉钉群

晋恒2群.jpg


本文转自网络,原文链接:https://developer.aliyun.com/article/785970

版权声明:本文转载自网络,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本站转载出于传播更多优秀技术知识之目的,如有侵权请联系QQ/微信:153890879删除

相关文章
  • 外部工具连接SaaS模式云数仓MaxCompute

    外部工具连接SaaS模式云数仓MaxCompute

  • 直播时各种背景是怎么实现的?聊一聊虚

    直播时各种背景是怎么实现的?聊一聊虚

  • 阿里仿真灰度变更测试简介

    阿里仿真灰度变更测试简介

  • 2021年阿里云年中钜惠大促攻略,云服务

    2021年阿里云年中钜惠大促攻略,云服务

腾讯云代理商
海外云服务器