本手册基于华为云MapReduce服务实践所编写,用于指导您使用Spark实现车主驾驶行为分析。
本实践基本内容如下所示:
场景描述
目的:
了解MRS的基本功能,利用MRS服务的Spark2x组件,对车主的驾驶行为进行分析统计,得到用户驾驶行为的分析结果。
场景:
本次实战的原始数据为车主的驾驶行为信息,包括车主在日常的驾驶行为中,是否急加速、急减速、空挡滑行、超速、疲劳驾驶等信息。通过Spark2x组件的强大的分析能力,分析统计指定时间段内,车主急加速、急减速、空挡滑行、超速、疲劳驾驶等违法行为的次数。
本实践仅适用于MRS 3.x版本,请按照指导创建集群。
准备Spark2x样例程序和样例数据
- 创建OBS并行文件系统,用于存放Spark样例程序、样例数据、作业执行结果和日志。
- 登录华为云管理控制台。
- 在“服务列表”中,选择 。
- 单击“并行文件系统 > 创建并行文件系统”,创建一个名称为obs-demo-analysis-hwt4的文件系统。存储类别和桶策略等参数分别保持默认值。
- 单击obs-demo-analysis-hwt4文件系统名称。选择左侧导航栏“文件”,在“文件”页签下单击“新建文件夹”,分别新建program、input文件夹,如图1所示。
- 从 https://mrs-obs-cn-north-4.obs.cn-north-4.myhuaweicloud.com/mrs-demon-samples/demon/driver_behavior.jar路径下载样例程序driver_behavior.jar至本地。
- 进入program文件夹,单击“上传文件”,选择本地存放的driver_behavior.jar样例程序。
- 单击“上传”,上传样例程序到OBS桶。
- 从https://mrs-obs-cn-north-4.obs.cn-north-4.myhuaweicloud.com/mrs-demon-samples/demon/detail-records.zip获取Spark样例数据到本地并解压。
- 进入input文件夹,单击“上传文件”,选择本地存放的Spark样例数据。
- 单击“上传”,上传样例数据到OBS文件系统。
创建作业
- 在MRS控制台左侧导航栏选择 ,单击名称为“mrs_demo”的集群。
- 在集群信息页面选择“作业管理”页签,单击“添加”,进入添加作业页面。
- 按图2完成作业参数配置。
表4 配置作业信息 参数名称
配置方法
作业类型
选择“SparkSubmit”。
作业名称
输入“driver_behavior_task”。
执行程序路径
单击“OBS”,选择准备Spark2x样例程序和样例数据中上传的名称为driver_behavior.jar的jar包。
运行程序参数
参数选择“--class”,值输入“com.huawei.bigdata.spark.examples.DriverBehavior”。
执行程序参数
输入“AK SK 1 输入路径 输出路径”。输入路径可通过单击“OBS”进行选择输入路径,输出路径请手动输入一个不存在的目录,例如obs://obs-demo-analysis-hwt4/output/。
说明:AK/SK,请通过如下方式获取。
- 登录华为云管理控制台。
- 单击右上角的用户名,然后选择“我的凭证”。
- 系统跳转至“我的凭证”页面,单击“访问密钥”。
- 单击“新增访问密钥”申请新密钥,按照提示输入密码与验证码之后,浏览器自动下载一个“credentials.csv”文件,文件为csv格式,以英文逗号分隔,中间的为AK,最后一个为SK。
服务配置参数
保持默认不配置。
- 单击“确定”,开始提交作业,执行程序。