Spark

Spark相关组件运维

本文主要讲解我工作中对Spark的运维整理,包括安装,配置等。 1、介绍      相信大家在使用Spark的过程中遇到过一个很简单的问题,用户...

johnnwang 2017-09-24

Spark Conf和Shell文件分析

本文主要介绍Spark的Conf和Shell也就是配置文件和启动脚本,对其中主要的进行简单分析 1.文件概览和说明 Spark安装包下的conf,bin,sbin目录...

johnnwang 2017-09-24

Spark应用提交和日志查看

本文主要讲述Spark的各种部署模式的启动命令,以及日志的查看 本文测试代码见:https://github.com/wpeace1212/sparkCode 1、本地运行:      ...

johnnwang 2017-09-24

浅谈Spark运行模式

本文主要讲述Spark应用的几种部署模式:Local,Standalone以及On Yarn 1.Spark运行模式 Spark主要有四种运行模式: - Local[N]:本地多线程模式...

johnnwang 2017-09-24

编译和打包Spark源码

最近由于项目需要简单修改了Spark的源码,然后在编译源码的时候遇到了几个问题,现在将编译步骤与问题记录如下 1、引入工程和编译步骤: git c...

johnnwang 2017-09-24

关注我Follow Me

文章排行Top Articles

    分类目录

    最新评论New Comments