基于Linux的Spark本地模式环境搭建实验指南

一、实验目的

1. 掌握Spark本地模式的安装与配置方法
2. 验证Spark本地环境是否搭建成功
3. 了解Spark基本操作和运行原理

二、实验环境准备

• 操作系统：Linux（推荐ubuntu）
• Java环境：JDK 1.8或以上版本
• 内存：至少4GB（推荐8GB以上）
• 磁盘空间：至少2GB可用空间

三、实验步骤

1. 安装Java环境

# 检查Java是否已安装
java -version

注意：如果没有安装JDK请先学习

2. 下载Spark安装包

访问Spark官网下载页面：官网下载地址
选择最新稳定版本（如Spark 3.x），包类型选择"Pre-built for Apache Hadoop 2.7"或更高版本，具体如下：

3. 安装Spark

利用Finalshell工具将Spark安装包上传至Linux：

#进入安装包所在目录cd /home/wll/下载
# 解压安装包至指定文件夹/usr/local
sudo tar -zxf spark-3.5.6-bin-hadoop3.tgz -C /usr/local
#修改文件权限
sudo chown  -R wll /usr/local/spark-3.5.6-bin-hadoop3

4. 配置环境变量

编辑~/.bashrc文件：

vim ~/.bashrc

在~/.bashrc文件中添加如下代码：

export SPARK_HOME=/usr/local/spark-3.5.6-bin-hadoop3
export JAVA_HOME=/usr/local/jdk1.8.0_161
export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$PATH:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin

使配置生效

source ~/.bashrc

5. 验证安装

# 检查Spark版本
spark-submit --version# 启动Spark shell（Scala）
spark-shell

打开Spark的Web UI页面：http://192.168.0.105:4040

出现以上界面，则基于Linux的Spark本地（Local）模式的环境搭建成功！
没有安装Hadoop！