Spark大数据处理：技术、应用与性能优化【1.3】

2.1.2 在Windows上安装与配置Spark

本节介绍在Windows系统上安装Spark的过程。在Windows环境下需要安装Cygwin模拟Linux的命令⾏环境来安装Spark。

（1）安装JDK

相对于Linux、Windows的JDK安装更加⾃动化，⽤户可以下载安装Oracle JDK或者OpenJDK。只安装JRE是不够的，⽤户应该下载整个JDK。

安装过程⼗分简单，运⾏⼆进制可执⾏⽂件即可，程序会⾃动配置环境变量。

（2）安装Cygwin

Cygwin[1]是在Windows平台下模拟Linux环境的⼀个⾮常有⽤的⼯具，只有通过它才可以在Windows环境下安装Hadoop和Spark。具体安装步骤如下。

1）运⾏安装程序，选择install from internet。

2）选择⽹络最好的下载源进⾏下载。

3）进⼊Select Packages界⾯（⻅图2-2），然后进⼊Net，选择openssl及openssh。因为之后还是会⽤到ssh⽆密钥登录的。

另外应该安装“Editors Category”下⾯的“vim”。这样就可以在Cygwin上⽅便地修改配置⽂件。

最后需要配置环境变量，依次选择“我的电脑”→“属性”→“⾼级系统设置”→“环境变量”命令，更新环境变量中的path设置，在其后添加Cygwin的bin⽬录和Cygwin的usr\bin两个⽬录。

（3）安装sshd并配置免密码登录

1）双击桌⾯上的Cygwin图标，启动Cygwin，执⾏ssh-host-configy命令，出现如图2-3所⽰的界⾯。

2）执⾏后，提⽰输⼊密码，否则会退出该配置，此时输⼊密码和确认密码，按回⻋键。最后出现Host configuration finished.Have fun！表⽰安装成功。

3）输⼊net start sshd，启动服务。或者在系统的服务中找到并启动Cygwin sshd服务。

注意，如果是Windows 8操作系统，启动Cygwin时，需要以管理员⾝份运⾏（右击图标，选择以管理员⾝份运⾏），否则会因为权限问题，提⽰“发⽣系统错误5”。

（4）配置SSH免密码登录

1）执⾏ssh-keygen命令⽣成密钥⽂件，如图2-4所⽰。

2）执⾏此命令后，在你的Cygwin\home\⽤户名路径下⾯会⽣成.ssh⽂件夹，可以通过命令ls-a/home/