全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

本地运行spark报错：Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

提问者：帅平问题分类：大数据

在win10的本地idea上运行spark程序，报错了，提示：

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

需要怎么办？

Spark

发布于：2年前 (2022-12-14) IP属地：四川省

1 个回答

人潮似海遇见你°

从这里下载下win的hadoo环境

https://github.com/srccodes/hadoop-common-2.2.0-bin/archive/master.zip

解压之后把解压后的放到某个目录下，然后再运行spark程序之前，添加此行代码声明下环境就不会报错了。

//在windows环境下需要设置hadoop的环境变量，不然运行程序的时候会报错
System.setProperty("hadoop.home.dir", "D:\hadoop-common-2.2.0-bin-master");

发布于：2年前 (2022-12-14) IP属地：四川省

我来回答