No FileSystem for scheme: hdfs 通过ipc方式访问 hdfs 出现找不到类

120次阅读

共计 1756 个字符，预计需要花费 5 分钟才能阅读完成。

No FileSystem for scheme: hdfs 通过 ipc 方式访问 hdfs 出现找不到类。

问题描述：

Hadoop 版本：hadoop-2.0.0-cdh4.3.0

在本地环境下能够找到 scheme，但是通过 maven 打包 fatjar 后放到其他机器上就出现找不到 scheme。

看了代码，发现通过 FileSystem.get(conf) 初始化的时候，要通过静态加载来实现，其加载类的方法代码如下：

 


private static FileSystem createFileSystem(URI uri, Configuration conf
) throws IOException {
Class<?> clazz = conf.getClass("fs." + uri.getScheme() + ".impl", null); 
if (clazz == null) {
throw new IOException("No FileSystem for scheme:" + uri.getScheme());
}
FileSystem fs = (FileSystem)ReflectionUtils.newInstance(clazz, conf);
fs.initialize(uri, conf);
return fs;
}

conf.getClass 需要读取 hadoop-common-x.jar 下面的 core-default.xml，但是这个 xml 里面没有 fs.hdfs.impl 的配置信息，所以需要将这个类给配置上去。至于为什么本地环境能够读取，看过一部分代码，我猜测是因为本地环境如果在配置文件中如果找不到就会直接加载默认的方法，但是打包之后默认的方法找不到位置，因为通过 maven 打包后会将所有的 jar 包拆包并且 jar 包的配置也都集合在一个文件中，可能是这里出了问题。

用 fatjar 的 eclipse 插件打包的方法也有试过，但是还是会报错，不过不是 hdfs 的错误了，可能是我的 fatjar 插件有问题。可以先试试用 fatjar 插件打包，如果不行的话在用上述办法。

其实这个错误的发生有很多中情况，引用的 hadoop jar 包的版本儿和服务器上的 hadoop 版本儿不一样也有这个问题。所以出现这个问题，先确保你引用的 hadoop 的 jar 版本儿和服务器上保持一致。

解决方法：

将 hadoop-commom-x.jar 里面的 core-default.xml 文件取出并修改，添加如下代码：

<property>
<name>fs.hdfs.impl</name>
<value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
<description>The FileSystem for hdfs: uris.</description>
</property>

然后再放回 jar 包中，就可以访问了，依赖 jar 包中一定要有 hadoop-hdfs.x.jar。

相关阅读：

将本地文件拷到 HDFS 中 http://www.linuxidc.com/Linux/2013-05/83866.htm

从 HDFS 下载文件到本地 http://www.linuxidc.com/Linux/2012-11/74214.htm

将本地文件上传至 HDFS http://www.linuxidc.com/Linux/2012-11/74213.htm

HDFS 基本文件常用命令 http://www.linuxidc.com/Linux/2013-09/89658.htm

Hadoop 中 HDFS 和 MapReduce 节点基本简介 http://www.linuxidc.com/Linux/2013-09/89653.htm

《Hadoop 实战》中文版 + 英文文字版 + 源码【PDF】http://www.linuxidc.com/Linux/2012-10/71901.htm

Hadoop: The Definitive Guide【PDF 版】http://www.linuxidc.com/Linux/2012-01/51182.htm

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完

星哥说事-微信公众号