HDFS客户端的权限错误：Permission denied

共计 6624 个字符，预计需要花费 17 分钟才能阅读完成。

搭建了一个 Hadoop 的环境，Hadoop 集群环境部署在几个 Linux 服务器上，现在想使用 windows 上的 Java 客户端来操作集群中的 HDFS 文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。

（如果想看最终解决问题的方法拉到最后，如果想看我的问题解决思路请从上向下看）

问题描述

上传文件的代码：

1. private static void uploadToHdfs() throws FileNotFoundException,IOException {
2. // 我的文件地址
3. String localSrc = “E:\\ 快盘 \\ 技术文档 \\hadoop\\HDFS 初步研究.pdf”;
4. // 存放在云端的目的地址
5. String dest = “hdfs://192.168.2.156:9000/user/HDFS 初步研究.pdf”;
6. InputStream in = new BufferedInputStream(new FileInputStream(localSrc));
7. // 得到配置对象
8. Configuration conf = new Configuration();
9. // conf.set(“fs.default.name”,”hdfs://192.168.2.156:9000″);
10. // 文件系统
11. FileSystem fs = FileSystem.get(URI.create(dest), conf);
12. // 输出流
13. OutputStream out = fs.create(new Path(dest), new Progressable() {
14. @Override
15. public void progress() {
16. System.out.println(“ 上传完一个设定缓存区大小容量的文件！”);
17. }
18. });
19. // 连接两个流，形成通道，使输入流向输出流传输数据
20. IOUtils.copyBytes(in, out, 4096, true);
21. }

错误的详细描述如下 ：

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode=”hadoop”: hadoop:supergroup:rwxr-xr-x

其实这个错误的原因很容易看出来，用户 Administator 在 hadoop 上执行写操作时被权限系统拒绝.

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

————————————– 分割线 ————————————–

解决问题的过程

看到这个错误的，第一步就是将这个错误直接入放到百度 google 里面进行搜索。找到了 N 多篇文章，但是主要的思路就如此篇文章所写的两个解决办法：http://www.linuxidc.com/Linux/2014-08/105334.htm

1、在 hdfs 的配置文件中，将 dfs.permissions 修改为 False

2、执行这样的操作 hadoop fs -chmod 777 /user/hadoop

对于上面的第一个方法，我试了行不通，不知道是自己设置错误还是其他原因，对我此法不可行，第二个方法可行。第二个方法是让我们来修改 HDFS 中相应文件夹的权限，后面的 /user/hadoop 这个路径为 HDFS 中的文件路径，这样修改之后就让我们的 administrator 有在 HDFS 的相应目录下有写文件的权限（所有的用户都是写权限）。

虽然上面的第二步可以解决问题了，上传之后的文件所有者为 Administrator，但是总感觉这样的方法不够优雅，而且这样修改权限会有一定的安全问题，总之就是看着不爽，就在想有没有其他的办法？

更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2014-08/105335p2.htm

问题分析

开始仔细的观察了这个错误的详细信息，看到 user=Administrator, access=WRITE。这里的 user 其实是我当前系统（运行客户端的计算机的操作系统）的用户名，实际期望这里的 user=Hadoop（hadoop 是我的 HADOOP 上面的用户名），但是它取的是当前的系统的用户名，很明显，如果我将当前系统的用户名改为 hadoop，这个肯定也是可以行得通的，但是如果后期将开发的代码部署到服务器上之后，就不能方便的修改用户，此方法明显也不够方便。

现在就想着 Configuration 这个是一个配置类，有没有一个参数是可以在某个地方设置以哪个用户运行呢？搜索了半天，无果。没有找到相关的配置参数。

最终只有继续分析代码，FileSystem fs = FileSystem.get(URI.create(dest), conf); 代码是在此处开始对 HDFS 进行调用，所以就想着将 HADOOP 的源码下下来，debug 整个调用过程，这个 user=Administator 是在什么时间赋予的值。理解了调用过程，还怕找不到解决问题的办法么？

跟踪代码进入 FileSystem.get–>CACHE.get（）–>Key key = new Key(uri, conf); 到这里的时候发现 key 值里面已经有 Administrator 了，所以关键肯定是在 new key 的过程。继续跟踪 UserGroupInformation.getCurrentUser()–>getLoginUser()–>login.login() 到这一步的时候发现用户名已经确定了，但是这个方法是 Java 的核心源码，是一个通用的安全认证，但对这一块不熟悉，但是 debug 时看到 subject 里面有 NTUserPrincipal：Administator，所以就想着搜索一下这个东西是啥，结果就找到了下面这一篇关键的文章：http://www.linuxidc.com/Linux/2014-08/105333.htm

在此篇文章里面作者分析了 hadoop 的整个登录过程，对于我有用的是其中的这一段：

2.login.login();
这个会调用 HadoopLoginModule 的 login() 和 commit() 方法。
HadoopLoginModule 的 login() 方法是一个空函数，只打印了一行调试日志 LOG.debug(“hadoop login”);
commit() 方法负责把 Principal 添加到 Subject 中。
此时一个首要问题是 username 是什么？
在使用了 kerberos 的情况下，从 javax.security.auth.kerberos.KerberosPrincipal 的实例获取 username。
在未使用 kerberos 的情况下，优先读取 HADOOP_USER_NAME 这个系统环境变量，如果不为空，那么拿它作 username。否则，读取 HADOOP_USER_NAME 这个 java 环境变量。否则，从 com.sun.security.auth.NTUserPrincipal 或者 com.sun.security.auth.UnixPrincipal 的实例获取 username。
如果以上尝试都失败，那么抛出异常 LoginException(“Can’t find user name”)。
最终拿 username 构造 org.apache.hadoop.security.User 的实例添加到 Subject 中。

看完这一段，我明白了执行 login.login 的时候调用了 hadoop 里面的 HadoopLoginModule 方法，而关键是在 commit 方法里面，在这里优先读取 HADOOP_USER_NAME 系统环境变量，然后是 java 环境变量，如果再没有就从 NTUserPrincipal 等里面取。关键代码为：

1. if (!isSecurityEnabled() && (user == null)) {
2. String envUser = System.getenv(HADOOP_USER_NAME);
3. if (envUser == null) {
4. envUser = System.getProperty(HADOOP_USER_NAME);
5. }
6. user = envUser == null ? null : new User(envUser);
7. }

OK，看到这里我的需求也就解决了，只要在系统的环境变量里面添加 HADOOP_USER_NAME=hadoop（HDFS 上的有权限的用户，具体看自己的情况），或者在当前 JDK 的变量参数里面添加 HADOOP_USER_NAME 这个 Java 变量即可。我的情况添加系统环境变量更方法。

如果是在 Eclipse 里面运行，修改完环境变量后，记得重启一下 eclipse，不然可能不会生效。

解决办法

最终，总结下来解决办法大概有三种：

1、在系统的环境变量或 java JVM 变量里面添加 HADOOP_USER_NAME，这个值具体等于多少看自己的情况，以后会运行 HADOOP 上的 Linux 的用户名。（修改完重启 eclipse，不然可能不生效）

2、将当前系统的帐号修改为 hadoop

3、使用 HDFS 的命令行接口修改相应目录的权限，hadoop fs -chmod 777 /user, 后面的 /user 是要上传文件的路径，不同的情况可能不一样，比如要上传的文件路径为 hdfs://namenode/user/xxx.doc，则这样的修改可以，如果要上传的文件路径为 hdfs://namenode/java/xxx.doc，则要修改的为 hadoop fs -chmod 777 /java 或者 hadoop fs -chmod 777 /，java 的那个需要先在 HDFS 里面建立 Java 目录，后面的这个是为根目录调整权限。

我喜欢第一个方法。

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

搭建了一个 Hadoop 的环境，Hadoop 集群环境部署在几个 Linux 服务器上，现在想使用 windows 上的 Java 客户端来操作集群中的 HDFS 文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。

（如果想看最终解决问题的方法拉到最后，如果想看我的问题解决思路请从上向下看）

问题描述

上传文件的代码：

1. private static void uploadToHdfs() throws FileNotFoundException,IOException {
2. // 我的文件地址
3. String localSrc = “E:\\ 快盘 \\ 技术文档 \\hadoop\\HDFS 初步研究.pdf”;
4. // 存放在云端的目的地址
5. String dest = “hdfs://192.168.2.156:9000/user/HDFS 初步研究.pdf”;
6. InputStream in = new BufferedInputStream(new FileInputStream(localSrc));
7. // 得到配置对象
8. Configuration conf = new Configuration();
9. // conf.set(“fs.default.name”,”hdfs://192.168.2.156:9000″);
10. // 文件系统
11. FileSystem fs = FileSystem.get(URI.create(dest), conf);
12. // 输出流
13. OutputStream out = fs.create(new Path(dest), new Progressable() {
14. @Override
15. public void progress() {
16. System.out.println(“ 上传完一个设定缓存区大小容量的文件！”);
17. }
18. });
19. // 连接两个流，形成通道，使输入流向输出流传输数据
20. IOUtils.copyBytes(in, out, 4096, true);
21. }

错误的详细描述如下 ：

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode=”hadoop”: hadoop:supergroup:rwxr-xr-x

其实这个错误的原因很容易看出来，用户 Administator 在 hadoop 上执行写操作时被权限系统拒绝.

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

————————————– 分割线 ————————————–

解决问题的过程

看到这个错误的，第一步就是将这个错误直接入放到百度 google 里面进行搜索。找到了 N 多篇文章，但是主要的思路就如此篇文章所写的两个解决办法：http://www.linuxidc.com/Linux/2014-08/105334.htm

1、在 hdfs 的配置文件中，将 dfs.permissions 修改为 False

2、执行这样的操作 hadoop fs -chmod 777 /user/hadoop

对于上面的第一个方法，我试了行不通，不知道是自己设置错误还是其他原因，对我此法不可行，第二个方法可行。第二个方法是让我们来修改 HDFS 中相应文件夹的权限，后面的 /user/hadoop 这个路径为 HDFS 中的文件路径，这样修改之后就让我们的 administrator 有在 HDFS 的相应目录下有写文件的权限（所有的用户都是写权限）。

虽然上面的第二步可以解决问题了，上传之后的文件所有者为 Administrator，但是总感觉这样的方法不够优雅，而且这样修改权限会有一定的安全问题，总之就是看着不爽，就在想有没有其他的办法？

更多详情见请继续阅读下一页的精彩内容 ：http://www.linuxidc.com/Linux/2014-08/105335p2.htm