记录一下 python代码 #!/usr/bin/env python # -*- coding: utf-8 -*- import re import os import sys p = os.popen('id %s' % sys.argv[1]) s = p.read() # s = 'uid=486(yarn) gid=484(yarn) groups=484(yarn),493(hadoop),513(supergroup)' user =…… Hadoop hadoop实现类似linux系统的文件权限，需要知道某个用户是属于哪个组。系统默认…… Hadoop 版本：hadoop cdh5.4 传输文件 接收方 nc -l <span class="hljs-number">19999</span> <span class="hljs-string">| tar zxvf -</span> 发送方 tar czvf - ./current <span class="hljs-string">| nc serverip 19999</span> 迁移方案…… Hadoop hadoop写入时，默认磁盘选择是轮询的方式。可以改用按空间大小来分配，避免某个磁盘…… Hadoop 所有机器hosts都要加上新namenode 新namenode要建立好以前的用户和组…… Hadoop 在namenode日志看到如下错误 2016-05-11 01:00:26,360 WARN org.apache.hadoop.security.Groups: Potential performance problem: getGroups(user=xxx) took 5046 milliseconds 这个方法是hadoop为了获…… Hadoop 背景 最近打算要重启DataNode，之前有试过重启过程中导致业务任务失败的情况。所以…… Hadoop Do not use small blocks for balancing the cluster https://issues.apache.org/jira/browse/HDFS-8824 Allow Balancer to run faster https://issues.apache.org/jira/browse/HDFS-8818 平衡设置的文章：https://community.…… Hadoop 修改一下超时次数，具体代码在 DFSOutputStream.java private void completeFile(ExtendedBlock last) throws IOException { long localstart = Time.now(); long localTimeout = 400; boolean fileComplete = false; int retries = dfsClient.getConf().nBlockWriteLocateFollowingRetry; while (!fileComplete) { fileComplete…… Hadoop 记一次DataNode慢启动问题 ：启动过程中，datanode为了获取used siz……