Hadoop 版本：hadoop cdh5.4 传输文件 接收方 nc -l <span class="hljs-number">19999</span> <span class="hljs-string">| tar zxvf -</span> 发送方 tar czvf - ./current <span class="hljs-string">| nc serverip 19999</span> 迁移方案…… Hadoop hadoop写入时，默认磁盘选择是轮询的方式。可以改用按空间大小来分配，避免某个磁盘…… Hadoop 所有机器hosts都要加上新namenode 新namenode要建立好以前的用户和组…… Hadoop 在namenode日志看到如下错误 2016-05-11 01:00:26,360 WARN org.apache.hadoop.security.Groups: Potential performance problem: getGroups(user=xxx) took 5046 milliseconds 这个方法是hadoop为了获…… Hadoop 背景 最近打算要重启DataNode，之前有试过重启过程中导致业务任务失败的情况。所以…… Hadoop Do not use small blocks for balancing the cluster https://issues.apache.org/jira/browse/HDFS-8824 Allow Balancer to run faster https://issues.apache.org/jira/browse/HDFS-8818 平衡设置的文章：https://community.…… Hadoop 修改一下超时次数，具体代码在 DFSOutputStream.java private void completeFile(ExtendedBlock last) throws IOException { long localstart = Time.now(); long localTimeout = 400; boolean fileComplete = false; int retries = dfsClient.getConf().nBlockWriteLocateFollowingRetry; while (!fileComplete) { fileComplete…… Hadoop 记一次DataNode慢启动问题 ：启动过程中，datanode为了获取used siz…… Hadoop DiskChecker负责检查目录是否有建目录和判断权限。 datanode BlockPoolSlice.checkDirs() DataNode.checkDiskError() nodeManager LocalDirsHandlerService.checkDirs() Hbase create 'ucbrowser_imei2', {NAME=>'date', VERSIONS=>5} disable 'test_imei' drop 'test_imei' # 预先指定分区 create 'ucbrowser_utdid', 'date', { VERSIONS => '5', DATA_BLOCK_ENCODING => 'PREFIX', COMPRESSION => 'SNAPPY', SPLITS=>['03ufUX/IWscQABV+EwvaHDOo']} # 预先分区（200个reg……