Hadoop
106
1 分钟 代码在这里 https://github.com/cloudera/Impala/blob/cdh5-2.2.0_5.4.0/be/src/service/impala-server.cc 如果不想断开清除session,直接return void ImpalaServer::ConnectionEnd( const ThriftServer::ConnectionContext& connection_context) { return; unique_lock<mutex> l(connection_to_sessions_map_lock_); ConnectionToSessionMap::iterator it =……
Hive
18
1 分钟 https://issues.apache.org/jira/browse/HIVE-10956 HMS链接泄露 https://issues.apache.org/jira/browse/HIVE-13002 HIVE-11934 Transaction lock retry logic results in infinite loop
J2EE
145
1 分钟 在pom.xml加入 <dependency> <groupId>org.easymock</groupId> <artifactId>easymock</artifactId> <version>3.3.1</version> <scope>test</scope> </dependency> <dependency> <groupId>org.powermock</groupId> <artifactId>powermock-module-junit4</artifactId> <version>1.6.5</version> <scope>test</scope> </dependency> <dependency> <groupId>org.powermock</groupId> <artifactId>powermock-api-easymock</artifactId> <version>1.6.5</version> <scope>test</scope> </dependency> 如果报错，有可能项目中包含有……记录一下 python代码 #!/usr/bin/env python # -*- coding: utf-8 -*- import re import os import sys p = os.popen('id %s' % sys.argv[1]) s = p.read() # s = 'uid=486(yarn) gid=484(yarn) groups=484(yarn),493(hadoop),513(supergroup)' user =……
Hadoop
720
2 分钟 hadoop实现类似linux系统的文件权限，需要知道某个用户是属于哪个组。系统默认……
Hadoop
1640
4 分钟 版本：hadoop cdh5.4 传输文件 接收方 nc -l <span class="hljs-number">19999</span> <span class="hljs-string">| tar zxvf -</span> 发送方 tar czvf - ./current <span class="hljs-string">| nc serverip 19999</span> 迁移方案……
Hadoop
131
1 分钟 hadoop写入时，默认磁盘选择是轮询的方式。可以改用按空间大小来分配，避免某个磁盘……
Hadoop
179
1 分钟 所有机器hosts都要加上新namenode 新namenode要建立好以前的用户和组……
Hadoop
1014
3 分钟 在namenode日志看到如下错误 2016-05-11 01:00:26,360 WARN org.apache.hadoop.security.Groups: Potential performance problem: getGroups(user=xxx) took 5046 milliseconds 这个方法是hadoop为了获……
Hadoop
3644
8 分钟 背景 最近打算要重启DataNode，之前有试过重启过程中导致业务任务失败的情况。所以……