Hive
176
1 分钟 2.输出合并 set hive.merge.mapfiles = true #在Map-only的任务结束时合并小文件（默认开启） set hive.merge.mapredfiles = true #……
Hadoop
1035
3 分钟 一直好奇parquet和hive是怎样做列裁剪（跳过某些列）的，今天跟踪了一下代码。……
Hadoop
2920
6 分钟 主要是翻译https://github.com/Parquet/parquet-fo……
Hive
228
1 分钟 https://issues.apache.org/jira/browse/HIVE-10815 目前cdh5.4.0版本的hive第一次连接的时候，固定是使用第一个，只有连接失败……
Hadoop
106
1 分钟 代码在这里 https://github.com/cloudera/Impala/blob/cdh5-2.2.0_5.4.0/be/src/service/impala-server.cc 如果不想断开清除session,直接return void ImpalaServer::ConnectionEnd( const ThriftServer::ConnectionContext& connection_context) { return; unique_lock<mutex> l(connection_to_sessions_map_lock_); ConnectionToSessionMap::iterator it =……
Hive
18
1 分钟 https://issues.apache.org/jira/browse/HIVE-10956 HMS链接泄露 https://issues.apache.org/jira/browse/HIVE-13002 HIVE-11934 Transaction lock retry logic results in infinite loop
J2EE
145
1 分钟 在pom.xml加入 <dependency> <groupId>org.easymock</groupId> <artifactId>easymock</artifactId> <version>3.3.1</version> <scope>test</scope> </dependency> <dependency> <groupId>org.powermock</groupId> <artifactId>powermock-module-junit4</artifactId> <version>1.6.5</version> <scope>test</scope> </dependency> <dependency> <groupId>org.powermock</groupId> <artifactId>powermock-api-easymock</artifactId> <version>1.6.5</version> <scope>test</scope> </dependency> 如果报错，有可能项目中包含有……记录一下 python代码 #!/usr/bin/env python # -*- coding: utf-8 -*- import re import os import sys p = os.popen('id %s' % sys.argv[1]) s = p.read() # s = 'uid=486(yarn) gid=484(yarn) groups=484(yarn),493(hadoop),513(supergroup)' user =……
Hadoop
720
2 分钟 hadoop实现类似linux系统的文件权限，需要知道某个用户是属于哪个组。系统默认……
Hadoop
1640
4 分钟 版本：hadoop cdh5.4 传输文件 接收方 nc -l <span class="hljs-number">19999</span> <span class="hljs-string">| tar zxvf -</span> 发送方 tar czvf - ./current <span class="hljs-string">| nc serverip 19999</span> 迁移方案……