Fatkun's Blog

hue cdh5.4.0 编辑器补丁

 Hadoop  192  1 分钟
更新文件 /opt/cloudera/parcels/CDH/lib/hue/build/static/oozie/js/workflow-editor.ko.js /opt/cloudera/parcels/CDH/lib/hue/build/static/oozie/js/workflow-editor.ko.xxxxxxxx.js HUE在CENTOS7使用 编译安装python2.6 可能要把旧版本的/u……
阅读更多 »

hadoop参数

 Hadoop  1181  3 分钟
YARN 参数 默认值 值 备注 yarn.nodemanager.container-metrics.enable false 关闭，避免nodemanager内存OOM，http://ha……
阅读更多 »

HDFS文件的健康检查

 Hadoop  1136  3 分钟
文章来源：HDFS DataNode Scanners and Disk Checker Explained 以下只简单翻译部分文字，详情看英文原文。 简单的概念 一个……
阅读更多 »

hdfs磁盘检查相关文章

 Hadoop  95  1 分钟
DataNode启动优化改进：磁盘检测并行化 https://issues.apache.org/jira/browse/HDFS-8845 检查时不遍历所有子目录 https://issues.apache.org/jira/browse/HDFS-8850 VolumeS……
阅读更多 »

[BUG]HIVE-9613 left join会导致数据错位

 Hive  45  1 分钟
category city rank src_category_en src_city_name_en jinrongfuwu shanghai 1 danbaobaoxiantouzi sh ktvjiuba shanghai 2 zpwentiyingshi sh but int hive0.14,the results in the column **src\_category\_en** is wrong,and is just the **city** contents: category city rank src_category_en src_city_name_en jinrongfuwu shanghai 1 shanghai sh ktvjiuba shanghai……
阅读更多 »

Hive遇到问题汇总

 Hive  176  1 分钟
新增两个字段，但查出来的值为null。 分区有自己的字段信息，检查分区的字段信息是否和……
阅读更多 »

JDK Native Memory Tracking

 J2EE  11  1 分钟
command line option: -XX:NativeMemoryTracking=summary or -XX:NativeMemoryTracking=detail jcmd ${PID} VM.native_memory summary https://docs.oracle.com/javase/8/docs/technotes/guides/troubleshoot/tooldescr007.html

Hive On Tez cloudera5.4

 Hadoop/Hive  330  1 分钟
配置 tez-site.xml <configuration> <property> <name>tez.lib.uris</name> <value>${fs.defaultFS}/apps/tez-0.8.5/,${fs.defaultFS}/apps/tez-0.8.5/lib/</value> </property> <property> <name>tez.use.cluster.hadoop-libs</name> <value>true</value> </property> <property> <name>tez.runtime.compress</name> <value>true</value> </property> <property> <name>tez.runtime.compress.codec</name> <value>org.apache.hadoop.io.compress.SnappyCodec</value> </property> </configuration> 调优参数 tez.grouping.min-size 分片最小限制 报错处理 找不到lzo……
阅读更多 »

jobhistory关注的issue

 Hadoop  46  1 分钟
JobHistory cache issue https://issues.apache.org/jira/browse/MAPREDUCE-6436 可能导致打印的日志太多影响性能 Job history server scans can become blocked on a single, slow entry https://issues.apache.org/jira/browse/MAPREDUCE-6797 High contention on scanning of user directory under immediate_done in……
阅读更多 »