Fatkun's Blog

使用AI编程你需要了解的东西

Sun, 22 Feb 2026 10:22:01 +0800

概括

本文介绍使用AI编程相关内容，用于记录一些好用的提示词，MCP，Skills。不包含如何安装codex，claude code等。

好用的工具

CC Switch，中转站切换

如果你有多个中转站，使用这个工具能够很方便帮你管理配置，这个工具本来是帮你保存多个配置，随时切换。如果开启代理方式，就可以无缝切换站点，不需要重启AI客户端。

CliProxyAPI

如果需要反代一些官方服务，可以使用这个服务，例如OpenAI账号反代。

NewAPI

目前很多中转站使用的AI网关，如果有多个中转站，可以使用它统一配置，避免每个终端都要配置很多站点。

All API Hub（chrome扩展）

用于管理多个公益站，可以自动添加站点，也可以比较方便用它在其他软件配置KEY（包括NewAPI，CC Switch）

提示词

每个软件的提示词名字不一样，例如claude的是CLAUDE.md，可以放在全局的目录或者在项目内.claude目录里面。CC Switch可以管理全局提示词。

编写提示词可以让AI遵循你的规则，例如可以让它在开始编码之前，先说出他的计划，等待你确认后再开始编码。

Skills

Skills是一些技能描述，其实也算是一种提示词，不过为了节省Token，避免把所有信息都塞进提示词里，所以推出了Skills。claude会搜索一些简单的技能描述，如果有需要调用，再读取完整的Skill能力，Skill里面包含描述和脚本(python之类)，这样就可以很精准的执行一些事情。不过据说Skills可能不会调用，也可以在提示词里面告诉AI，或者直接用 "/xxxx" 指定某个Skill。

Skills也可以用CC Switch管理。可以在这里面找Skills https://skillsmp.com/zh

ui-ux-pro-max-skill

https://github.com/nextlevelbuilder/ui-ux-pro-max-skill

这个是用于UI设计的技能

collaborating-with-codex

https://github.com/GuDaStudio/collaborating-with-codex

这个是用于在claude里面调用codex

frida-17

https://github.com/NeverSight/skills_feed/tree/main/data/skills-md/yfe404/frida-17-skill/frida-17

frida-17 的API变更了，很多AI还是生成旧的API，所以需要Skill纠正AI

idapython

https://github.com/mrexodia/ida-pro-mcp/tree/main/skills/idapython

ida pro分析必用

MCP

MCP是用于AI操作第三方软件的管道，MCP服务会返回一些tool的描述。我感觉MCP可以被Skills替代，但AI说两者有些不一样。

fast-context

https://github.com/SammySnake-d/fast-context-mcp

这个是用于使用自然语言搜索代码，这个是逆向Windsurf的服务。理论上应该对比较大的项目搜寻代码简单一些。现在AI一般用grep找代码，需要阅读所有代码。

chrome-mcp-server

操作chrome

ida-pro-mcp

https://github.com/mrexodia/ida-pro-mcp

操作ida pro

jadx

https://github.com/zinja-coder/jadx-ai-mcp

操作jadx，需要使用steamable-http的方式才能连接

{
"startupTimeout": 30000,
"toolTimeout": 300000,
"type": "steamable-http",
"url": "http://127.0.0.1:8651/mcp"
}

使用AI和IDA Pro MCP逆向分析so

Sun, 01 Feb 2026 10:22:01 +0800

背景

有些安卓应用会使用so来实现加密算法，来提高逆向的成本，而且so本身还会做了些混淆，检测是否在真机上运行。

一般逆向so的方法有这几种

使用frida调用（最简单，但是需要真机/模拟器）
使用unidbg模拟运行（有点复杂，需要补环境）
直接分析so算法（最复杂，需要基于汇编/伪代码分析）

目前有了AI之后，就算对逆向不是很了解，也有可能进行分析。

分析

如果so代码不多，可以把代码发给AI分析，如果比较多的话，还是通过MCP来分析。首先要安装 IDA-PRO-MCP, 按文档安装。使用ida-pro打开so文件，然后再Edit/Plugins里面开启MCP。

提示词

如果不添加提示词，AI可能处理不太准确，特别是一些数字的转换，首页上有提示词。这里给出我的提示词。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


你的任务是在 IDA Pro 中分析打开程序。
你可以使用 MCP 工具（如 ida-pro-mcp）来获取反编译、反汇编和程序结构信息。

请严格按照以下逆向分析策略执行：

1. 首先检查 IDA 的反编译结果（F5 输出），结合语义理解代码逻辑，并在关键位置添加注释。
2. 将无意义的变量名（如 v1、v3、a1 等）重命名为具有实际语义的名称。
3. 如有必要，修改变量和函数参数的类型，尤其是指针、数组和结构体类型，以提高代码可读性。
4. 将函数重命名为能够准确描述其行为的名称（例如校验函数、解密函数、初始化函数等）。
5. 当反编译信息不足或存在歧义时，请查看对应的反汇编代码，并基于汇编指令补充注释和分析结论。
6. 绝对不要自行进行任何数字进制转换（例如十六进制转十进制），如有需要，必须使用 int_convert MCP 工具。
7. 禁止尝试任何形式的暴力破解，所有结论必须通过反汇编逻辑分析和必要的简单 Python 推导脚本得出。
8. 分析过程中请始终关注：
 - 输入数据的来源与长度
 - 校验逻辑与失败分支
 - 字符串处理、循环结构、状态机或加密/混淆逻辑
9. 在分析完成后，请生成一个 report.md 文件，内容包括：
 - 程序整体结构概览
 - 关键函数说明（含重命名理由）
 - 校验/解密流程的完整逻辑说明
 - 得出最终结论的推导过程
10. 请不要随意生成文档，如果文档有更新，尽可能在原文档更新。代码也不要随意生成不同的文件。

请以“逆向工程师”的视角进行分析，避免臆测、过度抽象或脱离汇编语义的解释。

分析目标

说明你要分析的方法，如果你使用frida抓取到了输入输出，可以单独保存到一个文件，也一并提供给AI分析，便于后期验证。

另外由于这样分析so文件是静态的，可能有一些加密密钥是后面动态设置的，使用静态分析无法获取到正确的密钥。可以让AI帮你编写frida hook脚本，动态捕获信息。

使用frida需要注意，frida17版本后，API有不兼容变更，默认AI生成的代码还是用旧的版本，就算你提醒它使用17版本，它也可能生成错误。所以要明确告诉AI frida版本变更，提示词如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63


frida17.5版本API说明
Memory read/write APIs
Back in the day, you’d access memory like this:

const playerHealthLocation = ptr('0x1234');
const playerHealth = Memory.readU32(playerHealthLocation);
Memory.writeU32(playerHealthLocation, 100);
The modern equivalent is:

const playerHealthLocation = ptr('0x1234');
const playerHealth = playerHealthLocation.readU32();
playerHealthLocation.writeU32(100);
Where each write-counterpart returns the NativePointer itself, to support chaining:

const playerData = ptr('0x1234');
playerData
 .add(4).writeU32(13)
 .add(4).writeU16(37)
 .add(2).writeU16(42)
 ;
The legacy versions of these are now also gone, and have been gone from our TypeScript bindings for as long as the legacy-style enumeration APIs. So this change should also not be noticable to most of you.

Static Module APIs
Now for the breaking changes that also affect users who were current with the TypeScript bindings, prior to 19.0.0, released together with Frida 17. The following static Module methods are now gone:

Module.ensureInitialized()
Module.findBaseAddress()
Module.getBaseAddress()
Module.findExportByName()
Module.getExportByName()
Module.findSymbolByName()
Module.getSymbolByName()
These are all straight-forward to migrate away from.

But first, let’s cover the odd one out:

Module.getSymbolByName(null, 'open')
This is now accomplished like this:

Module.getGlobalExportByName('open')
For the rest, you first need to look up the Module, and then access the desired property or method on it. For example, instead of:

Module.getExportByName('libc.so', 'open')
The new way is:

Process.getModuleByName('libc.so').getExportByName('open')
The equivalent for Module.getBaseAddress() is thus:

Process.getModuleByName('libc.so').base
This means there is now only one way to do Module introspection, and the API design is such that we encourage you to write performant code. For example, in the past you might have been tempted to do:

const openImpl = Process.getExportByName('libc.so', 'open');
const readImpl = Process.getExportByName('libc.so', 'read');
But now you’ll probably think twice before doing:

const openImpl = Process.getModuleByName('libc.so').getExportByName('open');
const readImpl = Process.getModuleByName('libc.so').getExportByName('read');
And instead do:

const libc = Process.getModuleByName('libc.so');
const openImpl = libc.getExportByName('open');
const readImpl = libc.getExportByName('read');
Which is both more readable and more performant.

分析过程

分析过程中会对方法、字段做重命名，帮助了解。另外会总结一个report.md，如果中途没分析完成中断，就让它继续分析某些方法。最后如何分析成功的话，可以让AI判断算法是否可以逆向还原，一般像AES\SM3之类的算法是可以还原的，可以让AI尝试用python实现还原算法，看看能否成功还原密文。

结论

AI让一些简单的混淆无所遁形，不过一些复杂的混淆，控制流扁平化，还是要让AI花比较多时间分析，而且目前需要人的参与比较多，可能是我提示词不够好，不能让它一直工作下去。另外由于它要运行一些代码验证，也需要对他进行授权。另外目前我也只是静态分析so，不知道有没有办法动态分析so，如果动态分析so的话，应该就不用使用frida了。

某云盘脱壳

Mon, 12 Jan 2026 10:22:01 +0800

这个云盘使用梆*加固企业版，记录一下如何脱壳。

这个加固会检测frida，暂时不知道怎么绕过frida检测，也不知道怎么把dex dump出来。找到一个网站 APK加固安全测试，上传APK，等待一段时间后，它就帮你把dex dump出来了。

有了dex文件之后，怎么脱壳呢？可以看这个视频。

首先要还原AndroidManifest.xml文件，首先是这两个需要修改

1
2
3
4


<application
 android:name="com.secneo.apkwrapper.AW"
 android:appComponentFactory="com.secneo.apkwrapper.AP"
>

那改成什么值呢？找到 com.secneo.apkwrapper.H 这个类查看

1
2


public static String APPNAME = "com.*******.client.CCloudApplication"; // 对应 android:name
public static String ACFNAME = "androidx.core.app.CoreComponentFactory"; // 对应 android:appComponentFactory

然后拉到最后，去掉这个provider

1
2
3
4
5


<provider
 android:name="com.secneo.apkwrapper.CP"
 android:exported="false"
 android:authorities="com.*****.CP"
 android:initOrder="2147483647"/>

如果在windows上修改，可以用APK.Tool.GUI解包后直接修改文件再打包。

然后是要把dex塞回apk里面。塞回之前，需要先用MT管理器修复dex文件。另外apk里面已经有了一个classes.dex，如果直接覆盖，启动时会退出，使用android studio看日志报了一个NullPointer错误，原因是里面的代码还是要依赖classes.dex。所以得用MT管理器重命名文件，把classes2.dex开始重命名，然后把它们塞进去。

最后使用MT管理器去掉签名验证后安装，然后运行。但是发现这个软件还做了检测，告诉我这个版本有问题，点击后进程就退出了。使用 android studio 查看日志可以看到退出堆栈，这里就能看到点击按钮的回调方法。

使用frida hook这个方法，直接跳过退出代码。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


Java.perform(function () {
 const ClsName = 'com.******.client.ui.MenuActivity$28';
 const C = Java.use(ClsName);
 C.cancel.implementation = function () {
 console.log('[+] bypass ' + ClsName + '.cancel()');
 // 不调用原 cancel()，直接返回
 return;
 };
 C.submit.implementation = function () {
 console.log('[+] bypass ' + ClsName + '.submit()');
 // 不调用原 submit()，直接返回
 return;
 };
 console.log('[+] hooked ' + ClsName + '.cancel/submit as no-op');
});

golang逆向，还原符号表

Fri, 02 Jan 2026 00:22:01 +0800

查看是否加了upx壳，可以下载upx，使用upx -d解压。

使用 https://github.com/mandiant/GoReSym 导出符号

1

GoReSym.exe -t -d -p /path/to/input.exe > symbol.json

导出之后，把 https://github.com/mandiant/GoReSym/blob/master/IDAPython/goresym_rename.py 下载下来，然后用ida执行python脚本，选择刚才导出的json。

逆向某TV 6.5.0(原某电新闻)

Mon, 29 Dec 2025 00:22:01 +0800

背景

应用：57KkVFY= 版本：6.5.0 本文只用于学习研究，请勿作为非法用途，关键信息已隐藏。

这个APP使用某数字加固，发现这个东西居然检测frida了，如果后台启动了frida-server，启动APP就会直接退出，就算使用魔改版都被检测出来。

分析

我的目标主要是查看代码，而不是为了修改应用，所以主要是想办法获得真实的dex，并不想要脱壳。但是不脱壳，如何dump dex呢？首先尝试使用frida，如果使用新启动程序，发现进程马上退出

1

 frida -U -f com.*****tv.*****tv -l .\DumpDex.js

当然也尝试一下网上的方法，替换创建线程的方法，但我并没有成功阻止进程退出。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


function hook_dlopen() {
 let Func_sleep = new NativeFunction(Process.getModuleByName('libc.so').getExportByName('sleep'), 'uint', ['uint'])

 // 安卓高版本使用android_dlopen_ext
 Interceptor.attach(Module.findGlobalExportByName("android_dlopen_ext"),
 {
 onEnter: function (args) {
 this.fileName = args[0].readCString()
 console.log(`Current PID: ${Process.id}`)
 console.log(`dlopen onEnter: ${this.fileName}`)
 // if(this.fileName != null && this.fileName.indexOf("libjiagu_64.so") >= 0){
 // Func_sleep(10);
 // }

 }, onLeave: function(retval){
 console.log(`dlopen onLeave fileName: ${this.fileName}`)
 }
 }
 );
}
setImmediate(hook_dlopen)

尝试hook android_dlopen_ext，发现在加载libjiagu_64.so后，APP退出。

在继续搜寻隐藏Frida中，发现了这个项目 ZygiskFrida。

这个项目要求你的手机已ROOT，并且安装Magisk，开启Zygisk。使用方法是下载 ZygiskFrida-v1.9.0-release.zip，上传到手机，使用Magisk安装模块，并重启手机。

重启后，需要做一些配置。

1
2
3
4
5


adb shell
su

cp /data/local/tmp/re.zyg.fri/config.json.example /data/local/tmp/re.zyg.fri/config.json
sed -i s/com.example.package/目标应用的包名/ /data/local/tmp/re.zyg.fri/config.json

改完之后，启动应用，会卡在首屏，不用怕。然后可以通过两种命令attach。 frida -U -N your.target.application 或 frida -U -n Gadget

我使用的是

1

frida -U -N com.*****tv.*****tv -l DumpDex.js

注意我用的frida的版本是17.x，和16.x和之前的版本API有不兼容变更，具体变化可以看这里。

其中DumpDex.js的内容是，记得改你自己的包名，否则会报错。 DumpDex代码来自：https://github.com/Alexjr2/Android_Dump_Dex

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172


/*
Hook fork to prevent child processes from interrupting Frida
Returns -1 with errno EPERM
*/
(() => {
 const forkSymbol = Module.findGlobalExportByName("fork");
 if (!forkSymbol) {
 console.warn("[-] fork() not found");
 return;
 }
 const errnoPtr = (() => {
 const errnoLocation = Module.findGlobalExportByName("__errno_location");
 return errnoLocation ? new NativeFunction(errnoLocation, "pointer", [])() : null;
 })();

 const safeForkHandler = new NativeCallback(() => {
 console.warn("[!] Fork intercepted - returning -1 (EPERM)");
 if (errnoPtr) errnoPtr.writeS32(1);
 return -1;
 }, 'int', []);

 Interceptor.replace(forkSymbol, safeForkHandler);
 console.warn("[+] Fork hook: ACTIVE");
})();

/* 要改你的应用包名！！！ */
const TARGET_PKG = "com.*****tv.*****tv";
const SAFE_DIR = `/data/data/${TARGET_PKG}/`;

const DETECTION_LIBRARIES = [
 { pattern: "libdexprotector", message: "DexProtector: https://licelus.com" },
 { pattern: "libjiagu", message: "Jiagu360: https://jiagu.360.cn" },
 { pattern: "libAppGuard", message: "AppGuard: http://appguard.nprotect.com" },
 { pattern: "libDexHelper", message: "Secneo: http://www.secneo.com" },
 { pattern: "libsecexe|libsecmain|libSecShell", message: "Bangcle: https://github.com/woxihuannisja/Bangcle" },
 { pattern: "libprotectt|libapp-protectt", message: "Protectt: https://www.protectt.ai" },
 { pattern: "libkonyjsvm", message: "Kony: http://www.kony.com/" },
 { pattern: "libnesec", message: "Yidun: https://dun.163.com/product/app-protect" },
 { pattern: "libcovault", message: "AppSealing: https://www.appsealing.com/" },
 { pattern: "libpairipcore", message: "Pairip: https://github.com/rednaga/APKiD/issues/329" }
];

function hookDlopen() {
 return new Promise((resolve, reject) => {
 try {
 const isArm = Process.arch === "arm" ? "linker" : "linker64";
 const reg = Process.arch === "arm" ? "r0" : "x0";
 const linker = Process.findModuleByName(isArm);

 if (!linker) {
 reject(new Error("Linker module not found"));
 return;
 }

 let resolved = false;
 const resolveOnce = () => {
 if (!resolved) {
 resolved = true;
 resolve();
 }
 };

 const sym = linker.enumerateExports().find(e => e.name.includes('android_dlopen_ext'));
 Interceptor.attach(sym.address, {
 onEnter(args) {
 const libPath = this.context[reg].readUtf8String();
 if (!libPath) return;

 for (const { pattern, message } of DETECTION_LIBRARIES) {
 if (new RegExp(pattern).test(libPath)) {
 console.warn(`\n[*] Packer Detected: ${message}`);
 resolveOnce();
 return;
 }
 }
 }
 });
 setTimeout(resolveOnce, 3000);
 } catch (e) {
 reject(new Error("Unsupported architecture/emulator"));
 }
 });
}

function processDex(Buf, C, Path) {
 // Ensure the buffer is valid
 if (!Buf || Buf.byteLength < 8) {
 console.error(`[!] Invalid buffer for classes${C - 1}.dex`);
 return;
 }
 const DumpDex = Buf instanceof Uint8Array ? Buf : new Uint8Array(Buf);
 const Count = C - 1;
 // Signatures for detecting CDEX, Empty Header, and Wiped Header
 const CDEX_SIGNATURE = [0x63, 0x64, 0x65, 0x78, 0x30, 0x30, 0x31];
 const EMPTY_HEADER = [0x00, 0x00, 0x00, 0x00];
 const WIPED_HEADER = [0x64];
 // Detect CDEX
 if (CDEX_SIGNATURE.every((val, i) => DumpDex[i] == val)) {
 console.warn(`[*] classes${Count}.dex is a Compact Dex (CDEX). Ignoring.`);
 return;
 }
 // Detect Empty Header (DexProtector)
 if (EMPTY_HEADER.every((val, i) => DumpDex[i] == val) && DumpDex[7] == 0x00) {
 console.warn(`[*] 00000 Header detected in classes${Count}.dex, possible DexProtector.`);
 writeDexFile(Count, Buf, Path, 0);
 return;
 }
 // Detect Wiped Header (Obfuscation/Tampered)
 if (DumpDex[0] == 0x00 || WIPED_HEADER.every((val, i) => DumpDex[i] != val)) {
 console.warn(`[*] Wiped Header detected, classes${Count}.dex might be interesting.`);
 writeDexFile(Count, Buf, Path, 0);
 return;
 }
 // Default: Consider it as a normal Dex file
 writeDexFile(Count, Buf, Path, 1);
}

function writeDexFile(count, buffer, path, isValid) {
 try {
 const file = new File(path, "wb");
 file.write(buffer);
 file.close();
 console.log(`[Dex${count}] Saved to: ${path} ${isValid ? '(valid)' : '(modified)'}`);
 } catch (error) {
 console.error(`[!] Failed to save Dex${count} to ${path}: ${error.message}`);
 }
}

function findDefineClass(libart) {
 const matcher = /ClassLinker.*DefineClass.*Thread.*DexFile/;
 const search = (items, type) => items.find(item => matcher.test(item.name))?.address;

 return search(libart.enumerateSymbols(), 'symbols') ||
 search(libart.enumerateImports(), 'imports') ||
 search(libart.enumerateExports(), 'exports');
}

function dumpDex() {
 const libart = Process.findModuleByName("libart.so");
 if (!libart) return console.error("[!] libart.so not found");
 const defineClassAddr = findDefineClass(libart);
 console.warn("[*] DefineClass found at : ", defineClassAddr);
 if (!defineClassAddr) return console.error("[!] DefineClass not found");
 const seenDex = new Set();
 let dexCount = 1;

 Interceptor.attach(defineClassAddr, {
 onEnter(args) {
 const dexFilePtr = args[5];
 const base = dexFilePtr.add(Process.pointerSize).readPointer();
 const size = dexFilePtr.add(Process.pointerSize * 2).readUInt();
 if (seenDex.has(base.toString())) return;
 seenDex.add(base.toString());
 const dexBuffer = base.readByteArray(size);
 if (!dexBuffer || dexBuffer.byteLength !== size) return;
 const path = `${SAFE_DIR}classes${dexCount}.dex`;
 processDex(dexBuffer, dexCount++, path);
 }
 });
}

async function main() {
 try {
 await hookDlopen();
 console.warn("[*] Hooking Finished. Starting dex dump...");
 dumpDex();
 } catch (e) {
 console.error(`[!] Error: ${e.message}`);
 }
}

setImmediate(main);

dump出dex文件在上面的/data/data/{应用包名}目录下，把文件下载下来，拖入jadx，直接就看到源码了。

有了源码，分析就简单了，先抓包看看有什么变化。大概看了下，加密都没怎么变。只有这个请求v3/tvChannelList变为v5/tvChannelList，另外APP也需要登录才能使用，那对应的接口也增加了两个Header验证。分别是

X-*****TV-USER-ID
Authorization

补上就可以用了，其他参数和之前一样。但是还不清楚这个验证能用多久，需要长时间验证看看能用多久。

逆向unity游戏myyx3，使用dump.cs还原ida方法名

Fri, 12 Dec 2025 10:55:33 +0800

声明

仅用于学习记录，关键信息隐藏。

背景

游戏是unity+windows平台，使用il2cpp。

分析

首先，先尝试使用Il2CppDumper反编译

1

Il2CppDumper GameAssembly.dll global-metadata.dat out

但是报错

System.IndexOutOfRangeException: Index was outside the bounds of the array.
at Il2CppDumper.Metadata..ctor(Stream stream) in C:\projects\il2cppdumper\Il2CppDumper\Il2Cpp\Metadata.cs:line 41

应该是做了某种加密，查看了一下global-metadata.dat文件头，是正确的 AF 1B B1 FA。

那就从加载metadata的代码看起。打开IDA，Shift+F12打开Strings列表，查找global-metadata.dat，发现字符串有。双击字符串，按下x找关联的代码，找到一个方法

 v4 = sub_xxxxx("global-metadata.dat");

那这个方法应该是il2cpp::vm::MetadataLoader::LoadMetadataFile 尝试把这个方法发给AI分析，写成python代码，但是解密没成功，还是报错。

换一个思路，发现使用frida-il2cpp-bridge是可以dump cs的。

import "frida-il2cpp-bridge";
Il2Cpp.perform(() => {
Il2Cpp.dump("dump.cs", "./");
}

dump完之后，可以看一下里面的方法，里面的偏移地址看起来都没什么问题。那能不能利用dump.cs修改IDA的方法名呢？把想法发给AI，让它生成一个python代码提取dump.cs的名字和偏移地址。AI生成了一个代码，实际地址是：ImageBase + RVA。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98


import idautils
import idaapi
import idc
import ida_funcs
import re
import os

# --- 用户配置 ---
# 文件路径
DUMP_FILE_PATH = r"E:/dump.cs"
# ----------------

def auto_rename_from_dump(file_path):
 """
 解析 dump.cs 文件，自动在 IDA 中重命名函数。
 脚本会动态识别类名，并用 '类名::函数名' 的格式进行重命名。
 """
 if not os.path.exists(file_path):
 print(f"❌ 错误：文件未找到，请检查路径：{file_path}")
 return

 # 1. 获取 IDA 数据库的基地址 (ImageBase)
 image_base = idaapi.get_imagebase()
 if image_base == idaapi.BADADDR:
 print("❌ 错误：无法获取 ImageBase。请确保已加载有效的 IDA 数据库。")
 return

 print(f"🌟 当前 IDA 数据库 ImageBase: 0x{image_base:X}")
 print(f"🔬 正在解析文件: {file_path}")

 functions_to_rename = {}
 current_class_name = "" # 用于跟踪当前解析到的类名

 # 正则表达式
 # 匹配类定义行: class Name: Inherit...
 class_pattern = re.compile(r'^\s*class\s+([\w\.]+)\s*:')
 # 匹配函数定义行: 返回类型 函数名(参数); // 0xRVA
 func_pattern = re.compile(r'\s*System\.[\w\.<>\[\]]*\s+([\w\.]+)\(.*?\);\s*//\s*(0x[0-9a-fA-F]+)')

 try:
 with open(file_path, 'r', encoding='utf-8') as f:
 for line in f:
 # 尝试匹配类定义
 class_match = class_pattern.search(line)
 if class_match:
 # 找到新的类定义，更新当前类名
 current_class_name = class_match.group(1).strip()
 print(f"-> 发现类: {current_class_name}")
 continue

 # 尝试匹配函数定义
 func_match = func_pattern.search(line)
 if func_match and current_class_name:
 func_name = func_match.group(1).strip()
 rva_str = func_match.group(2).strip()

 # 格式化新函数名： 类名::函数名
 full_name = f"{current_class_name}::{func_name}"

 # 转换 RVA 为 VA
 try:
 rva = int(rva_str, 16)
 va = image_base + rva
 functions_to_rename[va] = full_name
 except ValueError:
 print(f"⚠️ 警告：跳过无效 RVA 行: {line.strip()}")

 except Exception as e:
 print(f"❌ 读取或解析文件时发生错误: {e}")
 return

 # 2. 在 IDA 中重命名
 total_found = len(functions_to_rename)
 print(f"🔍 成功从 dump 文件中解析到 {total_found} 个待重命名地址。")
 renamed_count = 0

 for va, name in functions_to_rename.items():
 # 检查地址是否在可访问的段内
 if idc.get_full_flags(va) == 0:
 continue

 # 尝试将地址定义为函数（如果还没有）
 if not ida_funcs.get_func(va):
 ida_funcs.add_func(va)

 # 执行重命名操作
 if idc.set_name(va, name, idc.SN_NOWARN | idc.SN_NOCHECK):
 renamed_count += 1

 print("--- 重命名报告 ---")
 print(f"🎉 任务完成！")
 print(f"总计解析函数数: {total_found}")
 print(f"成功重命名函数数: {renamed_count}")
 print("------------------")

# 执行主函数
# 注意：现在调用时不需要传入 CLASS_NAME_PREFIX 参数了
auto_rename_from_dump(DUMP_FILE_PATH)

在IDA执行脚本之后，大部分方法名就改过来了。

使用Reqable抓包发现，有部分请求是加密的。从代码浏览，SteamWindowsAgent看起来和登录有关系

1
2
3
4
5
6
7


import "frida-il2cpp-bridge";


Il2Cpp.perform(() => {
 const CSharp = Il2Cpp.domain.assembly("Assembly-CSharp").image;
 Il2Cpp.trace(false).classes(CSharp.class("Script.***.SdkAgent.SteamWindowsAgent")).and().attach();
}

尝试trace代码，这里看起来是上层调用，具体底层调用了哪些方法，没有trace到。想着换一种思路，Hook网络请求，然后再从backtrace看调用链路。一般游戏都通过UnityEngine.Networking.UnityWebRequest发送请求，但是发现根本没有。既然上面的SteamWindowsAgent是上层调用，进入IDA，找到对应的方法，按F5切换到伪代码查看，找到了一些蛛丝马迹。它和KarmaSDK有关，KarmaSDK有多个类，把多个类都加入trace里面来。为了提取密钥，尝试trace改成Il2Cpp.trace(true)，发现可以获取参数（很多时候会报错）。那这里就可以拿到加解密了。

IDA进入加解密的方法，我找到的伪代码发给AI分析，让它帮我们实现解密方法。发现这个游戏用两种加密方式第一种是AES（AES-128-CBC），请求参数加密：KarmaSDK.ex::Encrypt trace这个方法获取key和IV。第二种是RSA（PKCS1_v1_5），返回内容加密：KarmaSDK.fb::Decrypt，trace获取RSA key。

里面很多子方法调用，可以先把主方法发给AI，然后问它还需要提供哪些子方法，继续提供信息给AI就行。提供的信息越多，实现越准确。不过GROK有点奇怪，老会吹牛逼，分析DLL的时候让我上传文件给我解密，说它解密好了，给我一个下载链接，发现根本不存在这个链接。

IDA动态分析

有一些qword_7FFF0AFECAE8，静态分析是查不到值的，需要attach进程，实时查看内存。

这里是一个MD5的伪代码，sub_7FFF09EFF080是一个字符串拼接的方法

 v3 = **(_QWORD **)(qword_7FFF0AFEEA28 + 184);
if ( !v3 )
sub_7FFF091B94D0();
v4 = sub_7FFF09EFF080(a2, qword_7FFF0AFECAE8, *(_QWORD *)(v3 + 56));
v16 = (__int64 *)System_Security_Cryptography_MD5::Create(0);
v14 = 0;
v15 = &v16;
try
{
v5 = v16;
UTF8 = System_Text_Encoding::get_UTF8(0);
if ( !UTF8 )
sub_7FFF091B94D0();
v7 = (*(__int64 (__fastcall **)(__int64, __int64, _QWORD))(*(_QWORD *)UTF8 + 600LL))(
UTF8,
v4,
*(_QWORD *)(*(_QWORD *)UTF8 + 608LL));
if ( !v5 )
sub_7FFF091B94D0();
v8 = System_Security_Cryptography_HashAlgorithm::ComputeHash(v5, v7, 0);
v9 = sub_7FFF0A011DE0(v8, 0);
}

假如我想获得qword_7FFF0AFECAE8的内容，在v16这行加上一个断点，双击qword_7FFF0AFECAE8，后面有一个地址

qword_7FFED50DCAE8 dq 14D112E5840h

再双击后面的地址，这是一个unity的字符串，前面会有一些header，实际这个是“_”。可以让AI解析。

debug1506:0000014D112E5840 db 0D0h
debug1506:0000014D112E5841 db 0A6h
debug1506:0000014D112E5842 db 25h ; %
debug1506:0000014D112E5843 db 0A0h
debug1506:0000014D112E5844 db 4Bh ; K
debug1506:0000014D112E5845 db 1
debug1506:0000014D112E5846 db 0
debug1506:0000014D112E5847 db 0
debug1506:0000014D112E5848 db 0
debug1506:0000014D112E5849 db 0
debug1506:0000014D112E584A db 0
debug1506:0000014D112E584B db 0
debug1506:0000014D112E584C db 0
debug1506:0000014D112E584D db 0
debug1506:0000014D112E584E db 0
debug1506:0000014D112E584F db 0
debug1506:0000014D112E5850 db 1
debug1506:0000014D112E5851 db 0
debug1506:0000014D112E5852 db 0
debug1506:0000014D112E5853 db 0
debug1506:0000014D112E5854 db 5Fh ; _
debug1506:0000014D112E5855 db 0
debug1506:0000014D112E5856 db 0
debug1506:0000014D112E5857 db 0
debug1506:0000014D112E5858 db 0
debug1506:0000014D112E5859 db 0
debug1506:0000014D112E585A db 0

再看V4变量，可以直接双击，直接跳转到内存值。可以把光标移动到文字开始的地址，在Edit>Strings>Unicode，可以转成字符串。

debug1553:0000014D9D91CF44 text "UTF-16LE", '1765897011173_CJui24lxxxxxxxxxxxxxxxxxx'
debug1553:0000014D9D91CFAA text "UTF-16LE", 'WLy22Nr',0

多抓取几次，发现后面这个字符串是固定的。最终获得了这个md5是如何hash的。

另外这次也尝试了使用ida-pro-mcp，使用claude-sonet-4.5，它帮我分析了一下代码，但是看起来前面有些分析是错的。后面在read_qword的时候地址是错的，不知道是不是mcp错误的问题。不过帮它纠正一下还能继续分析下去。但是读取上面的String时也有问题，没给我读取完整，还得自己去分析。

结尾

到这里基本就结束了，使用解密方法尝试解密抓包的内容，发现都成功了。

自从有了AI之后，分析代码的活都给AI干了，不用一行行的盯着伪代码看，试错也简单，如果AI有验证能力的话更好一些，有时候就是乱说一通。

破解Unity游戏联网验证(Mono)

Sat, 01 Nov 2025 10:55:33 +0800

背景

一个windows unity游戏，代码没有加密，没有热加载，使用UnityPlayer.dll。名字是：哎呦,xxxxx。这个没逆向成功，只是提供一些思路。

目标

游戏启动后，界面停留在连接中，该游戏有联网验证。那这部分的代码是哪个类呢？我们需要找出对应的代码。

尝试

首先从网络请求入手，猜测它会有网络请求，所以使用了Reqable这类http/https抓包工具，但是没有任何请求。又尝试使用Proxifier拦截请求，但是还是没能抓取到http/https请求，但是在关闭游戏的时候，看到请求了某个域名。（后面查看代码知道实际上是TCP请求，但这个时候我不是太懂，如果知道域名后，应该可以使用tcp的抓包工具筛选请求）

由于这个游戏没有用IL2CPP，直接用dnspy反编译***Data/Managed目录的dll文件就可以看到完整的代码。

从网络这边无法入手，继续尝试能不能通过frida来hook代码，发现之前主要是hook il2cpp 的代码，mono的反而不知道怎么操作。咨询AI说使用frida-mono-api，但实际使用下来比较老旧了，几年前的代码，最终这条路还是走不通。

那还有种办法通过Debug.Log写日志，日志路径在C:\Users\用户名\AppData\LocalLow\公司名\游戏名\Player.log。但是呢，一般Release版本是不会输出debug日志的。所以我跟了一下Debug.Log的代码看哪里可以修改可以输出。然而呢，我看了一下日志居然是输出的，那就可以插入日志来跟踪代码。

前面浏览代码发现一个可疑的类，SteamManger。其中有一段代码涉及到SetCallback方法，我想用dnspy的分析功能，但找不到调用方。（这里是dnspy的局限，如果代码使用实例的方式调用，就找不到谁调用它，而且搜索字符串也不好用，不能全局搜索代码，只能在一个类内搜索。后面可能要先导出所有代码，然后在vscode搜索。）当时想看谁调用了SetCallback，我需要打印一下堆栈。

使用dnspy右键编辑方法，增加以下代码，点击编译（如果编译失败，请尝试把目录下的所有dll文件都拖入dnspy），然后在文件-》保存模块。

 string stack = Environment.StackTrace;
Debug.Log("SetCallback" + stack);

查看日志，这时就可以找对应代码了。

SetCallback at System.Environment.get_StackTrace () [0x00000] in <0de99929796b4095b47389e59e446fbd>:0
at PlatformSteam.SetCallback (EventCallbackDelegate callback) [0x00000] in <749c0f0f9b7e45cbb9255a71a40a8e11>:0
at PlatformManager.SetCallback (EventCallbackDelegate callback) [0x00000] in <749c0f0f9b7e45cbb9255a71a40a8e11>:0
at MainGame.StartPlatform (PlatformType platformType) [0x00000] in <749c0f0f9b7e45cbb9255a71a40a8e11>:0
at Loading.Init () [0x00000] in <749c0f0f9b7e45cbb9255a71a40a8e11>:0
at Loading.Start () [0x00000] in <749c0f0f9b7e45cbb9255a71a40a8e11>:0 EventCallbackDelegate

跟踪代码，最后发现有一个NetWork类。前面其实发现了一个域名，其实也可以尝试根据字符串查询，域名可能是在代码里面或者读取外部配置。在dnspy搜索字符串时，记得在搜索程序集，选择字符串（默认是以上所有，搜不到字符串）。

到这里可以看到这是一个TCP的连接，使用TCP倒是很少见，一般都用HTTPS。

this.m_Socket = new Socket(SocketType.Stream, ProtocolType.Tcp);
this.m_Socket.Connect(this.ServerAddress, 7788);

对这种TCP二进制通信还是比较烦，粗略看了代码，没有加密内容，理论上抓包分析二进制可以写个程序解包。看了一下游戏对视频做了加密，而且key是通过上面的网络请求获取的，不过这里没加密，如果有正版游戏，应该能提取出来，并且日志也会输出。

1
2
3
4
5


 public void OnRecvVideoKey(string name, VideoKey key)
 {
 Debug.Log("------------->OnRecvVideoKey:" + name);
 Dictionary<string, VideoKey> videoKeys = this.m_VideoKeys;
 }

看起来这个游戏反逆向做的还好，每个视频的key可能不一样，都需要通过服务器获取。看到这里，不继续进行下去了，已经基本分析清楚，如果要完全破解，就要有正版账号，分析TCP请求，完成模拟发送和接收。

总结

总结一下优势劣势

优势

这个游戏使用TCP请求来代替https请求，提高了一点难度，当前https很容易使用本地ca证书分析密文，除非在代码中做证书校验。但是就算做了证书校验，实际上也是可以分析去掉的。
从服务端获取key等

缺点

没有使用IL2CPP，导致代码完全暴露。如果使用IL2CPP就要使用汇编方式分析了，难度更大一些。不过也可以用frida来分析代码
TCP明文通信？不过暴露代码了，是否明文也不重要，而且也是二进制的

逆向使用HybridCLR热更新的Unity游戏

Sat, 27 Sep 2025 10:55:33 +0800

声明

仅用于学习记录，请勿用于非法用途。

分析

这个游戏使用了il2cpp，首先想到的是用Il2CppDumper反编译，找到GameAssembly.dll和global-metadata.dat。

1
2


mkdir -p out
Il2CppDumper GameAssembly.dll global-metadata.dat out

还好这两个文件都没有加密，但发现在DummyDll没找到核心的代码，但找到HybridCLR.Runtime.dll，这个应该是用了热加载功能。

尝试使用 frida-il2cpp-bridge trace 代码, 同时也可以dump代码出来

1
2
3
4


Il2Cpp.perform(() => {
 console.log(Il2Cpp.unityVersion);
 Il2Cpp.dump("dump.cs", "./");
}

从dump.cs看出，多出了一个Game.dll，看了一下方法确实是核心代码。尝试对Game里面的代码进行trace，但是发现不是所有的方法都可以trace到。

1
2
3
4


Il2Cpp.perform(() => {
 console.log(Il2Cpp.unityVersion);
 Il2Cpp.trace(false).classes(Il2Cpp.domain.assembly("Game").image.class("Tower.NetworkManager")).and().attach();
}

从dump.cs看到，有些方法的地址是一样的，应该是由于动态加载的问题，找到的地址是错误的，这样就导致无法通过trace。

回到前面看到的HybridCLR.Runtime.dll，用dnSpy查看方法

1

 public static extern LoadImageErrorCode LoadMetadataForAOTAssembly(byte[] dllBytes, HomologousImageMode mode);

可以看到这个方法是传入了一个dllBytes参数，我们要找到这个bytes是如何传入进来的。这里我们要用到ida pro，加载GameAssembly.dll，并且使用script和Il2CppDumper反编译的内容把方法名称补充进来（可以看之前的文档操作）找到LoadMetadataForAOTAssembly这个方法，然后在方法名上面按X，查找引用，F5分析伪代码

1
2
3
4
5
6
7
8


 s_assetDatas = (System_Collections_Generic_Dictionary_object__object__o *)DllManager_TypeInfo->static_fields->s_assetDatas;
 if ( !s_assetDatas )
 sub_180332070(0, v3);
 Item = (System_Byte_array *)System_Collections_Generic_Dictionary_object__object___get_Item(
 s_assetDatas,
 key,
 Method_System_Collections_Generic_Dictionary_string__byte____get_Item__);
 MetadataForAOTAssembly = HybridCLR_RuntimeApi__LoadMetadataForAOTAssembly(Item, 1, 0);

可以看到是从s_assetDatas这个List里面获取的，继续跟踪这个s_assetDatas如何获取。另外看到这个类DllManager不是动态加载的，这时候我们可以使用frida来trace代码。

1
2
3
4
5


Il2Cpp.perform(() => {
 const ScriptMain = Il2Cpp.domain.assembly("ScriptMain").image;
 Il2Cpp.trace(false).classes(ScriptMain.class("DllManager")).and().attach();
 // Il2Cpp.trace(true).methods(ScriptMain.class("DllManager").method("GetWebRequestPath")).and().attach();
})

trace有个参数可以指定为true，打印参数，但是经常出错，目前不知道怎么解决，可以针对局部方法开启。从上面的trace看，dll文件是从.ab文件读取出来的，找到对应的ab文件，使用AssetStudioModGUI解包获取DLL文件，把文件丢到dnSpy里，发现代码完全没有混淆和加密。

破解某金融终端APK

Tue, 16 Sep 2025 10:55:33 +0800

背景

这个软件查看深度资料需要开户才可以，但看到实际是后台已经加载数据了，但是会弹一个对话框提示要开户。本文仅用于记录学习，隐藏部分细节。

操作

使用MT管理器查看没有加固，然后使用MT管理器2.15.0学习版去掉签名校验（如果不去掉，后面改完代码签名后，启动会马上退出）。

使用jadx反编译代码，搜索对话框里面的内容，记得要勾选资源文件。刚好在strings资源里面找到文字，然后根据变量(fund_auth_tip)找到使用的地方。

对应的代码在 smali_classes3\l30\m0.smali ，可以看到里面的代码就是创建一个对话框提醒，我们只要在这个方法最开始直接return就可以去掉弹窗了。

使用APK.Tool.GUI.v3.3.1.6（最新版本可能会反编译报错，可以试一下这个版本）反编译代码，修改上面的smali文件。直接在方法最开始加一个 return-void 就行了。

.method public static final g(Ll30/m0;)V
.locals 3
return-void
.line 1
:try_start_0
const-string v0, "this$0"
.line 2
.line 3
invoke-static {p0, v0}, Lkotlin/jvm/internal/Intrinsics;->checkNotNullParameter(Ljava/lang/Object;Ljava/lang/String;)V
.line 4
.line 5
.line 6
sget v0, Lk30/l;->warm_reminder:I

改完之后，重新编译回去，安装软件即可。安装后验证确实不再弹窗了。

使用Frida-il2cpp-bridge

Thu, 31 Jul 2025 10:55:33 +0800

说明

代码仓库： https://github.com/vfsfitvnm/frida-il2cpp-bridge

这是一个用来hook Il2Cpp 程序的模块，可以用它dump class，跟踪代码执行，覆盖方法等

安装

参考 wiki的安装说明

新建一个 index.ts

import "frida-il2cpp-bridge";
Il2Cpp.perform(() => {
// code here
console.log(Il2Cpp.unityVersion);
});

新建一个 packages.json

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


{
 "name": "playground",
 "main": "index.ts",
 "version": "1.0.0",
 "private": true,
 "type": "module",
 "scripts": {
 "build": "frida-compile -o _.js -w index.ts",
 "attach": "run() { frida -U \"$1\" -l _.js --runtime=v8; }; run",
 "spawn": "run() { frida -U -f \"$1\" -l _.js --no-pause --runtime=v8; }; run",
 "app0-spawn": "npm run spawn com.example.application0",
 "app1": "npm run \"Application1 Name\"",
 "app1-spawn": "npm run spawn com.example.application1"
 },
 "devDependencies": {
 "@types/frida-gum": "^18.3.1",
 "frida-compile": "^16.2.2",
 "frida-il2cpp-bridge": "*"
 }
}

新建一个 tsconfig.json

{
"compilerOptions": {
"target": "esnext",
"lib": [ "es2022" ],
"experimentalDecorators": true,
"module": "esnext",
"allowJs": false,
"noEmit": false,
"esModuleInterop": false,
"moduleResolution": "nodenext",
"strict": true,
"sourceMap": true
},
"files": [ "index.ts" ]
}

安装

npm install --save-dev frida-il2cpp-bridge

执行

# 由ts代码构建js代码，里面有-w参数，如果ts变更会重新编译js
npm run build

由于我是在windows下执行，packages.json 需要修改一下运行命令

"attach": "run() { frida -U \"$1\" -l _.js --runtime=v8; }; run",

改为

"attach": "frida 进程名称.exe -l _.js",

然后执行

npm run attach

使用例子

可以看官方的wiki https://github.com/vfsfitvnm/frida-il2cpp-bridge/wiki/Snippets

调用堆栈

看这里的讨论

方法一（受限frida默认只有16个backtrace，信息很少）

1
2
3
4
5
6


import "frida-il2cpp-bridge";
Il2Cpp.perform(() => {
 const UnityWebRequest = Il2Cpp.domain.assembly("UnityEngine").image.class("UnityEngine.Networking.UnityWebRequest");

 Il2Cpp.backtrace().methods(UnityWebRequest.method("Send")).and().attach();
})

方法二（更详细）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


import "frida-il2cpp-bridge";
Il2Cpp.perform(() => {
 const get_StackTrace = Il2Cpp.corlib.class("System.Environment").method("get_StackTrace");

 const UnityWebRequest = Il2Cpp.domain.assembly("UnityEngine").image.class("UnityEngine.Networking.UnityWebRequest");
 // 重写 SendWebRequest 方法的实现
 UnityWebRequest.method("SendWebRequest").implementation = function (this: Il2Cpp.Object) {
 console.log("TRACE!!!");
 console.log(get_StackTrace.invoke());
 // 调用原始方法
 return this.method("SendWebRequest").invoke();
 };
})

跟踪方法（Trace）

1
2
3
4
5
6


import "frida-il2cpp-bridge";
Il2Cpp.perform(() => {
 const UnityWebRequest = Il2Cpp.domain.assembly("UnityEngine").image.class("UnityEngine.Networking.UnityWebRequest");

 Il2Cpp.trace(true).classes(UnityWebRequest).and().attach();
})

覆盖方法2

覆盖方法的时候要注意，要记得参数有几个如果trace返回输出（Il2Cpp.trace(true)），也会导致无法覆盖方法 Il2Cpp.trace(true).classes(CSharp.class("KarmaSDK.AsyncRequest")).and().attach();

1
2
3
4
5
6
7
8
9



 const dekMethod = Il2Cpp.domain.assembly("Assembly-CSharp").image.class("KarmaSDK.AsyncRequest").tryMethod("dek", 1);
 // 需要使用ts-ignore，否则类型检查会不通过
 // https://github.com/vfsfitvnm/frida-il2cpp-bridge/issues/428#issuecomment-1793728571
 // @ts-ignore
 dekMethod.implementation = function (this: Il2Cpp.Class, a1: Il2Cpp.String): Il2Cpp.String {
 console.log("dekMethod", a1)
 return Il2Cpp.string('')
 };

WEB前端逆向TS NALU解密

Mon, 28 Jul 2025 10:55:33 +0800

背景

使用浏览器可以找到m3u8链接，把ts文件下载下来播放，发现有声音但是花屏。

这里面可能是对TS帧加密。

上网搜索找到这篇文章，WEB前端逆向TS PES NALU解密，但这篇文章是针对视频的，我是想对直播解密，使用上述的脚本，解密出来，底下有一点花屏。

分析

从其他文章知道这个网站是使用wasm加密，所以可以先找到wasm，然后找到对应的js文件，js文件比较重要的有

h5.worker%3Fv=220805
wasm文件，会构造一个对象 CNTVModule，这个js有一点点混淆，反混淆就好。可以在chrome浏览器里面Override反混淆后的代码。
liveplayer.js
可以根据CNTVModule找到CNTVH5PlayerModule = CNTVModule();
liveplayer_controls.js
根据CNTVH5PlayerModule找到，解密代码调用位置

先来到liveplayer_controls.js这个文件，主要的解密方法是在x.prototype._parseAVCPES里。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43


 x.prototype._parseAVCPES = function (h, e) {
 var g;
 var y;
 var m;
 var v = this;
 var E = this._avcTrack;
 var t = this._parseAVCNALu(h.data);
 var _ = this.avcSample;
 var T = false;
 var S = false;
 var b = this.pushAccesUnit.bind(this);
 h.data = null;
 if (_ && t.length && !E.audFound) {
 b(_, E);
 _ = this.avcSample = p(false, h.pts, h.dts, "");
 }
...

function uint8ToHex(uint8Array) {
 // 确保输入是 Uint8Array 或类数组
 if (!ArrayBuffer.isView(uint8Array) && !Array.isArray(uint8Array)) {
 throw new Error('Input must be a Uint8Array or an array of numbers');
 }

 return Array.from(uint8Array)
 .map(byte => byte.toString(16).padStart(2, '0')) // 转为两位小写 hex
 .join(' '); // 用空格分隔每个字节
}

 t.forEach(function (e) {
 y = L = false;
 // 可以插入一些代码测试
 console.log("e.type", e.type, uint8ToHex(e.data));
 if (!(e.type !== 5 && e.type !== 1)) {
 if (F && CNTVH5PlayerModule) {
 e.data = A(e.data, 0);
 } else if (M && CNTVH5PlayerModule) {
 e.data = A(e.data, 1);
 }
 }
 ...
 return S;
 };

从代码看到 t = this._parseAVCNALu(h.data);先把NALu解析出来，然后调用 t.forEach 遍历，如果类型是1或5才做解密。其中直播是调用 A(e.data, 0)。

来到看解密方法

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


 function A(e, t) {
 var r = 0;
 var i = 0;
 var a = 0;
 var n = new Uint8Array(0);
 try {

 r = CNTVH5PlayerModule._jsmalloc(e.byteLength + 1024);
 for (var o = 0; o < e.byteLength; o++) {
 CNTVH5PlayerModule.HEAP8[r + o] = e[o];
 }
 if (!v.signalUrlSend) {
 a = v.rootURL.length;
 for (var s = 0; s < a; s++) {
 CNTVH5PlayerModule.HEAP8[r + e.byteLength + s] = v.rootURL.charCodeAt(s);
 }
 v.signalUrlSend = true;
 }
 if (t == 0) {
 i = CNTVH5PlayerModule._nalplay2(r, e.byteLength, a);
 } else if (t == 1) {
 i = CNTVH5PlayerModule._vodplay(r, e.byteLength, a);
 }
 n = new Uint8Array(i);
 for (var l = 0; l < n.byteLength; l++) {
 n[l] = CNTVH5PlayerModule.HEAP8[r + l];
 }
 } catch (e) {}
 CNTVH5PlayerModule._jsfree(r);
 r = null;
 return n;
 }

解密方法看到前面把地址放到CNTVH5PlayerModule.HEAP8[r + e.byteLength]之后，直播调用 i = CNTVH5PlayerModule._nalplay2(r, e.byteLength, a); 解密，视频是调用 _vodplay，实际上调用wasm里面的方法。

根据文档 ts帧加密案例(一) 我们知道如果直接调用这个方法的话，wasm里面会有很多env import，会针对浏览器很多检查，他第一次调用的时候发现还是有一些花屏，在第二篇文章里 ts帧加密案例(二) 发现是环境没补全。

但是作者跟踪代码可以绕过这个方法调用，跳过这些检查，这里不清楚作者是如何发现这个内部调用的。

如果想要分析，可以使用wabt工具来反编译，可以编译成c或者wat格式。跟踪代码可以看到，直播调用的是func58_tea，和视频调用的func60_tea不一样。

根据文章我们可以把内部方法暴露出来，wasm是base64格式的文本，可以让AI写一个方法保存为文件

先转为wat格式

1

wasm2wat xxx.wasm -o xxx.wat

修改wat，在导出表里增加两行(搜索export)

(export "func58_TEA" (func 58))
(export "func60_TEA" (func 60))

最后再转回wasm，然后再转回base64的格式填回代码里面

1

wat2wasm xxx.wat -o xxx_out.wasm

TS 格式分析

分析一下 WEB前端逆向TS PES NALU解密文章里面的代码之前，先来简单理解一下TS格式，我也不太懂，根据自己理解描述一下。

TS每个Frame 188个字节，第一个字节固定是0x47，每个Frame包含Header和数据，里面可能是一些属性数据或者视频流、音频流，我们可以用010Editor来辅助分析。

在010Editor里面我们可以下载模板，在Templates > Templates Repository 里面下载 TS/H264 的模板，然后再选择Templates > Video > TS 就可以看到解析后的格式了。如果选择H264也可以找到H264的解析。

TSHeader里面有一个PID，表示一个编号，也是一个类型，我们需要根据PID找到哪个是视频流，我们只对视频流解密。文章作者说通过软件看到视频流的PID是0x100，在代码中也做了这个过滤，那这个是怎么看出来的呢？

可以先找到PAT，PAT是在PID=0的Frame里面，可以找到PMT的PID。

如果你的Value不是按16进制显示，可以在标题栏右键，选择Value > Hex。可以看到PMT的PID在0x1001，文件我看是在第二个Frame里面。

这里看到PMTElementary有多个，这里是定义stream_type对应的PID是什么，这里第一个stream_type是 0x1B ，这个是h264类型，我们可以看到PID是 0x100。但我实际运行下来，这个一般是0x100，但实际有时候会变的，所以需要动态的读取这个值。原作者是固定使用了这个值，会导致有部分时候花屏。

然后我们就可以根据前面得到的PID得到视频流，解析里面的NALu。

回到代码，代码Parse_TS_Packet里面会涉及到一些合并Frame，没了解很多TS结构，我不懂。然后再在这里面找NALu的开头，它是以0x 00 00 01 或者 0x 00 00 00 01 开头，FindNalUnitStart方法就是找这些开头。

但代码里面有种情况没有处理，就是如果payload里面有0x000003 ，需要替换成 0x0000，它是为了避免分隔符和数据混淆做了替换（H264的 Encapsulated Byte Sequence Payload编码），对数据做了替换。不过这种情况可能很少，偶尔出错一次应该也不太影响。

0x000000-->0x00000300
0x000001-->0x00000301
0x000002-->0x00000302
0x000003-->0x00000303

原有代码调用的是FUNC60，是针对视频的，如果是直播，内部调用的是FUNC58，可以断点进入wasm里面看到。

参考原有js代码实现，另外func58_TEA的参数和原代码有点不一样，可以断点调试对比对应的值是什么，也可以把xx.wat发给AI，让它给你分析，才发现第二个和第三个参数是一样的。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


function XOR(e) {
 let r = 0;
 let i = 0;
 let a = 0;
 let n = new Uint8Array(0);
 try {

 r = CNTVH5PlayerModule._jsmalloc( e.byteLength + 1024);
 for (var o = 0; o < e.byteLength; o++) {
 CNTVH5PlayerModule.HEAP8[r + o] = e[o];
 }
 i = CNTVH5PlayerModule.asm.func58_TEA( r, e.byteLength, e.byteLength);
 n = new Uint8Array(i);
 for (var l = 0; l < n.byteLength; l++) {
 n[l] = CNTVH5PlayerModule.HEAP8[r + l];
 }
 } catch (e) {
 console.log("err", e);
 }
 CNTVH5PlayerModule._jsfree(r);
 r = null;
 return n;
}

排查问题

改完这个发现可以直播观看了，但是后台还是时不时会报错，画面有部分花屏。

这时可以在network找到ts文件的下载，在后面找到调用的js地址，下断点，每次下载ts的时候，我们可以暂停，在解析的地方可以增加一些日志调试，也可以把对应的ts文件下载下来本地分析。

有一些报错是 RuntimeError: memory access out of bounds ，解密失败了，发现问题是原代码写死视频的PID是0x100，但实际上还是偶尔有不一样的。

我们可以从PMT里面找到视频流的PID，让AI帮我写了一些方法。这里吐槽一下qwen3 coder，让它改了好几次才正确。不过对于这个文件位运算的代码，我还真不保证我能写明白，当前AI还是牛的。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49


function Parse_PAT ( buf, index ) {
 // PAT PID is always 0x0000
 let PID = ((buf[index + 1] & 0x1f) << 8) + buf[index + 2];
 // console.log("Parsing PAT at index:", index, "PID:", PID.toString(16));
 if (PID !== 0x0000) {
 return null;
 }

 // Skip TS header (4 bytes) + adaptation field (if exists)
 let AdaptationFieldControl = (buf[index + 3] & 0x30) >>> 4;
 let payload_index = index + 4;

 if (AdaptationFieldControl === 2 || AdaptationFieldControl === 3) {
 let AdaptationFieldLength = buf[index + 4];
 payload_index += 1 + AdaptationFieldLength;
 }

 // Skip pointer_field
 let pointer_field = buf[payload_index];
 payload_index += 1 + pointer_field;

 // Check table_id
 let table_id = buf[payload_index];
 // console.log("PAT table_id:", table_id);
 if (table_id !== 0x00) {
 console.log("Invalid PAT table_id:", table_id);
 return null;
 }

 // Skip table_id
 payload_index += 1;

 // Get section_length (first 2 bits are reserved)
 let section_length = ((buf[payload_index] & 0x0f) << 8) | buf[payload_index + 1];
 // console.log("PAT section_length:", section_length);
 payload_index += 2;

 // Skip reserved, version_number, current_next_indicator, section_number, last_section_number
 payload_index += 5;

 // Get program_number and PMT PID
 // program_number is 2 bytes
 // PMT PID is in the next 2 bytes (with first 3 bits as reserved)
 let program_number = (buf[payload_index] << 8) | buf[payload_index + 1];
 let pmt_pid = ((buf[payload_index + 2] & 0x1f) << 8) | buf[payload_index + 3];
 // console.log("PAT program_number:", program_number, "PMT PID:", pmt_pid.toString(16));

 return pmt_pid;
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92


function Parse_PMT ( buf, index ) {
 // Parse PMT to find video stream PID
 let PID = ((buf[index + 1] & 0x1f) << 8) + buf[index + 2];
 // console.log("Parsing PMT at index:", index, "PID:", PID.toString(16));


 // Skip TS header (4 bytes) + adaptation field (if exists)
 let AdaptationFieldControl = (buf[index + 3] & 0x30) >>> 4;
 let payload_index = index + 4;

 if (AdaptationFieldControl === 2 || AdaptationFieldControl === 3) {
 let AdaptationFieldLength = buf[index + 4];
 payload_index += 1 + AdaptationFieldLength;
 }

 // Skip pointer_field
 let pointer_field = buf[payload_index];
 payload_index += 1 + pointer_field;

 // Check table_id
 let table_id = buf[payload_index];
 // console.log("PMT table_id:", table_id);
 if (table_id !== 0x02) {
 console.log("Invalid PMT table_id:", table_id);
 return null;
 }

 // Skip table_id
 payload_index += 1;

 // Get section_length (first 2 bits are reserved)
 let section_length = ((buf[payload_index] & 0x0f) << 8) | buf[payload_index + 1];
 // console.log("PMT section_length:", section_length);
 payload_index += 2;

 // Skip program_number (2 bytes)
 payload_index += 2;

 // Skip reserved (2 bits) + version_number (5 bits) + current_next_indicator (1 bit) = 1 byte
 payload_index += 1;

 // Skip section_number (1 byte) + last_section_number (1 byte) = 2 bytes
 payload_index += 2;

 // Skip reserved (3 bits) + PCR_PID (13 bits) = 2 bytes
 payload_index += 2;

 // Skip program_info_length (first 4 bits are reserved)
 let program_info_length = ((buf[payload_index] & 0x0f) << 8) | buf[payload_index + 1];
 // console.log("PMT program_info_length:", program_info_length);
 payload_index += 2;

 // Skip program descriptors
 payload_index += program_info_length;

 // Parse elementary streams
 let video_pid = null;
 let end_position = index + 4 + section_length; // 4 bytes for TS header + section_length
 // console.log("PMT end_position:", end_position, "payload_index:", payload_index);

 while (payload_index < end_position - 4) { // -4 to ensure we have enough bytes for stream_type and PID
 // Ensure we have enough bytes for stream_type and PID
 if (payload_index + 2 >= buf.length) {
 console.log("Not enough bytes for stream_type and PID");
 break;
 }

 let stream_type = buf[payload_index];
 let stream_pid = ((buf[payload_index + 1] & 0x1f) << 8) | buf[payload_index + 2];
 // console.log("Stream type:", stream_type, "PID:", stream_pid.toString(16));

 // H.264 stream type is 0x1b
 if (stream_type === 0x1b) {
 video_pid = stream_pid;
 // console.log("Found H.264 video stream PID:", video_pid.toString(16));
 break;
 }

 // Check if we have enough bytes for ES_info_length
 if (payload_index + 4 >= buf.length) {
 console.log("Not enough bytes for ES_info_length");
 break;
 }

 // Skip ES_info_length (first 2 bits are reserved)
 let es_info_length = ((buf[payload_index + 3] & 0x0f) << 8) | buf[payload_index + 4];
 // console.log("ES info length:", es_info_length);
 payload_index += 5 + es_info_length;
 }

 return video_pid;
}

拿到视频PID之后，就可以在里面过滤了。

总结

最终测试下来，虽然还是偶尔有报错，但总体基本可用了。

参考

WEB前端逆向TS PES NALU解密

ts帧加密案例(一)

ts帧加密案例(二)

破解Unity游戏联网验证

Sat, 19 Jul 2025 10:55:33 +0800

说明

本文只是用于学习攻防技术，不用于盈利，请勿利用技术用于非法用途。

背景

目前有些游戏会使用联网验证，检查你是否已经购买这个游戏。它会向服务端发起请求，并且返回一些加密串，最终在本地也做一遍加密比较两边结果是否一致。

对称加密相对容易一些，非对称加密的话你就无法获得服务端的密钥，无法伪造请求。

一般防逆向措施

每次请求加上时间戳，防止重放攻击
校验码，或者对返回值加密，使用某种方式加密
使用TLS通信，客户端校验证书

破解过程

我们知道这个游戏会联网验证，首先想到的是抓包。我用到的工具是Reqable，这个工具抓https比较方便，记得要安装CA证书。

抓包工具开启系统代理，开启抓包，启动游戏，能看到游戏发起了一个请求，但看不到内容。只看到一个CONNECT的请求，提示SSL客户端错误。这个问题是客户端做了证书校验，由于Reqable这类软件抓取https请求是利用中间人的方式，替换了服务器返回的证书才实现的解密，客户端拿到不是真实的证书，拒绝了请求。当然，有些客户端不做校验是可以抓取到的。

使用IDA Pro 跳过证书验证

我们得首先解决掉证书校验的问题，才能够抓包查看请求。这时要用到IDA Pro来分析，参考这篇文章处理：去除Steam中Unity单机游戏的联网登录验证（Mono&IL2CPP）原文已经删除，只能在web archive查看了。

游戏使用的是IL2CPP，为了查看真实的类名和方法名，先将游戏目录下的GameAssembly.dll（安卓的为libil2cpp.so）和游戏_data\il2cpp_data\Metadata\global-metadata.dat 复制到同一目录。使用Il2CppDumper工具，生成几个json和il2cpp.h。

执行命令

1
2


mkdir ./out
Il2CppDumper GameAssembly.dll global-metadata.dat ./out

生成的文件有

stringliteral.json：所有的字符串
dump.cs：所有类和方法
DummyDll/Assembly-CSharp.dll: 可以用ILSpy查看，也是类和方法

我们用IDA打开DLL文件，然后在 File->Script file 选择Il2CppDumper里的ida_with_struct_py3.py，然后载入script.json和il2cpp.h，耐心等待执行完成。如果执行完成后还是很卡，试试关掉functions窗口。

在做完上面的工作后，寻找蛛丝马迹，看看哪里的代码涉及到登录。

先从字符串入手，我们之前抓包时知道了会请求哪个域名，然后在字符串列表里刚好看到有一个域名。在IDA里面找到这个域名，在IDA VIEW下按下 Ctrl+F 可以查找字符串，不过会比较慢。在stringliteral.json也有字符串

 {
"value": "XXX.com",
"address": "0x3047F40"
},

忘记在ida怎么跳转到这个地址了，我发现使用G跳转不到，实际地址不一样。

浏览方法列表看到一个可疑的方法(Youda_MineCertificateHandler__ValidateCertificate)，可能和证书验证相关。使用IDA按F2下一个断点，开启断点调试。断点调试需要在Debugger选择Local Window应用，在 Debugger->Process Option 里面配置exe程序。

启动调试后，可以看到有进入断点，可以把伪代码/汇编码发给AI，让它来帮我们分析，需要在哪里绕过这个检查。

一般来说，这个方法返回一个bool类型，在方法开头直接返回true就行，但是担心会漏掉某些逻辑没执行，还是做谨慎一点，可以交给AI分析在哪里处理。

这里我根据AI的提示，把某处的 xor a1,a1 改成了 mov a1,1，这里表示给a1赋值为1，也就是返回true。修改指令可以在 Edit->Patch Program->Assemble 修改，改完之后还不会真正在文件中修改，需要在Edit->Patch Program->Apply patches to input file 才真正生效。

IDA在IDA View界面可以按空格切换两种视图模式，按F5可以看到伪代码。

改完后，发现抓包软件这时终于可以抓取到具体内容了。

如何构造返回的请求？

上面抓包返回我没有权限，因为我没有买这个游戏，不过就算我买了这个游戏，抓包的内容直接返回也不行，客户端每次发起的请求都带有一个随机值，每次返回的sign不一样。

如何找到处理登录请求的代码呢？我看到请求是Post请求，同时看到一个类和请求相关，找到一些Post方法，断点调试了一下，果然找对方法了。我是如何判断我找对方法的？我是从传入的参数判断的。

在IDA的寄存器里面存储着参数，对于Windows 64位程序，使用以下寄存器存储

RCX: 第一个参数
RDX: 第二个参数
R8: 第三个参数
R9: 第四个参数

有一些参数是字符串，是一个指针，但是我对IDA还是不太了解，实际指向的地址不是字符串的开头，可能有一些头吧，要往下拉一下。如果字符串显示成一列不好看，可以选择第一个字符，在 Edit->Strings->Unicode ，这样会好看很多。

随意在代码漫游，断点跟踪代码，但是汇编代码实在太难看了，跟踪代码下去看到和lua的交互，但是实在不知道怎么才能看到处理的代码。想着能不能在IDA中找到实际的lua代码，但是不熟悉，还是没找到。

寻找LUA代码

在调试的过程中，看到一个luapath，这个可能是存储lua的路径吧，在文件中找到一个xxx.ab文件，这个看起来是Unity的AssetBundle，尝试使用AssetStudio工具解包，发现没用，我就知道没那么简单，肯定做了什么加密。偶然尝试用vscode打开这个ab文件，发现开头有个特征码 YoudaFS ，搜索一下，果然有惊喜，别人已经解密出来了，我把代码贴在下面。

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117


import os
import subprocess
from hashlib import md5


def decompile_lua(input_file, output_file):
 command = ['java', '-jar', 'unluac.jar', input_file, '>', output_file]
 subprocess.run(command, shell=True, stderr=subprocess.PIPE, text=True)


def decode_lua():
 for root, dirs, files in os.walk(r'D:\cr\test\TextAsset'):
 for file in files:
 file_path = os.path.join(root, file)
 file_name, ext = os.path.splitext(file)
 out_file = os.path.join(r'D:\cr\test\TextAsset\lua', file_name)
 with open(file_path, 'rb+') as f:
 data = bytearray(f.read())
 if data[5] == 1:
 data[5] = 0
 data.insert(12, 4)
 f.seek(0)
 f.write(data)
 decompile_lua(file_path, out_file)


def decode_unity(file_bytes):
 if file_bytes is None or len(file_bytes) < 7:
 return file_bytes

 if file_bytes[:7] == b"YoudaFS":
 file_bytes[:7] = b"UnityFS"
 decode_len = 37
 max_length = len(file_bytes)
 if max_length < decode_len:
 decode_len = max_length
 for i in range(7, decode_len):
 file_bytes[i] ^= 9
 return file_bytes


def decode_full(file_bytes):
 if file_bytes and len(file_bytes) >= 2:
 if not len(file_bytes):
 return file_bytes
 if file_bytes[0] == 4:
 if len(file_bytes) <= 1:
 return file_bytes
 if file_bytes[1] == 65:
 max_length = len(file_bytes)
 v3 = 2
 if max_length > 2:
 while v3 < len(file_bytes):
 file_bytes[v3] ^= 9
 if v3 >= len(file_bytes):
 break
 v4 = v3 - 2
 if v4 >= len(file_bytes):
 break
 v5 = v3
 file_bytes[v4] = file_bytes[v5]
 v3 += 1

 if max_length - 1 >= len(file_bytes):
 return file_bytes
 file_bytes[max_length - 1] = 10
 if max_length - 2 >= len(file_bytes):
 return file_bytes
 file_bytes[max_length - 2] = 10
 return file_bytes


def de_ab():
 for root, dirs, files in os.walk(r'D:\cr\test'):
 for file in files:
 file_path = os.path.join(root, file)
 with open(file_path, 'rb+') as f:
 file_bytes = bytearray(f.read())
 decoded_bytes = decode_unity(file_bytes)
 f.seek(0)
 f.write(decoded_bytes)


def de_allfile():
 for root, dirs, files in os.walk(r'D:\cr\test\Datas'):
 for file in files:
 file_path = os.path.join(root, file)
 with open(file_path, 'rb+') as f:
 file_bytes = bytearray(f.read())
 decoded_bytes = decode_full(file_bytes)
 f.seek(0)
 f.write(decoded_bytes)


def renname(): # 重命名字幕 重命名webm算法一样自行处理
 root = r'D:\cr\test\zh-CN'
 for i in range(1001, 3001):
 video_name = 'youdakejiyjtv_%d' % i
 m = md5()
 m.update(video_name.encode('utf8'))
 sign = m.hexdigest()
 print(video_name, sign)
 webmfile = os.path.join(root, sign + '.srt')
 if os.path.exists(webmfile):
 newfile = os.path.join(root, 'tv_%d.srt' % i)
 os.rename(webmfile, newfile)
 print(webmfile, newfile)


# 原始webm、mp3、ab 调用函数 de_ab() 解密后用 AssetStudio导即可
# 其它的文件都是调用de_allfile()解即可
# 导出的lua只是简单的抽掉字节 补上后用现成的unluac解
# 为了更方便播放顺序重命名文件是必要的

if __name__ == "__main__":
 # de_ab()
 de_allfile()

如果是我自己找，估计还不一定能找到解密的方法，估计要看汇编里怎么读取哪个文件解包的，才能写出上面的代码。使用上面的代码调用函数 de_ab() 解密后用 AssetStudio导出文件，然后再用上面的代码对lua解密。看起来没那么复杂的加密，但是如果让我自己搞，估计还不一定能找到这些解密方法，需要找到ab文件的加载过程，然后lua文件读取过程的汇编代码位置，我自己跟踪代码只找到执行回调的地方 XLua_DelegateBridge____Gen_Delegate_Imp6。

拿到所有的lua代码就好办了，看了一下代码，简直明文啊，参数命名什么的都很好。搜索一些请求地址，找到登录的代码。刚开始想着能不能把lua代码改了，然后塞回去，发现没我想的那么简单，不知道怎么把lua塞回去，重新封装为ab文件。

那还是老老实实的看代码是如何验证的，实际上代码很清晰，每次登录请求会发送一个随机字符串，要求服务端也返回这个字符串，如果不一致就报错。要求返回一个sign字段，这是验证的重点。逻辑就是按字段排序，加上一些字符串做md5。

到了最终验证成果了，在本地用python实现一个https服务，修改hosts文件，把域名指向本地。开启游戏测试，我擦，验证失败！！！再回去看代码，发现从代码看是lua代码调用了unity的UtilTool__MD5ForPHP方法，可以回到IDA看看具体实现，用AI使用python改写一个，和python默认的md5好像有点不太一样。

再来试一次，发现还是签名失败，这种签名非常烦，也不太好调试是输入内容的问题，还是哪里的问题。最后还是仔细检查代码，发现我用了请求的参数签名了，实际应该用返回的内容做签名的，自己傻逼了。完成后，最终能够顺利进入游戏，当然，进入后游戏马上退出了，从抓包工具看还有其他的请求没实现，这些都比较简单，找到代码就按照要求的字段实现服务端就行了。最终能够成功的游玩游戏。

总结

破解游戏联网验证主要的难点是在如何找到代码位置，一般都是通过字符串查询找到相应的位置，但很多时候，你不一定能找到字符串，有可能字符串加密了，或者在某个文件里面。

其次是代码方法没有混淆，容易根据方法名猜测代码用途，不清楚Unity有没有混淆代码方法名的工具。

这次的破解也是运气好，别人把主要的lua解包逻辑实现了，不然我自己还不好找到这个解包逻辑。而且这lua代码居然也没做混淆，只是做了一点简单的文件插值。有了lua代码之后如入无人之地。

我自己对IDA只是第一次用，通过汇编来看代码果然没那么简单，里面的栈调用理解也不是很足，这次能破解只能说运气好，也学习了一些防破解的知识，代码最好还是做一些混淆，至少能够阻碍一点点时间，但对于大神来说，里面的字节偏移这些小把戏，在IDA面前简直是脱裤子放屁，如果找对了位置，这些实现用途不是很大。

avahi服务发现

Mon, 26 May 2025 10:55:33 +0800

背景

之前使用OMV，由于安装到U盘，U盘损坏，尝试使用飞牛os。但是在使用VRTV的时候，发现只能使用SMB，SMB在快进的时候，总是停顿几秒，很不爽，只有用FTP才能不停顿。但是OMV是怎么让VRTV发现的，尝试OMV就算改了端口也一样能被发现，一定是有什么东西在广播。问了AI之后，发现是使用了avahi，可以在飞牛OS上安装。

安装

以下命令需要在root账号执行

1

apt install avahi-daemon avahi-utils

新增配置文件 /etc/avahi/services/smb.service

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


<!DOCTYPE service-group SYSTEM "avahi-service.dtd">

<service-group>
 <name replace-wildcards="yes">%h(SMB)</name>
 <service>
 <type>_device-info._tcp</type>
 <txt-record>model=Xserve</txt-record>
 </service>
 <service>
 <type>_smb._tcp</type>
 <port>445</port>
 </service>
</service-group>

重启和开机启动

1
2


systemctl restart avahi
systemctl enable avahi

停止原来的nmbd

1
2


systemctl stop nmbd
systemctl disable nmbd

avahi-tools 软件包包括许多方便的实用程序，可用于检查系统上的 mDNS 服务的工作情况。比如：

1
2


# 查看局域网内所有已注册的 mDNS 服务
$ avahi-browse -a -r

绑定.local域名

在 /etc/avahi/hosts 目录添加域名

10.0.0.210 xxx.local

修改完后重启

sudo systemctl restart avahi
# 查看日志
sudo systemctl status avahi
sudo journalctl -u avahi

如果IP重复，日志里面会报错误，貌似一个IP只能配置一个域名。 mdns在windows可以解析，但是在安卓我解析不了。

匿名FTP

为了使用匿名用户登录FTP，我安装了proftpd，匿名用户会使用ftp账户的目录。

参考

如何使用 Avahi 在局域网轻松发现你的系统服务

在debian安装proftpd，配置匿名用户和虚拟路径

Mon, 26 May 2025 10:55:33 +0800

安装

1
2


apt install proftpd
apt install proftpd-mod-vroot

1

useradd -md /var/ftp ftp

修改配置

配置目录在/etc/proftpd

修改 /etc/proftpd/proftpd.conf，去掉下面这句的#号。

DefaultRoot ~
Include /etc/proftpd/virtuals.conf
# 解决登录慢
UseReverseDNS off

在/etc/proftpd/virtuals.conf增加配置 VRootAlias的写法 VRootAlias 原路径虚拟路径

# 加载模块
LoadModule mod_vroot.c
<IfModule mod_vroot.c>
VRootEngine on
VRootAlias /vol00/xxxx n8t
</IfModule>

权限问题

如果权限后面还有个+号，表示用了acl，需要使用getfacl查看

1
2
3
4
5
6
7


# 查看acl
getfacl vol1
# 移除所有的acl
setfacl -R -b vol1

chown -R admin:Users vol1
chmod -R 751 vol1

JS逆向之JsRpc

Tue, 18 Mar 2025 10:55:33 +0800

概要

最近在学习补环境，补到哭，学艺不精，虽然代码没报错，但是就是得不到想要的结果，肯定是哪里环境没补到位。焦头烂额，灰心丧气中发现JsRpc这个东西。

什么是JsRpc

JsRpc是指在控制台新建一个WebScoket客户端链接到服务器通信，服务端可以发送命令在浏览器执行js代码。这样就天然不需要补环境，因为本身就在浏览器下运行。适用场景：

允许使用浏览器
能找到加密方法如何执行

回到具体场景

我测试的是一个小程序，同时也有一个APP。小程序代码可以使用网上的工具解包还原，但是里面只找到一些加密和解密的逻辑，它还做了防重放处理。它会在url加上一个参数，每隔一段时间只能访问一次。转而去分析APP应用，发现APP有两种请求，一种是不带参数的，一种的带参数的。不带参数的header里额外加了参数，跟踪代码发现通过native方法来加密，触发知识盲区，放弃跟踪，而且没带参数的请求类型不多。这个APP更像是一个webview，把小程序的代码放进来了。话说回来，好像也有通过RPC调用的方式，执行某些方法来调用so。偶尔通过抓包发现有部分网址可以在浏览器访问，这真的是帮了大忙。可以使用控制台看输出了，并且可以单点调试。

首先遇到的第一个问题是js代码防断点，里面有非常多的debugger，不过chrome浏览器可以一键把所有忽略匿名方法里的debugger，直接就跳过了。我测试的这个网页非常像瑞数，代码类似，验证的环境也比较像，但是和网上的又不一样，只请求一次，只设置一次cookies。回到代码本身，我要找到什么时候在请求的时候，增加了校验参数。代码使用了axios来请求，我在它的拦截器里面打死找不到哪里改了url。分析axios实际是使用XMLHttpRequest来请求的，在XMLHttpRequest.open可以对URL做出修改。尝试把关键代码提取出来，构造一个XMLHttpRequest请求，发现主要逻辑在混淆代码上，有两个js，第一段js只是设置一些值，第二段js是真正的逻辑，里面有非常多的浏览器环境检测，以及我们想要的添加token代码。尝试把两段代码都保存到本地，发现执行会报错，可能对时间还是什么做了校验，只好第一段保存，第二段还是从网络获取了。我在补环境的时候，使用nodejs也是动态加载的。

1
2
3
4
5
6


async function downloadAndExecute(url) {
 const response = await fetch(url);
 const code = await response.text();
 window.fetch = function fetch() {}
 eval(code); // 不推荐，因为 eval 有安全隐患
}

上面代码只是补环境需要，使用JsRpc不需要用到。尝试hook XMLHttpRequest.open方法

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


// 保存原始的 XMLHttpRequest 对象
const originalOpen = XMLHttpRequest.prototype.open;

// 覆盖 open 方法
XMLHttpRequest.prototype.open = function(method, url, async, user, password) {
 // 在这里添加你的自定义逻辑
 console.log('自定义逻辑：', method, url);
 this._url = url;

 // 调用原始的 open 方法
 return originalOpen.apply(this, arguments);
};

但是发现加了之后，就不增加加密参数了。之前在做断点调试分析时发现有用到toString，有用正则表达式判断是否是native方法。所以还得还原toString()，欺骗它还是native方法。

1
2
3
4
5
6
7
8
9


// 修改 toString 方法以模仿原生方法的行为
Object.defineProperty(XMLHttpRequest.prototype.open, 'toString', {
 value: function() {
 return 'function open() { [native code] }';
 },
 writable: false,
 enumerable: false,
 configurable: true
});

果然，改了之后又正常了。能够正常调用之后，JsRpc就可以进场了。理论上在原来网页上也可以做的，不用抽取代码。只是当时提取了，就用提取的代码操作了，构造一个方法方便我获取加参数的URL。

1
2
3
4
5
6
7
8
9


function enc(url) {
 var xhr = new XMLHttpRequest();
 //console.log(url)
 xhr.open("POST", url, true);
 return {
 url: xhr._url,
 cookies: document.cookie
 }
}

由于xhr.open之后无法获取它的url，我在前面覆盖了open方法，设置url后保存在_url上，后面就可以用xhr._url获取到最终的url。注意前面代码覆盖的时机，我是先覆盖，然后再加载加密方法，里面会再覆盖一次xhr.open方法，这样我们覆盖的方法就能拿到加密后的url。

增加额外方法之后，就可以使用JsRpc了，很简单，可以看首页上的说明。主要步骤有：

下载程序和config.yaml，运行起来
在控制台填入JsEnv_Dev.js的代码
连接你的程序，然后可以注册一个方法调用你自己的方法

1
2
3
4
5
6


var demo = new Hlclient("ws://127.0.0.1:12080/ws?group=zzz");
demo.regAction("enc", function (resolve, param) {
 //这样添加了一个param参数，http接口带上它，这里就能获得
 var value = enc(param)
 resolve(value);
})

最后浏览器尝试调用一下就完成了

http://127.0.0.1:12080/go?group=zzz&action=enc&param=https://xxx.com/xxx

总结

使用JsRpc真的非常省时间，你只要能够找到调用入口就行了，浏览器原生环境，不需要补环境。缺点当然是要求浏览器运行，而且现在我有些是手工操作，不能自动运行，WebSocket也可能被针对，但是对于当前我的用途已经足够了。

nextjs v15.x独立部署

Sun, 22 Dec 2024 12:30:46 +0800

概要

官方的部署文档告诉我们用npm run build和npm run start启动，但是有时在服务器上不想安装一个很大的node_modules，在我开发环境都有1G左右了，所以要看怎么减少部署大小。

官方还有种方案是Docker部署，可以看Dockerfile它是怎么构建的。

步骤

默认使用 yarn run build，在.next目录下是没有standalone这个目录的。需要参考这个文档的步骤做一个配置。

我使用mantine模板，我的配置文件为next.config.mjs，如果你的不同，可以参考文档的。

export default withBundleAnalyzer({
... 省略代码，加上以下这一行代码
output: 'standalone',
});

加上配置之后，就可以执行yarn run build构建项目，构建完成后，需要把这几个目录拷贝一下，这里我用linux命令来表示拷贝过程。

1
2
3


cp .next/standalone/* ./tmp/
cp .next/static ./tmp/.next/
cp public ./tmp/

如果你有环境配置，也需要拷贝进来，例如.env.local文件

拷贝完成之后，可以执行以下命令启动

1

node server.js

frida Hook一个类下的所有方法

Sat, 30 Nov 2024 14:51:54 +0800

代码来自于ZenTracer这个项目，获取类的地方做了修改。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93


function log(text) {
 var packet = {
 'cmd': 'log',
 'data': text
 };
 send("ZenTracer:::" + JSON.stringify(packet))
}

function enter(tid, tname, cls, method, args) {
 var packet = {
 'cmd': 'enter',
 'data': [tid, tname, cls, method, args]
 };
 send("ZenTracer:::" + JSON.stringify(packet))
}

function exit(tid, retval) {
 var packet = {
 'cmd': 'exit',
 'data': [tid, retval]
 };
 send("ZenTracer:::" + JSON.stringify(packet))
}

function getTid() {
 var Thread = Java.use("java.lang.Thread")
 return Thread.currentThread().getId();
}

function getTName() {
 var Thread = Java.use("java.lang.Thread")
 return Thread.currentThread().getName();
}

function traceClass(target) {
 try {
 var clsname = target.class.getName();
 var methods = target.class.getDeclaredMethods();
 // log(methods);
 methods.forEach(function (method) {
 var methodName = method.getName();
 var overloads = target[methodName].overloads;
 overloads.forEach(function (overload) {
 var proto = "(";
 overload.argumentTypes.forEach(function (type) {
 proto += type.className + ", ";
 });
 if (proto.length > 1) {
 proto = proto.substr(0, proto.length - 2);
 }
 proto += ")";
 log("hooking: " + clsname + "." + methodName + proto);
 overload.implementation = function () {
 var args = [];
 var tid = getTid();
 var tName = getTName();
 for (var j = 0; j < arguments.length; j++) {
 args[j] = arguments[j] + ""
 }
 enter(tid, tName, clsname, methodName + proto, args);
 var retval = this[methodName].apply(this, arguments);
 exit(tid, "" + retval);
 return retval;
 }
 });
 });
 } catch (e) {
 console.error(e)
 // var stackTrace = Java.use('android.util.Log').getStackTraceString(Java.use('java.lang.Exception').$new());
 // console.log(stackTrace);
 log("'" + clsname + "' hook fail: " + e)
 }
}

Java.perform(function(){
 Java.choose("dalvik.system.PathClassLoader",{
 onMatch: function(instance){
 var loader = Java.ClassFactory.get(instance)
 try {
 var clazz = loader.use("com.douyu.sdk.ad.douyu.video.AdVideoPlayerPresenter")
 console.log("-------------clazz", clazz)
 traceClass(clazz)
 return "stop"
 }catch(e){
 //console.log("next")
 //console.log(e)
 }
 },
 onComplete:function(){
 console.log("Done")
 }
 })
})

某枝网wasm签名验证逆向

Wed, 27 Nov 2024 22:36:34 +0800

声明

只用于学习，不可用于非法用途，参考分析视频学习。

概要

某枝网的加密算法是在wasm上实现的，由于直接分析wasm文件比较困难，还是采用直接调用wasm文件的方式。

分析

网站核心请求会调用wasm生成header信息，其中带有签名。调用wasm的代码在/sitecdn/platforms/**tv/js/vendor_w_dceabe2b.js里面。

代码里面使用webpack打包，不太熟悉怎样单独抽取出来，所以不太好在浏览器提取出来验证，只好手工抽取代码出来验证。

代码入口在B.a方法，这里会生成header信息。代码抽取的时候，注意有一些局部变量也要提取出来，而且有些变量的赋值在后面。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


 B.a = function(A, g, I, B, Q, C) {
 try {
 var E = L(A, w.__wbindgen_export_0, w.__wbindgen_export_1)
 , D = h
 , i = L(g, w.__wbindgen_export_0, w.__wbindgen_export_1)
 , o = h
 , Y = L(I, w.__wbindgen_export_0, w.__wbindgen_export_1)
 , N = h
 , J = L(B, w.__wbindgen_export_0, w.__wbindgen_export_1)
 , k = h
 , K = L(Q, w.__wbindgen_export_0, w.__wbindgen_export_1)
 , y = h;
 return G(w.a(E, D, i, o, Y, N, J, k, K, y, function(A) {
 if (1 == H)
 throw new Error("out of js stack");
 return M[--H] = A,
 H
 }(C)))
 } finally {
 M[H++] = void 0
 }
 }

代码里面用到wasm，所以要读取并且执行方法。WebAssembly使用WebAssembly.instantiate(wasmBuffer, importObject)初始化，第一个参数是wasm的内容，第二个参数是为了可以让wasm获取浏览器的一些对象，并且执行一些动态js代码。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29


const dataUrl = "data:application/wasm;base64,AGFzb省略...";

function O(A, g) {
 return w = A.exports,
 //r.__wbindgen_wasm_module = g,
 c = null,
 J = null,
 w
}

const url = "https://****-api.**tv.cn/api/tvColumn/v1/tvColumn/43";
fetch(dataUrl).then(response => {
 return response.arrayBuffer();
}).then(wasmBuffer => {
 delete global; // 里面会检测global
 WebAssembly.instantiate(wasmBuffer, importObject).then((obj) => {
 O(obj.instance, obj.module);
 var header = B.a(
 "GET",
 url,
 "WEB_aa55cd50-3be4-11ef-2323-c127ac36c210",
 "WEB_PC",
 "",
 undefined
 );
 console.log(JSON.stringify(Object.fromEntries(header.entries())));
 })

})

wasm除了生成header外，还会做额外的环境验证，确认是浏览器执行的，如果环境验证不正确，会报错unreachable，错误信息很有限，补环境非常困难。

补环境

由于wasm不能直接操控浏览器，都是通过ImportObject来通信的，wasm会通过ImportObject获取一些对象。

第一种：获取标准对象，如window, document, location等

验证是否正确，也有可能验证对象的原型，使用proxy的方式，能发现哪些对象被调用了。但是像原型判断（typeof）这种判断暂时不清楚怎么发现，我目前只能从代码判断。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


function myProxy(obj,name){
 return new Proxy(obj,{
 get(target, propKey, receiver)
 {
 let temp =Reflect.get(target,propKey,receiver);
 if (typeof temp == 'object'){
 temp=myProxy(temp,name+'=>'+propKey.toString())
 }
 console.log(`${name}->get ${propKey.toString()} return ->${temp}`)
 return temp;
 },
 set(target, propKey, value, receiver)
 {
 let temp = Reflect.set(target,propKey,value);
 console.log(`${name}->set ${propKey.toString()} value ->${value}`)
 return temp;
 }
 })
}

window = myProxy(global, 'window');
XMLHttpRequest = myProxy({}, 'XMLHttpRequest');
document = myProxy({}, 'document');

第二种：检测nodejs存在的，但浏览器不存在的

例如像global、process、require等，在使用完之后可以delete掉这些对象

第三种：wasm执行检测js

代码中是g.wbg.__wbg_newnoargs_xxxx把js内容存储到map里，然后再调用g.wbg.__wbg_call_xxxx执行js函数，执行完之后和预期的结果对比，结果有时候是true，有时候是false，或者是具体的值，这些里面也有检测代码。

执行的代码是混淆过的，可以用一些反混淆的工具或者AI把代码还原。

这里的技巧是要阅读清楚代码逻辑（还好代码比较短），看看做了哪些检测，有针对性的补全环境。其中有些恶心的是里面判断如果不是nodejs，会执行一些nodejs比较慢，但浏览器很快的代码，其中有一个填充数组的，会导致nodejs内存溢出。

如果不确定哪个条件检查不通过，还有个技巧是判断代码内容，替换回还原后的内容，然后进行单步调试。如果实在不清楚怎么绕过，就直接把要执行的代码改了，跳过检测部分。

尝试使用python调用

试了几个lib使用python来调用js代码，但是用起来不理想。首先global对象是nodejs独有的，那就要自己模拟window对象了。其次有些函数是浏览器/nodejs实现的（如fetch、atob等），哪些lib都没有实现这些，所以会执行失败。所以还是直接调用node命令执行，或者使用nodejs实现一个httpserver来给python调用了。

总结

难点主要在于补环境，wasm里面有不少检测点，后面也可能会更新。而且因为环境的问题，出错也没有具体错误信息。不过好在检测的手段主要都是在ImportObject的方法里面，虽然增加了一些隐藏的js，但是还是可以获取到分析的。尝试使用一个补环境框架，也不是用上了就行的。

参考

nodejs项目，已失效

某视频解析网站js逆向分析——学会wasm文件类型逆向

逆向某音弹幕签名

Mon, 25 Nov 2024 00:25:08 +0800

概要

基于学习的目的，根据这个视频学习逆向某音弹幕签名。

步骤

断点调试跟踪代码入口

首先，打开一个直播间，在web控制台Network里面，找到websocket，这里可以获取ws链接。可以用ws在线工具确认这个ws链接可以正常使用。

在Network里面，链接的右边有一个Initiator列，可以找到对应的代码。

然后可以使用断点调试，找到对应的代码。

可以看到是调用_getSocketParams获取ws地址，主要是下面的V(s, i);方法获取签名。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


 ee._getSocketParams = e => {
 let {app_name: t, routeParams: n, pushServer: r, websocket_key: i} = e
 , o = J(e, ["app_name", "routeParams", "pushServer", "websocket_key"])
 , s = $($({
 app_name: t,
 version_code: a.ry,
 webcast_sdk_version: ee.VERSION,
 update_version_code: ee.VERSION,
 compress: "gzip"
 }, n), o)
 , c = V(s, i);
 return `${r}?${_($($({}, s), c))}`
 }

再来看V(s, i);这个方法

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


 let V = (e, t=[]) => {
 var n, r, i;
 let o = "";
 for (let {param_name: r} of t)
 o += `,${r}=${null != (n = e[r]) ? n : ""}`;
 let a = X()(o.substring(1))
 , s = {};
 return window.byted_acrawler && (s = null == (r = null == window ? void 0 : window.byted_acrawler) ? void 0 : r.frontierSign({
 "X-MS-STUB": a
 })),
 {
 signature: null != (i = s["X-Bogus"]) ? i : ""
 }
 }

这里主要有几个值，o、a和s。

o是传入的一堆参数拼接成一个字符串，o=",live_id=1,aid=6383..."，o参数拼接里面有一个roomId，可以访问直播链接里面提取，在源码里面搜索roomId。

X()方法根据视频这里是一个MD5算法，怎么判断是MD5?可以断点进去，复制代码给AI分析，也可以用md5验证一下。那么相当于 a = MD5(o.substring(1))

s的取值主要是 s = r.frontierSign({"X-MS-STUB": a}), 鼠标移上去可以找到代码位置。

所有签名的代码都在webmssdk.es5.js里面了，我分析的版本是1.0.0.53

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


 function _0x5c2014(_0x1fa689) {
 return w_0x5c3140('484e4f4a403f5243...', {
 get 0x0() {
 return _0x5dd467;
 },
 get 0x1() {
 return _0x34c70a;
 },
 0x2: arguments,
 0x3: _0x1fa689
 }, this);
 }

这里第一个参数是一个字符串，第二个是一个字典，里面的get表示是只读，0x0是一个方法，在某个地方会调用这里的方法，可以提前先对这些方法加一个断点，第三个是window。

可以把webmssdk.es5.js复制到本地，写一个html引用这个js

1

<script src="./webmssdk.js"></script>

在js的最后调用加密方法

window.sign = _0x5c2014;
sign = window.sign({
"X-MS-STUB": "b7d22ba3f49ffd02ef417b3c6b8b1ca2"
});
console.log(sign);

在浏览器打开HTML，在控制台获取签名，先用这个签名拼接ws地址，试一下这个地址是否正确。我测试在浏览器下是正确的，但是我们需要在nodejs或其他环境里面运行，厂商为了对抗会对浏览器进行一些检测。

补环境

复制一份js，尝试一下在nodejs里面是否可以运行，先使用jsdom补充一下基础环境，在js文件前面加入以下内容。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51


const jsdom = require("jsdom"); // 引入 jsdom
const { JSDOM } = jsdom; // 引出 JSDOM 类， 等同于 JSDOM = jsdom.JSDOM
const userAgent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36'
const resourceLoader = new jsdom.ResourceLoader({
 userAgent: userAgent
});
const dom = new JSDOM(`<!DOCTYPE html><p>Hello world</p>`, {
 url: "https://www.douyin.com/",
 referrer: "https://www.douyin.com/",
 resources: resourceLoader,
});
window = global
document = dom.window.document
Object.assign(global, {
 location: {
 hash: "",
 host: "www.douyin.com",
 hostname: "www.douyin.com",
 href: "https://www.douyin.com/",
 origin: "https://www.douyin.com/",
 pathname: "/",
 port: "",
 protocol: "https:",
 search: "",
 assign: function() {},
 reload: function() {},
 replace: function() {}
 },
 navigator: {
 appCodeName: "Mozilla",
 appName: "Netscape",
 appVersion: userAgent,
 cookieEnabled: true,
 deviceMemory: 8,
 doNotTrack: null,
 hardwareConcurrency: 4,
 language: "zh-CN",
 languages: ["zh-CN"],
 maxTouchPoints: 0,
 onLine: true,
 platform: "MacIntel",
 plugins: [],
 product: "Gecko",
 productSub: "20100101",
 userAgent: userAgent,
 vendor: "Google Inc.",
 vendorSub: "",
 webdriver: false

 }
})

执行node sdk2.js能够生成，但是使用ws验证签名是错误的，厂商还做了其他的验证。

怎么找出厂商做的检测呢？只能单步调试，对比nodejs和浏览器执行的差异，如果有差异，要看是哪里造成的。这一步肯定是很枯燥的，代码非常长，要一步步调试。这里我也没有仔细跟踪，按着视频的方法调试。

反混淆

里面的代码有些被混淆了，可以先反混淆。视频教的方法是看到代码总会跳转到前面几十行代码，能判断前面几十行是做混淆还原的，他写了一个脚本去调用nodejs还原字符串，再替换回文本。

我找了一个取巧的方法，使用在线反混淆的网站处理，注意在设置里面不要更改变量名称，不然不太好和原来的代码对应看。尝试执行一下，发现nodejs执行失败，提示缺少方法，发现是缺少了混淆的方法，补回去就正常了。

剩下的步骤就是断点执行对比nodejs的差异了，可以一个个方法的比较两边的返回值是否一致，在nodejs里面可以用console.log()输出，也可以采用断点调试的方式。

在vscode的终端里面，在右边加号那里，添加一个JavaScript调试终端，然后在代码断点，执行node sdk2.js就可以断点调试了。

跟着视频分析是这里面做了一些检测

1
2
3
4
5


 function _0x34c70a(_0xf6b3d0, _0x289075, _0x2c48ed) {
 return {
 "X-Bogus": _0x1633f2(1, _0x462335.initialized, _0xf6b3d0, null, _0x2c48ed)
 };
 }

1
2
3


 function _0x1633f2(_0x48f290, _0x504655, _0x4fa808, _0x1a5c57, _0x3a4737) {
 _0x5863d1();
 _0x26d461(); // 这个方法有检测

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


 function _0x26d461() {
 var _0x5e9ee6 = false;
 var _0x499168 = 0;
 // try {
 // if (document && document.createEvent) {
 // document.createEvent("TouchEvent");
 // _0x5e9ee6 = true;
 // }
 // } catch (_0x4b2baa) {}
 // 修改
 console.log("_0x5e9ee6", _0x5e9ee6);

我注释的这个地方，在浏览器上_0x5e9ee6返回false，但在nodejs返回true，所以保持和浏览器一致，直接把它注释了。改完这里可以试一下生成签名是否正确，可惜是还是不正确，继续找。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


 function _0x1633f2(_0x48f290, _0x504655, _0x4fa808, _0x1a5c57, _0x3a4737) {
 _0x5863d1();
 _0x26d461();
 if (_0x1a5c57 !== undefined && _0x1a5c57 !== "") {
 _0x1a5c57 = "";
 }
 var _0x21ca02 = _0x5dd467(_0x1a5c57);
 if (!_0x3a4737) {
 _0x3a4737 = "00000000000000000000000000000000";
 }
 var _0x1fb174 = new ArrayBuffer(9);
 var _0x1ffaa7 = new Uint8Array(_0x1fb174);
 var _0xeefda2 = _0x48f290 << 6 | 0 | _0x504655 << 5 | (Math.floor(Math.random() * 100) & 1) << 4 | 0;
 _0x6caf.bogusIndex++;

 _0x6caf.envcode = 513; // 修改

还有一个地方是_0x6caf这个变量，我不清楚视频作者是怎么定位到这里不一致的，不过可以从这个方法的返回值对比可以发现，返回的第二个参数是一个bytes数组对不上。对不上的话只能在这个方法里面断点对比那个对象不一样了。

我这里看到后面的计算主要是依赖这个envcode，我从浏览器的值复制了过来，也不知道后面会不会变。_0x6caf这个变量是一个局部变量，在哪个地方变更了这个变量的值，nodejs执行的值和浏览器的不一样。

最终，使用ws在线测试服务，验证生成的签名是有效的。

总结

逆向非常的枯燥，如果没有跟着视频一步步操作，需要断点调试对比结果应该需要花费很多时间。这里面重点是怎么补环境，要找出代码的检测点，只能通过对比返回值一步步筛查。

如果不使用nodejs访问，估计使用headless浏览器也一样会被拦截。

使用podman部署nginx和php

Fri, 30 Aug 2024 14:22:01 +0800

背景

podman不需要常驻进程，能够节省一些内存，但是启动服务需要放入systemd。

这次目标是部署nginx和php-fpm，一般使用默认配置，非生产环境。

步骤

我们需要启动php-fpm，然后nginx通过端口和php-fpm通信，这里使用pod的方式进行。

1
2


# 需要指定端口
podman pod create --name nginxpod -p 80:80 -p 443:443

php-fpm部署

创建conf目录，创建php.ini和www.conf

php.ini

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
 100
 101
 102
 103
 104
 105
 106
 107
 108
 109
 110
 111
 112
 113
 114
 115
 116
 117
 118
 119
 120
 121
 122
 123
 124
 125
 126
 127
 128
 129
 130
 131
 132
 133
 134
 135
 136
 137
 138
 139
 140
 141
 142
 143
 144
 145
 146
 147
 148
 149
 150
 151
 152
 153
 154
 155
 156
 157
 158
 159
 160
 161
 162
 163
 164
 165
 166
 167
 168
 169
 170
 171
 172
 173
 174
 175
 176
 177
 178
 179
 180
 181
 182
 183
 184
 185
 186
 187
 188
 189
 190
 191
 192
 193
 194
 195
 196
 197
 198
 199
 200
 201
 202
 203
 204
 205
 206
 207
 208
 209
 210
 211
 212
 213
 214
 215
 216
 217
 218
 219
 220
 221
 222
 223
 224
 225
 226
 227
 228
 229
 230
 231
 232
 233
 234
 235
 236
 237
 238
 239
 240
 241
 242
 243
 244
 245
 246
 247
 248
 249
 250
 251
 252
 253
 254
 255
 256
 257
 258
 259
 260
 261
 262
 263
 264
 265
 266
 267
 268
 269
 270
 271
 272
 273
 274
 275
 276
 277
 278
 279
 280
 281
 282
 283
 284
 285
 286
 287
 288
 289
 290
 291
 292
 293
 294
 295
 296
 297
 298
 299
 300
 301
 302
 303
 304
 305
 306
 307
 308
 309
 310
 311
 312
 313
 314
 315
 316
 317
 318
 319
 320
 321
 322
 323
 324
 325
 326
 327
 328
 329
 330
 331
 332
 333
 334
 335
 336
 337
 338
 339
 340
 341
 342
 343
 344
 345
 346
 347
 348
 349
 350
 351
 352
 353
 354
 355
 356
 357
 358
 359
 360
 361
 362
 363
 364
 365
 366
 367
 368
 369
 370
 371
 372
 373
 374
 375
 376
 377
 378
 379
 380
 381
 382
 383
 384
 385
 386
 387
 388
 389
 390
 391
 392
 393
 394
 395
 396
 397
 398
 399
 400
 401
 402
 403
 404
 405
 406
 407
 408
 409
 410
 411
 412
 413
 414
 415
 416
 417
 418
 419
 420
 421
 422
 423
 424
 425
 426
 427
 428
 429
 430
 431
 432
 433
 434
 435
 436
 437
 438
 439
 440
 441
 442
 443
 444
 445
 446
 447
 448
 449
 450
 451
 452
 453
 454
 455
 456
 457
 458
 459
 460
 461
 462
 463
 464
 465
 466
 467
 468
 469
 470
 471
 472
 473
 474
 475
 476
 477
 478
 479
 480
 481
 482
 483
 484
 485
 486
 487
 488
 489
 490
 491
 492
 493
 494
 495
 496
 497
 498
 499
 500
 501
 502
 503
 504
 505
 506
 507
 508
 509
 510
 511
 512
 513
 514
 515
 516
 517
 518
 519
 520
 521
 522
 523
 524
 525
 526
 527
 528
 529
 530
 531
 532
 533
 534
 535
 536
 537
 538
 539
 540
 541
 542
 543
 544
 545
 546
 547
 548
 549
 550
 551
 552
 553
 554
 555
 556
 557
 558
 559
 560
 561
 562
 563
 564
 565
 566
 567
 568
 569
 570
 571
 572
 573
 574
 575
 576
 577
 578
 579
 580
 581
 582
 583
 584
 585
 586
 587
 588
 589
 590
 591
 592
 593
 594
 595
 596
 597
 598
 599
 600
 601
 602
 603
 604
 605
 606
 607
 608
 609
 610
 611
 612
 613
 614
 615
 616
 617
 618
 619
 620
 621
 622
 623
 624
 625
 626
 627
 628
 629
 630
 631
 632
 633
 634
 635
 636
 637
 638
 639
 640
 641
 642
 643
 644
 645
 646
 647
 648
 649
 650
 651
 652
 653
 654
 655
 656
 657
 658
 659
 660
 661
 662
 663
 664
 665
 666
 667
 668
 669
 670
 671
 672
 673
 674
 675
 676
 677
 678
 679
 680
 681
 682
 683
 684
 685
 686
 687
 688
 689
 690
 691
 692
 693
 694
 695
 696
 697
 698
 699
 700
 701
 702
 703
 704
 705
 706
 707
 708
 709
 710
 711
 712
 713
 714
 715
 716
 717
 718
 719
 720
 721
 722
 723
 724
 725
 726
 727
 728
 729
 730
 731
 732
 733
 734
 735
 736
 737
 738
 739
 740
 741
 742
 743
 744
 745
 746
 747
 748
 749
 750
 751
 752
 753
 754
 755
 756
 757
 758
 759
 760
 761
 762
 763
 764
 765
 766
 767
 768
 769
 770
 771
 772
 773
 774
 775
 776
 777
 778
 779
 780
 781
 782
 783
 784
 785
 786
 787
 788
 789
 790
 791
 792
 793
 794
 795
 796
 797
 798
 799
 800
 801
 802
 803
 804
 805
 806
 807
 808
 809
 810
 811
 812
 813
 814
 815
 816
 817
 818
 819
 820
 821
 822
 823
 824
 825
 826
 827
 828
 829
 830
 831
 832
 833
 834
 835
 836
 837
 838
 839
 840
 841
 842
 843
 844
 845
 846
 847
 848
 849
 850
 851
 852
 853
 854
 855
 856
 857
 858
 859
 860
 861
 862
 863
 864
 865
 866
 867
 868
 869
 870
 871
 872
 873
 874
 875
 876
 877
 878
 879
 880
 881
 882
 883
 884
 885
 886
 887
 888
 889
 890
 891
 892
 893
 894
 895
 896
 897
 898
 899
 900
 901
 902
 903
 904
 905
 906
 907
 908
 909
 910
 911
 912
 913
 914
 915
 916
 917
 918
 919
 920
 921
 922
 923
 924
 925
 926
 927
 928
 929
 930
 931
 932
 933
 934
 935
 936
 937
 938
 939
 940
 941
 942
 943
 944
 945
 946
 947
 948
 949
 950
 951
 952
 953
 954
 955
 956
 957
 958
 959
 960
 961
 962
 963
 964
 965
 966
 967
 968
 969
 970
 971
 972
 973
 974
 975
 976
 977
 978
 979
 980
 981
 982
 983
 984
 985
 986
 987
 988
 989
 990
 991
 992
 993
 994
 995
 996
 997
 998
 999
1000
1001
1002
1003
1004
1005
1006
1007
1008
1009
1010
1011
1012
1013
1014
1015
1016
1017
1018
1019
1020
1021
1022
1023
1024
1025
1026
1027
1028
1029
1030
1031
1032
1033
1034
1035
1036
1037
1038
1039
1040
1041
1042
1043
1044
1045
1046
1047
1048
1049
1050
1051
1052
1053
1054
1055
1056
1057
1058
1059
1060
1061
1062
1063
1064
1065
1066
1067
1068
1069
1070
1071
1072
1073
1074
1075
1076
1077
1078
1079
1080
1081
1082
1083
1084
1085
1086
1087
1088
1089
1090
1091
1092
1093
1094
1095
1096
1097
1098
1099
1100
1101
1102
1103
1104
1105
1106
1107
1108
1109
1110
1111
1112
1113
1114
1115
1116
1117
1118
1119
1120
1121
1122
1123
1124
1125
1126
1127
1128
1129
1130
1131
1132
1133
1134
1135
1136
1137
1138
1139
1140
1141
1142
1143
1144
1145
1146
1147
1148
1149
1150
1151
1152
1153
1154
1155
1156
1157
1158
1159
1160
1161
1162
1163
1164
1165
1166
1167
1168
1169
1170
1171
1172
1173
1174
1175
1176
1177
1178
1179
1180
1181
1182
1183
1184
1185
1186
1187
1188
1189
1190
1191
1192
1193
1194
1195
1196
1197
1198
1199
1200
1201
1202
1203
1204
1205
1206
1207
1208
1209
1210
1211
1212
1213
1214
1215
1216
1217
1218
1219
1220
1221
1222
1223
1224
1225
1226
1227
1228
1229
1230
1231
1232
1233
1234
1235
1236
1237
1238
1239
1240
1241
1242
1243
1244
1245
1246
1247
1248
1249
1250
1251
1252
1253
1254
1255
1256
1257
1258
1259
1260
1261
1262
1263
1264
1265
1266
1267
1268
1269
1270
1271
1272
1273
1274
1275
1276
1277
1278
1279
1280
1281
1282
1283
1284
1285
1286
1287
1288
1289
1290
1291
1292
1293
1294
1295
1296
1297
1298
1299
1300
1301
1302
1303
1304
1305
1306
1307
1308
1309
1310
1311
1312
1313
1314
1315
1316
1317
1318
1319
1320
1321
1322
1323
1324
1325
1326
1327
1328
1329
1330
1331
1332
1333
1334
1335
1336
1337
1338
1339
1340
1341
1342
1343
1344
1345
1346
1347
1348
1349
1350
1351
1352
1353
1354
1355
1356
1357
1358
1359
1360
1361
1362
1363
1364
1365
1366
1367
1368
1369
1370
1371
1372
1373
1374
1375
1376
1377
1378
1379
1380
1381
1382
1383
1384
1385
1386
1387
1388
1389
1390
1391
1392
1393
1394
1395
1396
1397
1398
1399
1400
1401
1402
1403
1404
1405
1406
1407
1408
1409
1410
1411
1412
1413
1414
1415
1416
1417
1418
1419
1420
1421
1422
1423
1424
1425
1426
1427
1428
1429
1430
1431
1432
1433
1434
1435
1436
1437
1438
1439
1440
1441
1442
1443
1444
1445
1446
1447
1448
1449
1450
1451
1452
1453
1454
1455
1456
1457
1458
1459
1460
1461
1462
1463
1464
1465
1466
1467
1468
1469
1470
1471
1472
1473
1474
1475
1476
1477
1478
1479
1480
1481
1482
1483
1484
1485
1486
1487
1488
1489
1490
1491
1492
1493
1494
1495
1496
1497
1498
1499
1500
1501
1502
1503
1504
1505
1506
1507
1508
1509
1510
1511
1512
1513
1514
1515
1516
1517
1518
1519
1520
1521
1522
1523
1524
1525
1526
1527
1528
1529
1530
1531
1532
1533
1534
1535
1536
1537
1538
1539
1540
1541
1542
1543
1544
1545
1546
1547
1548
1549
1550
1551
1552
1553
1554
1555
1556
1557
1558
1559
1560
1561
1562
1563
1564
1565
1566
1567
1568
1569
1570
1571
1572
1573
1574
1575
1576
1577
1578
1579
1580
1581
1582
1583
1584
1585
1586
1587
1588
1589
1590
1591
1592
1593
1594
1595
1596
1597
1598
1599
1600
1601
1602
1603
1604
1605
1606
1607
1608
1609
1610
1611
1612
1613
1614
1615
1616
1617
1618
1619
1620
1621
1622
1623
1624
1625
1626
1627
1628
1629
1630
1631
1632
1633
1634
1635
1636
1637
1638
1639
1640
1641
1642
1643
1644
1645
1646
1647
1648
1649
1650
1651
1652
1653
1654
1655
1656
1657
1658
1659
1660
1661
1662
1663
1664
1665
1666
1667
1668
1669
1670
1671
1672
1673
1674
1675
1676
1677
1678
1679
1680
1681
1682
1683
1684
1685
1686
1687
1688
1689
1690
1691
1692
1693
1694
1695
1696
1697
1698
1699
1700
1701
1702
1703
1704
1705
1706
1707
1708
1709
1710
1711
1712
1713
1714
1715
1716
1717
1718
1719
1720
1721
1722
1723
1724
1725
1726
1727
1728
1729
1730
1731
1732
1733
1734
1735
1736
1737
1738
1739
1740
1741
1742
1743
1744
1745
1746
1747
1748
1749
1750
1751
1752
1753
1754
1755
1756
1757
1758
1759
1760
1761
1762
1763
1764
1765
1766
1767
1768
1769
1770
1771
1772
1773
1774
1775
1776
1777
1778
1779
1780
1781
1782
1783
1784
1785
1786
1787
1788
1789
1790
1791
1792
1793
1794
1795
1796
1797
1798
1799
1800
1801
1802
1803
1804
1805
1806
1807
1808
1809
1810
1811
1812
1813
1814
1815
1816
1817
1818
1819
1820
1821
1822
1823
1824
1825
1826
1827
1828
1829
1830
1831
1832
1833
1834
1835
1836
1837
1838
1839
1840
1841
1842
1843
1844
1845
1846
1847
1848
1849
1850
1851
1852
1853
1854
1855
1856
1857
1858
1859
1860
1861
1862
1863
1864
1865
1866
1867
1868
1869
1870
1871
1872
1873
1874
1875
1876
1877
1878
1879
1880
1881
1882
1883
1884
1885
1886
1887
1888
1889
1890
1891
1892
1893
1894
1895
1896
1897
1898
1899
1900
1901
1902
1903
1904
1905
1906
1907
1908
1909
1910
1911
1912
1913
1914
1915
1916
1917
1918
1919
1920
1921
1922
1923
1924
1925
1926
1927
1928
1929
1930
1931
1932
1933
1934
1935
1936
1937
1938
1939
1940
1941
1942
1943
1944
1945
1946
1947
1948
1949
1950
1951
1952
1953
1954
1955
1956
1957
1958
1959
1960
1961
1962
1963
1964
1965


[PHP]

;;;;;;;;;;;;;;;;;;;
; About php.ini ;
;;;;;;;;;;;;;;;;;;;
; PHP's initialization file, generally called php.ini, is responsible for
; configuring many of the aspects of PHP's behavior.

; PHP attempts to find and load this configuration from a number of locations.
; The following is a summary of its search order:
; 1. SAPI module specific location.
; 2. The PHPRC environment variable. (As of PHP 5.2.0)
; 3. A number of predefined registry keys on Windows (As of PHP 5.2.0)
; 4. Current working directory (except CLI)
; 5. The web server's directory (for SAPI modules), or directory of PHP
; (otherwise in Windows)
; 6. The directory from the --with-config-file-path compile time option, or the
; Windows directory (usually C:\windows)
; See the PHP docs for more specific information.
; https://php.net/configuration.file

; The syntax of the file is extremely simple. Whitespace and lines
; beginning with a semicolon are silently ignored (as you probably guessed).
; Section headers (e.g. [Foo]) are also silently ignored, even though
; they might mean something in the future.

; Directives following the section heading [PATH=/www/mysite] only
; apply to PHP files in the /www/mysite directory. Directives
; following the section heading [HOST=www.example.com] only apply to
; PHP files served from www.example.com. Directives set in these
; special sections cannot be overridden by user-defined INI files or
; at runtime. Currently, [PATH=] and [HOST=] sections only work under
; CGI/FastCGI.
; https://php.net/ini.sections

; Directives are specified using the following syntax:
; directive = value
; Directive names are *case sensitive* - foo=bar is different from FOO=bar.
; Directives are variables used to configure PHP or PHP extensions.
; There is no name validation. If PHP can't find an expected
; directive because it is not set or is mistyped, a default value will be used.

; The value can be a string, a number, a PHP constant (e.g. E_ALL or M_PI), one
; of the INI constants (On, Off, True, False, Yes, No and None) or an expression
; (e.g. E_ALL & ~E_NOTICE), a quoted string ("bar"), or a reference to a
; previously set variable or directive (e.g. ${foo})

; Expressions in the INI file are limited to bitwise operators and parentheses:
; | bitwise OR
; ^ bitwise XOR
; & bitwise AND
; ~ bitwise NOT
; ! boolean NOT

; Boolean flags can be turned on using the values 1, On, True or Yes.
; They can be turned off using the values 0, Off, False or No.

; An empty string can be denoted by simply not writing anything after the equal
; sign, or by using the None keyword:

; foo = ; sets foo to an empty string
; foo = None ; sets foo to an empty string
; foo = "None" ; sets foo to the string 'None'

; If you use constants in your value, and these constants belong to a
; dynamically loaded extension (either a PHP extension or a Zend extension),
; you may only use these constants *after* the line that loads the extension.

;;;;;;;;;;;;;;;;;;;
; About this file ;
;;;;;;;;;;;;;;;;;;;
; PHP comes packaged with two INI files. One that is recommended to be used
; in production environments and one that is recommended to be used in
; development environments.

; php.ini-production contains settings which hold security, performance and
; best practices at its core. But please be aware, these settings may break
; compatibility with older or less security conscience applications. We
; recommending using the production ini in production and testing environments.

; php.ini-development is very similar to its production variant, except it is
; much more verbose when it comes to errors. We recommend using the
; development version only in development environments, as errors shown to
; application users can inadvertently leak otherwise secure information.

; This is the php.ini-production INI file.

;;;;;;;;;;;;;;;;;;;
; Quick Reference ;
;;;;;;;;;;;;;;;;;;;

; The following are all the settings which are different in either the production
; or development versions of the INIs with respect to PHP's default behavior.
; Please see the actual settings later in the document for more details as to why
; we recommend these changes in PHP's behavior.

; display_errors
; Default Value: On
; Development Value: On
; Production Value: Off

; display_startup_errors
; Default Value: On
; Development Value: On
; Production Value: Off

; error_reporting
; Default Value: E_ALL
; Development Value: E_ALL
; Production Value: E_ALL & ~E_DEPRECATED & ~E_STRICT

; log_errors
; Default Value: Off
; Development Value: On
; Production Value: On

; max_input_time
; Default Value: -1 (Unlimited)
; Development Value: 60 (60 seconds)
; Production Value: 60 (60 seconds)

; output_buffering
; Default Value: Off
; Development Value: 4096
; Production Value: 4096

; register_argc_argv
; Default Value: On
; Development Value: Off
; Production Value: Off

; request_order
; Default Value: None
; Development Value: "GP"
; Production Value: "GP"

; session.gc_divisor
; Default Value: 100
; Development Value: 1000
; Production Value: 1000

; session.sid_bits_per_character
; Default Value: 4
; Development Value: 5
; Production Value: 5

; short_open_tag
; Default Value: On
; Development Value: Off
; Production Value: Off

; variables_order
; Default Value: "EGPCS"
; Development Value: "GPCS"
; Production Value: "GPCS"

; zend.exception_ignore_args
; Default Value: Off
; Development Value: Off
; Production Value: On

; zend.exception_string_param_max_len
; Default Value: 15
; Development Value: 15
; Production Value: 0

;;;;;;;;;;;;;;;;;;;;
; php.ini Options ;
;;;;;;;;;;;;;;;;;;;;
; Name for user-defined php.ini (.htaccess) files. Default is ".user.ini"
;user_ini.filename = ".user.ini"

; To disable this feature set this option to an empty value
;user_ini.filename =

; TTL for user-defined php.ini files (time-to-live) in seconds. Default is 300 seconds (5 minutes)
;user_ini.cache_ttl = 300

;;;;;;;;;;;;;;;;;;;;
; Language Options ;
;;;;;;;;;;;;;;;;;;;;

; Enable the PHP scripting language engine under Apache.
; https://php.net/engine
engine = On

; This directive determines whether or not PHP will recognize code between
; <? and ?> tags as PHP source which should be processed as such. It is
; generally recommended that <?php and ?> should be used and that this feature
; should be disabled, as enabling it may result in issues when generating XML
; documents, however this remains supported for backward compatibility reasons.
; Note that this directive does not control the <?= shorthand tag, which can be
; used regardless of this directive.
; Default Value: On
; Development Value: Off
; Production Value: Off
; https://php.net/short-open-tag
short_open_tag = Off

; The number of significant digits displayed in floating point numbers.
; https://php.net/precision
precision = 14

; Output buffering is a mechanism for controlling how much output data
; (excluding headers and cookies) PHP should keep internally before pushing that
; data to the client. If your application's output exceeds this setting, PHP
; will send that data in chunks of roughly the size you specify.
; Turning on this setting and managing its maximum buffer size can yield some
; interesting side-effects depending on your application and web server.
; You may be able to send headers and cookies after you've already sent output
; through print or echo. You also may see performance benefits if your server is
; emitting less packets due to buffered output versus PHP streaming the output
; as it gets it. On production servers, 4096 bytes is a good setting for performance
; reasons.
; Note: Output buffering can also be controlled via Output Buffering Control
; functions.
; Possible Values:
; On = Enabled and buffer is unlimited. (Use with caution)
; Off = Disabled
; Integer = Enables the buffer and sets its maximum size in bytes.
; Note: This directive is hardcoded to Off for the CLI SAPI
; Default Value: Off
; Development Value: 4096
; Production Value: 4096
; https://php.net/output-buffering
output_buffering = 4096

; You can redirect all of the output of your scripts to a function. For
; example, if you set output_handler to "mb_output_handler", character
; encoding will be transparently converted to the specified encoding.
; Setting any output handler automatically turns on output buffering.
; Note: People who wrote portable scripts should not depend on this ini
; directive. Instead, explicitly set the output handler using ob_start().
; Using this ini directive may cause problems unless you know what script
; is doing.
; Note: You cannot use both "mb_output_handler" with "ob_iconv_handler"
; and you cannot use both "ob_gzhandler" and "zlib.output_compression".
; Note: output_handler must be empty if this is set 'On' !!!!
; Instead you must use zlib.output_handler.
; https://php.net/output-handler
;output_handler =

; URL rewriter function rewrites URL on the fly by using
; output buffer. You can set target tags by this configuration.
; "form" tag is special tag. It will add hidden input tag to pass values.
; Refer to session.trans_sid_tags for usage.
; Default Value: "form="
; Development Value: "form="
; Production Value: "form="
;url_rewriter.tags

; URL rewriter will not rewrite absolute URL nor form by default. To enable
; absolute URL rewrite, allowed hosts must be defined at RUNTIME.
; Refer to session.trans_sid_hosts for more details.
; Default Value: ""
; Development Value: ""
; Production Value: ""
;url_rewriter.hosts

; Transparent output compression using the zlib library
; Valid values for this option are 'off', 'on', or a specific buffer size
; to be used for compression (default is 4KB)
; Note: Resulting chunk size may vary due to nature of compression. PHP
; outputs chunks that are few hundreds bytes each as a result of
; compression. If you prefer a larger chunk size for better
; performance, enable output_buffering in addition.
; Note: You need to use zlib.output_handler instead of the standard
; output_handler, or otherwise the output will be corrupted.
; https://php.net/zlib.output-compression
zlib.output_compression = Off

; https://php.net/zlib.output-compression-level
;zlib.output_compression_level = -1

; You cannot specify additional output handlers if zlib.output_compression
; is activated here. This setting does the same as output_handler but in
; a different order.
; https://php.net/zlib.output-handler
;zlib.output_handler =

; Implicit flush tells PHP to tell the output layer to flush itself
; automatically after every output block. This is equivalent to calling the
; PHP function flush() after each and every call to print() or echo() and each
; and every HTML block. Turning this option on has serious performance
; implications and is generally recommended for debugging purposes only.
; https://php.net/implicit-flush
; Note: This directive is hardcoded to On for the CLI SAPI
implicit_flush = Off

; The unserialize callback function will be called (with the undefined class'
; name as parameter), if the unserializer finds an undefined class
; which should be instantiated. A warning appears if the specified function is
; not defined, or if the function doesn't include/implement the missing class.
; So only set this entry, if you really want to implement such a
; callback-function.
unserialize_callback_func =

; The unserialize_max_depth specifies the default depth limit for unserialized
; structures. Setting the depth limit too high may result in stack overflows
; during unserialization. The unserialize_max_depth ini setting can be
; overridden by the max_depth option on individual unserialize() calls.
; A value of 0 disables the depth limit.
;unserialize_max_depth = 4096

; When floats & doubles are serialized, store serialize_precision significant
; digits after the floating point. The default value ensures that when floats
; are decoded with unserialize, the data will remain the same.
; The value is also used for json_encode when encoding double values.
; If -1 is used, then dtoa mode 0 is used which automatically select the best
; precision.
serialize_precision = -1

; open_basedir, if set, limits all file operations to the defined directory
; and below. This directive makes most sense if used in a per-directory
; or per-virtualhost web server configuration file.
; Note: disables the realpath cache
; https://php.net/open-basedir
;open_basedir =

; This directive allows you to disable certain functions.
; It receives a comma-delimited list of function names.
; https://php.net/disable-functions
disable_functions =

; This directive allows you to disable certain classes.
; It receives a comma-delimited list of class names.
; https://php.net/disable-classes
disable_classes =

; Colors for Syntax Highlighting mode. Anything that's acceptable in
; <span style="color: ???????"> would work.
; https://php.net/syntax-highlighting
;highlight.string = #DD0000
;highlight.comment = #FF9900
;highlight.keyword = #007700
;highlight.default = #0000BB
;highlight.html = #000000

; If enabled, the request will be allowed to complete even if the user aborts
; the request. Consider enabling it if executing long requests, which may end up
; being interrupted by the user or a browser timing out. PHP's default behavior
; is to disable this feature.
; https://php.net/ignore-user-abort
;ignore_user_abort = On

; Determines the size of the realpath cache to be used by PHP. This value should
; be increased on systems where PHP opens many files to reflect the quantity of
; the file operations performed.
; Note: if open_basedir is set, the cache is disabled
; https://php.net/realpath-cache-size
;realpath_cache_size = 4096k

; Duration of time, in seconds for which to cache realpath information for a given
; file or directory. For systems with rarely changing files, consider increasing this
; value.
; https://php.net/realpath-cache-ttl
;realpath_cache_ttl = 120

; Enables or disables the circular reference collector.
; https://php.net/zend.enable-gc
zend.enable_gc = On

; If enabled, scripts may be written in encodings that are incompatible with
; the scanner. CP936, Big5, CP949 and Shift_JIS are the examples of such
; encodings. To use this feature, mbstring extension must be enabled.
;zend.multibyte = Off

; Allows to set the default encoding for the scripts. This value will be used
; unless "declare(encoding=...)" directive appears at the top of the script.
; Only affects if zend.multibyte is set.
;zend.script_encoding =

; Allows to include or exclude arguments from stack traces generated for exceptions.
; In production, it is recommended to turn this setting on to prohibit the output
; of sensitive information in stack traces
; Default Value: Off
; Development Value: Off
; Production Value: On
zend.exception_ignore_args = On

; Allows setting the maximum string length in an argument of a stringified stack trace
; to a value between 0 and 1000000.
; This has no effect when zend.exception_ignore_args is enabled.
; Default Value: 15
; Development Value: 15
; Production Value: 0
; In production, it is recommended to set this to 0 to reduce the output
; of sensitive information in stack traces.
zend.exception_string_param_max_len = 0

;;;;;;;;;;;;;;;;;
; Miscellaneous ;
;;;;;;;;;;;;;;;;;

; Decides whether PHP may expose the fact that it is installed on the server
; (e.g. by adding its signature to the Web server header). It is no security
; threat in any way, but it makes it possible to determine whether you use PHP
; on your server or not.
; https://php.net/expose-php
expose_php = On

;;;;;;;;;;;;;;;;;;;
; Resource Limits ;
;;;;;;;;;;;;;;;;;;;

; Maximum execution time of each script, in seconds
; https://php.net/max-execution-time
; Note: This directive is hardcoded to 0 for the CLI SAPI
max_execution_time = 30

; Maximum amount of time each script may spend parsing request data. It's a good
; idea to limit this time on productions servers in order to eliminate unexpectedly
; long running scripts.
; Note: This directive is hardcoded to -1 for the CLI SAPI
; Default Value: -1 (Unlimited)
; Development Value: 60 (60 seconds)
; Production Value: 60 (60 seconds)
; https://php.net/max-input-time
max_input_time = 60

; Maximum input variable nesting level
; https://php.net/max-input-nesting-level
;max_input_nesting_level = 64

; How many GET/POST/COOKIE input variables may be accepted
;max_input_vars = 1000

; How many multipart body parts (combined input variable and file uploads) may
; be accepted.
; Default Value: -1 (Sum of max_input_vars and max_file_uploads)
;max_multipart_body_parts = 1500

; Maximum amount of memory a script may consume
; https://php.net/memory-limit
memory_limit = 128M

;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
; Error handling and logging ;
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;

; This directive informs PHP of which errors, warnings and notices you would like
; it to take action for. The recommended way of setting values for this
; directive is through the use of the error level constants and bitwise
; operators. The error level constants are below here for convenience as well as
; some common settings and their meanings.
; By default, PHP is set to take action on all errors, notices and warnings EXCEPT
; those related to E_NOTICE and E_STRICT, which together cover best practices and
; recommended coding standards in PHP. For performance reasons, this is the
; recommend error reporting setting. Your production server shouldn't be wasting
; resources complaining about best practices and coding standards. That's what
; development servers and development settings are for.
; Note: The php.ini-development file has this setting as E_ALL. This
; means it pretty much reports everything which is exactly what you want during
; development and early testing.
;
; Error Level Constants:
; E_ALL - All errors and warnings (includes E_STRICT as of PHP 5.4.0)
; E_ERROR - fatal run-time errors
; E_RECOVERABLE_ERROR - almost fatal run-time errors
; E_WARNING - run-time warnings (non-fatal errors)
; E_PARSE - compile-time parse errors
; E_NOTICE - run-time notices (these are warnings which often result
; from a bug in your code, but it's possible that it was
; intentional (e.g., using an uninitialized variable and
; relying on the fact it is automatically initialized to an
; empty string)
; E_STRICT - run-time notices, enable to have PHP suggest changes
; to your code which will ensure the best interoperability
; and forward compatibility of your code
; E_CORE_ERROR - fatal errors that occur during PHP's initial startup
; E_CORE_WARNING - warnings (non-fatal errors) that occur during PHP's
; initial startup
; E_COMPILE_ERROR - fatal compile-time errors
; E_COMPILE_WARNING - compile-time warnings (non-fatal errors)
; E_USER_ERROR - user-generated error message
; E_USER_WARNING - user-generated warning message
; E_USER_NOTICE - user-generated notice message
; E_DEPRECATED - warn about code that will not work in future versions
; of PHP
; E_USER_DEPRECATED - user-generated deprecation warnings
;
; Common Values:
; E_ALL (Show all errors, warnings and notices including coding standards.)
; E_ALL & ~E_NOTICE (Show all errors, except for notices)
; E_ALL & ~E_NOTICE & ~E_STRICT (Show all errors, except for notices and coding standards warnings.)
; E_COMPILE_ERROR|E_RECOVERABLE_ERROR|E_ERROR|E_CORE_ERROR (Show only errors)
; Default Value: E_ALL
; Development Value: E_ALL
; Production Value: E_ALL & ~E_DEPRECATED & ~E_STRICT
; https://php.net/error-reporting
error_reporting = E_ALL & ~E_DEPRECATED & ~E_STRICT

; This directive controls whether or not and where PHP will output errors,
; notices and warnings too. Error output is very useful during development, but
; it could be very dangerous in production environments. Depending on the code
; which is triggering the error, sensitive information could potentially leak
; out of your application such as database usernames and passwords or worse.
; For production environments, we recommend logging errors rather than
; sending them to STDOUT.
; Possible Values:
; Off = Do not display any errors
; stderr = Display errors to STDERR (affects only CGI/CLI binaries!)
; On or stdout = Display errors to STDOUT
; Default Value: On
; Development Value: On
; Production Value: Off
; https://php.net/display-errors
display_errors = Off

; The display of errors which occur during PHP's startup sequence are handled
; separately from display_errors. We strongly recommend you set this to 'off'
; for production servers to avoid leaking configuration details.
; Default Value: On
; Development Value: On
; Production Value: Off
; https://php.net/display-startup-errors
display_startup_errors = Off

; Besides displaying errors, PHP can also log errors to locations such as a
; server-specific log, STDERR, or a location specified by the error_log
; directive found below. While errors should not be displayed on productions
; servers they should still be monitored and logging is a great way to do that.
; Default Value: Off
; Development Value: On
; Production Value: On
; https://php.net/log-errors
log_errors = On

; Do not log repeated messages. Repeated errors must occur in same file on same
; line unless ignore_repeated_source is set true.
; https://php.net/ignore-repeated-errors
ignore_repeated_errors = Off

; Ignore source of message when ignoring repeated messages. When this setting
; is On you will not log errors with repeated messages from different files or
; source lines.
; https://php.net/ignore-repeated-source
ignore_repeated_source = Off

; If this parameter is set to Off, then memory leaks will not be shown (on
; stdout or in the log). This is only effective in a debug compile, and if
; error reporting includes E_WARNING in the allowed list
; https://php.net/report-memleaks
report_memleaks = On

; This setting is off by default.
;report_zend_debug = 0

; Turn off normal error reporting and emit XML-RPC error XML
; https://php.net/xmlrpc-errors
;xmlrpc_errors = 0

; An XML-RPC faultCode
;xmlrpc_error_number = 0

; When PHP displays or logs an error, it has the capability of formatting the
; error message as HTML for easier reading. This directive controls whether
; the error message is formatted as HTML or not.
; Note: This directive is hardcoded to Off for the CLI SAPI
; https://php.net/html-errors
;html_errors = On

; If html_errors is set to On *and* docref_root is not empty, then PHP
; produces clickable error messages that direct to a page describing the error
; or function causing the error in detail.
; You can download a copy of the PHP manual from https://php.net/docs
; and change docref_root to the base URL of your local copy including the
; leading '/'. You must also specify the file extension being used including
; the dot. PHP's default behavior is to leave these settings empty, in which
; case no links to documentation are generated.
; Note: Never use this feature for production boxes.
; https://php.net/docref-root
; Examples
;docref_root = "/phpmanual/"

; https://php.net/docref-ext
;docref_ext = .html

; String to output before an error message. PHP's default behavior is to leave
; this setting blank.
; https://php.net/error-prepend-string
; Example:
;error_prepend_string = "<span style='color: #ff0000'>"

; String to output after an error message. PHP's default behavior is to leave
; this setting blank.
; https://php.net/error-append-string
; Example:
;error_append_string = "</span>"

; Log errors to specified file. PHP's default behavior is to leave this value
; empty.
; https://php.net/error-log
; Example:
;error_log = php_errors.log
; Log errors to syslog (Event Log on Windows).
;error_log = syslog

; The syslog ident is a string which is prepended to every message logged
; to syslog. Only used when error_log is set to syslog.
;syslog.ident = php

; The syslog facility is used to specify what type of program is logging
; the message. Only used when error_log is set to syslog.
;syslog.facility = user

; Set this to disable filtering control characters (the default).
; Some loggers only accept NVT-ASCII, others accept anything that's not
; control characters. If your logger accepts everything, then no filtering
; is needed at all.
; Allowed values are:
; ascii (all printable ASCII characters and NL)
; no-ctrl (all characters except control characters)
; all (all characters)
; raw (like "all", but messages are not split at newlines)
; https://php.net/syslog.filter
;syslog.filter = ascii

;windows.show_crt_warning
; Default value: 0
; Development value: 0
; Production value: 0

;;;;;;;;;;;;;;;;;
; Data Handling ;
;;;;;;;;;;;;;;;;;

; The separator used in PHP generated URLs to separate arguments.
; PHP's default setting is "&".
; https://php.net/arg-separator.output
; Example:
;arg_separator.output = "&amp;"

; List of separator(s) used by PHP to parse input URLs into variables.
; PHP's default setting is "&".
; NOTE: Every character in this directive is considered as separator!
; https://php.net/arg-separator.input
; Example:
;arg_separator.input = ";&"

; This directive determines which super global arrays are registered when PHP
; starts up. G,P,C,E & S are abbreviations for the following respective super
; globals: GET, POST, COOKIE, ENV and SERVER. There is a performance penalty
; paid for the registration of these arrays and because ENV is not as commonly
; used as the others, ENV is not recommended on productions servers. You
; can still get access to the environment variables through getenv() should you
; need to.
; Default Value: "EGPCS"
; Development Value: "GPCS"
; Production Value: "GPCS";
; https://php.net/variables-order
variables_order = "GPCS"

; This directive determines which super global data (G,P & C) should be
; registered into the super global array REQUEST. If so, it also determines
; the order in which that data is registered. The values for this directive
; are specified in the same manner as the variables_order directive,
; EXCEPT one. Leaving this value empty will cause PHP to use the value set
; in the variables_order directive. It does not mean it will leave the super
; globals array REQUEST empty.
; Default Value: None
; Development Value: "GP"
; Production Value: "GP"
; https://php.net/request-order
request_order = "GP"

; This directive determines whether PHP registers $argv & $argc each time it
; runs. $argv contains an array of all the arguments passed to PHP when a script
; is invoked. $argc contains an integer representing the number of arguments
; that were passed when the script was invoked. These arrays are extremely
; useful when running scripts from the command line. When this directive is
; enabled, registering these variables consumes CPU cycles and memory each time
; a script is executed. For performance reasons, this feature should be disabled
; on production servers.
; Note: This directive is hardcoded to On for the CLI SAPI
; Default Value: On
; Development Value: Off
; Production Value: Off
; https://php.net/register-argc-argv
register_argc_argv = Off

; When enabled, the ENV, REQUEST and SERVER variables are created when they're
; first used (Just In Time) instead of when the script starts. If these
; variables are not used within a script, having this directive on will result
; in a performance gain. The PHP directive register_argc_argv must be disabled
; for this directive to have any effect.
; https://php.net/auto-globals-jit
auto_globals_jit = On

; Whether PHP will read the POST data.
; This option is enabled by default.
; Most likely, you won't want to disable this option globally. It causes $_POST
; and $_FILES to always be empty; the only way you will be able to read the
; POST data will be through the php://input stream wrapper. This can be useful
; to proxy requests or to process the POST data in a memory efficient fashion.
; https://php.net/enable-post-data-reading
;enable_post_data_reading = Off

; Maximum size of POST data that PHP will accept.
; Its value may be 0 to disable the limit. It is ignored if POST data reading
; is disabled through enable_post_data_reading.
; https://php.net/post-max-size
post_max_size = 8M

; Automatically add files before PHP document.
; https://php.net/auto-prepend-file
auto_prepend_file =

; Automatically add files after PHP document.
; https://php.net/auto-append-file
auto_append_file =

; By default, PHP will output a media type using the Content-Type header. To
; disable this, simply set it to be empty.
;
; PHP's built-in default media type is set to text/html.
; https://php.net/default-mimetype
default_mimetype = "text/html"

; PHP's default character set is set to UTF-8.
; https://php.net/default-charset
default_charset = "UTF-8"

; PHP internal character encoding is set to empty.
; If empty, default_charset is used.
; https://php.net/internal-encoding
;internal_encoding =

; PHP input character encoding is set to empty.
; If empty, default_charset is used.
; https://php.net/input-encoding
;input_encoding =

; PHP output character encoding is set to empty.
; If empty, default_charset is used.
; See also output_buffer.
; https://php.net/output-encoding
;output_encoding =

;;;;;;;;;;;;;;;;;;;;;;;;;
; Paths and Directories ;
;;;;;;;;;;;;;;;;;;;;;;;;;

; UNIX: "/path1:/path2"
;include_path = ".:/php/includes"
;
; Windows: "\path1;\path2"
;include_path = ".;c:\php\includes"
;
; PHP's default setting for include_path is ".;/path/to/php/pear"
; https://php.net/include-path

; The root of the PHP pages, used only if nonempty.
; if PHP was not compiled with FORCE_REDIRECT, you SHOULD set doc_root
; if you are running php as a CGI under any web server (other than IIS)
; see documentation for security issues. The alternate is to use the
; cgi.force_redirect configuration below
; https://php.net/doc-root
doc_root =

; The directory under which PHP opens the script using /~username used only
; if nonempty.
; https://php.net/user-dir
user_dir =

; Directory in which the loadable extensions (modules) reside.
; https://php.net/extension-dir
;extension_dir = "./"
; On windows:
;extension_dir = "ext"

; Directory where the temporary files should be placed.
; Defaults to the system default (see sys_get_temp_dir)
;sys_temp_dir = "/tmp"

; Whether or not to enable the dl() function. The dl() function does NOT work
; properly in multithreaded servers, such as IIS or Zeus, and is automatically
; disabled on them.
; https://php.net/enable-dl
enable_dl = Off

; cgi.force_redirect is necessary to provide security running PHP as a CGI under
; most web servers. Left undefined, PHP turns this on by default. You can
; turn it off here AT YOUR OWN RISK
; **You CAN safely turn this off for IIS, in fact, you MUST.**
; https://php.net/cgi.force-redirect
;cgi.force_redirect = 1

; if cgi.nph is enabled it will force cgi to always sent Status: 200 with
; every request. PHP's default behavior is to disable this feature.
;cgi.nph = 1

; if cgi.force_redirect is turned on, and you are not running under Apache or Netscape
; (iPlanet) web servers, you MAY need to set an environment variable name that PHP
; will look for to know it is OK to continue execution. Setting this variable MAY
; cause security issues, KNOW WHAT YOU ARE DOING FIRST.
; https://php.net/cgi.redirect-status-env
;cgi.redirect_status_env =

; cgi.fix_pathinfo provides *real* PATH_INFO/PATH_TRANSLATED support for CGI. PHP's
; previous behaviour was to set PATH_TRANSLATED to SCRIPT_FILENAME, and to not grok
; what PATH_INFO is. For more information on PATH_INFO, see the cgi specs. Setting
; this to 1 will cause PHP CGI to fix its paths to conform to the spec. A setting
; of zero causes PHP to behave as before. Default is 1. You should fix your scripts
; to use SCRIPT_FILENAME rather than PATH_TRANSLATED.
; https://php.net/cgi.fix-pathinfo
;cgi.fix_pathinfo=1

; if cgi.discard_path is enabled, the PHP CGI binary can safely be placed outside
; of the web tree and people will not be able to circumvent .htaccess security.
;cgi.discard_path=1

; FastCGI under IIS supports the ability to impersonate
; security tokens of the calling client. This allows IIS to define the
; security context that the request runs under. mod_fastcgi under Apache
; does not currently support this feature (03/17/2002)
; Set to 1 if running under IIS. Default is zero.
; https://php.net/fastcgi.impersonate
;fastcgi.impersonate = 1

; Disable logging through FastCGI connection. PHP's default behavior is to enable
; this feature.
;fastcgi.logging = 0

; cgi.rfc2616_headers configuration option tells PHP what type of headers to
; use when sending HTTP response code. If set to 0, PHP sends Status: header that
; is supported by Apache. When this option is set to 1, PHP will send
; RFC2616 compliant header.
; Default is zero.
; https://php.net/cgi.rfc2616-headers
;cgi.rfc2616_headers = 0

; cgi.check_shebang_line controls whether CGI PHP checks for line starting with #!
; (shebang) at the top of the running script. This line might be needed if the
; script support running both as stand-alone script and via PHP CGI<. PHP in CGI
; mode skips this line and ignores its content if this directive is turned on.
; https://php.net/cgi.check-shebang-line
;cgi.check_shebang_line=1

;;;;;;;;;;;;;;;;
; File Uploads ;
;;;;;;;;;;;;;;;;

; Whether to allow HTTP file uploads.
; https://php.net/file-uploads
file_uploads = On

; Temporary directory for HTTP uploaded files (will use system default if not
; specified).
; https://php.net/upload-tmp-dir
;upload_tmp_dir =

; Maximum allowed size for uploaded files.
; https://php.net/upload-max-filesize
upload_max_filesize = 2M

; Maximum number of files that can be uploaded via a single request
max_file_uploads = 20

;;;;;;;;;;;;;;;;;;
; Fopen wrappers ;
;;;;;;;;;;;;;;;;;;

; Whether to allow the treatment of URLs (like http:// or ftp://) as files.
; https://php.net/allow-url-fopen
allow_url_fopen = On

; Whether to allow include/require to open URLs (like https:// or ftp://) as files.
; https://php.net/allow-url-include
allow_url_include = Off

; Define the anonymous ftp password (your email address). PHP's default setting
; for this is empty.
; https://php.net/from
;from="john@doe.com"

; Define the User-Agent string. PHP's default setting for this is empty.
; https://php.net/user-agent
;user_agent="PHP"

; Default timeout for socket based streams (seconds)
; https://php.net/default-socket-timeout
default_socket_timeout = 60

; If your scripts have to deal with files from Macintosh systems,
; or you are running on a Mac and need to deal with files from
; unix or win32 systems, setting this flag will cause PHP to
; automatically detect the EOL character in those files so that
; fgets() and file() will work regardless of the source of the file.
; https://php.net/auto-detect-line-endings
;auto_detect_line_endings = Off

;;;;;;;;;;;;;;;;;;;;;;
; Dynamic Extensions ;
;;;;;;;;;;;;;;;;;;;;;;

; If you wish to have an extension loaded automatically, use the following
; syntax:
;
; extension=modulename
;
; For example:
;
; extension=mysqli
;
; When the extension library to load is not located in the default extension
; directory, You may specify an absolute path to the library file:
;
; extension=/path/to/extension/mysqli.so
;
; Note : The syntax used in previous PHP versions ('extension=<ext>.so' and
; 'extension='php_<ext>.dll') is supported for legacy reasons and may be
; deprecated in a future PHP major version. So, when it is possible, please
; move to the new ('extension=<ext>) syntax.
;
; Notes for Windows environments :
;
; - Many DLL files are located in the extensions/ (PHP 4) or ext/ (PHP 5+)
; extension folders as well as the separate PECL DLL download (PHP 5+).
; Be sure to appropriately set the extension_dir directive.
;
;extension=bz2

; The ldap extension must be before curl if OpenSSL 1.0.2 and OpenLDAP is used
; otherwise it results in segfault when unloading after using SASL.
; See https://github.com/php/php-src/issues/8620 for more info.
;extension=ldap

;extension=curl
;extension=ffi
;extension=ftp
;extension=fileinfo
;extension=gd
;extension=gettext
;extension=gmp
;extension=intl
;extension=imap
;extension=mbstring
;extension=exif ; Must be after mbstring as it depends on it
;extension=mysqli
;extension=oci8_12c ; Use with Oracle Database 12c Instant Client
;extension=oci8_19 ; Use with Oracle Database 19 Instant Client
;extension=odbc
;extension=openssl
;extension=pdo_firebird
;extension=pdo_mysql
;extension=pdo_oci
;extension=pdo_odbc
;extension=pdo_pgsql
;extension=pdo_sqlite
;extension=pgsql
;extension=shmop

; The MIBS data available in the PHP distribution must be installed.
; See https://www.php.net/manual/en/snmp.installation.php
;extension=snmp

;extension=soap
;extension=sockets
;extension=sodium
;extension=sqlite3
;extension=tidy
;extension=xsl

;zend_extension=opcache

;;;;;;;;;;;;;;;;;;;
; Module Settings ;
;;;;;;;;;;;;;;;;;;;

[CLI Server]
; Whether the CLI web server uses ANSI color coding in its terminal output.
cli_server.color = On

[Date]
; Defines the default timezone used by the date functions
; https://php.net/date.timezone
;date.timezone =

; https://php.net/date.default-latitude
;date.default_latitude = 31.7667

; https://php.net/date.default-longitude
;date.default_longitude = 35.2333

; https://php.net/date.sunrise-zenith
;date.sunrise_zenith = 90.833333

; https://php.net/date.sunset-zenith
;date.sunset_zenith = 90.833333

[filter]
; https://php.net/filter.default
;filter.default = unsafe_raw

; https://php.net/filter.default-flags
;filter.default_flags =

[iconv]
; Use of this INI entry is deprecated, use global input_encoding instead.
; If empty, default_charset or input_encoding or iconv.input_encoding is used.
; The precedence is: default_charset < input_encoding < iconv.input_encoding
;iconv.input_encoding =

; Use of this INI entry is deprecated, use global internal_encoding instead.
; If empty, default_charset or internal_encoding or iconv.internal_encoding is used.
; The precedence is: default_charset < internal_encoding < iconv.internal_encoding
;iconv.internal_encoding =

; Use of this INI entry is deprecated, use global output_encoding instead.
; If empty, default_charset or output_encoding or iconv.output_encoding is used.
; The precedence is: default_charset < output_encoding < iconv.output_encoding
; To use an output encoding conversion, iconv's output handler must be set
; otherwise output encoding conversion cannot be performed.
;iconv.output_encoding =

[imap]
; rsh/ssh logins are disabled by default. Use this INI entry if you want to
; enable them. Note that the IMAP library does not filter mailbox names before
; passing them to rsh/ssh command, thus passing untrusted data to this function
; with rsh/ssh enabled is insecure.
;imap.enable_insecure_rsh=0

[intl]
;intl.default_locale =
; This directive allows you to produce PHP errors when some error
; happens within intl functions. The value is the level of the error produced.
; Default is 0, which does not produce any errors.
;intl.error_level = E_WARNING
;intl.use_exceptions = 0

[sqlite3]
; Directory pointing to SQLite3 extensions
; https://php.net/sqlite3.extension-dir
;sqlite3.extension_dir =

; SQLite defensive mode flag (only available from SQLite 3.26+)
; When the defensive flag is enabled, language features that allow ordinary
; SQL to deliberately corrupt the database file are disabled. This forbids
; writing directly to the schema, shadow tables (eg. FTS data tables), or
; the sqlite_dbpage virtual table.
; https://www.sqlite.org/c3ref/c_dbconfig_defensive.html
; (for older SQLite versions, this flag has no use)
;sqlite3.defensive = 1

[Pcre]
; PCRE library backtracking limit.
; https://php.net/pcre.backtrack-limit
;pcre.backtrack_limit=100000

; PCRE library recursion limit.
; Please note that if you set this value to a high number you may consume all
; the available process stack and eventually crash PHP (due to reaching the
; stack size limit imposed by the Operating System).
; https://php.net/pcre.recursion-limit
;pcre.recursion_limit=100000

; Enables or disables JIT compilation of patterns. This requires the PCRE
; library to be compiled with JIT support.
;pcre.jit=1

[Pdo]
; Whether to pool ODBC connections. Can be one of "strict", "relaxed" or "off"
; https://php.net/pdo-odbc.connection-pooling
;pdo_odbc.connection_pooling=strict

[Pdo_mysql]
; Default socket name for local MySQL connects. If empty, uses the built-in
; MySQL defaults.
pdo_mysql.default_socket=

[Phar]
; https://php.net/phar.readonly
;phar.readonly = On

; https://php.net/phar.require-hash
;phar.require_hash = On

;phar.cache_list =

[mail function]
; For Win32 only.
; https://php.net/smtp
SMTP = localhost
; https://php.net/smtp-port
smtp_port = 25

; For Win32 only.
; https://php.net/sendmail-from
;sendmail_from = me@example.com

; For Unix only. You may supply arguments as well (default: "sendmail -t -i").
; https://php.net/sendmail-path
;sendmail_path =

; Force the addition of the specified parameters to be passed as extra parameters
; to the sendmail binary. These parameters will always replace the value of
; the 5th parameter to mail().
;mail.force_extra_parameters =

; Add X-PHP-Originating-Script: that will include uid of the script followed by the filename
mail.add_x_header = Off

; The path to a log file that will log all mail() calls. Log entries include
; the full path of the script, line number, To address and headers.
;mail.log =
; Log mail to syslog (Event Log on Windows).
;mail.log = syslog

[ODBC]
; https://php.net/odbc.default-db
;odbc.default_db = Not yet implemented

; https://php.net/odbc.default-user
;odbc.default_user = Not yet implemented

; https://php.net/odbc.default-pw
;odbc.default_pw = Not yet implemented

; Controls the ODBC cursor model.
; Default: SQL_CURSOR_STATIC (default).
;odbc.default_cursortype

; Allow or prevent persistent links.
; https://php.net/odbc.allow-persistent
odbc.allow_persistent = On

; Check that a connection is still valid before reuse.
; https://php.net/odbc.check-persistent
odbc.check_persistent = On

; Maximum number of persistent links. -1 means no limit.
; https://php.net/odbc.max-persistent
odbc.max_persistent = -1

; Maximum number of links (persistent + non-persistent). -1 means no limit.
; https://php.net/odbc.max-links
odbc.max_links = -1

; Handling of LONG fields. Returns number of bytes to variables. 0 means
; passthru.
; https://php.net/odbc.defaultlrl
odbc.defaultlrl = 4096

; Handling of binary data. 0 means passthru, 1 return as is, 2 convert to char.
; See the documentation on odbc_binmode and odbc_longreadlen for an explanation
; of odbc.defaultlrl and odbc.defaultbinmode
; https://php.net/odbc.defaultbinmode
odbc.defaultbinmode = 1

[MySQLi]

; Maximum number of persistent links. -1 means no limit.
; https://php.net/mysqli.max-persistent
mysqli.max_persistent = -1

; Allow accessing, from PHP's perspective, local files with LOAD DATA statements
; https://php.net/mysqli.allow_local_infile
;mysqli.allow_local_infile = On

; It allows the user to specify a folder where files that can be sent via LOAD DATA
; LOCAL can exist. It is ignored if mysqli.allow_local_infile is enabled.
;mysqli.local_infile_directory =

; Allow or prevent persistent links.
; https://php.net/mysqli.allow-persistent
mysqli.allow_persistent = On

; Maximum number of links. -1 means no limit.
; https://php.net/mysqli.max-links
mysqli.max_links = -1

; Default port number for mysqli_connect(). If unset, mysqli_connect() will use
; the $MYSQL_TCP_PORT or the mysql-tcp entry in /etc/services or the
; compile-time value defined MYSQL_PORT (in that order). Win32 will only look
; at MYSQL_PORT.
; https://php.net/mysqli.default-port
mysqli.default_port = 3306

; Default socket name for local MySQL connects. If empty, uses the built-in
; MySQL defaults.
; https://php.net/mysqli.default-socket
mysqli.default_socket =

; Default host for mysqli_connect() (doesn't apply in safe mode).
; https://php.net/mysqli.default-host
mysqli.default_host =

; Default user for mysqli_connect() (doesn't apply in safe mode).
; https://php.net/mysqli.default-user
mysqli.default_user =

; Default password for mysqli_connect() (doesn't apply in safe mode).
; Note that this is generally a *bad* idea to store passwords in this file.
; *Any* user with PHP access can run 'echo get_cfg_var("mysqli.default_pw")
; and reveal this password! And of course, any users with read access to this
; file will be able to reveal the password as well.
; https://php.net/mysqli.default-pw
mysqli.default_pw =

; Allow or prevent reconnect
mysqli.reconnect = Off

; If this option is enabled, closing a persistent connection will rollback
; any pending transactions of this connection, before it is put back
; into the persistent connection pool.
;mysqli.rollback_on_cached_plink = Off

[mysqlnd]
; Enable / Disable collection of general statistics by mysqlnd which can be
; used to tune and monitor MySQL operations.
mysqlnd.collect_statistics = On

; Enable / Disable collection of memory usage statistics by mysqlnd which can be
; used to tune and monitor MySQL operations.
mysqlnd.collect_memory_statistics = Off

; Records communication from all extensions using mysqlnd to the specified log
; file.
; https://php.net/mysqlnd.debug
;mysqlnd.debug =

; Defines which queries will be logged.
;mysqlnd.log_mask = 0

; Default size of the mysqlnd memory pool, which is used by result sets.
;mysqlnd.mempool_default_size = 16000

; Size of a pre-allocated buffer used when sending commands to MySQL in bytes.
;mysqlnd.net_cmd_buffer_size = 2048

; Size of a pre-allocated buffer used for reading data sent by the server in
; bytes.
;mysqlnd.net_read_buffer_size = 32768

; Timeout for network requests in seconds.
;mysqlnd.net_read_timeout = 31536000

; SHA-256 Authentication Plugin related. File with the MySQL server public RSA
; key.
;mysqlnd.sha256_server_public_key =

[OCI8]

; Connection: Enables privileged connections using external
; credentials (OCI_SYSOPER, OCI_SYSDBA)
; https://php.net/oci8.privileged-connect
;oci8.privileged_connect = Off

; Connection: The maximum number of persistent OCI8 connections per
; process. Using -1 means no limit.
; https://php.net/oci8.max-persistent
;oci8.max_persistent = -1

; Connection: The maximum number of seconds a process is allowed to
; maintain an idle persistent connection. Using -1 means idle
; persistent connections will be maintained forever.
; https://php.net/oci8.persistent-timeout
;oci8.persistent_timeout = -1

; Connection: The number of seconds that must pass before issuing a
; ping during oci_pconnect() to check the connection validity. When
; set to 0, each oci_pconnect() will cause a ping. Using -1 disables
; pings completely.
; https://php.net/oci8.ping-interval
;oci8.ping_interval = 60

; Connection: Set this to a user chosen connection class to be used
; for all pooled server requests with Oracle 11g Database Resident
; Connection Pooling (DRCP). To use DRCP, this value should be set to
; the same string for all web servers running the same application,
; the database pool must be configured, and the connection string must
; specify to use a pooled server.
;oci8.connection_class =

; High Availability: Using On lets PHP receive Fast Application
; Notification (FAN) events generated when a database node fails. The
; database must also be configured to post FAN events.
;oci8.events = Off

; Tuning: This option enables statement caching, and specifies how
; many statements to cache. Using 0 disables statement caching.
; https://php.net/oci8.statement-cache-size
;oci8.statement_cache_size = 20

; Tuning: Enables statement prefetching and sets the default number of
; rows that will be fetched automatically after statement execution.
; https://php.net/oci8.default-prefetch
;oci8.default_prefetch = 100

; Compatibility. Using On means oci_close() will not close
; oci_connect() and oci_new_connect() connections.
; https://php.net/oci8.old-oci-close-semantics
;oci8.old_oci_close_semantics = Off

[PostgreSQL]
; Allow or prevent persistent links.
; https://php.net/pgsql.allow-persistent
pgsql.allow_persistent = On

; Detect broken persistent links always with pg_pconnect().
; Auto reset feature requires a little overheads.
; https://php.net/pgsql.auto-reset-persistent
pgsql.auto_reset_persistent = Off

; Maximum number of persistent links. -1 means no limit.
; https://php.net/pgsql.max-persistent
pgsql.max_persistent = -1

; Maximum number of links (persistent+non persistent). -1 means no limit.
; https://php.net/pgsql.max-links
pgsql.max_links = -1

; Ignore PostgreSQL backends Notice message or not.
; Notice message logging require a little overheads.
; https://php.net/pgsql.ignore-notice
pgsql.ignore_notice = 0

; Log PostgreSQL backends Notice message or not.
; Unless pgsql.ignore_notice=0, module cannot log notice message.
; https://php.net/pgsql.log-notice
pgsql.log_notice = 0

[bcmath]
; Number of decimal digits for all bcmath functions.
; https://php.net/bcmath.scale
bcmath.scale = 0

[browscap]
; https://php.net/browscap
;browscap = extra/browscap.ini

[Session]
; Handler used to store/retrieve data.
; https://php.net/session.save-handler
session.save_handler = files

; Argument passed to save_handler. In the case of files, this is the path
; where data files are stored. Note: Windows users have to change this
; variable in order to use PHP's session functions.
;
; The path can be defined as:
;
; session.save_path = "N;/path"
;
; where N is an integer. Instead of storing all the session files in
; /path, what this will do is use subdirectories N-levels deep, and
; store the session data in those directories. This is useful if
; your OS has problems with many files in one directory, and is
; a more efficient layout for servers that handle many sessions.
;
; NOTE 1: PHP will not create this directory structure automatically.
; You can use the script in the ext/session dir for that purpose.
; NOTE 2: See the section on garbage collection below if you choose to
; use subdirectories for session storage
;
; The file storage module creates files using mode 600 by default.
; You can change that by using
;
; session.save_path = "N;MODE;/path"
;
; where MODE is the octal representation of the mode. Note that this
; does not overwrite the process's umask.
; https://php.net/session.save-path
;session.save_path = "/tmp"

; Whether to use strict session mode.
; Strict session mode does not accept an uninitialized session ID, and
; regenerates the session ID if the browser sends an uninitialized session ID.
; Strict mode protects applications from session fixation via a session adoption
; vulnerability. It is disabled by default for maximum compatibility, but
; enabling it is encouraged.
; https://wiki.php.net/rfc/strict_sessions
session.use_strict_mode = 0

; Whether to use cookies.
; https://php.net/session.use-cookies
session.use_cookies = 1

; https://php.net/session.cookie-secure
;session.cookie_secure =

; This option forces PHP to fetch and use a cookie for storing and maintaining
; the session id. We encourage this operation as it's very helpful in combating
; session hijacking when not specifying and managing your own session id. It is
; not the be-all and end-all of session hijacking defense, but it's a good start.
; https://php.net/session.use-only-cookies
session.use_only_cookies = 1

; Name of the session (used as cookie name).
; https://php.net/session.name
session.name = PHPSESSID

; Initialize session on request startup.
; https://php.net/session.auto-start
session.auto_start = 0

; Lifetime in seconds of cookie or, if 0, until browser is restarted.
; https://php.net/session.cookie-lifetime
session.cookie_lifetime = 0

; The path for which the cookie is valid.
; https://php.net/session.cookie-path
session.cookie_path = /

; The domain for which the cookie is valid.
; https://php.net/session.cookie-domain
session.cookie_domain =

; Whether or not to add the httpOnly flag to the cookie, which makes it
; inaccessible to browser scripting languages such as JavaScript.
; https://php.net/session.cookie-httponly
session.cookie_httponly =

; Add SameSite attribute to cookie to help mitigate Cross-Site Request Forgery (CSRF/XSRF)
; Current valid values are "Strict", "Lax" or "None". When using "None",
; make sure to include the quotes, as `none` is interpreted like `false` in ini files.
; https://tools.ietf.org/html/draft-west-first-party-cookies-07
session.cookie_samesite =

; Handler used to serialize data. php is the standard serializer of PHP.
; https://php.net/session.serialize-handler
session.serialize_handler = php

; Defines the probability that the 'garbage collection' process is started on every
; session initialization. The probability is calculated by using gc_probability/gc_divisor,
; e.g. 1/100 means there is a 1% chance that the GC process starts on each request.
; Default Value: 1
; Development Value: 1
; Production Value: 1
; https://php.net/session.gc-probability
session.gc_probability = 1

; Defines the probability that the 'garbage collection' process is started on every
; session initialization. The probability is calculated by using gc_probability/gc_divisor,
; e.g. 1/100 means there is a 1% chance that the GC process starts on each request.
; For high volume production servers, using a value of 1000 is a more efficient approach.
; Default Value: 100
; Development Value: 1000
; Production Value: 1000
; https://php.net/session.gc-divisor
session.gc_divisor = 1000

; After this number of seconds, stored data will be seen as 'garbage' and
; cleaned up by the garbage collection process.
; https://php.net/session.gc-maxlifetime
session.gc_maxlifetime = 1440

; NOTE: If you are using the subdirectory option for storing session files
; (see session.save_path above), then garbage collection does *not*
; happen automatically. You will need to do your own garbage
; collection through a shell script, cron entry, or some other method.
; For example, the following script is the equivalent of setting
; session.gc_maxlifetime to 1440 (1440 seconds = 24 minutes):
; find /path/to/sessions -cmin +24 -type f | xargs rm

; Check HTTP Referer to invalidate externally stored URLs containing ids.
; HTTP_REFERER has to contain this substring for the session to be
; considered as valid.
; https://php.net/session.referer-check
session.referer_check =

; Set to {nocache,private,public,} to determine HTTP caching aspects
; or leave this empty to avoid sending anti-caching headers.
; https://php.net/session.cache-limiter
session.cache_limiter = nocache

; Document expires after n minutes.
; https://php.net/session.cache-expire
session.cache_expire = 180

; trans sid support is disabled by default.
; Use of trans sid may risk your users' security.
; Use this option with caution.
; - User may send URL contains active session ID
; to other person via. email/irc/etc.
; - URL that contains active session ID may be stored
; in publicly accessible computer.
; - User may access your site with the same session ID
; always using URL stored in browser's history or bookmarks.
; https://php.net/session.use-trans-sid
session.use_trans_sid = 0

; Set session ID character length. This value could be between 22 to 256.
; Shorter length than default is supported only for compatibility reason.
; Users should use 32 or more chars.
; https://php.net/session.sid-length
; Default Value: 32
; Development Value: 26
; Production Value: 26
session.sid_length = 26

; The URL rewriter will look for URLs in a defined set of HTML tags.
; <form> is special; if you include them here, the rewriter will
; add a hidden <input> field with the info which is otherwise appended
; to URLs. <form> tag's action attribute URL will not be modified
; unless it is specified.
; Note that all valid entries require a "=", even if no value follows.
; Default Value: "a=href,area=href,frame=src,form="
; Development Value: "a=href,area=href,frame=src,form="
; Production Value: "a=href,area=href,frame=src,form="
; https://php.net/url-rewriter.tags
session.trans_sid_tags = "a=href,area=href,frame=src,form="

; URL rewriter does not rewrite absolute URLs by default.
; To enable rewrites for absolute paths, target hosts must be specified
; at RUNTIME. i.e. use ini_set()
; <form> tags is special. PHP will check action attribute's URL regardless
; of session.trans_sid_tags setting.
; If no host is defined, HTTP_HOST will be used for allowed host.
; Example value: php.net,www.php.net,wiki.php.net
; Use "," for multiple hosts. No spaces are allowed.
; Default Value: ""
; Development Value: ""
; Production Value: ""
;session.trans_sid_hosts=""

; Define how many bits are stored in each character when converting
; the binary hash data to something readable.
; Possible values:
; 4 (4 bits: 0-9, a-f)
; 5 (5 bits: 0-9, a-v)
; 6 (6 bits: 0-9, a-z, A-Z, "-", ",")
; Default Value: 4
; Development Value: 5
; Production Value: 5
; https://php.net/session.hash-bits-per-character
session.sid_bits_per_character = 5

; Enable upload progress tracking in $_SESSION
; Default Value: On
; Development Value: On
; Production Value: On
; https://php.net/session.upload-progress.enabled
;session.upload_progress.enabled = On

; Cleanup the progress information as soon as all POST data has been read
; (i.e. upload completed).
; Default Value: On
; Development Value: On
; Production Value: On
; https://php.net/session.upload-progress.cleanup
;session.upload_progress.cleanup = On

; A prefix used for the upload progress key in $_SESSION
; Default Value: "upload_progress_"
; Development Value: "upload_progress_"
; Production Value: "upload_progress_"
; https://php.net/session.upload-progress.prefix
;session.upload_progress.prefix = "upload_progress_"

; The index name (concatenated with the prefix) in $_SESSION
; containing the upload progress information
; Default Value: "PHP_SESSION_UPLOAD_PROGRESS"
; Development Value: "PHP_SESSION_UPLOAD_PROGRESS"
; Production Value: "PHP_SESSION_UPLOAD_PROGRESS"
; https://php.net/session.upload-progress.name
;session.upload_progress.name = "PHP_SESSION_UPLOAD_PROGRESS"

; How frequently the upload progress should be updated.
; Given either in percentages (per-file), or in bytes
; Default Value: "1%"
; Development Value: "1%"
; Production Value: "1%"
; https://php.net/session.upload-progress.freq
;session.upload_progress.freq = "1%"

; The minimum delay between updates, in seconds
; Default Value: 1
; Development Value: 1
; Production Value: 1
; https://php.net/session.upload-progress.min-freq
;session.upload_progress.min_freq = "1"

; Only write session data when session data is changed. Enabled by default.
; https://php.net/session.lazy-write
;session.lazy_write = On

[Assertion]
; Switch whether to compile assertions at all (to have no overhead at run-time)
; -1: Do not compile at all
; 0: Jump over assertion at run-time
; 1: Execute assertions
; Changing from or to a negative value is only possible in php.ini! (For turning assertions on and off at run-time, see assert.active, when zend.assertions = 1)
; Default Value: 1
; Development Value: 1
; Production Value: -1
; https://php.net/zend.assertions
zend.assertions = -1

; Assert(expr); active by default.
; https://php.net/assert.active
;assert.active = On

; Throw an AssertionError on failed assertions
; https://php.net/assert.exception
;assert.exception = On

; Issue a PHP warning for each failed assertion. (Overridden by assert.exception if active)
; https://php.net/assert.warning
;assert.warning = On

; Don't bail out by default.
; https://php.net/assert.bail
;assert.bail = Off

; User-function to be called if an assertion fails.
; https://php.net/assert.callback
;assert.callback = 0

[COM]
; path to a file containing GUIDs, IIDs or filenames of files with TypeLibs
; https://php.net/com.typelib-file
;com.typelib_file =

; allow Distributed-COM calls
; https://php.net/com.allow-dcom
;com.allow_dcom = true

; autoregister constants of a component's typelib on com_load()
; https://php.net/com.autoregister-typelib
;com.autoregister_typelib = true

; register constants casesensitive
; https://php.net/com.autoregister-casesensitive
;com.autoregister_casesensitive = false

; show warnings on duplicate constant registrations
; https://php.net/com.autoregister-verbose
;com.autoregister_verbose = true

; The default character set code-page to use when passing strings to and from COM objects.
; Default: system ANSI code page
;com.code_page=

; The version of the .NET framework to use. The value of the setting are the first three parts
; of the framework's version number, separated by dots, and prefixed with "v", e.g. "v4.0.30319".
;com.dotnet_version=

[mbstring]
; language for internal character representation.
; This affects mb_send_mail() and mbstring.detect_order.
; https://php.net/mbstring.language
;mbstring.language = Japanese

; Use of this INI entry is deprecated, use global internal_encoding instead.
; internal/script encoding.
; Some encoding cannot work as internal encoding. (e.g. SJIS, BIG5, ISO-2022-*)
; If empty, default_charset or internal_encoding or iconv.internal_encoding is used.
; The precedence is: default_charset < internal_encoding < iconv.internal_encoding
;mbstring.internal_encoding =

; Use of this INI entry is deprecated, use global input_encoding instead.
; http input encoding.
; mbstring.encoding_translation = On is needed to use this setting.
; If empty, default_charset or input_encoding or mbstring.input is used.
; The precedence is: default_charset < input_encoding < mbstring.http_input
; https://php.net/mbstring.http-input
;mbstring.http_input =

; Use of this INI entry is deprecated, use global output_encoding instead.
; http output encoding.
; mb_output_handler must be registered as output buffer to function.
; If empty, default_charset or output_encoding or mbstring.http_output is used.
; The precedence is: default_charset < output_encoding < mbstring.http_output
; To use an output encoding conversion, mbstring's output handler must be set
; otherwise output encoding conversion cannot be performed.
; https://php.net/mbstring.http-output
;mbstring.http_output =

; enable automatic encoding translation according to
; mbstring.internal_encoding setting. Input chars are
; converted to internal encoding by setting this to On.
; Note: Do _not_ use automatic encoding translation for
; portable libs/applications.
; https://php.net/mbstring.encoding-translation
;mbstring.encoding_translation = Off

; automatic encoding detection order.
; "auto" detect order is changed according to mbstring.language
; https://php.net/mbstring.detect-order
;mbstring.detect_order = auto

; substitute_character used when character cannot be converted
; one from another
; https://php.net/mbstring.substitute-character
;mbstring.substitute_character = none

; Enable strict encoding detection.
;mbstring.strict_detection = Off

; This directive specifies the regex pattern of content types for which mb_output_handler()
; is activated.
; Default: mbstring.http_output_conv_mimetypes=^(text/|application/xhtml\+xml)
;mbstring.http_output_conv_mimetypes=

; This directive specifies maximum stack depth for mbstring regular expressions. It is similar
; to the pcre.recursion_limit for PCRE.
;mbstring.regex_stack_limit=100000

; This directive specifies maximum retry count for mbstring regular expressions. It is similar
; to the pcre.backtrack_limit for PCRE.
;mbstring.regex_retry_limit=1000000

[gd]
; Tell the jpeg decode to ignore warnings and try to create
; a gd image. The warning will then be displayed as notices
; disabled by default
; https://php.net/gd.jpeg-ignore-warning
;gd.jpeg_ignore_warning = 1

[exif]
; Exif UNICODE user comments are handled as UCS-2BE/UCS-2LE and JIS as JIS.
; With mbstring support this will automatically be converted into the encoding
; given by corresponding encode setting. When empty mbstring.internal_encoding
; is used. For the decode settings you can distinguish between motorola and
; intel byte order. A decode setting cannot be empty.
; https://php.net/exif.encode-unicode
;exif.encode_unicode = ISO-8859-15

; https://php.net/exif.decode-unicode-motorola
;exif.decode_unicode_motorola = UCS-2BE

; https://php.net/exif.decode-unicode-intel
;exif.decode_unicode_intel = UCS-2LE

; https://php.net/exif.encode-jis
;exif.encode_jis =

; https://php.net/exif.decode-jis-motorola
;exif.decode_jis_motorola = JIS

; https://php.net/exif.decode-jis-intel
;exif.decode_jis_intel = JIS

[Tidy]
; The path to a default tidy configuration file to use when using tidy
; https://php.net/tidy.default-config
;tidy.default_config = /usr/local/lib/php/default.tcfg

; Should tidy clean and repair output automatically?
; WARNING: Do not use this option if you are generating non-html content
; such as dynamic images
; https://php.net/tidy.clean-output
tidy.clean_output = Off

[soap]
; Enables or disables WSDL caching feature.
; https://php.net/soap.wsdl-cache-enabled
soap.wsdl_cache_enabled=1

; Sets the directory name where SOAP extension will put cache files.
; https://php.net/soap.wsdl-cache-dir
soap.wsdl_cache_dir="/tmp"

; (time to live) Sets the number of second while cached file will be used
; instead of original one.
; https://php.net/soap.wsdl-cache-ttl
soap.wsdl_cache_ttl=86400

; Sets the size of the cache limit. (Max. number of WSDL files to cache)
soap.wsdl_cache_limit = 5

[sysvshm]
; A default size of the shared memory segment
;sysvshm.init_mem = 10000

[ldap]
; Sets the maximum number of open links or -1 for unlimited.
ldap.max_links = -1

[dba]
;dba.default_handler=

[opcache]
; Determines if Zend OPCache is enabled
;opcache.enable=1

; Determines if Zend OPCache is enabled for the CLI version of PHP
;opcache.enable_cli=0

; The OPcache shared memory storage size.
;opcache.memory_consumption=128

; The amount of memory for interned strings in Mbytes.
;opcache.interned_strings_buffer=8

; The maximum number of keys (scripts) in the OPcache hash table.
; Only numbers between 200 and 1000000 are allowed.
;opcache.max_accelerated_files=10000

; The maximum percentage of "wasted" memory until a restart is scheduled.
;opcache.max_wasted_percentage=5

; When this directive is enabled, the OPcache appends the current working
; directory to the script key, thus eliminating possible collisions between
; files with the same name (basename). Disabling the directive improves
; performance, but may break existing applications.
;opcache.use_cwd=1

; When disabled, you must reset the OPcache manually or restart the
; webserver for changes to the filesystem to take effect.
;opcache.validate_timestamps=1

; How often (in seconds) to check file timestamps for changes to the shared
; memory storage allocation. ("1" means validate once per second, but only
; once per request. "0" means always validate)
;opcache.revalidate_freq=2

; Enables or disables file search in include_path optimization
;opcache.revalidate_path=0

; If disabled, all PHPDoc comments are dropped from the code to reduce the
; size of the optimized code.
;opcache.save_comments=1

; If enabled, compilation warnings (including notices and deprecations) will
; be recorded and replayed each time a file is included. Otherwise, compilation
; warnings will only be emitted when the file is first cached.
;opcache.record_warnings=0

; Allow file existence override (file_exists, etc.) performance feature.
;opcache.enable_file_override=0

; A bitmask, where each bit enables or disables the appropriate OPcache
; passes
;opcache.optimization_level=0x7FFFBFFF

;opcache.dups_fix=0

; The location of the OPcache blacklist file (wildcards allowed).
; Each OPcache blacklist file is a text file that holds the names of files
; that should not be accelerated. The file format is to add each filename
; to a new line. The filename may be a full path or just a file prefix
; (i.e., /var/www/x blacklists all the files and directories in /var/www
; that start with 'x'). Line starting with a ; are ignored (comments).
;opcache.blacklist_filename=

; Allows exclusion of large files from being cached. By default all files
; are cached.
;opcache.max_file_size=0

; Check the cache checksum each N requests.
; The default value of "0" means that the checks are disabled.
;opcache.consistency_checks=0

; How long to wait (in seconds) for a scheduled restart to begin if the cache
; is not being accessed.
;opcache.force_restart_timeout=180

; OPcache error_log file name. Empty string assumes "stderr".
;opcache.error_log=

; All OPcache errors go to the Web server log.
; By default, only fatal errors (level 0) or errors (level 1) are logged.
; You can also enable warnings (level 2), info messages (level 3) or
; debug messages (level 4).
;opcache.log_verbosity_level=1

; Preferred Shared Memory back-end. Leave empty and let the system decide.
;opcache.preferred_memory_model=

; Protect the shared memory from unexpected writing during script execution.
; Useful for internal debugging only.
;opcache.protect_memory=0

; Allows calling OPcache API functions only from PHP scripts which path is
; started from specified string. The default "" means no restriction
;opcache.restrict_api=

; Mapping base of shared memory segments (for Windows only). All the PHP
; processes have to map shared memory into the same address space. This
; directive allows to manually fix the "Unable to reattach to base address"
; errors.
;opcache.mmap_base=

; Facilitates multiple OPcache instances per user (for Windows only). All PHP
; processes with the same cache ID and user share an OPcache instance.
;opcache.cache_id=

; Enables and sets the second level cache directory.
; It should improve performance when SHM memory is full, at server restart or
; SHM reset. The default "" disables file based caching.
;opcache.file_cache=

; Enables or disables opcode caching in shared memory.
;opcache.file_cache_only=0

; Enables or disables checksum validation when script loaded from file cache.
;opcache.file_cache_consistency_checks=1

; Implies opcache.file_cache_only=1 for a certain process that failed to
; reattach to the shared memory (for Windows only). Explicitly enabled file
; cache is required.
;opcache.file_cache_fallback=1

; Enables or disables copying of PHP code (text segment) into HUGE PAGES.
; Under certain circumstances (if only a single global PHP process is
; started from which all others fork), this can increase performance
; by a tiny amount because TLB misses are reduced. On the other hand, this
; delays PHP startup, increases memory usage and degrades performance
; under memory pressure - use with care.
; Requires appropriate OS configuration.
;opcache.huge_code_pages=0

; Validate cached file permissions.
;opcache.validate_permission=0

; Prevent name collisions in chroot'ed environment.
;opcache.validate_root=0

; If specified, it produces opcode dumps for debugging different stages of
; optimizations.
;opcache.opt_debug_level=0

; Specifies a PHP script that is going to be compiled and executed at server
; start-up.
; https://php.net/opcache.preload
;opcache.preload=

; Preloading code as root is not allowed for security reasons. This directive
; facilitates to let the preloading to be run as another user.
; https://php.net/opcache.preload_user
;opcache.preload_user=

; Prevents caching files that are less than this number of seconds old. It
; protects from caching of incompletely updated files. In case all file updates
; on your site are atomic, you may increase performance by setting it to "0".
;opcache.file_update_protection=2

; Absolute path used to store shared lockfiles (for *nix only).
;opcache.lockfile_path=/tmp

[curl]
; A default value for the CURLOPT_CAINFO option. This is required to be an
; absolute path.
;curl.cainfo =

[openssl]
; The location of a Certificate Authority (CA) file on the local filesystem
; to use when verifying the identity of SSL/TLS peers. Most users should
; not specify a value for this directive as PHP will attempt to use the
; OS-managed cert stores in its absence. If specified, this value may still
; be overridden on a per-stream basis via the "cafile" SSL stream context
; option.
;openssl.cafile=

; If openssl.cafile is not specified or if the CA file is not found, the
; directory pointed to by openssl.capath is searched for a suitable
; certificate. This value must be a correctly hashed certificate directory.
; Most users should not specify a value for this directive as PHP will
; attempt to use the OS-managed cert stores in its absence. If specified,
; this value may still be overridden on a per-stream basis via the "capath"
; SSL stream context option.
;openssl.capath=

[ffi]
; FFI API restriction. Possible values:
; "preload" - enabled in CLI scripts and preloaded files (default)
; "false" - always disabled
; "true" - always enabled
;ffi.enable=preload

; List of headers files to preload, wildcard patterns allowed.
;ffi.preload=

www.conf

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469


; Start a new pool named 'www'.
; the variable $pool can be used in any directive and will be replaced by the
; pool name ('www' here)
[www]

; Per pool prefix
; It only applies on the following directives:
; - 'access.log'
; - 'slowlog'
; - 'listen' (unixsocket)
; - 'chroot'
; - 'chdir'
; - 'php_values'
; - 'php_admin_values'
; When not set, the global prefix (or NONE) applies instead.
; Note: This directive can also be relative to the global prefix.
; Default Value: none
;prefix = /path/to/pools/$pool

; Unix user/group of the child processes. This can be used only if the master
; process running user is root. It is set after the child process is created.
; The user and group can be specified either by their name or by their numeric
; IDs.
; Note: If the user is root, the executable needs to be started with
; --allow-to-run-as-root option to work.
; Default Values: The user is set to master process running user by default.
; If the group is not set, the user's group is used.
user = www-data
group = www-data

; The address on which to accept FastCGI requests.
; Valid syntaxes are:
; 'ip.add.re.ss:port' - to listen on a TCP socket to a specific IPv4 address on
; a specific port;
; '[ip:6:addr:ess]:port' - to listen on a TCP socket to a specific IPv6 address on
; a specific port;
; 'port' - to listen on a TCP socket to all addresses
; (IPv6 and IPv4-mapped) on a specific port;
; '/path/to/unix/socket' - to listen on a unix socket.
; Note: This value is mandatory.
listen = 127.0.0.1:9000

; Set listen(2) backlog.
; Default Value: 511 (-1 on FreeBSD and OpenBSD)
;listen.backlog = 511

; Set permissions for unix socket, if one is used. In Linux, read/write
; permissions must be set in order to allow connections from a web server. Many
; BSD-derived systems allow connections regardless of permissions. The owner
; and group can be specified either by name or by their numeric IDs.
; Default Values: Owner is set to the master process running user. If the group
; is not set, the owner's group is used. Mode is set to 0660.
;listen.owner = www-data
;listen.group = www-data
;listen.mode = 0660

; When POSIX Access Control Lists are supported you can set them using
; these options, value is a comma separated list of user/group names.
; When set, listen.owner and listen.group are ignored
;listen.acl_users =
;listen.acl_groups =

; List of addresses (IPv4/IPv6) of FastCGI clients which are allowed to connect.
; Equivalent to the FCGI_WEB_SERVER_ADDRS environment variable in the original
; PHP FCGI (5.2.2+). Makes sense only with a tcp listening socket. Each address
; must be separated by a comma. If this value is left blank, connections will be
; accepted from any ip address.
; Default Value: any
;listen.allowed_clients = 127.0.0.1

; Specify the nice(2) priority to apply to the pool processes (only if set)
; The value can vary from -19 (highest priority) to 20 (lower priority)
; Note: - It will only work if the FPM master process is launched as root
; - The pool processes will inherit the master process priority
; unless it specified otherwise
; Default Value: no set
; process.priority = -19

; Set the process dumpable flag (PR_SET_DUMPABLE prctl) even if the process user
; or group is different than the master process user. It allows to create process
; core dump and ptrace the process for the pool user.
; Default Value: no
; process.dumpable = yes

; Choose how the process manager will control the number of child processes.
; Possible Values:
; static - a fixed number (pm.max_children) of child processes;
; dynamic - the number of child processes are set dynamically based on the
; following directives. With this process management, there will be
; always at least 1 children.
; pm.max_children - the maximum number of children that can
; be alive at the same time.
; pm.start_servers - the number of children created on startup.
; pm.min_spare_servers - the minimum number of children in 'idle'
; state (waiting to process). If the number
; of 'idle' processes is less than this
; number then some children will be created.
; pm.max_spare_servers - the maximum number of children in 'idle'
; state (waiting to process). If the number
; of 'idle' processes is greater than this
; number then some children will be killed.
; pm.max_spawn_rate - the maximum number of rate to spawn child
; processes at once.
; ondemand - no children are created at startup. Children will be forked when
; new requests will connect. The following parameter are used:
; pm.max_children - the maximum number of children that
; can be alive at the same time.
; pm.process_idle_timeout - The number of seconds after which
; an idle process will be killed.
; Note: This value is mandatory.
pm = dynamic

; The number of child processes to be created when pm is set to 'static' and the
; maximum number of child processes when pm is set to 'dynamic' or 'ondemand'.
; This value sets the limit on the number of simultaneous requests that will be
; served. Equivalent to the ApacheMaxClients directive with mpm_prefork.
; Equivalent to the PHP_FCGI_CHILDREN environment variable in the original PHP
; CGI. The below defaults are based on a server without much resources. Don't
; forget to tweak pm.* to fit your needs.
; Note: Used when pm is set to 'static', 'dynamic' or 'ondemand'
; Note: This value is mandatory.
pm.max_children = 5

; The number of child processes created on startup.
; Note: Used only when pm is set to 'dynamic'
; Default Value: (min_spare_servers + max_spare_servers) / 2
pm.start_servers = 2

; The desired minimum number of idle server processes.
; Note: Used only when pm is set to 'dynamic'
; Note: Mandatory when pm is set to 'dynamic'
pm.min_spare_servers = 1

; The desired maximum number of idle server processes.
; Note: Used only when pm is set to 'dynamic'
; Note: Mandatory when pm is set to 'dynamic'
pm.max_spare_servers = 3

; The number of rate to spawn child processes at once.
; Note: Used only when pm is set to 'dynamic'
; Note: Mandatory when pm is set to 'dynamic'
; Default Value: 32
;pm.max_spawn_rate = 32

; The number of seconds after which an idle process will be killed.
; Note: Used only when pm is set to 'ondemand'
; Default Value: 10s
;pm.process_idle_timeout = 10s;

; The number of requests each child process should execute before respawning.
; This can be useful to work around memory leaks in 3rd party libraries. For
; endless request processing specify '0'. Equivalent to PHP_FCGI_MAX_REQUESTS.
; Default Value: 0
;pm.max_requests = 500

; The URI to view the FPM status page. If this value is not set, no URI will be
; recognized as a status page. It shows the following information:
; pool - the name of the pool;
; process manager - static, dynamic or ondemand;
; start time - the date and time FPM has started;
; start since - number of seconds since FPM has started;
; accepted conn - the number of request accepted by the pool;
; listen queue - the number of request in the queue of pending
; connections (see backlog in listen(2));
; max listen queue - the maximum number of requests in the queue
; of pending connections since FPM has started;
; listen queue len - the size of the socket queue of pending connections;
; idle processes - the number of idle processes;
; active processes - the number of active processes;
; total processes - the number of idle + active processes;
; max active processes - the maximum number of active processes since FPM
; has started;
; max children reached - number of times, the process limit has been reached,
; when pm tries to start more children (works only for
; pm 'dynamic' and 'ondemand');
; Value are updated in real time.
; Example output:
; pool: www
; process manager: static
; start time: 01/Jul/2011:17:53:49 +0200
; start since: 62636
; accepted conn: 190460
; listen queue: 0
; max listen queue: 1
; listen queue len: 42
; idle processes: 4
; active processes: 11
; total processes: 15
; max active processes: 12
; max children reached: 0
;
; By default the status page output is formatted as text/plain. Passing either
; 'html', 'xml' or 'json' in the query string will return the corresponding
; output syntax. Example:
; http://www.foo.bar/status
; http://www.foo.bar/status?json
; http://www.foo.bar/status?html
; http://www.foo.bar/status?xml
;
; By default the status page only outputs short status. Passing 'full' in the
; query string will also return status for each pool process.
; Example:
; http://www.foo.bar/status?full
; http://www.foo.bar/status?json&full
; http://www.foo.bar/status?html&full
; http://www.foo.bar/status?xml&full
; The Full status returns for each process:
; pid - the PID of the process;
; state - the state of the process (Idle, Running, ...);
; start time - the date and time the process has started;
; start since - the number of seconds since the process has started;
; requests - the number of requests the process has served;
; request duration - the duration in µs of the requests;
; request method - the request method (GET, POST, ...);
; request URI - the request URI with the query string;
; content length - the content length of the request (only with POST);
; user - the user (PHP_AUTH_USER) (or '-' if not set);
; script - the main script called (or '-' if not set);
; last request cpu - the %cpu the last request consumed
; it's always 0 if the process is not in Idle state
; because CPU calculation is done when the request
; processing has terminated;
; last request memory - the max amount of memory the last request consumed
; it's always 0 if the process is not in Idle state
; because memory calculation is done when the request
; processing has terminated;
; If the process is in Idle state, then informations are related to the
; last request the process has served. Otherwise informations are related to
; the current request being served.
; Example output:
; ************************
; pid: 31330
; state: Running
; start time: 01/Jul/2011:17:53:49 +0200
; start since: 63087
; requests: 12808
; request duration: 1250261
; request method: GET
; request URI: /test_mem.php?N=10000
; content length: 0
; user: -
; script: /home/fat/web/docs/php/test_mem.php
; last request cpu: 0.00
; last request memory: 0
;
; Note: There is a real-time FPM status monitoring sample web page available
; It's available in: /usr/local/share/php/fpm/status.html
;
; Note: The value must start with a leading slash (/). The value can be
; anything, but it may not be a good idea to use the .php extension or it
; may conflict with a real PHP file.
; Default Value: not set
;pm.status_path = /status

; The address on which to accept FastCGI status request. This creates a new
; invisible pool that can handle requests independently. This is useful
; if the main pool is busy with long running requests because it is still possible
; to get the status before finishing the long running requests.
;
; Valid syntaxes are:
; 'ip.add.re.ss:port' - to listen on a TCP socket to a specific IPv4 address on
; a specific port;
; '[ip:6:addr:ess]:port' - to listen on a TCP socket to a specific IPv6 address on
; a specific port;
; 'port' - to listen on a TCP socket to all addresses
; (IPv6 and IPv4-mapped) on a specific port;
; '/path/to/unix/socket' - to listen on a unix socket.
; Default Value: value of the listen option
;pm.status_listen = 127.0.0.1:9001

; The ping URI to call the monitoring page of FPM. If this value is not set, no
; URI will be recognized as a ping page. This could be used to test from outside
; that FPM is alive and responding, or to
; - create a graph of FPM availability (rrd or such);
; - remove a server from a group if it is not responding (load balancing);
; - trigger alerts for the operating team (24/7).
; Note: The value must start with a leading slash (/). The value can be
; anything, but it may not be a good idea to use the .php extension or it
; may conflict with a real PHP file.
; Default Value: not set
;ping.path = /ping

; This directive may be used to customize the response of a ping request. The
; response is formatted as text/plain with a 200 response code.
; Default Value: pong
;ping.response = pong

; The access log file
; Default: not set
;access.log = log/$pool.access.log

; The access log format.
; The following syntax is allowed
; %%: the '%' character
; %C: %CPU used by the request
; it can accept the following format:
; - %{user}C for user CPU only
; - %{system}C for system CPU only
; - %{total}C for user + system CPU (default)
; %d: time taken to serve the request
; it can accept the following format:
; - %{seconds}d (default)
; - %{milliseconds}d
; - %{milli}d
; - %{microseconds}d
; - %{micro}d
; %e: an environment variable (same as $_ENV or $_SERVER)
; it must be associated with embraces to specify the name of the env
; variable. Some examples:
; - server specifics like: %{REQUEST_METHOD}e or %{SERVER_PROTOCOL}e
; - HTTP headers like: %{HTTP_HOST}e or %{HTTP_USER_AGENT}e
; %f: script filename
; %l: content-length of the request (for POST request only)
; %m: request method
; %M: peak of memory allocated by PHP
; it can accept the following format:
; - %{bytes}M (default)
; - %{kilobytes}M
; - %{kilo}M
; - %{megabytes}M
; - %{mega}M
; %n: pool name
; %o: output header
; it must be associated with embraces to specify the name of the header:
; - %{Content-Type}o
; - %{X-Powered-By}o
; - %{Transfert-Encoding}o
; - ....
; %p: PID of the child that serviced the request
; %P: PID of the parent of the child that serviced the request
; %q: the query string
; %Q: the '?' character if query string exists
; %r: the request URI (without the query string, see %q and %Q)
; %R: remote IP address
; %s: status (response code)
; %t: server time the request was received
; it can accept a strftime(3) format:
; %d/%b/%Y:%H:%M:%S %z (default)
; The strftime(3) format must be encapsulated in a %{<strftime_format>}t tag
; e.g. for a ISO8601 formatted timestring, use: %{%Y-%m-%dT%H:%M:%S%z}t
; %T: time the log has been written (the request has finished)
; it can accept a strftime(3) format:
; %d/%b/%Y:%H:%M:%S %z (default)
; The strftime(3) format must be encapsulated in a %{<strftime_format>}t tag
; e.g. for a ISO8601 formatted timestring, use: %{%Y-%m-%dT%H:%M:%S%z}t
; %u: remote user
;
; Default: "%R - %u %t \"%m %r\" %s"
;access.format = "%R - %u %t \"%m %r%Q%q\" %s %f %{milli}d %{kilo}M %C%%"

; The log file for slow requests
; Default Value: not set
; Note: slowlog is mandatory if request_slowlog_timeout is set
;slowlog = log/$pool.log.slow

; The timeout for serving a single request after which a PHP backtrace will be
; dumped to the 'slowlog' file. A value of '0s' means 'off'.
; Available units: s(econds)(default), m(inutes), h(ours), or d(ays)
; Default Value: 0
;request_slowlog_timeout = 0

; Depth of slow log stack trace.
; Default Value: 20
;request_slowlog_trace_depth = 20

; The timeout for serving a single request after which the worker process will
; be killed. This option should be used when the 'max_execution_time' ini option
; does not stop script execution for some reason. A value of '0' means 'off'.
; Available units: s(econds)(default), m(inutes), h(ours), or d(ays)
; Default Value: 0
;request_terminate_timeout = 0

; The timeout set by 'request_terminate_timeout' ini option is not engaged after
; application calls 'fastcgi_finish_request' or when application has finished and
; shutdown functions are being called (registered via register_shutdown_function).
; This option will enable timeout limit to be applied unconditionally
; even in such cases.
; Default Value: no
;request_terminate_timeout_track_finished = no

; Set open file descriptor rlimit.
; Default Value: system defined value
;rlimit_files = 1024

; Set max core size rlimit.
; Possible Values: 'unlimited' or an integer greater or equal to 0
; Default Value: system defined value
;rlimit_core = 0

; Chroot to this directory at the start. This value must be defined as an
; absolute path. When this value is not set, chroot is not used.
; Note: you can prefix with '$prefix' to chroot to the pool prefix or one
; of its subdirectories. If the pool prefix is not set, the global prefix
; will be used instead.
; Note: chrooting is a great security feature and should be used whenever
; possible. However, all PHP paths will be relative to the chroot
; (error_log, sessions.save_path, ...).
; Default Value: not set
;chroot =

; Chdir to this directory at the start.
; Note: relative path can be used.
; Default Value: current directory or / when chroot
;chdir = /var/www

; Redirect worker stdout and stderr into main error log. If not set, stdout and
; stderr will be redirected to /dev/null according to FastCGI specs.
; Note: on highloaded environment, this can cause some delay in the page
; process time (several ms).
; Default Value: no
;catch_workers_output = yes

; Decorate worker output with prefix and suffix containing information about
; the child that writes to the log and if stdout or stderr is used as well as
; log level and time. This options is used only if catch_workers_output is yes.
; Settings to "no" will output data as written to the stdout or stderr.
; Default value: yes
;decorate_workers_output = no

; Clear environment in FPM workers
; Prevents arbitrary environment variables from reaching FPM worker processes
; by clearing the environment in workers before env vars specified in this
; pool configuration are added.
; Setting to "no" will make all environment variables available to PHP code
; via getenv(), $_ENV and $_SERVER.
; Default Value: yes
;clear_env = no

; Limits the extensions of the main script FPM will allow to parse. This can
; prevent configuration mistakes on the web server side. You should only limit
; FPM to .php extensions to prevent malicious users to use other extensions to
; execute php code.
; Note: set an empty value to allow all extensions.
; Default Value: .php
;security.limit_extensions = .php .php3 .php4 .php5 .php7

; Pass environment variables like LD_LIBRARY_PATH. All $VARIABLEs are taken from
; the current environment.
; Default Value: clean env
;env[HOSTNAME] = $HOSTNAME
;env[PATH] = /usr/local/bin:/usr/bin:/bin
;env[TMP] = /tmp
;env[TMPDIR] = /tmp
;env[TEMP] = /tmp

; Additional php.ini defines, specific to this pool of workers. These settings
; overwrite the values previously defined in the php.ini. The directives are the
; same as the PHP SAPI:
; php_value/php_flag - you can set classic ini defines which can
; be overwritten from PHP call 'ini_set'.
; php_admin_value/php_admin_flag - these directives won't be overwritten by
; PHP call 'ini_set'
; For php_*flag, valid values are on, off, 1, 0, true, false, yes or no.

; Defining 'extension' will load the corresponding shared extension from
; extension_dir. Defining 'disable_functions' or 'disable_classes' will not
; overwrite previously defined php.ini values, but will append the new value
; instead.

; Note: path INI options can be relative and will be expanded with the prefix
; (pool, global or /usr/local)

; Default Value: nothing is defined by default except the values in php.ini and
; specified at startup with the -d argument
;php_admin_value[sendmail_path] = /usr/sbin/sendmail -t -i -f www@my.domain.com
;php_flag[display_errors] = off
;php_admin_value[error_log] = /var/log/fpm-php.www.log
;php_admin_flag[log_errors] = on
;php_admin_value[memory_limit] = 32M

运行命令

1
2
3
4
5


podman run --name php-fpm --pod nginxpod \
-v /root/docker/nginx/www:/var/www/html \
-v /root/docker/php/conf/www.conf:/usr/local/etc/php-fpm.d/www.conf \
-v /root/docker/php/conf/php.ini:/usr/local/etc/php/php.ini \
-d php:8.1-fpm

nginx部署

这里需要配置SSL，我暂时先用自签证书。

1
2
3
4
5
6


mkdir -p ./conf/cert
cd ./conf/cert

openssl genrsa -out server.key 2048
openssl req -new -key server.key -out server.csr
openssl x509 -req -in server.csr -signkey server.key -out server.crt

在conf目录创建nginx配置文件

./conf/default.conf

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44


server {
 listen 80;
 listen [::]:80;
 server_name localhost;

 #access_log /var/log/nginx/host.access.log main;

 root /usr/share/nginx/html;
 location / {
 root /usr/share/nginx/html;
 index index.html index.htm;
 }

 #error_page 404 /404.html;

 # redirect server error pages to the static page /50x.html
 #
 error_page 500 502 503 504 /50x.html;
 location = /50x.html {
 root /usr/share/nginx/html;
 }

 # proxy the PHP scripts to Apache listening on 127.0.0.1:80
 #
 #location ~ \.php$ {
 # proxy_pass http://127.0.0.1;
 #}

 # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000

 location ~ \.php$ {
 fastcgi_pass php-fpm:9000;
 fastcgi_index index.php;
 fastcgi_param SCRIPT_FILENAME /var/www/html/$fastcgi_script_name;
 include fastcgi_params;
 }

 # deny access to .htaccess files, if Apache's document root
 # concurs with nginx's one
 #
 location ~ /\.ht {
 deny all;
 }
}

./conf/ssl.conf

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54


server {
 listen 443 ssl default_server;
 listen [::]:443 ssl default_server;
 # 开启 HTTP/3
 listen 443 quic reuseport;
 listen [::]:443 quic reuseport;
 # 开启 HTTP/2
 http2 on;
 server_name fatkun2.ddnsfree.com;

 ssl_certificate /etc/nginx/conf.d/cert/server.crt;
 ssl_certificate_key /etc/nginx/conf.d/cert/server.key;

 ssl_session_timeout 1d;
 ssl_session_cache shared:SSL:10m;
 ssl_session_tickets off;

 ssl_protocols TLSv1.2 TLSv1.3;
 ssl_ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384;
 ssl_prefer_server_ciphers off;

 #access_log /var/log/nginx/host.access.log main;

 root /usr/share/nginx/html;
 location / {
 root /usr/share/nginx/html;
 index index.html index.htm;
 }

 #error_page 404 /404.html;

 # redirect server error pages to the static page /50x.html
 #
 error_page 500 502 503 504 /50x.html;
 location = /50x.html {
 root /usr/share/nginx/html;
 }

 # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000

 location ~ \.php$ {
 fastcgi_pass php-fpm:9000;
 fastcgi_index index.php;
 fastcgi_param SCRIPT_FILENAME /var/www/html/$fastcgi_script_name;
 include fastcgi_params;
 }

 # deny access to .htaccess files, if Apache's document root
 # concurs with nginx's one
 #
 location ~ /\.ht {
 deny all;
 }
}

启动nginx

1
2
3
4


podman run --name nginx --pod nginxpod \
-v /root/docker/nginx/conf:/etc/nginx/conf.d \
-v /root/docker/nginx/www:/usr/share/nginx/html \
-v /root/docker/nginx/log:/var/log/nginx -d nginx

自动启动

podman由于没有常驻进程，启动需要依赖systemd，执行命令会生成3个service(container-nginx.service container-php-fpm.service pod-nginxpod.service)文件

1

podman generate systemd --files --name nginxpod

把service拷贝到systemd目录

1
2
3


cp *.service /etc/systemd/system
# 开启服务
systemctl enable pod-nginxpod

去除某直播平台广告

Mon, 05 Aug 2024 14:51:54 +0800

声明

仅用于学习用途，不可用作非法用途。

工具

jadx
mt工具箱
apktool

分析

软件版本：8.0.2

这个直播平台的广告主要有开屏广告和在后台播放一段时间后，切回应用时会跳出广告。由于其他的广告干扰不大，所以只去掉这两种广告。

首先用MT工具箱记录Activity，看看有没有启动的Activity。完全关闭应用后，重新打开。发现开屏广告没有新的Activity，不过知道了首页的Activity是什么。

再来测试切回应用的广告，这时就看到有新的Activity(HotStartSplashActivity)了。同时在同一个Package里面也有一个 ColdStartSplashAd，猜测是开屏广告。

找到Activity后，就找哪里启动这个Activity的。用MT工具看没有加固，直接用jadx分析代码。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


 public final void m22715a(@NotNull Context context) {
 if (PatchProxy.proxy(new Object[]{context}, this, f28598a, false, "686f70ac", new Class[]{Context.class}, Void.TYPE).isSupport) {
 return;
 }
 Intrinsics.checkNotNullParameter(context, "context");
 Intent intent = new Intent(context, (Class<?>) HotStartSplashActivity.class);
 if (!(context instanceof Activity)) {
 intent.addFlags(CommonNetImpl.FLAG_AUTH);
 }
 try {
 context.startActivity(intent);
 } catch (Exception e7) {
 DYInstantLog.m11921a(DYLogFirstTagEnum.DY_LOG_Action_ShowHotAD, "热启动广告activity启动异常：" + e7.getMessage());
 }
 }

找到调用链路，HotStartSplashAd代码里面

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


public final void a(SplashAdInfo splashAdInfo) {
 if (PatchProxy.proxy(new Object[]{splashAdInfo}, this, f28605c, false, "7a93ae5a", new Class[]{SplashAdInfo.class}, Void.TYPE).isSupport) {
 return;
 }
 HotStartSplashAd hotStartSplashAd = HotStartSplashAd.f28604d;
 HotStartSplashAd.mSplashAdInfo = SplashAdManager.this.getSplashAdInfo();
 if (splashAdInfo.getAdBean() != null) {
 SplashAdDot.f28661z.m22780g(SplashAdPos.f28774h.m22912a(), "0", "1");
 DYInstantLog.m11925e(DYLogFirstTagEnum.DY_LOG_Action_ShowHotAD, "热启动广告数据获取成功");
 HotStartSplashActivity.INSTANCE.m22715a(context);
 }
}

这里在判断不为空的时候，启动Activity。找到代码里，修改也很容易，直接返回就好了。

找到对应方法的smali代码，插入 return-void，注意这个是匿名方法，在一个$的文件里面。

再来分析冷启动的代码ColdStartSplashAd，这里主要是找有没有一些关键字，AD、广告之类的，最终看到是这里的代码。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


 public final Observable<Boolean> B() {
 PatchProxyResult proxy = PatchProxy.proxy(new Object[0], this, f27857l, false, "55b00877", new Class[0], Observable.class);
 if (proxy.isSupport) {
 return (Observable) proxy.result;
 }
 f27858m.r(true);
 MADProviderUtils.a(LaunchAnalyzerConstant.f8829f);
 SplashAdDot.f27953z.C(System.currentTimeMillis());
 OperationInfoPreload operationInfoPreload = OperationInfoPreload.f28123d;
 OperationInfo c10 = operationInfoPreload.c();
 DYLogSdk.i("launcher", "检查是否有运营图:" + c10.getHasOperation() + " 运营图数据加载过？ " + operationInfoPreload.b());
 if (c10.getHasOperation()) {
 R(c10);
 } else {
 MonitorLog.f29755c.b(LaunchStageLog.NO_LAUNCH_OPERATION);
 D();
 }
 return this.homeObservable;
 }

不能直接跳过D方法，否则会导致下面的导航栏位置不对。进入D()方法，里面有一个timeout方法，把超时时间改为1毫秒跳过广告。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


 public final void D() {
 if (PatchProxy.proxy(new Object[0], this, f27857l, false, "f4df8d85", new Class[0], Void.TYPE).isSupport) {
 return;
 }
 final long b10 = AdSdk.k() != null ? r0.b() : 2000L;
 f27858m.n().timeout(b10, TimeUnit.MILLISECONDS).observeOn(AndroidSchedulers.mainThread()).subscribe(new Action1<SplashAdInfo>() { // from class: com.dou**.module.ad.launch.ColdStartSplashAd$observeSplashAdResult$1

 /* renamed from: b, reason: collision with root package name */
 public static PatchRedirect f27880b;

 public final void a(SplashAdInfo it) {
 if (PatchProxy.proxy(new Object[]{it}, this, f27880b, false, "9beacd31", new Class[]{SplashAdInfo.class}, Void.TYPE).isSupport) {
 return;
 }
 MonitorLog.f29755c.b(LaunchStageLog.LAUNCH_AD_REQUEST_COMPLETE_SHOW_AD);
 ColdStartSplashAd coldStartSplashAd = ColdStartSplashAd.this;
 Intrinsics.checkNotNullExpressionValue(it, "it");
 ColdStartSplashAd.g(coldStartSplashAd, it);
 }

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


 if-eqz v0, :cond_1

 invoke-interface {v0}, Lcom/dou**/sdk/ad/callback/AdInitCallback;->b()I

 move-result v0

 int-to-long v0, v0

 goto :goto_0

 :cond_1
 const-wide/16 v0, 0x7d0 # 这里是原来的超时时间2000毫秒

 .line 2
 :goto_0

 # FIX 改这里超时时间！！！改为1毫秒
 const-wide/16 v0, 0x1

 sget-object v2, Lcom/dou**/module/ad/launch/ColdStartSplashAd;->m:Lcom/dou**/module/ad/launch/data/SplashAdManager;

 invoke-virtual {v2}, Lcom/dou**/module/ad/launch/data/SplashAdManager;->n()Lrx/Observable;

 move-result-object v2

右侧浮动广告

右侧浮动广告，代码在com.****.module.player.p092p.adfloatball.AdFloatBallView里。

AdFloatBallView类里面有三个匿名类，AdFloatBallView$bindData$1、AdFloatBallView$bindData$2、AdFloatBallView$bindData$3

搜索bindData可以找到一个方法

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


 public final void kf(@org.jetbrains.annotations.NotNull final com.dou**.sdk.ad.AdBean r16, final boolean r17, @org.jetbrains.annotations.Nullable final java.lang.Runnable r18, @org.jetbrains.annotations.Nullable final java.lang.Runnable r19, @org.jetbrains.annotations.NotNull final kotlin.jvm.functions.Function0<kotlin.Unit> r20) {
 /*
 L9f:
 rx.Observable r0 = r15.Ef(r4)
 com.dou**.module.player.p.adfloatball.AdFloatBallView$bindData$1 r1 = new com.dou**.module.player.p.adfloatball.AdFloatBallView$bindData$1
 r1.<init>()
 rx.Observable r0 = r0.map(r1)
 Lac:
 r12 = r0
 com.dou**.module.player.p.adfloatball.AdFloatBallView$bindData$2 r13 = new com.dou**.module.player.p.adfloatball.AdFloatBallView$bindData$2
 r0 = r13
 r1 = r15
 r2 = r20
 r5 = r18
 r6 = r19
 r7 = r17
 r8 = r16
 r0.<init>()
 com.dou**.module.player.p.adfloatball.AdFloatBallView$bindData$3 r0 = new com.dou**.module.player.p.adfloatball.AdFloatBallView$bindData$3
 r0.<init>()
 rx.Subscription r0 = r12.subscribe(r13, r0)
 r9.bindDataSubscription = r0
 return
 */

另外还有个AdFloatBallView$bindDataForSdkAD

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


 public final void wf(@NotNull final AdBean adBean, @NotNull String posId, @Nullable final Runnable exposeRunnable, @Nullable Runnable clickRunnable) {
 if (PatchProxy.proxy(new Object[]{adBean, posId, exposeRunnable, clickRunnable}, this, f65676n, false, "84fcb75c", new Class[]{AdBean.class, String.class, Runnable.class, Runnable.class}, Void.TYPE).isSupport) {
 return;
 }
 Intrinsics.checkNotNullParameter(adBean, "adBean");
 Intrinsics.checkNotNullParameter(posId, "posId");
 reset();
 setTag(adBean);
 if (this.mpNativeAd == null) {
 this.mpNativeAd = new MpNativeAd(this.idleSdkAdContainer);
 }
 MpNativeAd mpNativeAd = this.mpNativeAd;
 if (mpNativeAd != null) {
 mpNativeAd.e(posId, clickRunnable, new Function1<Integer, Unit>() { // from class: com.dou**.module.player.p.adfloatball.AdFloatBallView$bindDataForSdkAD$1
 public static PatchRedirect patch$Redirect;

中部横幅广告

如何找到对应的代码？我是先用autojs分析布局，找出对应控件的id，但是由于id是混淆的，有重复的，只能一个个找，看看在某个layout里面是否都有这些id。但是找到layout好像也没用，在代码中没有找到对应layout。

之后通过搜索R.id.xxx 找到相关的代码。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


 View.inflate(context, R.layout.f264114j0, this);
 View findViewById = findViewById(R.id.a5n);
 Intrinsics.checkNotNullExpressionValue(findViewById, "findViewById(R.id.bg_view_for_rambo)");
 this.ivViewBackground = findViewById;
 findViewById.setBackgroundColor(((Number) com.*****.sdk.apkdownload.ExtensionsKt.m123158n(RoomUtil.m60539s(this), Integer.valueOf(BaseThemeUtils.m14626b(context, R.attr.f258987f9)), 0)).intValue());
 View findViewById2 = findViewById(R.id.erx);
 Intrinsics.checkNotNullExpressionValue(findViewById2, "findViewById(R.id.iv_game_bg)");
 this.ivGameBackground = (DYImageView) findViewById2;
 View findViewById3 = findViewById(R.id.erz);
 Intrinsics.checkNotNullExpressionValue(findViewById3, "findViewById(R.id.iv_game_icon)");
 this.ivGameIcon = (DYImageView) findViewById3;
 View findViewById4 = findViewById(R.id.el2);
 Intrinsics.checkNotNullExpressionValue(findViewById4, "findViewById(R.id.iv_close)");
 ImageView imageView = (ImageView) findViewById4;

代码在XHCommonPlayerBannerView和XHCommonPlayerBannerView2里面，可以在bindData里面拦截。

以XHCommonPlayerBannerView2举例，在匿名类class XHCommonPlayerBannerView2$bindData$1里面，在run方法里面拦截

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29


public final class XHCommonPlayerBannerView2$bindData$1 implements Runnable {

 /* renamed from: c */
 public static PatchRedirect f76594c;

 /* renamed from: b */
 public final /* synthetic */ XHCommonBannerStyleData f76596b;

 public XHCommonPlayerBannerView2$bindData$1(XHCommonBannerStyleData xHCommonBannerStyleData) {
 data = xHCommonBannerStyleData;
 }

 @Override // java.lang.Runnable
 public final void run() {
 if (PatchProxy.proxy(new Object[0], this, f76594c, false, "7ca8490d", new Class[0], Void.TYPE).isSupport) {
 return;
 }
 XHCommonBannerStyleData xHCommonBannerStyleData = data;
 if (xHCommonBannerStyleData instanceof DefaultStyle) {
 XHCommonPlayerBannerView2.m56696Jc(XHCommonPlayerBannerView2.this, (DefaultStyle) xHCommonBannerStyleData);
 }
 Activity m14684a = DYActivityUtils.m14684a(XHCommonPlayerBannerView2.this);
 if (m14684a != null) {
 ThemeResBean m75780c = RamboSkinProviderUtil.INSTANCE.m75780c(m14684a);
 int m74739g = RamboProviderUtil.m74739g(m14684a);
 XHCommonPlayerBannerView2.this.mo56399J7(m74739g, ThemeResBeanKt.m75790a(m74739g, m75780c));
 }
 }
}

如果只是上面拦截，广告不加载了，但是有一个空白的框，找到调用它的上一层方法，从这里拦截。 com.*****.module.player.p106p.animatedad.widget.commonbanner.NewGamePlayerAdPresenter

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42


 /* renamed from: n */
 private final void m56626n(Context context, String bizType) {
 ILandHalfContentProvider iLandHalfContentProvider;
 if (PatchProxy.proxy(new Object[]{context, bizType}, this, f76460h, false, "ab81d0c2", new Class[]{Context.class, String.class}, Void.TYPE).isSupport) {
 return;
 }
 if (RoomUtil.m60538r(context)) {
 RamboXHAnimatedAdCompatNeuron ramboXHAnimatedAdCompatNeuron = (RamboXHAnimatedAdCompatNeuron) Hand.m132371l(DYActivityUtils.m14690g(context), RamboXHAnimatedAdCompatNeuron.class);
 if (ramboXHAnimatedAdCompatNeuron != null) {
 ramboXHAnimatedAdCompatNeuron.m74770tI(m56629q());
 }
 } else if (RoomUtil.m60535o(context) && (iLandHalfContentProvider = (ILandHalfContentProvider) DYRouter.getInstance().navigationLive(context, ILandHalfContentProvider.class)) != null) {
 iLandHalfContentProvider.mo67745c1(m56629q().mo56402j());
 iLandHalfContentProvider.mo67754n0(0L, 0);
 }
 IXHCommonBannerView m56629q = m56629q();
 XHCommonBannerStyleData xHCommonBannerStyleData = null;
 XHCommonPlayerBannerView xHCommonPlayerBannerView = (XHCommonPlayerBannerView) (!(m56629q instanceof XHCommonPlayerBannerView) ? null : m56629q);
 if (xHCommonPlayerBannerView != null) {
 xHCommonPlayerBannerView.setGifFrequencyController(new FrequencyControlGif(this.mFreq));
 xHCommonPlayerBannerView.setMp4FrequencyController(new FrequencyControlMp4(this.mFreq));
 }
 IAbsAdBean iAbsAdBean = this.mRealGameData;
 if (iAbsAdBean instanceof StarSeaDataBean) {
 if (!(iAbsAdBean instanceof StarSeaDataBean)) {
 iAbsAdBean = null;
 }
 StarSeaDataBean starSeaDataBean = (StarSeaDataBean) iAbsAdBean;
 if (starSeaDataBean != null) {
 xHCommonBannerStyleData = XHCommonBannerStyleKt.m56671d(starSeaDataBean, bizType);
 }
 } else if (iAbsAdBean instanceof CommonAdBean) {
 if (!(iAbsAdBean instanceof CommonAdBean)) {
 iAbsAdBean = null;
 }
 CommonAdBean commonAdBean = (CommonAdBean) iAbsAdBean;
 if (commonAdBean != null) {
 xHCommonBannerStyleData = XHCommonBannerStyleKt.m56670c(commonAdBean);
 }
 }
 m56629q.mo56398C8(xHCommonBannerStyleData);
 }

其他广告

com.*****.module.yuba2.dynamic.hometab.follow.DynamicVideoAdManager 不知道是什么广告

通用广告

com.*****.sdk.ad.AdView 能够屏蔽首页的一些广告，但会导致部分地方空白。能够屏蔽热议首页广告（不完全）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


 public void bindAd(AdBean adBean) {
 IAdView iAdView;
 if (PatchProxy.proxy(new Object[]{adBean}, this, patch$Redirect, false, "8331d9cb", new Class[]{AdBean.class}, Void.TYPE).isSupport || (iAdView = this.mAdView) == null) {
 return;
 }
 iAdView.b(adBean);
 }

 public void bindAdByJson(String str) {
 IAdView iAdView;
 if (PatchProxy.proxy(new Object[]{str}, this, patch$Redirect, false, "a5187cea", new Class[]{String.class}, Void.TYPE).isSupport || (iAdView = this.mAdView) == null) {
 return;
 }
 iAdView.b((AdBean) Utils.t(str, AdBean.class));
 }

关播广告

找到一个类似播放广告视频的类com.*****.sdk.ad.dou**.video.AdVideoPlayerPresenter，使用frida监控这个类的所有方法，可以看到有一个是从这个类请求的。com.*****.module.player.p.liveclose.rambo.widget.CloseRoomAdViewFullscreen

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


 public final void Bd(@Nullable AdBean adBean) {
 final DyAdBean dyAdBean;
 boolean z7 = true;
 if (PatchProxy.proxy(new Object[]{adBean}, this, f50296r, false, "5d1c3069", new Class[]{AdBean.class}, Void.TYPE).isSupport || adBean == null || (dyAdBean = adBean.getDyAdBean()) == null) {
 return;
 }
 if (dyAdBean.localIsPlayedCompleted) {
 DYInstantLog.e("关播广告", "已经播放完成了，不再播放");
 return;
 }
 if (this.currentDyAdBean != null) {
 DYInstantLog.e("关播广告", "已经有广告数据了，不再重复播放");
 return;
 }
 省略...
 }

逆向某某鹰文件，破解VIP功能

Fri, 19 Jul 2024 14:22:01 +0800

声明

仅用于学习用途，不可用作非法用途。

软件

APKToolGUI
jadx
frida

我下载的app版本是13.1.1

分析过程

这个软件没有加壳，直接用jadx查看源码。代码被混淆了，可以在工具->反混淆勾选，代码相对容易分析一点。先尝试搜索vip之类的字符串，字符串搜索到一些，但是没看到代码引用。

只能无目的浏览一下代码，看到包名有些没有混淆，例如 com.****.fileexplorer.purchase，在里面找到一系列的OWLFILES_MEMBER 开头的变量，其中有个LEVEL的变量特别在意。

搜索OWLFILES_MEMBER_LEVEL找到一处代码，在com/***/fileexplorer/purchase/account/a0，这段代码看起来是读取这个值，如果没有则返回0。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15



 /* renamed from: g */
 public static long m6862g(Context context) {
 Long l10 = f4784b;
 if (l10 != null) {
 return l10.longValue();
 }
 C5997g c5997g = new C5997g(context);
 if (m6864i(context)) {
 f4784b = Long.valueOf(c5997g.m8776c("OWLFILES_MEMBER_LEVEL", 0L));
 } else {
 f4784b = 0L;
 }
 return f4784b.longValue();
 }

我们可以使用frida hook查看返回值。使用右键“复制为frida片段”，把复制的片段嵌套在Java.perform(function(){代码...}里。

1
2
3
4
5
6
7
8
9


Java.perform(function(){
 let AbstractC5530a0 = Java.use("com.*****.fileexplorer.purchase.account.a0");
 AbstractC5530a0["g"].implementation = function (context) {
 console.log(`AbstractC5530a0.m6862g is called: context=${context}`);
 let result = this["g"](context);
 console.log(`AbstractC5530a0.m6862g result=${result}`);
 return result;
 };
})

frida 具体用法不说了，自己搜索，frida 执行命令

1

frida -U -f com.***.apps.fileexplorerfree -l .\t.js

可以看到值都是0。这里可以把 return result; 直接改成 return 1;尝试一下，发现可以使用VIP功能了。

修改

使用APK Tool GUI，拖入APK，点击反编译。

使用vscode打开smali文件，从上面代码看我们要返回一个long类型的数字。我对smali语法不熟，直接问AI还挺方便的。直接在代码开头返回1。

1
2
3
4
5
6
7
8
9


.method public static g(Landroid/content/Context;)J
 .locals 3

 // 添加下面两行
 const-wide/16 v0, 0x1L
 return-wide v0

 // 省略其他代码
.end method

修改保存后，点击编译 重新编译成APK文件，编译后会自动签名，就可以把app传到手机上安装了。

Android14 https 抓包

Sat, 22 Jun 2024 00:41:10 +0800

目标

使用Android14的设备进行网络抓包。

前提

我的设备是小米6平板，已root。

操作

使用Reqable来抓包，这个软件和知名应用HttpCanary是同一个作者，试用了一下还挺方便。

由于要抓取的是https，所以要安装CA证书，我是抓取手机的APP，Reqable有指引怎么在Android手机安装证书，我用的是Magisk的方式。

同时在手机上也下载一个客户端，我是使用协同的方式。电脑点击左上角的手机图标，手机扫码后，使用协同的方式。这个时候已经可以抓取部分https的请求了，但是部分提示客户端SSL握手失败。

客户端SSL握手失败的问题，这时要借助LSPosed的模块JustTrustMe，用于跳过证书校验，为了支持Android14，有人自己编译了一个版本。安装后，并且选择你抓包的应用。

逆向某电新闻

Fri, 21 Jun 2024 14:22:01 +0800

声明

仅用于学习用途，不可用作非法用途。

以下操作参考这篇文章安卓逆向--某c电新闻x-itouchtv-ca-signature参数分析实现。

操作

前提要求

一台root的机器（我使用真机，从刷机包找到boot.img，使用magisk给boot.img打补丁，最后使用fastboot刷人boot_patch.img）

脱壳静态分析

由于apk用了360加固（可以使用PKID查看），所以得先把代码dump出来。

安装frida, objection 等软件

pip3 install frida
pip3 install frida-tools
pip3 install objection

安装ADB工具，确保 adb devices 能够列出机器，如果没有列出

在电脑管理设备页面检查驱动是否安装了
在手机检查开发者选项里，USB调试是否已经打开

原文是用 objection 配合 frida_dexdump 使用，但是我没法使用，可能是 frida_dexdump 已经不更新了。

pip3 install frida_dexdump

下载frida_server文件放到手机目录下

adb push .\frida-server /data/local/tmp
adb shell

进入shell之后

1
2
3
4


su
cd /data/local/tmp
chmod +x frida-server
./frida-server

另外我尝试单独用 frida_dexdump ，能导出dex文件，但是导出的不是我想要的代码

1

frida-hexdump -U -f com.touchtv.touchtv

这里找到一篇文章，发现可以导出dex

脚本地址：https://github.com/r0ysue/frida_dump

1

frida -U --no-pause -f com.touchtv.touchtv -l dump_dex.js

执行之后，结果在手机的/data/data/{包名}/files/目录下

dump_dex.js 内容如下

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125


function get_self_process_name() {
 var openPtr = Module.getExportByName('libc.so', 'open');
 var open = new NativeFunction(openPtr, 'int', ['pointer', 'int']);

 var readPtr = Module.getExportByName("libc.so", "read");
 var read = new NativeFunction(readPtr, "int", ["int", "pointer", "int"]);

 var closePtr = Module.getExportByName('libc.so', 'close');
 var close = new NativeFunction(closePtr, 'int', ['int']);

 var path = Memory.allocUtf8String("/proc/self/cmdline");
 var fd = open(path, 0);
 if (fd != -1) {
 var buffer = Memory.alloc(0x1000);

 var result = read(fd, buffer, 0x1000);
 close(fd);
 result = ptr(buffer).readCString();
 return result;
 }

 return "-1";
}

function dump_dex() {
 var libart = Process.findModuleByName("libart.so");
 var addr_DefineClass = null;
 var symbols = libart.enumerateSymbols();
 for (var index = 0; index < symbols.length; index++) {
 var symbol = symbols[index];
 var symbol_name = symbol.name;
 //这个DefineClass的函数签名是Android9的
 //_ZN3art11ClassLinker11DefineClassEPNS_6ThreadEPKcmNS_6HandleINS_6mirror11ClassLoaderEEERKNS_7DexFileERKNS9_8ClassDefE
 if (symbol_name.indexOf("ClassLinker") >= 0 &&
 symbol_name.indexOf("DefineClass") >= 0 &&
 symbol_name.indexOf("Thread") >= 0 &&
 symbol_name.indexOf("DexFile") >= 0 ) {
 console.log(symbol_name, symbol.address);
 addr_DefineClass = symbol.address;
 }
 }
 var dex_maps = {};

 console.log("[DefineClass:]", addr_DefineClass);
 if (addr_DefineClass) {
 Interceptor.attach(addr_DefineClass, {
 onEnter: function (args) {
 var dex_file = args[5];
 //ptr(dex_file).add(Process.pointerSize) is "const uint8_t* const begin_;"
 //ptr(dex_file).add(Process.pointerSize + Process.pointerSize) is "const size_t size_;"
 var base = ptr(dex_file).add(Process.pointerSize).readPointer();
 var size = ptr(dex_file).add(Process.pointerSize + Process.pointerSize).readUInt();

 if (dex_maps[base] == undefined) {
 dex_maps[base] = size;
 var magic = ptr(base).readCString();
 if (magic.indexOf("dex") == 0) {
 var process_name = get_self_process_name();
 if (process_name != "-1") {
 var dex_path = "/data/data/" + process_name + "/files/" + base.toString(16) + "_" + size.toString(16) + ".dex";
 console.log("[find dex]:", dex_path);
 var fd = new File(dex_path, "wb");
 if (fd && fd != null) {
 var dex_buffer = ptr(base).readByteArray(size);
 fd.write(dex_buffer);
 fd.flush();
 fd.close();
 console.log("[dump dex]:", dex_path);

 }
 }
 }
 }
 }, onLeave: function (retval) {
 }
 });
 }
}

var is_hook_libart = false;

function hook_dlopen() {
 Interceptor.attach(Module.findExportByName(null, "dlopen"), {
 onEnter: function (args) {
 var pathptr = args[0];
 if (pathptr !== undefined && pathptr != null) {
 var path = ptr(pathptr).readCString();
 //console.log("dlopen:", path);
 if (path.indexOf("libart.so") >= 0) {
 this.can_hook_libart = true;
 console.log("[dlopen:]", path);
 }
 }
 },
 onLeave: function (retval) {
 if (this.can_hook_libart && !is_hook_libart) {
 dump_dex();
 is_hook_libart = true;
 }
 }
 })

 Interceptor.attach(Module.findExportByName(null, "android_dlopen_ext"), {
 onEnter: function (args) {
 var pathptr = args[0];
 if (pathptr !== undefined && pathptr != null) {
 var path = ptr(pathptr).readCString();
 //console.log("android_dlopen_ext:", path);
 if (path.indexOf("libart.so") >= 0) {
 this.can_hook_libart = true;
 console.log("[android_dlopen_ext:]", path);
 }
 }
 },
 onLeave: function (retval) {
 if (this.can_hook_libart && !is_hook_libart) {
 dump_dex();
 is_hook_libart = true;
 }
 }
 });
}


setImmediate(hook_dlopen);

可能会有出错，先忽略，先用jadx分析。

搜索关键字找到生成header的地方，有多个位置有类似的代码，可以静态分析一下哪个是app调用的。

里面还可以找到是怎么签名的，签名方式不变，还是HMAC，里面有些内容是base64后的，需要decode。

动态分析

由于我已经有了之前别人的php，我这里不需要抓包分析，我只需要分析header信息是什么。

1

objection -g com.touchtv.touchtv explore -s "android sslpinning disable --quiet"

使用objection hook功能，但是我这里会提示找不到类，可能app新版本禁止了

android hooking watch class com.touchtv.internetSDK.network.d

换了一种方式去hook，但我对objection不熟，能用就行

把以下脚本保存1.js

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35


function foo(clz){
 console.log("--------", clz)
 clz.v.implementation = function ( url, body, method, extraParams) {
 send("arg0:" + url)
 send("arg1:" + body)
 send("arg2:" + method)

 var Map = Java.use('java.util.HashMap');
 var map = this.v(url, body, method, extraParams)
 var res_map = Java.cast(map, Map);
 send("map:" + res_map.toString())

 }
}

Java.perform(function(){
 Java.choose("dalvik.system.PathClassLoader",{
 onMatch: function(instance){
 console.log(instance)
 console.log(Java.ClassFactory)
 var factory = Java.ClassFactory.get(instance)
 try{
 var myClass = factory.use("com.touchtv.internetSDK.network.d")
 foo(myClass)
 return "stop"
 }catch(e){
 console.log("next")
 console.log(e)
 }
 },
 onComplete:function(){
 console.log("Done")
 }
 })
})

在objection里引入这个js（如果要更新js，则需要退出objection重新import）

import ./1.js

代码会报错，不过无所谓(对objection不熟)，这段代码是hook com.touchtv.internetSDK.network.d 的 v 方法，拿到输入参数和输出结果。

执行完之后，回到手机上，点击APP的页面，然后可以在CMD看到hook的输出。

这样我们就拿到所有header信息了，幸运的是，这里我发现只要拿其中一个header就能够请求成功了。

参考

安卓逆向--某c电新闻x-itouchtv-ca-signature参数分析

看雪dump dex

Nacos配置服务源码分析

Mon, 15 Jan 2024 20:05:39 +0800

概要

分析的版本为nacos 2.3.0，nacos 2.x版本使用grpc通信，先看主要的proto文件

GRPC通信

获取配置

先从代码入口入手，nacos源码中有一个Example（com.alibaba.nacos.example.ConfigExample）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


String serverAddr = "localhost";
String dataId = "test";
String group = "DEFAULT_GROUP";
Properties properties = new Properties();
properties.put("serverAddr", serverAddr);
// 创建一个NacosConfigService
ConfigService configService = NacosFactory.createConfigService(properties);
// 获取配置
String content = configService.getConfig(dataId, group, 5000);
System.out.println("[config content] " + content);
// 注册回调
configService.addListener(dataId, group, new Listener() {
 @Override
 public void receiveConfigInfo(String configInfo) {
 System.out.println("receive:" + configInfo);
 }

 @Override
 public Executor getExecutor() {
 return null;
 }
});

进入getConfig方法，看看是如何获取配置的

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


private String getConfigInner(String tenant, String dataId, String group, long timeoutMs) throws NacosException {
 // ...
 // 从本地获取配置，这个是用于灾备场景的
 String content = LocalConfigInfoProcessor.getFailover(worker.getAgentName(), dataId, group, tenant);
 // ...
 // 从服务端获取配置
 ConfigResponse response = worker.getServerConfig(dataId, group, tenant, timeoutMs, false);
 cr.setContent(response.getContent());

}

调用的是ClientWorker.getServerConfig() -> ConfigRpcTransportClient.queryConfig()

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


public ConfigResponse queryConfig(String dataId, String group, String tenant, long readTimeouts, boolean notify) throws NacosException {
 // 创建一个ConfigQueryRequest的请求
 ConfigQueryRequest request = ConfigQueryRequest.build(dataId, group, tenant);
 request.putHeader(NOTIFY_HEADER, String.valueOf(notify));
 RpcClient rpcClient = getOneRunningClient();
 ...
 // 向服务端请求
 ConfigQueryResponse response = (ConfigQueryResponse) requestProxy(rpcClient, request, readTimeouts);

 ConfigResponse configResponse = new ConfigResponse();
 if (response.isSuccess()) {
 // 写成文件
 LocalConfigInfoProcessor.saveSnapshot(this.getName(), dataId, group, tenant, response.getContent());

 configResponse.setContent(response.getContent());
 ...
 }

跟踪代码，ConfigRpcTransportClient.requestProxy() -> rpcClientInner.request() -> GrpcConnection#request()

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


 public Response request(Request request, long timeouts) throws NacosException {
 // 序列化请求
 Payload grpcRequest = GrpcUtils.convert(request);
 // 调用PB方法
 ListenableFuture<Payload> requestFuture = grpcFutureServiceStub.request(grpcRequest);
 Payload grpcResponse;
 try {
 if (timeouts <= 0) {
 grpcResponse = requestFuture.get();
 } else {
 grpcResponse = requestFuture.get(timeouts, TimeUnit.MILLISECONDS);
 }
 } catch (Exception e) {
 throw new NacosException(NacosException.SERVER_ERROR, e);
 }

 // 反序列化结果
 return (Response) GrpcUtils.parse(grpcResponse);
 }

这里涉及到grpc的调用，从proto文件（src/main/proto/nacos_grpc_service.proto）看，主要有两个接口

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


message Payload {
 Metadata metadata = 2;
 google.protobuf.Any body = 3; // 主要的Request对象序列化成这个
}

service Request {
 // 注册、获取配置
 rpc request (Payload) returns (Payload) {
 }
}

service BiRequestStream {
 // stream接口，双向通信，用于接收服务端推送的更新
 rpc requestBiStream (stream Payload) returns (stream Payload) {
 }
}

客户端的请求是ConfigQueryRequest，对应服务端的代码在com.alibaba.nacos.config.server.remote.ConfigQueryRequestHandler

// 待填充

// 服务端这里主要是从磁盘里(直接文件获取或者通过rocksDB)获取内容

监听配置

监听采用的回调的思想，当服务端通知的时候，调用回调方法。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60


public void addListener(String dataId, String group, Listener listener) throws NacosException {
 worker.addTenantListeners(dataId, group, Collections.singletonList(listener));
}

public void addTenantListeners(String dataId, String group, List<? extends Listener> listeners) throws NacosException {
 group = blank2defaultGroup(group);
 String tenant = agent.getTenant();
 // 增加一个CacheData，会存放在ClientWorker.cacheMap里面
 CacheData cache = addCacheDataIfAbsent(dataId, group, tenant);
 synchronized (cache) {
 for (Listener listener : listeners) {
 // 加入到CopyOnWriteArrayList<ManagerListenerWrap> listeners里面
 cache.addListener(listener);
 }
 cache.setDiscard(false);
 cache.setConsistentWithServer(false);
 // 通知
 agent.notifyListenConfig();
 }
}

private final BlockingQueue<Object> listenExecutebell = new ArrayBlockingQueue<>(1);
public void notifyListenConfig() {
 // 放入一个BlockingQueue里面，有一个线程消费这个queue，执行executeConfigListen方法
 listenExecutebell.offer(bellItem);
}

public void startInternal() {
 executor.schedule(() -> {
 while (!executor.isShutdown() && !executor.isTerminated()) {
 try {
 listenExecutebell.poll(5L, TimeUnit.SECONDS);
 // 省略一部分代码...
 executeConfigListen();
 } catch (Throwable e) {
 // 省略一部分代码...
 notifyListenConfig();
 }
 }
 }, 0L, TimeUnit.MILLISECONDS);

}

public void executeConfigListen() {
 // 省略一部分代码...
 for (CacheData cache : cacheMap.get().values()) {
 // consistentWithServer 在新加入进来时是false，在收到服务端一致时才是true
 if (cache.isConsistentWithServer()) {
 cache.checkListenerMd5();
 if (!needAllSync) {
 continue;
 }
 }
 // 省略一部分代码...
 // 检查数据有没有变化
 boolean hasChangedKeys = checkListenCache(listenCachesMap);

 }
 // 省略一部分代码...
}

和服务端对比MD5，检查配置是否有变更

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


private boolean checkListenCache(Map<String, List<CacheData>> listenCachesMap) {
 //...
 for (Map.Entry<String, List<CacheData>> entry : listenCachesMap.entrySet()) {
 // 按照taskId多线程执行
 ...
 // 发起RPC请求，批量检查配置是否有变更
 ConfigBatchListenRequest configChangeListenRequest = buildConfigRequest(listenCaches);
 RpcClient rpcClient = ensureRpcClient(taskId);
 ConfigChangeBatchListenResponse listenResponse = (ConfigChangeBatchListenResponse) requestProxy(rpcClient, configChangeListenRequest);

 List<ConfigChangeBatchListenResponse.ConfigContext> changedConfigs = listenResponse.getChangedConfigs();
 //handle changed keys,notify listener
 if (!CollectionUtils.isEmpty(changedConfigs)) {
 hasChangedKeys.set(true);
 for (ConfigChangeBatchListenResponse.ConfigContext changeConfig : changedConfigs) {
 String changeKey = GroupKey.getKeyTenant(changeConfig.getDataId(),
 changeConfig.getGroup(), changeConfig.getTenant());
 changeKeys.add(changeKey);
 boolean isInitializing = cacheMap.get().get(changeKey).isInitializing();
 // 获取数据，并且执行用户回调
 refreshContentAndCheck(changeKey, !isInitializing);
 }
 }
 }
 //...
}

从服务端获取配置，回调用户方法

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


private void refreshContentAndCheck(CacheData cacheData, boolean notify) {
 try {
 // 从服务端获取配置
 ConfigResponse response = getServerConfig(cacheData.dataId, cacheData.group, cacheData.tenant, 3000L, notify);
 cacheData.setEncryptedDataKey(response.getEncryptedDataKey());
 cacheData.setContent(response.getContent());
 if (null != response.getConfigType()) {
 cacheData.setType(response.getConfigType());
 }
 // ...
 // 和listener最后执行的md5比较，如果不一样就调用用户注册的回调方法
 cacheData.checkListenerMd5();
 } catch (Exception e) {
 // ...
 }
}

配置变更推送

再回来看看服务端怎么处理ConfigBatchListenRequest请求，服务端代码在ConfigChangeBatchListenRequestHandler

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


public ConfigChangeBatchListenResponse handle(ConfigBatchListenRequest configChangeListenRequest, RequestMeta meta)
 throws NacosException {
 for (ConfigBatchListenRequest.ConfigListenContext listenContext : configChangeListenRequest.getConfigListenContexts()) {

 if (configChangeListenRequest.isListen()) {
 // 加入监听列表
 configChangeListenContext.addListen(groupKey, md5, connectionId);
 boolean isUptoDate = ConfigCacheService.isUptodate(groupKey, md5, meta.getClientIp(), tag);
 if (!isUptoDate) {
 configChangeBatchListenResponse.addChangeConfig(listenContext.getDataId(), listenContext.getGroup(), listenContext.getTenant());
 }
 } else {
 // 从监听列表移除
 configChangeListenContext.removeListen(groupKey, connectionId);
 }
 }

}

加入监控列表

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


// com.alibaba.nacos.config.server.remote.ConfigChangeListenContext#addListen
// 维护一个 {connectionId:{groupKey:md5}} 的关系
private ConcurrentHashMap<String, HashMap<String, String>> connectionIdContext = new ConcurrentHashMap<>();

// 维护 groupKey-> connection 关系
private ConcurrentHashMap<String, HashSet<String>> groupKeyContext = new ConcurrentHashMap<>();

public synchronized void addListen(String groupKey, String md5, String connectionId) {
 //...
}

RpcConfigChangeNotifier 是负责推送配置的类，在接收到LocalDataChangeEvent变更之后，触发推送

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


public void configDataChanged(String groupKey, String dataId, String group, String tenant, boolean isBeta,
 List<String> betaIps, String tag) {
 // 获取所有和这个groupKey相关的连接
 Set<String> listeners = configChangeListenContext.getListeners(groupKey);
 if (CollectionUtils.isEmpty(listeners)) {
 return;
 }
 int notifyClientCount = 0;
 for (final String client : listeners) {
 Connection connection = connectionManager.getConnection(client);
 if (connection == null) {
 continue;
 }

 ConnectionMeta metaInfo = connection.getMetaInfo();
 String clientIp = metaInfo.getClientIp();
 String clientTag = metaInfo.getTag();

 //tag check
 if (StringUtils.isNotBlank(tag) && !tag.equals(clientTag)) {
 continue;
 }

 ConfigChangeNotifyRequest notifyRequest = ConfigChangeNotifyRequest.build(dataId, group, tenant);
 // 构造RPC推送
 RpcPushTask rpcPushRetryTask = new RpcPushTask(notifyRequest,
 ConfigCommonConfig.getInstance().getMaxPushRetryTimes(), client, clientIp, metaInfo.getAppName());
 push(rpcPushRetryTask, connectionManager);
 notifyClientCount++;
 }
 Loggers.REMOTE_PUSH.info("push [{}] clients, groupKey=[{}]", notifyClientCount, groupKey);
 }

这里的grpc推送，从RpcPushTask跟进去，调用rpcPushService.pushWithCallback，GrpcConnection#sendRequestNoAck方法里面通过streamObserver来发送。

这个streamObserver是在com.alibaba.nacos.core.remote.grpc.GrpcBiStreamRequestAcceptor#requestBiStream调用时，前面看到的grpc方法，客户端在建立双向流后，使用streamObserver给客户端推送请求。

参考文章

Nacos源码分析

程序猿阿越 Nacos源码分东西

Touchtv iptv代码备份

Sat, 23 Dec 2023 17:37:21 +0800

代码来自恩山论坛 wjxgzz

php版本：https://www.right.com.cn/forum/thread-8294817-1-1.html

nodejs版本：https://www.right.com.cn/forum/thread-8294618-1-1.html

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70


<?php
 //触电新闻v3
 $pk = $_GET['pk'];
 $ts = time().'123';

 $pubKey = "MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALLUiZV6DVmAcJGOsWzftnYxDVpIdTlQynYeTtq5Z1ZzUteINPX24GyeetbYjnIT8pq0IdXGEjjBtngvddR0YaMCAwEAAQ==";
 $pubKey = "-----BEGIN PUBLIC KEY-----\n".wordwrap($pubKey,64,"\n",true)."\n-----END PUBLIC KEY-----";
 $randIMEI = substr(md5(rand(10000000,99999999)),rand(0,15),16);

 openssl_public_encrypt("IMEI_".$randIMEI,$encData,$pubKey);

 $headers = [
 "X-ITOUCHTV-Ca-Key: 04039368653554864194910691389924",
 "referer: https://android.itouchtv.cn/".$randIMEI,
 "X-ITOUCHTV-A01: ".base64_encode($encData),
 "X-ITOUCHTV-CLIENT: NEWS_APP",
 "User-Agent: Mozilla/5.0 (Linux; Android 13.1.2;)",
 "X-ITOUCHTV-APP-VERSION: 4.9.2",
 "X-ITOUCHTV-Ca-Timestamp: $ts",
 "X-ITOUCHTV-A05: hFiVdSB9XwdEevy3UZlmj2BFW1o8S6MRLQVj1z7hBU4IfPS4tawaISroHYLgA5d1PcI2rIQCAud1nYH19Ks95A==", // 44
 "X-ITOUCHTV-RESOLUTION: 1920,1080",
 "X-ITOUCHTV-OSVS: 13.1.2"
 ];

 $signkey = "qmiHeB9bKgowHqxRv0prc2cPN2EwXL1HOYu3DPiYCcaYxyxdFIyT5mAfBmr0UKPO";
 $bstrURL = "https://tcdn-api.itouchtv.cn/getParam";
 $sign =base64_encode(hash_hmac("SHA256","GET\n$bstrURL\n$ts\n",$signkey,true));
 $headers[] = "X-ITOUCHTV-Ca-Signature:$sign";
 $ch = curl_init();
 curl_setopt($ch, CURLOPT_URL, $bstrURL);
 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
 curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
 curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);
 curl_setopt($ch, CURLOPT_HTTPHEADER,$headers);
 $data = curl_exec($ch);
 curl_close($ch);
 $json = json_decode($data);
 $node = $json->node;
 array_pop($headers);

 $bstrURL = "https://api.itouchtv.cn/liveservice/v3/tvChannelList?node=$node";

 $sign = base64_encode(hash_hmac("SHA256","GET\n$bstrURL\n$ts\n",$signkey,true));
 $headers[] = "X-ITOUCHTV-Ca-Signature:$sign";

 $ch = curl_init();
 curl_setopt($ch, CURLOPT_URL, $bstrURL);
 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
 curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
 curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);
 curl_setopt($ch, CURLOPT_HTTPHEADER,$headers);
 $data = curl_exec($ch);
 //echo $data;exit;
 curl_close($ch);

 if($pk == '')
 {
 $json = json_decode($data);
 foreach($json->tvChannelList as $out)
 {
 echo ($out->name.','.$out->pk.'<br />');
 }
 }
 else
 {
 preg_match('/pk":'.$pk.',.*?"url":"(.*?)"/i',$data,$result);
 $playURL = $result[1];
 header("location:$playURL");
 }
?>

Kafka 面试题

Wed, 06 Dec 2023 18:05:43 +0800

概念

Broker : 一个 Kafka 节点就是一个 Broker
Consumer Group：每个Consumer都属于一个Consumer Group，每条消息只能被Consumer Group中的一个Consumer消费，但可以被多个Consumer Group消费。
Controller： Kafka 集群中的其中一个服务器，用来进行Leader election以及各种 Failover 操作。

使用场景

日志收集
消息队列（系统解耦，通过消息交互，异步处理）

Kafka 性能高原因

磁盘顺序读写，使用PageCache 缓存
零拷贝技术（发送使用sendfile，index使用mmap，log不用）
Kafka支持批量读写和批量压缩，减少了网络传输的延迟和带宽开销。

Kafka 文件高效存储设计原理

Kafka把Topic中一个Partition大文件分成多个小文件段
索引文件稀疏存储，减少索引占用空间
索引元数据全部映射到 memory，可以避免 Segment 文件的磁盘I/O操作

Kafka 的优缺点

优点

高性能、高吞吐量、低延迟：Kafka 生产和消费消息的速度都达到每秒10万级
高可用：所有消息持久化存储到磁盘，并支持数据备份防止数据丢失
高并发：支持数千个客户端同时读写
容错性：允许集群中节点失败（若副本数量为n，则允许 n-1 个节点失败）
高扩展性：Kafka 集群支持热伸缩，无须停机

Kafka 写入过程

封装成一个 ProducerRecord 对象，然后序列化
对消息进行分区处理
放入生产者的缓存区，多条消息会被封装成一个批次（Batch），默认一个批次的大小是 16KB
Sender 线程启动以后会从缓存里面去获取可以发送的批次，分批发送

Kafka 读取过程

使用pull模式

负载均衡与故障转移

负载均衡

通过选举选出leader，读写分散到不同的partition。

故障转移

每台 Kafka 服务器启动后会以会话的形式把自己注册到 Zookeeper 服务器上，如果故障会断连，触发迁移。

？？？迁移逻辑

Kafka 创建Topic后如何将分区放置到不同的 Broker 中

Kafka创建Topic将分区放置到不同的Broker时遵循以下规则：

副本因子不能大于Broker的个数。
第一个分区（编号为0）的第一个副本放置位置是随机从Broker List中选择的。
其他分区的第一个副本放置位置相对于第0个分区依次往后移。也就是如果有3个Broker，3个分区，假设第一个分区放在第二个Broker上，那么第二个分区将会放在第三个Broker上；第三个分区将会放在第一个Broker上，更多Broker与更多分区依此类推。剩余的副本相对于第一个副本放置位置其实是由nextReplicaShift决定的，而这个数也是随机产生的。

参考

https://javabetter.cn/interview/kafka-40.html

N5095 Jellyfin硬解

Sat, 24 Jun 2023 00:28:01 +0800

按照一般教程开启jellyfin硬件加速总是报错：该客户端与媒体不兼容，服务器未发送兼容的媒体格式

由于N5095是11代的CPU，需要有些特殊配置。

首先内核要比较新，我是使用OMV，内核是6.1的

在系统上添加所需的i915内核参数以启用加载GUC和HuC固件

sudo mkdir -p /etc/modprobe.d
sudo sh -c "echo 'options i915 enable_guc=3' >> /etc/modprobe.d/i915.conf"

更新initramfs和grub

Debian和Ubuntu

sudo update-initramfs -u && sudo update-grub

重新启动系统并使用以下命令检查GuC和HuC状态，确保输出中没有FAIL或ERROR。

sudo reboot
sudo dmesg | grep i915
sudo cat /sys/kernel/debug/dri/0/gt/uc/guc_info
sudo cat /sys/kernel/debug/dri/0/gt/uc/huc_info

安装jellyfin

---
version: "2.1"
services:
jellyfin:
image: nyanmisaka/jellyfin:latest
container_name: jellyfin
environment:
- PUID=1000
- PGID=100
- TZ=Etc/UTC
#- JELLYFIN_PublishedServerUrl=192.168.0.5 #optional
volumes:
- /mnt/docker/jellyfin2:/config
- /mnt/hgst_8t:/data/hgst_8t
- /mnt/2t:/data/2t
- /mnt/st_4t:/data/st_4t
devices:
- "/dev/dri:/dev/dri"
ports:
- 8096:8096
- 8920:8920 #optional
- 7359:7359/udp #optional
- 1900:1900/udp #optional
restart: unless-stopped

在jellyfin里面，控制台-》播放

硬件加速选择QSV
勾选启用低电压模式的 Intel H.264 硬件编码器
勾选启用低电压模式的 Intel HEVC 硬件编码器

参考文档

N5095, N5100, N5105, N6005, J6412等intel 11代Jasper Lake和Elkhart Lake平台cpu使用jellyfin开启硬件加速

N5095使用经验分享 Step By Step

JMES Path - 提取json内容

Tue, 30 Aug 2022 10:38:28 +0800

JMESPath有很多方法，可以提取json内容

例如 keys(@) 可以把所有key取出来

1
2
3
4


{
 "xx": {},
 "bb": {}
}

这个例子的结果是

1
2
3
4


[
 "xx",
 "bb"
]

参考

https://jmespath.org/tutorial.html

https://jmespath.org/specification.html#functions

K8s Informer HasSync

Sun, 18 Apr 2021 17:30:28 +0800

背景

K8S中的informer中HasSynced到底表示什么？

分析

HasSynced的注释是这样写的，如果拿到至少一个列表后返回true。

HasSynced returns true if the shared informer's store has been informed by at least one full LIST of the authoritative state of the informer's object collection. This is unrelated to "resync".

一般我们使用informer的时候，会监听一些对象，那HasSynced是否会等待这些做完才返回呢？

1
2
3
4
5
6
7


// HasSynced returns true if an Add/Update/Delete/AddIfNotPresent are called first,
// or an Update called first but the first batch of items inserted by Replace() has been popped
func (f *DeltaFIFO) HasSynced() bool {
 f.lock.Lock()
 defer f.lock.Unlock()
 return f.populated && f.initialPopulationCount == 0
}

在func (f *DeltaFIFO) Pop(process PopProcessFunc)的时候负责initialPopulationCount的减少，并且这里有锁，能保证在调用完process(item)才返回。

但是事件传递有个缓冲池，事件是异步处理。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29


func (p *processorListener) pop() {
 defer utilruntime.HandleCrash()
 defer close(p.nextCh) // Tell .run() to stop

 var nextCh chan<- interface{}
 var notification interface{}
 for {
 select {
 case nextCh <- notification:
 // Notification dispatched
 var ok bool
 notification, ok = p.pendingNotifications.ReadOne()
 if !ok { // Nothing to pop
 nextCh = nil // Disable this select case
 }
 case notificationToAdd, ok := <-p.addCh:
 if !ok {
 return
 }
 if notification == nil { // No notification to pop (and pendingNotifications is empty)
 // Optimize the case - skip adding to pendingNotifications
 notification = notificationToAdd
 nextCh = p.nextCh
 } else { // There is already a notification waiting to be dispatched
 p.pendingNotifications.WriteOne(notificationToAdd)
 }
 }
 }
}

结论

HasSynced=true时，只能保证store中的数据已经加载第一批，事件处理是异步的，无法保证完成。

Istio 1.8 主要变化

Sun, 27 Dec 2020 16:51:11 +0800

istio1.8

istio的安装和升级

原来已经支持istioctl install 和 Istio operator，现在新增helm3的安装方式，当前还处于试验阶段。之前在1.6版本移除，可能是顺应社区的需求，重新加回来。

多集群

编写新的安装文档，使得多集群安装变得容易。多集群包含单一网络和多网络场景。

虚拟机支持

新增智能DNS，istio agent会透明拦截DNS请求，实现虚拟机到服务网格访问，不必以非安全方式将其指向集群DNS服务器。

安全

网关证书之前是通过网关直接访问k8s读取，现在由istiod来发送。

支持外部的CA，需要使用Kubernetes CSR API（k8s版本>=1.18）

易用性

istioctl bug-report 用于搜集错误报告

istioctl analyze 可以返回错误所在的行号以及错误信息

弃用

正式弃用mixed，建议使用Envoy WebAssembly来扩展。

Istio 1.7

安全增强

确认destination规则证书的分发场景下，使用sds来下发证书很有优势（尤其是证书轮转）。现在这个特性用在Egress网关上，提供tls/mtls证书。

信任域验证除了支持http，现在tcp也可以支持了，并且可以在MeshConfig配置。

支持使用ECC（椭圆曲线密码学）进行 CA 通信，提高了安全性和效率。

易用性

主要是istioctl工具的增强

analysis 支持
- 对可能不安全的 DestinationRule 配置发出警告
- 对使用废弃的 Mixer 资源发出警告
使用ISTIOCONFIG指定istioctl的配置
使用名字代替端口，例如http表示80端口
添加 istioctl x uninstall 用于卸载
支持多控制平面升级，可以同时部署多个版本，验证新版本

生产运维改进

在sidecar启动后再启动应用，避免应用启动时拿不到配置。（通过在sidecar配置 lifecycle-postStart 脚本实现）

Istio Operator 作为最佳安装方式，但目前还不支持金丝雀部署。

提供了 istio-agent 的指标

虚拟机安全性

支持证书的分发和自动轮转

istioctl能够验证虚拟机的状态

增加RPM安装包，简化安装

其他

在这个版本开始要求k8s 1.16以上，主要是因为webhook admissionregistration.io beta1要改为v1版本（在k8s1.16开始支持，在1.19版本移除beta1）

【alpha】试验支持中心化的istio （Central Istiod），把控制面部署在外部的集群，从目标集群获取配置和service。中心集群不获取配置，两个都是远程集群，从其中一个集群读取配置。

向 Envoy xDSv3 迁移

istio 1.6

版本目标是继续简化，在发布标题使用了三个Simplify来强调。

易用性

使用istioctl工具可以提供更好的诊断信息，更简单的安装方式

支持istio控制面的金丝雀发布，istioctl upgrade支持原地升级

可观察性

增加很多指标以及可配置项。

[alpha]配置可以开启状态信息，用于判断配置是否分发完成 https://istio.io/latest/docs/reference/config/config-status/

虚拟机支持

通过WorkloadEntry更简单的定义VM，这样可以使得VM和Pod在同一级别下。在之前是依赖ServiceEntry指定address的方式支持。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


apiVersion: networking.istio.io/v1alpha3
kind: WorkloadEntry
metadata:
 name: details-svc
spec:
 serviceAccount: details-legacy
 address: vm1.vpc01.corp.net
 labels:
 app: details-legacy
 instance-id: vm1

网络改进

默认启用了Gateway SDS

添加了对Kubernetes Service API的实验性支持

支持VirtualService级联方式，可以嵌套配置VirtualService，为了避免单个VS文件太大。

istio 1.5

istiod的起源地，istio发现当前部署架构过于复杂，不利于推广，在这个版本开始合并组件。

可扩展性

引入WebAssembly，抛弃Mixer

易用性

提供 istioctl 安装工具，以及IstioOperator API用于运维，还处于alpha状态。

istioctl 支持一些分析能力

更安全

简化mtls配置，启动自动mtls。

授权支持“拒绝”语义

将nodeagent的功能移入pilot agent，简化部署，不必在证书更改时重启envoy。

优化

优化xds推送，例如有些配置变更不涉及到eds的更新，可以不推送。详细

参考

Istio 1.8正式发布 http://dockone.io/article/43733

Istio 1.8——用户至上的选择 https://jimmysong.io/blog/istio-18-release/

Istio 1.7 发布——进击的追风少年 https://www.servicemesher.com/blog/istio-1-7-explanation/

Istio v1.6深度解读：Simplify（有深入分析） https://www.ershicimi.com/p/291c62cff3608af7681b2821b05da3ac

迈向极简主义 - Istio 1.6 发布 https://www.servicemesher.com/blog/istio-1.6-explain/

拥抱变化 —— Istio 1.5 新特性解读 https://www.servicemesher.com/blog/istio-1-5-explanation/

Go Json Marshal字段不输出

Fri, 30 Oct 2020 14:15:06 +0800

问题

json.Marshal默认不输出非导出的字段

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


type Test struct {
 Total int `json:"total"`
 item string `json:"item"`
}

func main() {
 resp := Test{
 Total: 1,
 item: "aa",
 }
 body, err := json.Marshal(resp)
 fmt.Printf("body=%v, err=%v \n", string(body), err) // 输出 body={"total":1}, err=<nil>
}

解决方式

把字段改成大写字母开头

mac使用/home目录

Sun, 05 Jul 2020 16:29:21 +0000

编辑/etc/auto_master文件，把/home那一行注释掉
重新挂载sudo automount -vc

来源：https://stackoverflow.com/questions/1362703/how-can-i-use-the-home-directory-on-mac-os-x/25558272#25558272

从CustomResourceDefinition生成k8s java模型代码

Sat, 26 Oct 2019 10:41:26 +0000

目标

已经有了go版本的模型定义，需要生成java版本看了下官方介绍的文档 generate-model-from-third-party-resources.md 感觉不会太难，照着尝试一下。

开始干活

首先看到要k8s 1.15以上的版本，我只有1.14，只好使用minikube重新装了1.16的版本，具体安装不细说了。
然后把CRD apply进集群里面，注意CRD得带有openAPIV3Schema的validation（我的是kubebuilder生成的）
执行这个命令生成swagger json文件

1

kubectl get --raw="/openapi/v2" > /tmp/swagger

然后执行这个命令生成代码

1

docker run -i --rm dockerhub.azk8s.cn/yue9944882/java-model-gen < /tmp/swagger | tar -xzf - -C /tmp/

这里我添加了dockerhub.azk8s.cn镜像加速，这个镜像应该是别人构建好的，如果想自己构建，要用首页介绍的项目kubernetes-client/gen ，里面还会用到maven下载也是比较慢的，可以加一下mirrors 我写了个简单的Dockerfile

1
2


FROM dockerhub.azk8s.cn/yue9944882/java-model-gen
COPY ./settings.xml /usr/share/maven/conf/settings.xml

把settings.xml放到同一个目录，内容大概这样，可以加更多一些mirror

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"
 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
 xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">
<mirrors>
<mirror>
 <id>aliyun-central</id>
 <mirrorOf>*</mirrorOf>
 <name>aliyun central</name>
 <url>https://maven.aliyun.com/repository/central</url>
</mirror>
</mirrors>
</settings>

执行完成后，生成的文件在/tmp/java里面，找一下自己要的文件在哪里。？？？文件呢？为什么只有个*List文件？？试了下文档给出的CRD文件，确实可以生成，但为什么我的不行？
试了执行一下explain, 发现字段没有显示出来。

1

kubectl explain my_crd_name --recursive

最终使用排除法的方式，对比例子和我crd的差异，找出了这里的差异

1
2
3
4
5


spec:
 preserveUnknownFields: false # 需要添加这个，这个值默认为true
 validation:
 openAPIV3Schema:
 type: object # 这里也要

修改后使用 kubectl explain 可以正确识别字段

使用java kubenetes client replaceClusterCustomObject报错Bad Request

Wed, 18 Sep 2019 02:18:15 +0000

报错

报错Bad Request只是显式的错误，在ApiException里面有个resp返回的内容，在里面可以看到实际的错误，报错如下 couldn’t get version/kind; json parse error: json: cannot unmarshal string into Go value of type struct

原因

我在replaceClusterCustomObject最后一个参数里填了字符串（通过gson.toJson(obj)来返回），实际上不能传递字符串，直接传obj就好了，或者传bytes，就是不要传字符串。。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


public RequestBody serialize(Object obj, String contentType) throws ApiException {
 if (obj instanceof byte[]) {
 return RequestBody.create(MediaType.parse(contentType), (byte[])((byte[])obj));
 } else if (obj instanceof File) {
 return RequestBody.create(MediaType.parse(contentType), (File)obj);
 } else if (this.isJsonMime(contentType)) {
 String content;
 if (obj != null) {
 content = this.json.serialize(obj);
 } else {
 content = null;
 }

 return RequestBody.create(MediaType.parse(contentType), content);
 } else {
 throw new ApiException("Content type \"" + contentType + "\" is not supported");
 }
}

K8s Endpoint无IP定位错误方法

Mon, 26 Aug 2019 02:57:21 +0000

可能的原因

确认selector是否正确
确认pod里面配置的containerPort以及service里面的配置的port能对应上
确认pod是否ready了，不能只看get pod看到的1/1，还要看一下-o yaml的输出结果

minikube生成内置证书的kubeconfig

Mon, 12 Aug 2019 06:20:20 +0000

minikube默认生成的证书都是文件路径，如果要在其他地方使用不方便，需要把证书内置。如果还没启动minikube，可以看下 https://github.com/kubernetes/minikube/issues/3064 如果已经生成了，执行以下命令可以把证书内置。

kubectl config set-credentials minikube --embed-certs --client-certificate=${HOME}/.minikube/client.crt --client-key=${HOME}/.minikube/client.key
kubectl config set-cluster minikube --embed-certs --certificate-authority=${HOME}/.minikube/ca.crt

golang for 循环指针的坑

Thu, 01 Aug 2019 06:09:46 +0000

原文：https://www.jianshu.com/p/dbd81a7c2bcb

package main
import (
"log"
"time"
)
type student struct {
Name string
Age int
}
func main() {
m := make([]*student, 3)
stus := []student{
student{Name: "sa", Age: 10},
student{Name: "sb", Age: 11},
student{Name: "sc", Age: 12},
}
log.Println("################ 错误做法 ##################")
for k, stu := range stus {
m[k] = &stu
}
for _, s := range m {
log.Println(s.Name, s.Age)
}
log.Println("################ 正确做法 ##################")
for k, _ := range stus {
m[k] = &stus[k]
}
for _, s := range m {
log.Println(s.Name, s.Age)
}
time.Sleep(2 * time.Second)
}

输出如下：

2018/12/12 12:24:19 ################ 错误做法 ##################
2018/12/12 12:24:19 sc 12
2018/12/12 12:24:19 sc 12
2018/12/12 12:24:19 sc 12
2018/12/12 12:24:19 ################ 正确做法 ##################
2018/12/12 12:24:19 sa 10
2018/12/12 12:24:19 sb 11
2018/12/12 12:24:19 sc 12

for k, stu := range stus 变量stu 的地址并不会随着遍历而改变，所以&stu 对应的值始终为stus的最后的元素

kvm虚拟机virsh常用命令

Wed, 29 May 2019 02:26:43 +0000

# 列出所有虚拟机
virsh --connect qemu:///system list --all
# 停掉虚拟机
virsh --connect qemu:///system shutdown kvm-1
# 删除虚拟机
virsh --connect qemu:///system undefine kvm-1

knative serving 0.6 版本变更

Sun, 19 May 2019 13:47:33 +0000

翻译了一下0.6的版本变更

概要

新API模型

我们已经通过了knative serving “v1beta1” API模型提议，这些改变会使得kubernetes用户更容易使用Serving资源，解锁了在knative Service中使用Route，并且可以自己指定Revision名称，开启了GitOps场景。我们争取在接下来几个发布中完成。

在这次发布中，我们移植新的API定义到v1alpha1 API，作为转换到v1beta1（又称lemonade）的第一步。以下不兼容的变更会在0.7+版本实施：

Service和Configuration不再支持内嵌Build。
Service不支持 manual 模式。

你可以通过knative/docs的例子来了解新API接口，我们会继续支持大多数v1alpha1的接口直到我们停用它。

彻底改变缩容到零

我们从根本上改变了缩容到零的机制，新的架构通过Serving资源模型较少的改动，获得职责上更好的分离，并且解决了一些长期存在的问题（一些在这次版本发布，一些将来发布）。看下面内容了解更多。

自动证书（alpha，可选）

我们添加了自动证书集成！默认的实现基于 cert-manager 来提供证书（例如通过Let’s Encrypt），但和Istio插件化类似，你也可以替换cert-manager为其他证书提供系统。当前证书针对每个路由提供，但泛域名将在未来版本支持。这个功能依赖Istio 1.1，并且需要显式的开启。

控制器解耦

我们已经开始将Knative中的“可插拔”控制器拆分为它们自己的控制器进程，以便希望替换Knative子系统的人能够更容易地删除绑定的默认实现。例如，要安装Knative Serving但不包含Istio:

kubectl apply -f serving.yaml \
-l networking.knative.dev/ingress-provider!=istio

注意，由于kubectl不能理解Istio对象的yaml（尽管他们已经被label选择器过滤掉了），我们会看到一些错误。可以安全的忽略找不到 “networking.istio.io/v1alpha3” 的 “Gateway” 资源。

你也可以用以下命令忽略基于cert-manager实现的自动证书（Auto-TLS）控制器：

kubectl apply -f serving.yaml \
-l networking.knative.dev/certificate-provider!=cert-manager

扩缩容

把Knative PodAutoscaler（又称KPA） /scale 子资源移出来，变成一个PodScalable 通用类型（“duck type”）。这样可以利用informer缓存，并且扩展的字段可以让ServerlessService（又称SKS）利用PodSpec在未来版本优化。

（具体修改见#3889 ，题外话，之前每次调解都需要使用scale client连接API server读取/scale子资源，用不上缓存）

我们现在确保在Revision缩容到零前，“activator”组件已经接管流量（又称正向切换[positive hand-off], #2949）。这个改动开启了Revision能够管理激活。

(实现这个是为了解决缩容到0之前，要等待30秒，这个值是个经验值，主要是等待istio切换路由。但我们也不清楚30秒是否足够，还是说可以缩短。目前这个实现是在activator和queue proxy都加一个响应探测的接口，当需要缩容到零时，由pa发起请求探测检查确认是否路由到activator了。但目前的实现还不是完美的，由于istio有很多sidecar，更新路由需要时间，我们只能确定某个sidecar配置更新了)

新的注解 autoscaling.knative.dev/window, autoscaling.knative.dev/panicWindowPercentage, and autoscaling.knative.dev/panicThresholdPercentage 允许用户自定义 KPA 类型的扩缩容敏感性。(#3103)

（译者注：增加配置时间窗口、panic的一些参数）

添加activator的链路耗时（tracing）获取更详细的数据，并且可以持续的测量性能数据（#2726）。这个解决了#1276 并且允许我们去定位性能问题，例如冷启动。

缩短默认transports的空闲超时时间，解决了使用Istio 1.1 lean安装，缩容到零的问题(#3987)。原因是当endpoints变更时，通过k8s的service没有断开连接。

解决一个阻止缩容到零的问题 (#3688)，解决方法，把enable-scale-to-zero配置加入KPA调解计算中。如果minScaler注解没有设或者设为0，并且enable-scale-to-zero设为false，保留最少一个pod。

修复autoscaler重启时，做出轻率的决定（#3771）（在没有指标时不扩缩容）。

核心API

我们已经批准了v1beta的API定义！如上所述，我们要开始在接下来的几个里程碑实现v1beta1.这次里程碑把v1beta1 API接口作为v1alpha1的子集。

我们改变了执行校验的方式，基于在支持的字段使用“fieldmask”。我们现在会给每个Kubernetes对象创建一个副本（仅限于我们需要的字段），并和原来的对象比较，这样确保我们在Kubernetes API发展中仔细考虑使用哪些资源字段(#3424, #3779)。在这基础上，清理了内部API的校验 (#3789, #3911)。

status.domain已经过时，使用status.url 来替换 (#3970) 。使用 apis.URL 类型作为URL status 字段，解决issue “无法获取服务 URL” (#1590)。

添加可以通过configmap设置默认的cpu、内存request和limit值。并且删除了之前默认的CPU limit，这样可以回退到k8s的默认值，除了由operator特别指定的。(#3550, #3912)

去掉configurationMetadataGeneration label的使用 (#4012) ，并完成了我们转向CRD 子资源的最后一个改动(#643)。

网络

彻底改变了我们缩容到零的方式！这个开启了Revision管理自己启动的语义。需要缩容到零时实现了正向切换，并且增加了autoscaling控制器的同步周期，保持和其他控制器一致。

添加自动配置TLS证书。

停止发布Istio yaml文件。重新分发istio不是我们的本意，并且之前的版本暴露我们的改动-优化了Istio yamls。用户应该请教Istio或者厂商指定的文档来如何获得一个支持knative的Istio版本。

我们已经开始在Service或者Route的子路由中采取扁平命名方案。老的URL目前还可以使用，但新的URL会出现在 status.traffic[*].url 字段里。

支持安装Istio 1.1 (#3515, #3353)

解决在开启Istio mTLS时，readiness 探测的问题(#4017)

监控

Activator也把请求日志记录下来(#3781)

测试和发布

label serving.knative.dev/release: devel需要有发布名字或者数字来替代devel，暴露TAG来填充
总是用istio的HEAD版本来做升级测试，解决在升级降级knative测试遇到的错误
添加额外一致性测试（9个新增的测试），改进现有的一致性测试和v1beta1的覆盖率。

参考内容

内容翻译自knative/serving release node https://github.com/knative/serving/releases/tag/v0.6.0

minikube在宿主机请求集群IP

Mon, 18 Feb 2019 03:34:47 +0000

添加路由进行请求 sudo ip route add 172.17.0.0/16 via $(minikube ip)

来源

https://stackoverflow.com/questions/42268814/routing-an-internal-kubernetes-ip-address-to-the-host-system

【记录】为Kubernetes集群添加用户

Sun, 17 Feb 2019 09:47:39 +0000

具体按照这篇文章配置 https://zhuanlan.zhihu.com/p/43237959 ，本文用于记录命令 minikube的证书在/var/lib/minikube/certs 目录下，或者/var/lib/localkube/certs，可以通过查询进程kube-controller-manager，查看它的参数cluster-signing-cert-file是什么。
在.minikube目录里面的ca.crt和ca.key也是一样的。

mkdir /var/lib/minikube/certs/tmp/
cd /var/lib/minikube/certs/tmp/
# 首先需要为此用户创建一个私钥
openssl genrsa -out knative.key 2048
# 接着用此私钥创建一个csr(证书签名请求)文件，其中我们需要在subject里带上用户信息(CN为用户名，O为用户组)
openssl req -new -key knative.key -out knative.csr -subj "/CN=knative/O=MGM"
# 通过集群的CA证书和之前创建的csr文件，来为用户颁发证书
openssl x509 -req -in knative.csr -CA ../ca.crt -CAkey ../ca.key -CAcreateserial -out knative.crt -days 365

生成kubeconfig，具体见 jimmysong 的文章。

# KUBE_APISERVER 可以进一个容器里面看环境变量
# 如果是用虚拟机启动，执行minikube ip 拿到minikube的ip，加上端口8443。'https://192.168.39.23:8443'，这个地址也可以从.kube/config里的server配置得到
# 设置集群参数
export KUBE_APISERVER="https://10.96.0.1:443"
kubectl config set-cluster kubernetes \
--certificate-authority=../ca.crt \
--embed-certs=true \
--server=${KUBE_APISERVER} \
--kubeconfig=knative.kubeconfig
# 设置客户端认证参数
kubectl config set-credentials knative \
--client-certificate=./knative.crt \
--client-key=./knative.key \
--embed-certs=true \
--kubeconfig=knative.kubeconfig
# 设置上下文参数
kubectl config set-context kubernetes \
--cluster=kubernetes \
--user=knative \
--namespace=default \
--kubeconfig=knative.kubeconfig
# 设置默认上下文
kubectl config use-context kubernetes --kubeconfig=knative.kubeconfig

绑定namespace管理员权限

kubectl create rolebinding knative-admin-binding --clusterrole=admin --user=knative --namespace=knative-serving

使用账号访问

kubectl --kubeconfig=knative.kubeconfig -n knative-serving get po

参考

https://jimmysong.io/kubernetes-handbook/guide/kubectl-user-authentication-authorization.html

查看k8s中某台机器gpu分配

Thu, 20 Dec 2018 01:57:13 +0000

分配的任务会记录在这个文件 /var/lib/kubelet/device-plugins/kubelet_internal_checkpoint 里面有个POD_UID，可以在日志里面找，找到对应的pod名称

Failed to initialize NVML: Unknown Error

Wed, 14 Nov 2018 13:11:20 +0000

在k8s启动的pod内执行nvidia-smi，报错Failed to initialize NVML: Unknown Error，但直接用docker run –rm nvidia/cuda:9.0-base nvidia-smi 却不会报错。找到这里的文章提示 https://www.hwchiu.com/gpu-gke.html 可以用strace来查看系统调用，能看到有这句 open(“/dev/nvidiactl”, O_RDWR) = -1 EPERM (Operation not permitted)
open(“/dev/nvidiactl”, O_RDONLY) = -1 EPERM (Operation not permitted) 没有权限去读取/dev/nvidiactl，按上面文章提示，加上

 securityContext:
 privileged: true
但加上privileged会导致/dev下所有显卡暴露，不能加特权。
最终发现是/etc/systemd/system/kubelet.service 加了--feature-gates CPUManager=true ，具体原因不明为什么有影响。

k8s 拉取私有仓库失败

Thu, 27 Sep 2018 08:59:02 +0000

k8s 报错拉取镜像失败 Error response from daemon: pull access denied for istio/citadel, repository does not exist or may require ‘docker login’ docker login后，把配置拷贝到以下目录的其中一个。如果是${HOME}/.docker/config.json看说明是要额外设环境变量给kubelet的，可以试试放在/var/lib/kubelet/config.json Docker stores keys for private registries in the $HOME/.dockercfg or $HOME/.docker/config.json file. If you put the same file in the search paths list below, kubelet uses it as the credential provider when pulling images.

{--root-dir:-/var/lib/kubelet}/config.json
{cwd of kubelet}/config.json
${HOME}/.docker/config.json
/.docker/config.json
{--root-dir:-/var/lib/kubelet}/.dockercfg
{cwd of kubelet}/.dockercfg
${HOME}/.dockercfg
/.dockercfg
Note: You may have to set HOME=/root explicitly in your environment file for kubelet.

https://kubernetes.io/docs/concepts/containers/images/

knative分析 – controller

Mon, 06 Aug 2018 12:06:37 +0000

由于service名称重复，这里会用knative service 和 k8s service区分两者。

总体流程

用户创建knative service后，会创建出route和configuration。
然后根据configuration创建revision，根据revision创建deployment启动业务pod。
根据route创建k8s service和istio VirtualService，负责流量如何转发。

# controller代码分析 {#controller代码分析}

knative service controller

监听（knative service，configuration，route）

如果没有Configuration，则会创建一个。如果已存在，会比较然后判断是否需要更新。
如果没有Route，则会创建一个，如果已存在，比较判断是否需要更新。

Configuration controller

监听（configuration, revision）

检查是否创建了Revision(Revision名字由 config.Name 和 config.Spec.Generation构成)，如果没有创建则创建一个。
- 如果有config.Spec.Build，会同时创建Build和Revision
- 如果存在，则更新状态

Revision controller

监听(revision，build，endpoint, deployment, configMap)

如果需要build，检查build的状态
如果没有build或者build完成后
- reconcileDeployment, 判断rev.Spec.ServingState状态
  - v1alpha1.RevisionServingStateActive, v1alpha1.RevisionServingStateReserve 活跃或保留状态
    - 如果不存在，创建deployment（如果是Reserve状态，把副本设为0）
    - 如果存在，检查更新deployment
  - v1alpha1.RevisionServingStateRetired 退休状态
    - 如果存在，删除deployment
- reconcileService，创建或更新k8s service(名称例子：autoscale-go-00000-service)
- reconcileFluentdConfigMap，配置fluentd的configmap
- reconcileAutoscalerDeployment，创建或更新Autoscaler 的deployment
- reconcileAutoscalerService，创建Autoscaler的k8s service
- reconcileVPA，创建或删除VPA

Route controller

监听（route，Configuration）

reconcilePlaceholderService, 创建同名的k8s service或更新k8s service的ClusterIP
configureTraffic，尝试根据RouteSpec分配流量，如果找不到目标（例如没有ready状态的Revision，或者状态是Revision）,则不会分配流量。如果流量分配配置好了，会把RouteStatus更新为AllTrafficAssigned = True, 否则设为 False，并在原因里面写明缺少的目标。
- 如果TrafficTarget.RevisionName不为空，判断target是否ready了
  - 如果target ready了，创建或更新Istio VirtualService
    - 判断target是否active，如果POD还没启动，会添加部分流量到activator里
- 如果TrafficTarget.ConfigurationName不为空，则会从conf里面拿到LatestReadyRevisionName，然后按RevisionName不为空的流程配置

# istio VirtualService 例子
spec:
gateways:
- knative-shared-gateway.knative-serving.svc.cluster.local
- mesh
hosts:
- '*.helloworld-python.default.example.com'
- helloworld-python.default.example.com
- helloworld-python.default.svc.cluster.local
http:
- appendHeaders:
Knative-Serving-Namespace: default
Knative-Serving-Revision: helloworld-python-00000
x-envoy-upstream-rq-timeout-ms: "0"
match:
- authority:
exact: helloworld-python.default.example.com
- authority:
exact: helloworld-python.default.svc.cluster.local
route:
- destination:
host: activator-service.knative-serving.svc.cluster.local
port:
number: 80
weight: 100
timeout: 60s

knative分析 – activator

Mon, 06 Aug 2018 12:04:51 +0000

当scale到0时，是怎样唤醒业务容器的？

activator就是负责做这个事情的组件。activator做两件事情，一个是负责把pod启动起来，另外一个是把启动中的请求转发给pod。

请求是怎么转发到activator的？

当业务pod scale到0的时候，会更新istio VirtualServer，把流量按权重分配给activator。在pod启动ready之后，流量权重又直接指向业务pod，所有revision都ready的情况下，activator不会分配到流量。

唤醒pod是通过更新 revision.Spec.ServingState = v1alpha1.RevisionServingStateActive 状态实现的，controller会根据状态，创建出业务pod和autoscaler。

这里要解决的一个问题是在pod没启动之前，可能会有很多个请求，这里做了限制每个revision只会触发一次。

还有个问题是在pod没ready前，把请求阻塞。

activator本身是个HTTP服务，在POD启动的期间，当pod ready之后，会把请求转发到到pod里（通过FQDN域名）

流量转发

以下内容主要来自：https://github.com/knative/serving/blob/master/pkg/activator/README.md

这个图感觉没更新，目前没有看到有用ingress来路由，而是由istio ingress gateway来路由。

Istio Route Rules Configurations

Knative Serving 使用istio route rules来控制流量（根据Route对象指定的比例分配），如果某个revision因为不活跃变为Reserve状态，会把部分流量转向activator。

下面分三种情况

All revisions are active

如果所有revision都是活跃的，activator 不会收到任何流量。

One revision is in Reserve state

如果一个revision是Reserve状态，则会把原本给revision b的流量转发给activator，activator收到请求后，会启动revision b，revision b ready后会把流量导入revision b。后续的流量直接到revision b。

Multiple revisions are in Reserve state

如果有两个或两个以上revision是Reserve状态，所有到reserve状态的流量转向activator

knative分析 – autoscaler

Mon, 06 Aug 2018 12:00:42 +0000

文档说目前的实现只是为了快速实现，后期还会修改。

knative是如何做伸缩容的？

处理伸缩容问题，首先要解决的问题是根据什么指标判断伸缩容？cpu、内存、请求数？这里knative使用的是请求数。

其次是伸缩多少的问题。

knative的伸缩是依赖修改deployment的replicate数实现的。

## 如何采集请求数？

启动revision的pod时，也会启动一个autoscaler（一个knative revision只启动一个autoscaler），autoscaler自己本身也会scale到0，用于接收请求数统计和处理伸缩容。

业务pod中，会注入queue-proxy sidecard，用于接收请求，在这里会统计并发数，每秒向autoscaler汇报，接收到的请求会转发给业务container。

注：单租户模式下一个revision启动一个autoscaler，多租户共用一个autoscaler

计算需要pod的个数？

autoscaler接收到并发统计的时候，会根据算法计算需要的pod个数。

算法中有两种模式，分别是panic和stable模式，一个是短时间，一个是长时间，为了解决短时间内请求突增的场景，需要快速扩容。

文档中描述的算法是，默认的target concurency是1，如果一个revision 35QPS，每个请求花费0.25秒，Knative Serving 觉得需要 9 个 pod。

ceil(35 * .25) = ceil(8.75) = 9

Stable Mode（稳定模式）

在稳定模式下，Autoscaler 根据每个pod期望的并发来调整Deployment的副本个数。根据每个pod在60秒窗口内的平均并发来计算，而不是根据现有副本个数计算，因为pod的数量增加和pod变为可服务和提供指标数据有一定时间间隔。

Panic Mode （恐慌模式）

Panic时间窗口默认是6秒，如果在6秒内达到2倍期望的并发，则转换到恐慌模式下。在恐慌模式下，Autoscaler根据这6秒的时间窗口计算，这样更能及时的响应突发的流量请求。每2秒调整Deployment的副本数达到想要的pod个数（或者最大10倍当前pod的数量），为了避免pod数量频繁变动，在恐慌模式下只能增加，不会减少。60秒后会恢复回稳定模式。

autoscaler 单租户图

+---------------------+
| ROUTE |
| |
| +-------------+ |
| | Istio Route |---------------+
| +-------------+ | |
| | | |
+---------|-----------+ |
| |
| |
| inactive | active
| route | route
| |
| |
| +------|------------------------------------+
V watch | V |
+-----------+ first | +- ----+ create +------------+ |
| Activator |------------->| Pods |<----------| Deployment | |
+-----------+ | +------+ +------------+ |
| | | ^ |
| activate | | | resize |
+--------------->| | | |
| | metrics +---------------+ |
| +-------------->| Single-tenant | |
| | Autoscaler | |
| +---------------+ |
| REVISION |
+-------------------------------------------+

模式

const (
  // 每个pod实例同时只处理一个请求
RevisionRequestConcurrencyModelSingle RevisionRequestConcurrencyModelType = "Single"
// 每个pod实例同时处理多个请求
RevisionRequestConcurrencyModelMulti RevisionRequestConcurrencyModelType = "Multi"
)

配置

apiVersion: v1 kind: ConfigMap metadata: name: config-autoscaler namespace: knative-serving data: # Static parameters:

期望每个pod并发请求数

multi-concurrency-target: "1.0"

如果是单个并发，值要接近1.0

single-concurrency-target: "0.9"

stable窗口时间，计算平均并发会用到。如果进入panic模式后，经过stable窗口时间也会恢复stable

stable-window: "60s"

如果平均并发在panic窗口时间内达到2倍目标并发，autoscaler进入panic模式。

在panic模式下，自动伸缩按在panic窗口时间的平均并发来操作。

panic-window: "6s"

最大增长比例，每次调整会根据并发计算增长比例，最大增长不超过这个值

max-scale-up-rate: "10"

计算并发值的参数，每一段时间得到最大并发，作为一个bucket，最后汇报的时候，

平均并发 = 各个bucket最大并发之和 / 总bucket数，汇报间隔是1秒（hard coded）

concurrency-quantum-of-time: "100ms"

是否开启缩容到0

enable-scale-to-zero: "true"

实验性：开启垂直扩容

Requires a VPA installation (e.g. ./third_party/vpa/install-vpa.sh)

enable-vertical-pod-autoscaling: "false"

如果开启了enable-vertical-pod-autoscaling，这个值就会替代multi-concurrency-target，

如果成熟了后期会变成默认值

vpa-multi-concurrency-target: "10.0"

多长时间调整一次

tick-interval: "2s"

Dynamic parameters (take effect when config map is updated):

空闲多长时间缩容到0

scale-to-zero-threshold: "5m"

参考

https://github.com/knative/serving/blob/master/docs/scaling/DEVELOPMENT.md Autoscaling

使用MultipleOutputs报File already exists错误

Sat, 04 Aug 2018 04:21:53 +0000

在reduce任务看到第一个任务因为某些原因失败了，但后续的任务都一起失败，后续的任务报File already exists错误。原因是MultipleOutputs.write的时候可以指定输出的别名或者绝对路径，如果写的是绝对路径，目录会马上生效，MR的output commit机制会失效（先输出到临时目录，然后最后移动回正式目录）。当任务第一次失败后，第二次重试还是存在着那个文件会报错退出。 MR会在任务失败的时候清理输出，但仅限于taskAttemptPath，不会清理其他产生的文件。

@Private
public void abortTask(TaskAttemptContext context, Path taskAttemptPath) throws IOException {
if (hasOutputPath()) {
context.progress();
if(taskAttemptPath == null) {
taskAttemptPath = getTaskAttemptPath(context);
}
FileSystem fs = taskAttemptPath.getFileSystem(context.getConfiguration());
if(!fs.delete(taskAttemptPath, true)) {
LOG.warn("Could not delete "+taskAttemptPath);
}
} else {
LOG.warn("Output Path is null in abortTask()");
}
}

解决方法

想办法在第二次跑之前清理文件。最终输出的文件名是用户指定路径+数字，那个数字不太好从哪里获取到，另外如果开了推测执行，推测执行的任务也会失败。解决的方法还是不要用绝对路径输出，按key输出文件，最后如果需要分开目录的时候再在client那边把文件移动过去。

在容器外访问k8s apiserver

Fri, 20 Jul 2018 01:59:16 +0000

使用 kubectl proxy --port=8080 & 或者使用token

$ APISERVER=$(kubectl config view --minify | grep server | cut -f 2- -d ":" | tr -d " ")
$ TOKEN=$(kubectl describe secret $(kubectl get secrets | grep ^default | cut -f1 -d ' ') | grep -E '^token' | cut -f2 -d':' | tr -d " ")
$ curl $APISERVER/api --header "Authorization: Bearer $TOKEN" --insecure
{
"kind": "APIVersions",
"versions": [
"v1"
],
"serverAddressByClientCIDRs": [
{
"clientCIDR": "0.0.0.0/0",
"serverAddress": "10.0.1.149:443"
}
]
}

具体见文档 https://kubernetes.io/docs/tasks/access-application-cluster/access-cluster/#without-kubectl-proxy-post-v13x

hdfs acl 授权

Fri, 15 Jun 2018 03:35:54 +0000

hdfs dfs -setfacl -m default:user:user1111:rwx /tmp/xxx hdfs dfs -setfacl -m user:user1111:rwx /tmp/xxx

cuDNN下载链接

Sun, 10 Jun 2018 11:00:04 +0000

cuDNN需要注册才能下载，实际上可以从nvidia的gitlab上找到下载地址

https://gitlab.com/nvidia/cuda/tree/centos7/9.0 比如这个地址：http://developer.download.nvidia.com/compute/redist/cudnn/v7.1.4/cudnn-9.0-linux-x64-v7.1.tgz

linux系统镜像

Tue, 08 May 2018 07:19:58 +0000

debian

sed -i "s#deb.debian.org#mirrors.aliyun.com#g" /etc/apt/sources.list
sed -i "s#security.debian.org#mirrors.aliyun.com#g" /etc/apt/sources.list

ubuntu

sed -i "s#archive.ubuntu.com#mirrors.aliyun.com#g" /etc/apt/sources.list
sed -i "s#security.ubuntu.com#mirrors.aliyun.com#g" /etc/apt/sources.list

alpline

sed -i "s#dl-cdn.alpinelinux.org#mirrors.aliyun.com#g" /etc/apk/repositories

k8s安装zookeeper

Mon, 30 Apr 2018 09:53:32 +0000

使用命令安装，里面使用了gcr的镜像换一下 kubectl create -f \
https://raw.githubusercontent.com/kubernetes/contrib/master/statefulsets/zookeeper/zookeeper.yaml 但装完之后，使用zkCli.sh 无法连接，检查配置，发现server配置的hostname不能互相连接，需要使用全域名访问修改zkGenConfig.sh文件，重新打包

HOST_DOMAIN=`hostname -a`
function print_servers() {
for (( i=1; i<=$ZK_REPLICAS; i++ ))
do
echo "server.$i=$NAME-$((i-1)).${HOST_DOMAIN#*.}:$ZK_SERVER_PORT:$ZK_ELECTION_PORT"
done
}

FROM xxxxxxxxxxxxx/google_samples/k8szk:v3
COPY zkGenConfig.sh /opt/zookeeper/bin/
RUN chmod +x /usr/bin/zkGenConfig.sh

This is a hidden post.

Thu, 08 Mar 2018 17:40:19 +0800

This post is hidden from the home page.

But you can see it in archives, rss or other pages.

docker pull 访问registry过程

Sun, 28 Jan 2018 03:01:28 +0000

执行 docker pull daocloud.io/busybox 之后

步骤请求返回

1 GET https://daocloud.io/v2/ HTTP/1.1 HTTP/1.1 401 Unauthorized
Server: nginx/1.11.13
Date: Sun, 28 Jan 2018 02:35:17 GMT
Content-Type: application/json; charset=utf-8
Content-Length: 87
Connection: close
Docker-Distribution-Api-Version: registry/2.0
Www-Authenticate: Bearer realm=”https://daohub-auth.daocloud.io/auth”,service=”daocloud.io”
X-Content-Type-Options: nosniff{“errors”:[{“code”:”UNAUTHORIZED”,”message”:”authentication required”,”detail”:null}]}

2 GET https://daohub-auth.daocloud.io/auth?scope=repository%3Abusybox%3Apull&service=daocloud.io HTTP/1.1 HTTP/1.1 200 OK
Server: nginx/1.11.6
Date: Sun, 28 Jan 2018 02:35:17 GMT
Content-Type: application/json
Content-Length: 570
Connection: close
X-Qequest-Time: 0.025{“token”:”eyJ0eXAiOiJKV1QiL省略_J0Mzfs”}

GET https://daocloud.io/v2/busybox/manifests/latest HTTP/1.1

 <p> Authorization: Bearer eyJ0eXAiOiJKV1QiL省略_J0Mzfs</td>
<td style="width: 1113px;"> HTTP/1.1 200 OK<br /> Server: nginx/1.11.13<br /> Date: Sun, 28 Jan 2018 02:35:18 GMT<br /> Content-Type: application/vnd.docker.distribution.manifest.v2+json<br /> Content-Length: 527<br /> Connection: close<br /> Docker-Content-Digest: sha256:4cee1979ba0bf7db9fc5d28fb7b798ca69ae95a47c5fecf46327720df4ff352d<br /> Docker-Distribution-Api-Version: registry/2.0<br /> Etag: &#8220;sha256:4cee1979ba0bf7db9fc5d28fb7b798ca69ae95a47c5fecf46327720df4ff352d&#8221;<br /> X-Content-Type-Options: nosniff{<br /> &#8220;schemaVersion&#8221;: 2,<br /> &#8220;mediaType&#8221;: &#8220;application/vnd.docker.distribution.manifest.v2+json&#8221;,<br /> &#8220;config&#8221;: {<br /> &#8220;mediaType&#8221;: &#8220;application/vnd.docker.container.image.v1+json&#8221;,<br /> &#8220;size&#8221;: 1497,<br /> &#8220;digest&#8221;: &#8220;sha256:5b0d59026729b68570d99bc4f3f7c31a2e4f2a5736435641565d93e7c25bd2c3&#8221;<br /> },<br /> &#8220;layers&#8221;: [<br /> {<br /> &#8220;mediaType&#8221;: &#8220;application/vnd.docker.image.rootfs.diff.tar.gzip&#8221;,<br /> &#8220;size&#8221;: 723070,<br /> &#8220;digest&#8221;: &#8220;sha256:57310166fe88e0dc63a80ca5c219283a932db0f3969712e2f8a86ada143bf566&#8221;<br /> }<br /> ]<br /> } </td></tr>
<tr> <td style="width: 16px;"> 4 </td>
<td style="width: 1113px;"> GET https://daocloud.io/v2/busybox/blobs/<br /> sha256:5b0d59026729b68570d99bc4f3f7c31a2e4f2a5736435641565d93e7c25bd2c3 HTTP/1.1</p>
<p> Authorization: Bearer eyJ省略</td>
<td style="width: 1113px;"> HTTP/1.1 307 Temporary Redirect<br /> Server: nginx/1.11.13<br /> Date: Sun, 28 Jan 2018 02:35:18 GMT<br /> Content-Type: application/octet-stream<br /> Content-Length: 311<br /> Connection: close<br /> Docker-Distribution-Api-Version: registry/2.0<br /> Location: http://daohub.ufile.ucloud.com.cn/docker/registry/v2/blobs/<br /> sha256/5b/5b0d59026729b68570d99bc4f3f7c31a2e4f2a5736435641565d93e7c25bd2c3/data?Expires=1517107218&Signature=Q72RCd%省略%3D&UCloudPublicKey=mhEYuIyt6tZwLlE省略Blg%2Bc<br /> X-Content-Type-Options: nosniff&nbsp; </td></tr>
<tr> <td style="width: 16px;"> 5 </td>
<td style="width: 1113px;"> GET http://daohub.ufile.ucloud.com.cn/docker/registry/v2/blobs/<br /> sha256/5b/5b0d59026729b68570d99bc4f3f7c31a2e4f2a5736435641565d93e7c25bd2c3/data?Expires=1517107218&Signature=Q72RCd%省略%3D&UCloudPublicKey=mhEYuIyt6tZwLlE省略Blg%2Bc HTTP/1.1 </td>
<td style="width: 1113px;"> 返回具体文件内容 </td> </tr></tbody> </table>

在win10启动minikube

Sat, 13 Jan 2018 13:18:34 +0000

Setting up Kubernetes on Windows10 Laptop with Minikube

如果建虚拟交换机提示权限失败，使用管理员权限开启hyper-v。如果提示一般性拒绝，试一下把其他的虚拟网卡都卸载掉。一定要指定虚拟网卡

minikube.exe start --kubernetes-version="v1.8.0" --vm-driver="hyperv" --memory=1024 --hyperv-virtual-switch="myvnet" --v=7 --alsologtostderr

在docker里无法用jinfo

Sun, 31 Dec 2017 13:23:10 +0000

在命令里加参数

docker run --cap-add=SYS_PTRACE alpine sh -c 'apk add -U strace && strace echo'

或者在compose里某个service里面加

cap_add:
  - SYS_PTRACE

JVM in Docker and PTRACE_ATTACH

cloudera manager在下载日志返回502 BAD_GATEWAY错误

Tue, 26 Dec 2017 10:00:52 +0000

下载日志是通过status_server.py的download_log方法进行的 /usr/lib64/cmf/agent/build/env/lib/python2.6/site-packages/cmf-5.13.1-py2.6.egg/cmf/status_server.py 如果日志目录包含以下开头就禁止下载

# Simple blacklist of path prefixes that are not reasonable for log locations
path_blacklist = [ "/boot/", "/etc/", "/usr/", "/lib/", "/lib64/", "/home/",
"/root/", "/sys/", "/proc/", "/dev/", "/bin/", "/sbin/" ]
fd = self._validate_and_open(new_log_file_path,
restrict_to_parent_path=False,
path_blacklist=path_blacklist)

使用docker部署hadoop hdfs

Sun, 24 Dec 2017 10:15:12 +0000

先创建一个网络

docker network create hadoop

把本机新建一个目录hadoop，以下xml保存为docker-compose.yml

version: "3"
services:
namenode:
image: uhopper/hadoop-namenode
hostname: namenode1
container_name: namenode1
# 要和networks保持一致，这样能够自动发现其他机器（如datanode1.hadoop）
domainname: hadoop
ports:
- "50070:50070"
volumes:
- ./nn:/hadoop/dfs/name
environment:
- HDFS_CONF_dfs_replication=1
- CLUSTER_NAME=ns1
datanode1:
image: uhopper/hadoop-datanode
hostname: datanode1
container_name: datanode1
domainname: hadoop
volumes:
- ./dn1:/hadoop/dfs/data
environment:
- HDFS_CONF_dfs_replication=1
- CLUSTER_NAME=ns1
- CORE_CONF_fs_defaultFS=hdfs://namenode1:8020
networks:
default:
# 使用外部网络（如果不加这个，启动时会自动创建一个${目录名}_${name}的网络）
external:
name: hadoop

使用docker-compose up -d 启动，可以访问 http://127.0.0.1:50070 查看namenode页面另外可以进入container里面

docker exec -it namenode1 bash

尝试执行一下hdfs dfs -put /etc/issue / 如果报错

17/12/24 08:39:15 WARN hdfs.DFSClient: DataStreamer Exception
java.nio.channels.UnresolvedAddressException
at sun.nio.ch.Net.checkAddress(Net.java:101)
at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:622)
at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:192)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.java:1537)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1313)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1266)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:449)

请检查网络配置是否正确，ping datanode1.hadoop 是否返回IP

docker常用命令

Sun, 24 Dec 2017 07:50:54 +0000

# 指定子网
docker network create --subnet=172.18.0.0/16 hadoop
# attach进container里面，i参数表示交互，t参数表示tty
docker exec -i -t <CONTAINER_ID> bash

hbase备份文章

Fri, 08 Dec 2017 08:32:10 +0000

HBase备份之ExportSnapshot或CopyTable

hg to git fastexport 中文乱码问题

Tue, 28 Nov 2017 07:20:49 +0000

使用-fe指定编码 sh d:/workspace/fast-export/hg-fast-export.sh -r ../ssp-dev –force -fe gbk

HIVE-13936 Hive windowing function 导致 reduce OOM

Thu, 09 Nov 2017 06:10:06 +0000

这个是row_number https://issues.apache.org/jira/browse/HIVE-13936 http://grokbase.com/t/hive/user/148m45m9ge/help-needed-out-of-memory-with-windowing-functions

HIVE-11315 hive大语句编译缓慢

Fri, 03 Nov 2017 08:54:11 +0000

https://issues.apache.org/jira/browse/HIVE-11315

php curl ssl错误

Fri, 20 Oct 2017 07:10:07 +0000

可以使用 echo curl_error($ch); 打印错误信息如果是 SSL certificate problem, verify that the CA cert is OK 这种错误在php.ini搜索curl.cainfo，改成这个值
curl.cainfo=”/etc/ssl/certs/ca-bundle.crt” https://stackoverflow.com/questions/8227909/curl-exec-always-returns-false
https://stackoverflow.com/questions/6400300/https-and-ssl3-get-server-certificatecertificate-verify-failed-ca-is-ok

java数据库事务写的不错的一篇文章

Sun, 10 Sep 2017 06:59:38 +0000

Java事务之一——Java事务的基本问题

安装cloudera manger（中科大反向代理）

Sun, 03 Sep 2017 07:02:09 +0000

从文档Cloudera Manager Version and Download Information 找到下载地址，按系统版本下载国外的下载地址很慢，使用中科大做的反向代理访问，下面是centos6的cm地址 wget -r -np -k ‘https://cloudera.proxy.ustclug.org/cm5/redhat/6/x86_64/cm/5.12.1/’

构建cloudera自定义parcels

Mon, 28 Aug 2017 10:15:54 +0000

构建命令：

tar zcvf GPLEXTRAS-5.0.0-gplextras5b2.p0.32-el6.parcel GPLEXTRAS-5.0.0-gplextras5b2.p0.32/ --owner=root --group=root

把文件都放到一个http可访问的目录下，然后在“Parcel 设置”里面配置URL 目录结构

-rw-r--r-- 1 kpi kpi 15509175 Jul 19 15:34 CUSTOM-5.4.0-1.cdh5.4.0.p2.5-el6.parcel
-rw-rw-r-- 1 kpi kpi 41 Jul 19 15:41 CUSTOM-5.4.0-1.cdh5.4.0.p2.5-el6.parcel.sha1
-rw-r--r-- 1 kpi kpi 500 Jul 19 15:52 manifest.json

manifest.json 文件如下，里面的hash值要对应上，components里面随便填，不要和原来的冲突

{
"lastUpdated": 14993731500000,
"parcels": [
{
"parcelName": "CUSTOM-5.4.0-1.cdh5.4.0.p2.5-el6.parcel",
"components": [
{
"pkg_version": "2.5+cdh5.4.0+0",
"name": "hadoop-custom",
"version": "2.5+cdh5.4.0+0"
}
],
"conflicts": "CDH (<< 5.4.0), CDH (>> 5.12.0.)",
"hash": "fba901a470aedc7f0e83248a989f7dcd04b5dafb"
}
]
}

在centos7编译安装python2.6

Tue, 22 Aug 2017 06:40:07 +0000

遇到一些库安装不上，可以忽略掉，具体见网址 http://blog.useasp.net/archive/2014/05/07/compile-and-install-python-2-dot-7-dot-6-on-centos.aspx

Python build finished, but the necessary bits to build these modules were not found:

_bsddb _sqlite3 _ssl

_tkinter bsddb185 bz2

dbm gdbm readline

sunaudiodev

To find the necessary bits, look in setup.py in detect_modules() for the module's name.

模块	依赖	说明
_bsddb	bsddb	Interface to Berkeley DB library。Berkeley数据库的接口
_curses	ncurses	Terminal handling for character-cell displays。
_curses_panel	ncurses	A panel stack extension for curses。
_sqlite3	sqlite	DB-API 2.0 interface for SQLite databases。SqlLite，CentOS可以安装sqlite-devel
_ssl	openssl-devel.i686	TLS/SSL wrapper for socket objects。
_tkinter	N/A	a thin object-oriented layer on top of Tcl/Tk。如果不使用桌面程序可以忽略TKinter
bsddb185	old bsddb module	老的bsddb模块，可忽略。
bz2	bzip2-devel.i686	Compression compatible with bzip2。bzip2-devel
dbm	bsddb	Simple “database” interface。
dl	N/A	Call C functions in shared objects.Python2.6开始，已经弃用。
gdbm	gdbm-devel.i686	GNU’s reinterpretation of dbm
imageop	N/A	Manipulate raw image data。已经弃用。
readline	readline-devel	GNU readline interface
sunaudiodev	N/A	Access to Sun audio hardware。这个是针对Sun平台的，CentOS下可以忽略
zlib	Zlib	Compression compatible with gzip

在用户目录安装python lib

Wed, 16 Aug 2017 09:46:03 +0000

wget https://bootstrap.pypa.io/get-pip.py
python get-pip.py --user
pip install --user xxxxxx

hue cdh5.4.0 编辑器补丁

Tue, 15 Aug 2017 06:13:46 +0000

更新文件 /opt/cloudera/parcels/CDH/lib/hue/build/static/oozie/js/workflow-editor.ko.js /opt/cloudera/parcels/CDH/lib/hue/build/static/oozie/js/workflow-editor.ko.xxxxxxxx.js

HUE在CENTOS7使用

编译安装python2.6

可能要把旧版本的/usr/lib64/libpython2.6.so.1.0 放进来？
报mysql找不到so文件，/usr/lib64/mysql里面做链接，在HUE加上环境变量LD_LIBRARY_PATH=/usr/lib64/mysql/
LXML报错，移除 /opt/cloudera/parcels/CDH/lib/hue/build/env/lib/python2.6/site-packages/lxml* 重新安装lxm

装lxml的时候也会报错，安装以下包
libxml2
libxml2-dev
libxslt
libxslt-dev

安装Ubuntu提示can’t open /dev/sr0:No medium found

Fri, 04 Aug 2017 17:44:19 +0000

从U盘启动进入到有LOGO的界面，按F6，然后把U盘拔掉重新插入。 http://www.linuxdiyf.com/linux/22270.html

hadoop参数

Fri, 28 Jul 2017 03:06:10 +0000

YARN

参数	默认值	值	备注
yarn.nodemanager.container-metrics.enable		false	关闭，避免nodemanager内存OOM，http://hackershell.cn/?p=993
yarn.resourcemanager.recovery.enabled		true	启用 ResourceManager Recovery
yarn.scheduler.fair.continuous-scheduling-enabled		true	启用 Fair Scheduler 持续调度
mapreduce.reduce.shuffle.memory.limit.percent		0.5
yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage		0.95
mapreduce.task.userlog.limit.kb		102400	限制container输出的日志不要太大，设置为100MB，注意要设置log.backups，不然会使用内存
yarn.app.mapreduce.task.container.log.backups		1	备份文件个数
yarn.scheduler.fair.max.assign	-1	10	在rm配置，一次分配中，每台机器最大分配任务数

HDFS

参数默认值值配置位置备注

fs.du.interval 1200000 磁盘du间隔，du对磁盘IO影响比较大

dfs.blockreport.initialDelay 180 延迟blockreport，避免重启时集中汇报

dfs.block.scanner.cursor.save.interval.ms 默认10分钟 10分钟保存一次scan cursor

dfs.block.scanner.volume.bytes.per.second 4194304 默认值1MB，磁盘扫描的限速，要注意看看扫描一个磁盘会不会太慢，但设的太高也会影响IO

dfs.datanode.scan.period.hours 3weeks 常规磁盘扫描间隔

dfs.namenode.checkpoint.txns 10000000 namenode hdfs-site.xml 设置大一些，避免频繁的checkpoint传输

~~hadoop.user.group.static.mapping.overrides~~

~~dr.who=;~~

~~dr.who=;yarn=yarn,hadoop,supergroup;~~

 <p> <del>mapred:mapred,hadoop,supergroup</del></td>
<td style="width: 611px;"> </td>
<td style="width: 611px;"> <del>覆盖组权限，需要配置在core-site.xml里面，需要重启namenode</del> </td></tr>
<tr> <td style="width: 104px;"> dfs.namenode.posix.acl.inheritance.enabled </td>
<td style="width: 104px;">  false </td>
<td style="width: 58px;"> true </td>
<td style="width: 611px;"> </td>
<td style="width: 611px;">  在namenode hdfs-site.xml配置，在打上HDFS-6962补丁后，ACL mask权限能够继承 </td> </tr>
<tr> <td style="width: 104px;"> dfs.datanode.balance.max.concurrent.moves </td>
<td style="width: 104px;"> 5 </td>
<td style="width: 58px;"> 50 </td>
<td style="width: 611px;"> </td>
<td style="width: 611px;"> 平衡的线程数，用于提高平衡效率（需要在DataNode和Balance的hdfs-site配置，需要重启DataNode） </td> </tr>
<tr> <td style="width: 104px;"> dfs.datanode.balance.bandwidthPerSec </td>
<td style="width: 104px;"> 10MB </td>
<td style="width: 58px;"> 30MB </td>
<td style="width: 611px;"> </td>
<td style="width: 611px;"> 平衡的速度 </td> </tr>
<tr> <td style="width: 104px;"> ha.failover-controller.new-active.rpc-timeout.ms </td>
<td style="width: 104px;"> 60000 </td>
<td style="width: 58px;"> 300000 </td>
<td style="width: 611px;"> 全局的core-site.xml里面配置（客户端和failover controller都会用到） </td>
<td style="width: 611px;"> failover controller在转换active等待的时间，在hdfs failover controller里面配置，如果时间不够会在failover controller里面看到超时错误日志。<a href="https://issues.apache.org/jira/browse/HDFS-11254">HDFS-11254</a> 在replay editlog的时候也会很慢。<br /> 注意要先重启备机的controller，否则重启active controller，namenode会切换。 </td> </tr>
<tr> <td style="width: 104px;"> dfs.image.transfer.bandwidthPerSec </td>
<td style="width: 104px;"> </td>
<td style="width: 58px;"> 41943040 </td>
<td style="width: 611px;"> namenode hdfs-site.xml </td>
<td style="width: 611px;"> image传输限速，占用所有带宽会影响namenode rpc请求，重启active namenode才生效 </td> </tr></tbody> </table>
<p> &nbsp; </p>
<h2> HIVE </h2>
<table style="width: 1113px;"> <tr> <td style="width: 105px;"> 参数 </td>
<td style="width: 101px;"> 默认值 </td>
<td style="width: 159px;"> 建议值 </td>
<td style="width: 921px;"> 备注 </td> </tr>
<tr> <td style="width: 105px;"> hive.metastore.failure.retries </td>
<td style="width: 101px;"> 1 </td>
<td style="width: 159px;"> 3 </td>
<td style="width: 921px;"> metastore中途失败重试的次数，某个版本之前默认值是1，后面变为3 </td> </tr>
<tr> <td style="width: 105px;"> hive.metastore.try.direct.sql </td>
<td style="width: 101px;"> false </td>
<td style="width: 159px;"> </td>
<td style="width: 921px;"> Hive Metastore 是否应尝试使用直接 SQL 查询，而不是针对一定读取路径使用 DataNucleus。这样在获取许多分区时可以使 Metastore 性能得到数量级的提升。打开这个开关要确保打了补丁HIVE-15551，否则有内存泄露 </td> </tr>
<tr> <td style="width: 105px;"> </td>
<td style="width: 101px;"> </td>
<td style="width: 159px;"> </td>
<td style="width: 921px;"> </td> </tr> </table>
<h2> HBASE </h2>
<p> https://github.com/mattshma/bigdata/blob/master/hbase/docs/hbase_rpc.md </p>
<p> hbase.ipc.server.listen.queue.size   默认值 128 </p>
<p> hbase.ipc.server.read.threadpool.size 默认值 10 </p>
<p> hbase.regionserver.handler.count </p>
<p> hbase.regionserver.metahandler.count </p>

HDFS文件的健康检查

Sun, 16 Jul 2017 13:35:45 +0000

文章来源：HDFS DataNode Scanners and Disk Checker Explained 以下只简单翻译部分文字，详情看英文原文。

简单的概念

一个文件包含多个block，一个block有一个或多个副本。 block存储在每台机器的磁盘上，并且包含个blk_xxx.meta信息，meta中包含crc校验信息等。

这篇文章为了解答以下问题

datanode什么时候检查blocks？ datanode怎么保证内存（in-memory）中的metadata和本地磁盘保持一致？如果发生block读失败，是因为磁盘错误吗？有可能是其他间歇性的错误（例如网络中断）？

Block Scanner & Volume Scanner

每个datanode有一个block scanner，一个block scanner包含有多个volume scanner，每个volume scanner扫描一个磁盘。这里是多线程的。volume scanner需要读取全部磁盘的数据，验证每一个block，我们称这个为常规扫描（regular scans）。因为要真实读取数据，这是一个重IO的操作，这里会有个限速器。除了常规扫描外，volume scanner还维护了一份suspicious blocks（怀疑有问题的blocks列表），它是在出现读写错误的时候（不管是来自于client或者datanode），并且不是网络错误，加进这个列表里面。volume scanner会优先检查这些文件，并且为了避免重复检查，这里也有些优化。这里还有个block cursor来保存扫描进度，重启datanode也可以接着上次干活。有两个参数 dfs.block.scanner.volume.bytes.per.second 每秒最多扫描的字节数 dfs.datanode.scan.period.hours 每次扫描间隔多长时间，如果扫描提前完成了，就等。如果超过时间都没完成，就一直做完。

Directory Scanners

用来检查datanode内存的元数据和磁盘实际存储的是不是一致，主要检查文件在不在，meta信息在不在，文件大小和内存中的是不是一样。这块没有仔细看，后面再认真看下。如果发现文件大小不一样，会认为是corrupted block，汇报给namenode。

Disk Checker

主要检查目录在不在，能不能建子目录，location路径是不是目录，目录有没有read、write、execute权限。

坏块（corrupted block）处理

corrupted block会汇报给namenode，namenode调用namesystem.reportBadBlocks处理，会把block标记为corrupt，如果副本数满足一定条件，会把那个副本删掉。存活的副本数低于要求的副本数时，会触发副本复制。

再来看看我们集群

发现我们用的cdh5.4.0版本，dfs.datanode.scan.period.hours的默认值是0，Block Scanner被关闭了。下面是打开的补丁，另外对于磁盘检查这块后面的版本也有很多补丁。 https://issues.apache.org/jira/browse/HDFS-8681 BlockScanner is incorrectly disabled by default

hdfs磁盘检查相关文章

Sun, 16 Jul 2017 02:23:20 +0000

DataNode启动优化改进：磁盘检测并行化

https://issues.apache.org/jira/browse/HDFS-8845 检查时不遍历所有子目录 https://issues.apache.org/jira/browse/HDFS-8850 VolumeScanner可能会抛nullpoint exception https://issues.apache.org/jira/browse/HDFS-7916 汇报坏块给standby namenode时一直出错

HDFS DataNode Scanners and Disk Checker Explained

[BUG]HIVE-9613 left join会导致数据错位

Fri, 07 Jul 2017 10:32:00 +0000

category	city	rank	src_category_en	src_city_name_en
jinrongfuwu	shanghai	1	danbaobaoxiantouzi	sh
ktvjiuba	shanghai	2	zpwentiyingshi	sh

but int hive0.14,the results in the column **src\_category\_en** is wrong,and is just the **city** contents:

category	city	rank	src_category_en	src_city_name_en
jinrongfuwu	shanghai	1	shanghai	sh
ktvjiuba	shanghai	2	shanghai	sh

Hive遇到问题汇总

Fri, 16 Jun 2017 05:39:56 +0000

新增两个字段，但查出来的值为null。

分区有自己的字段信息，检查分区的字段信息是否和表的不一致。 desc table_name parttion (pt=’2016-01-01′);

SUM之后的结果变小

sum一个表的结果，和直接sum子查询返回的结果不一致。检查发现是表使用了bigint字段，sum之后返回的数值是科学计数法，再转回bigint的时候会出错，返回null值。从而漏掉统计部分数据

JDK Native Memory Tracking

Mon, 12 Jun 2017 07:42:07 +0000

command line option: -XX:NativeMemoryTracking=summary or -XX:NativeMemoryTracking=detail jcmd ${PID} VM.native_memory summary https://docs.oracle.com/javase/8/docs/technotes/guides/troubleshoot/tooldescr007.html

Hive On Tez cloudera5.4

Mon, 01 May 2017 10:52:17 +0000

配置

tez-site.xml

<configuration>
<property>
<name>tez.lib.uris</name>
<value>${fs.defaultFS}/apps/tez-0.8.5/,${fs.defaultFS}/apps/tez-0.8.5/lib/</value>
</property>
<property>
<name>tez.use.cluster.hadoop-libs</name>
<value>true</value>
</property>
<property>
<name>tez.runtime.compress</name>
<value>true</value>
</property>
<property>
<name>tez.runtime.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
</configuration>

调优参数

tez.grouping.min-size 分片最小限制

报错处理

找不到lzo

Caused by: java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec not found
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2018)
at org.apache.hadoop.io.compress.CompressionCodecFactory.getCodecClasses(CompressionCodecFactory.java:128)
... 23 more

LZO包没加载到，我是把lzo.jar放入tez的lib里面，但是这样会导致不能用到native库，暂时没找到解决方法。找不到org.apache.hadoop.hive.ql.exec.tez.HiveSplitGenerator

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.ql.exec.tez.HiveSplitGenerator

同样的解决方法，把hive-exec.jar放进去

errorMessage=Shuffle Runner Failed:org.apache.tez.runtime.library.common.shuffle.orderedgrouped.Shuffle$ShuffleError: Error while doing final merge
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.Shuffle$RunShuffleCallable.callInternal(Shuffle.java:320)
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.Shuffle$RunShuffleCallable.callInternal(Shuffle.java:285)
at org.apache.tez.common.CallableWithNdc.call(CallableWithNdc.java:36)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.io.IOException: Not a valid ifile header
at org.apache.tez.runtime.library.common.sort.impl.IFile$Reader.verifyHeaderMagic(IFile.java:837)
at org.apache.tez.runtime.library.common.sort.impl.IFile$Reader.isCompressedFlagEnabled(IFile.java:844)
at org.apache.tez.runtime.library.common.sort.impl.IFile$Reader.<init>(IFile.java:547)
at org.apache.tez.runtime.library.common.sort.impl.TezMerger$DiskSegment.init(TezMerger.java:407)
at org.apache.tez.runtime.library.common.sort.impl.TezMerger$MergeQueue.merge(TezMerger.java:753)
at org.apache.tez.runtime.library.common.sort.impl.TezMerger.merge(TezMerger.java:192)
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.MergeManager.finalMerge(MergeManager.java:1203)
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.MergeManager.close(MergeManager.java:583)
at org.apache.tez.runtime.library.common.shuffle.orderedgrouped.Shuffle$RunShuffleCallable.callInternal(Shuffle.java:316)

我是重新指定了一下压缩算法（tez.runtime.compress.codec），不知道为什么。压缩关掉也可以。

<property>
<name>tez.runtime.compress</name>
<value>true</value>
</property>
<property>
<name>tez.runtime.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

写的不错的文章

Tez系列第二篇 Hive_on_tez

jobhistory关注的issue

Mon, 10 Apr 2017 07:30:14 +0000

JobHistory cache issue
https://issues.apache.org/jira/browse/MAPREDUCE-6436
可能导致打印的日志太多影响性能 Job history server scans can become blocked on a single, slow entry
https://issues.apache.org/jira/browse/MAPREDUCE-6797 High contention on scanning of user directory under immediate_done in Job History Server
https://issues.apache.org/jira/browse/MAPREDUCE-6684

kafka关注的issue

Mon, 27 Mar 2017 10:17:36 +0000

BrokerChangeListener computes inconsistent live/dead broker list
https://issues.apache.org/jira/browse/KAFKA-3085 BrokerChangeListener missed broker id path ephemeral node deletion event.
https://issues.apache.org/jira/browse/KAFKA-2448 Controller could miss a broker state change
https://issues.apache.org/jira/browse/KAFKA-1120

在reduce InMemoryMapOutput OOM

Wed, 15 Mar 2017 07:54:22 +0000

2017-03-14 15:41:52,724 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#1
at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.OutOfMemoryError: Java heap space
at org.apache.hadoop.io.BoundedByteArrayOutputStream.<init>(BoundedByteArrayOutputStream.java:56)
at org.apache.hadoop.io.BoundedByteArrayOutputStream.<init>(BoundedByteArrayOutputStream.java:46)
at org.apache.hadoop.mapreduce.task.reduce.InMemoryMapOutput.<init>(InMemoryMapOutput.java:63)
at org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.unconditionalReserve(MergeManagerImpl.java:305)
at org.apache.hadoop.mapreduce.task.reduce.MergeManagerImpl.reserve(MergeManagerImpl.java:295)
at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyMapOutput(Fetcher.java:514)
at org.apache.hadoop.mapreduce.task.reduce.Fetcher.copyFromHost(Fetcher.java:336)
at org.apache.hadoop.mapreduce.task.reduce.Fetcher.run(Fetcher.java:193)

调整这个参数 ( mapreduce.reduce.shuffle.input.percent )，默认值为0.7，改为0.5 相关的参数 mapreduce.reduce.shuffle.memory.limit.percent 一个单一的shuffle的最大内存使用限制

hadoop job -kill 和 yarn application -kill 区别

Fri, 06 Jan 2017 10:49:51 +0000

hadoop job -kill 调用的是CLI.java里面的job.killJob(); 这里会分几种情况，如果是能查询到状态是RUNNING的话，是直接向AppMaster发送kill请求的。
YARNRunner.java

@Override
public void killJob(JobID arg0) throws IOException, InterruptedException {
/* check if the status is not running, if not send kill to RM */
JobStatus status = clientCache.getClient(arg0).getJobStatus(arg0);
ApplicationId appId = TypeConverter.toYarn(arg0).getAppId();
// get status from RM and return
if (status == null) {
killUnFinishedApplication(appId);
return;
}
if (status.getState() != JobStatus.State.RUNNING) {
killApplication(appId);
return;
}
try {
/* send a kill to the AM */
clientCache.getClient(arg0).killJob(arg0);
long currentTimeMillis = System.currentTimeMillis();
long timeKillIssued = currentTimeMillis;
while ((currentTimeMillis < timeKillIssued + 10000L)
&& !isJobInTerminalState(status)) {
try {
Thread.sleep(1000L);
} catch (InterruptedException ie) {
/** interrupted, just break */
break;
}
currentTimeMillis = System.currentTimeMillis();
status = clientCache.getClient(arg0).getJobStatus(arg0);
if (status == null) {
killUnFinishedApplication(appId);
return;
}
}
} catch(IOException io) {
LOG.debug("Error when checking for application status", io);
}
if (status != null && !isJobInTerminalState(status)) {
killApplication(appId);
}
}

MRClientService.java

@SuppressWarnings("unchecked")
@Override
public KillJobResponse killJob(KillJobRequest request)
throws IOException {
JobId jobId = request.getJobId();
UserGroupInformation callerUGI = UserGroupInformation.getCurrentUser();
String message = "Kill job " + jobId + " received from " + callerUGI
+ " at " + Server.getRemoteAddress();
LOG.info(message);
verifyAndGetJob(jobId, JobACL.MODIFY_JOB);
appContext.getEventHandler().handle(
new JobDiagnosticsUpdateEvent(jobId, message));
appContext.getEventHandler().handle(
new JobEvent(jobId, JobEventType.JOB_KILL));
KillJobResponse response =
recordFactory.newRecordInstance(KillJobResponse.class);
return response;
}

yarn application -kill 使用的是ApplicationCLI.java，是向RM发送kill请求

/**
* Kills the application with the application id as appId
*
* @param applicationId
* @throws YarnException
* @throws IOException
*/
private void killApplication(String applicationId) throws YarnException,
IOException {
ApplicationId appId = ConverterUtils.toApplicationId(applicationId);
ApplicationReport appReport = null;
try {
appReport = client.getApplicationReport(appId);
} catch (ApplicationNotFoundException e) {
sysout.println("Application with id '" + applicationId +
"' doesn't exist in RM.");
throw e;
}
if (appReport.getYarnApplicationState() == YarnApplicationState.FINISHED
|| appReport.getYarnApplicationState() == YarnApplicationState.KILLED
|| appReport.getYarnApplicationState() == YarnApplicationState.FAILED) {
sysout.println("Application " + applicationId + " has already finished ");
} else {
sysout.println("Killing application " + applicationId);
client.killApplication(appId);
}
}

YarnClientImpl.java

@Override
public void killApplication(ApplicationId applicationId)
throws YarnException, IOException {
KillApplicationRequest request =
Records.newRecord(KillApplicationRequest.class);
request.setApplicationId(applicationId);
try {
int pollCount = 0;
long startTime = System.currentTimeMillis();
while (true) {
KillApplicationResponse response =
rmClient.forceKillApplication(request);
if (response.getIsKillCompleted()) {
LOG.info("Killed application " + applicationId);
break;
}
long elapsedMillis = System.currentTimeMillis() - startTime;
if (enforceAsyncAPITimeout() &&
elapsedMillis >= this.asyncApiPollTimeoutMillis) {
throw new YarnException("Timed out while waiting for application " +
applicationId + " to be killed.");
}
if (++pollCount % 10 == 0) {
LOG.info("Waiting for application " + applicationId + " to be killed.");
}
Thread.sleep(asyncApiPollIntervalMillis);
}
} catch (InterruptedException e) {
LOG.error("Interrupted while waiting for application " + applicationId
+ " to be killed.");
}
}

HDFS-6962 hdfs acl mask继承无效

Mon, 21 Nov 2016 10:50:03 +0000

ACL inheritance conflicts with umaskmode
https://issues.apache.org/jira/browse/HDFS-6962

hive merge小文件

Mon, 21 Nov 2016 10:47:17 +0000

2.输出合并
set hive.merge.mapfiles = true #在Map-only的任务结束时合并小文件（默认开启） set hive.merge.mapredfiles = true #在Map-Reduce的任务结束时合并小文件
set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge 见：http://blog.csdn.net/yfkiss/article/details/8590486

parquet-hive列裁剪和谓词下推

Sun, 20 Nov 2016 13:36:21 +0000

一直好奇parquet和hive是怎样做列裁剪（跳过某些列）的，今天跟踪了一下代码。 parquet和hive交接的代码已经在合并在hive里面了，直接看hive的代码

input format在：org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat

数据准备

CREATE TABLE parquet (x INT, y STRING) STORED AS PARQUET;
CREATE TABLE parquet2 (x INT, y STRING) STORED AS PARQUET;
CREATE TABLE test (x INT, y STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '`';
-- 手工构造数据进test表
INSERT OVERWRITE TABLE parquet SELECT x,y FROM test;
INSERT OVERWRITE TABLE parquet2 SELECT x,y FROM test;

测试语句

SET mapred.job.tracker=local;
SET hive.exec.mode.local.auto=true;
SET fs.defaultFS=file:///;
-- 避免转成mapjoin
SET hive.auto.convert.join=false;
select a.x, b.y from parquet a left join parquet2 b on (a.x = b.x);

代码分析

maptask读取数据的时候，需要先获取一个reader
MapTask(job.getInputFormat().getRecordReader)-> CombineHiveInputFormat.getRecordReader -> HiveInputFormat.pushFilters

public static void pushFilters(JobConf jobConf, TableScanOperator tableScan) {
// construct column name list and types for reference by filter push down
Utilities.setColumnNameList(jobConf, tableScan); // 在conf里设置columns
Utilities.setColumnTypeList(jobConf, tableScan); // 在conf里设置columns.types
}

从this.mrwork.getPathToAliases里面拿到table alias，然后再从this.mrwork.getAliasToWork拿到TableScanOperator，
ts.getNeededColumnIDs(), ts.getNeededColumns() 可以拿个这个表扫描需要的字段。

protected void pushProjectionsAndFilters(JobConf jobConf, Class inputFormatClass,
String splitPath, String splitPathWithNoSchema, boolean nonNative) {
if (this.mrwork == null) {
init(job);
}
if(this.mrwork.getPathToAliases() == null) {
return;
}
ArrayList<String> aliases = new ArrayList<String>();
Iterator<Entry<String, ArrayList<String>>> iterator = this.mrwork
.getPathToAliases().entrySet().iterator();
while (iterator.hasNext()) {
Entry<String, ArrayList<String>> entry = iterator.next();
String key = entry.getKey();
boolean match;
if (nonNative) {
// For non-native tables, we need to do an exact match to avoid
// HIVE-1903. (The table location contains no files, and the string
// representation of its path does not have a trailing slash.)
match =
splitPath.equals(key) || splitPathWithNoSchema.equals(key);
} else {
// But for native tables, we need to do a prefix match for
// subdirectories. (Unlike non-native tables, prefix mixups don't seem
// to be a potential problem here since we are always dealing with the
// path to something deeper than the table location.)
match =
splitPath.startsWith(key) || splitPathWithNoSchema.startsWith(key);
}
if (match) {
ArrayList<String> list = entry.getValue();
for (String val : list) {
aliases.add(val);
}
}
}
for (String alias : aliases) {
Operator<? extends OperatorDesc> op = this.mrwork.getAliasToWork().get(
alias);
if (op instanceof TableScanOperator) {
TableScanOperator ts = (TableScanOperator) op;
// push down projections.
ColumnProjectionUtils.appendReadColumns(
jobConf, ts.getNeededColumnIDs(), ts.getNeededColumns());
// push down filters
pushFilters(jobConf, ts);
}
}
}

注意这个方法:ColumnProjectionUtils.appendReadColumns，收集这个数据用到的字段。存储到的参数是
hive.io.file.readcolumn.ids 记录需要获取的字段ID
hive.io.file.readcolumn.names 记录需要获取的字段名称在ParquetRecordReaderWrapper.getSplit里也有一个
jobConf = projectionPusher.pushProjectionsAndFilters(conf, finalPath.getParent()); 感觉和上面的HiveInputFormat的功能重叠，代码基本一样，可能为了兼容旧版本？不过重复添加也没有影响。使用这个字段是在DataWritableReadSupport.init里面，从final String columns = configuration.get(IOConstants.COLUMNS);拿出所有字段，然后构造一个schema，然后结合上面的hive.io.file.readcolumn.ids，从而构造出新的schema 过滤条件的下放也是类似的情况。

parquet编码定义

Sun, 13 Nov 2016 12:29:49 +0000

主要是翻译https://github.com/Parquet/parquet-format/blob/master/Encodings.md内容，没有完整翻译，有些地方没有理解，可能有理解错的地方。

Plain: (PLAIN = 0)

如果没有更高效的编码方式就采用这种方式存储 BOOLEAN: Bit Packed, LSB first
INT32: 4 bytes 小端存储
INT64: 8 bytes 小端存储
INT96: 12 bytes 小端存储
FLOAT: 4 bytes IEEE 小端存储
DOUBLE: 8 bytes IEEE 小端存储
BYTE_ARRAY: 4 bytes 小端存储字符数组长度，接着是字符字节
FIXED_LEN_BYTE_ARRAY: 纯字符字节（这个应该是固定长度的字符）使用小端存储是因为存储快（未确认，见整型编码调研）

Dictionary Encoding (PLAIN_DICTIONARY = 2) 字典编码（已过时，官方文档没更新，使用RLE_DICTIONARY代替）

对列的内容构建一个字典，字典会存储在每一个column chunk的dictionary page,内容页都存储为int类型使用RLE/Bit-Packing Hybrid（变长长度编码/Bit-Packing混合）编码
如果字典太大，不管是因为大小还是排重值过多，这种编码会退化为plain编码。
Dictionary page会在每个column chunk的开头，接着是data page。 Dictionary page 格式：使用plain编码存储，按字典的顺序
Data page 格式：使用1bytes存储位宽（bit width），最大位宽32bit。接着是使用RLE/Bit packed来存储指向数据的ID。
字典编码举例：构造字典AAA(1) BBB(2),那存储AAABBBAAA就变成：字典内容加上121

Run Length Encoding / Bit-Packing Hybrid (RLE = 3) 变长长度编码/Bit-Packing混合

场景：用于存储重复的数据存储格式

rle-bit-packed-hybrid:
length := 的长度，用4bytes小端存储
encoded-data := *
run := |
bit-packed-run :=
bit-packed-header := varint-encode( << 1 | 1) //左移一位，最后一位补1，用来区分RLE，varint-encode搜索vlq编码
// bit-pack 总是每次压缩8个值，所以只用存储除以8
bit-pack-count := (number of values in this run) / 8
bit-packed-values := *see 1 below*
rle-run :=
rle-header := varint-encode( (number of times repeated) << 1) // 重复的次数
repeated-value := value that is repeated, using a fixed-width of round-up-to-next-byte(bit-width) // 重复的内容，round-up-to-next-byte没看懂以 0 至 7 这八个数字为例子

dec value: 0 1 2 3 4 5 6 7
bit value: 000 001 010 011 100 101 110 111
bit label: ABC DEF GHI JKL MNO PQR STU VWX
编码后
bit value: 10001000 11000110 11111010
bit label: HIDEFABC RMNOJKLG VWXSTUPQ

和下面的Bit-packed (Deprecated)存储顺序不一样，这个是从least significant to most significant（从低位到高位）存储，但是值的位顺序不变
注意看bit label 为什么用这种顺序？看起来是像对小端硬件的优化。

The reason for this packing order is to have fewer word-boundaries on little-endian hardware when deserializing more than one byte at at time. This is because 4 bytes can be read into a 32 bit register (or 8 bytes into a 64 bit register) and values can be unpacked just by shifting and ORing with a mask. (to make this optimization work on a big-endian machine, you would have to use the ordering used in the deprecated bit-packing encoding) varint-encode() is ULEB-128 encoding, 搜索vlq编码

Bit-packed (Deprecated) (BIT_PACKED = 4)

已被Run Length Encoding / Bit-Packing Hybrid代替
举例说明，假如要存储0,1,2,3,4,5,6,7这8个数字，用plain的方式来存储是4bytes一个数字，总共 4 * 8 * 8 = 256位。现在采用位编码来存储上面的值，上面最大的数字7用位来表示是：00000000 00000000 00000000 00000111，它的有效位是111，只要用3bit就能存储所有比它小的值，8个数字共占用空间3*8=24bit。

dec value: 0 1 2 3 4 5 6 7
bit value: 000 001 010 011 100 101 110 111
bit label: ABC DEF GHI JKL MNO PQR STU VWX
bit value: 00000101 00111001 01110111
bit label: ABCDEFGH IJKLMNOP QRSTUVWX

bit label是用来标识上面的每一位的具体位置。

Delta Encoding (DELTA_BINARY_PACKED = 5)差分编码

支持类型: INT32, INT64 Delta Encoding由header+blocks of delta encoded values构成。每个block里面有多个miniblock，每一个miniblock有不同的bit width来压缩（binary packed）。 When there are not enough values to encode a full block we pad with zeros (added to the frame of reference) header如下： <block size in values> <number of miniblocks in a block> <total value count> <first value> 

block size：一个乘以128用VLQ int存储的值（不清楚这个值怎么算）
the miniblock count per block：miniblock的个数，用block size除以它可以算出每个block大小。一个乘以32用VLQ int存储的值
total value count：VLQ int存储
first value：zigzag VLQ int存储每一个block包含
min delta：最小的差值（VLQ int），计算最小的差值是为了bit packing的时候都是正数
bitwidth of each block用1 byte存储
miniblocks：是一组根据前面指定bit width的bit packed 数字有多个block是因为可以有多个基准值

如何计算？

计算相邻的差值
使用zigzag VLQ int编码第一个值
每一个block里计算参照值(frame of reference)（最小的那个差异值），这个保证每个差量都是正数
使用VLQ int编码参照值，然后接着的是bit packed 的差异量(每一个减去参考值) 如果这个block只有一个值，第2,3步省略

例子1

1, 2, 3, 4, 5 第1步后，计算每个数字和前一个数字的差值 1, 1, 1, 1 最小的差异值是1，第二步后 0, 0, 0, 0 最终编码的数据为： header: 8 (block size), 1 (miniblock count), 5 (value count), 1 (first value) block 1 (minimum delta), 0 (bitwidth), (no data needed for bitwidth 0)

例子2

7, 5, 3, 1, 2, 3, 4, 5，差异值为 -2, -2, -2, 1, 1, 1, 1 最小差异值为-2，每个差异值减去这个值后 0, 0, 0, 3, 3, 3, 3 最终编码的数据为： header: 8 (block size), 1 (miniblock count), 8 (value count), 7 (first value) block: 0 (minimum delta), 2 (bitwidth), 000000111111b (0,0,0,3,3,3 packed on 2 bits) （这里不理解为什么minimum delta是0，block size也不清楚为什么是8）

特性

有点像RLE/bit-packing，但是RLE/bit-packing在一个page里面使用单一的bit width。差分算法使用多个minblocks，可以有不同的bit width，对数值大小变化没那么敏感。如果在一段数据里面都是同一个值，这种算法只需要存储header就行了，不用存储数据（见例子1），这也是一种RLE编码。

Delta-length byte array: (DELTA_LENGTH_BYTE_ARRAY = 6)

支持类型: BYTE_ARRAY 这个编码比PLAIN的byte array好存储方式，使用差分编码（DELTA_BINARY_PACKED）的方式来存储每个字符串的长度，接着就是每个字符串拼接起来。这样做的好处是节省了记录长度的空间，以及对压缩好一些（不用在数据中间插入字符长度）例子： “Hello”, “World”, “Foobar”, “ABCDEF” -》DeltaEncoding(5, 5, 6, 6) “HelloWorldFoobarABCDEF”

Delta Strings: (DELTA_BYTE_ARRAY = 7)

支持类型: BYTE_ARRAY，适用于字符较多相似的字符数组使用incremental encoding(http://en.wikipedia.org/wiki/Incremental_encoding)编码，用DELTA_BINARY_PACKED编码来存储prefix lengths（前缀的长度），然后跟着用DELTA_LENGTH_BYTE_ARRAY编码的字节数组例子： “cat” “catlog” “abc” “abd” “add” 使用incremental encoding，前面是prefix lengths，表示和前一个字符串相同的字符串有多少 “0 cat” “3 log” “0 abc” “2 d” “1dd” 最终存储 DELTA_BINARY_PACKED(0, 3, 0, 2, 1) DeltaEncoding(3, 3, 3, 1, 2) “catlogabcddd”

参考

https://github.com/Parquet/parquet-format/blob/master/Encodings.md
https://github.com/apache/parquet-format 深入分析Parquet列式存储格式 http://www.infoq.com/cn/articles/in-depth-analysis-of-parquet-column-storage-format
整型编码调研 https://github.com/sjtufighter/—-Data—Storage–/blob/master/encodingDetails.md
VLQ(Variable-length quantity) 编码规则 http://blog.allenm.me/2012/12/base64-vlq-encoding/

HIVE-10815 随机选择HiveMetaStoreClient

Sat, 22 Oct 2016 03:04:03 +0000

https://issues.apache.org/jira/browse/HIVE-10815 目前cdh5.4.0版本的hive第一次连接的时候，固定是使用第一个，只有连接失败后，才随机选择。

HiveMetaStoreClient.java

// user wants file store based configuration
if (conf.getVar(HiveConf.ConfVars.METASTOREURIS) != null) {
String metastoreUrisString[] = conf.getVar(
HiveConf.ConfVars.METASTOREURIS).split(",");
metastoreUris = new URI[metastoreUrisString.length];
try {
int i = 0;
for (String s : metastoreUrisString) {
URI tmpUri = new URI(s);
if (tmpUri.getScheme() == null) {
throw new IllegalArgumentException("URI: " + s
+ " does not have a scheme");
}
metastoreUris[i++] = tmpUri;
}
} catch (IllegalArgumentException e) {
throw (e);
} catch (Exception e) {
MetaStoreUtils.logAndThrowMetaException(e);
}
} else {
LOG.error("NOT getting uris from conf");
throw new MetaException("MetaStoreURIs not found in conf file");
}

在重连的时候，随机把后面的交换到第一个

private void promoteRandomMetaStoreURI() {
if (metastoreUris.length <= 1) {
return;
}
Random rng = new Random();
int index = rng.nextInt(metastoreUris.length - 1) + 1;
URI tmp = metastoreUris[0];
metastoreUris[0] = metastoreUris[index];
metastoreUris[index] = tmp;
}

HIVE-10815让metastore初始化的时候先打乱顺序

impala断开连接后释放session

Mon, 17 Oct 2016 02:38:58 +0000

代码在这里 https://github.com/cloudera/Impala/blob/cdh5-2.2.0_5.4.0/be/src/service/impala-server.cc 如果不想断开清除session,直接return

void ImpalaServer::ConnectionEnd(
const ThriftServer::ConnectionContext& connection_context) {
return;
unique_lock<mutex> l(connection_to_sessions_map_lock_);
ConnectionToSessionMap::iterator it =
connection_to_sessions_map_.find(connection_context.connection_id);
// Not every connection must have an associated session
if (it == connection_to_sessions_map_.end()) return;
LOG(INFO) << "Connection from client " << connection_context.network_address
<< " closed, closing " << it->second.size() << " associated session(s)";
BOOST_FOREACH(const TUniqueId& session_id, it->second) {
Status status = CloseSessionInternal(session_id, true);
if (!status.ok()) {
LOG(WARNING) << "Error closing session " << session_id << ": "
<< status.GetDetail();
}
}
connection_to_sessions_map_.erase(it);
}

HIVE-10956 HS2 leaks HMS connections

Thu, 08 Sep 2016 03:27:16 +0000

https://issues.apache.org/jira/browse/HIVE-10956 HMS链接泄露 https://issues.apache.org/jira/browse/HIVE-13002 HIVE-11934
Transaction lock retry logic results in infinite loop

使用powermock

Wed, 17 Aug 2016 06:10:27 +0000

在pom.xml加入

<dependency>
<groupId>org.easymock</groupId>
<artifactId>easymock</artifactId>
<version>3.3.1</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.powermock</groupId>
<artifactId>powermock-module-junit4</artifactId>
<version>1.6.5</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.powermock</groupId>
<artifactId>powermock-api-easymock</artifactId>
<version>1.6.5</version>
<scope>test</scope>
</dependency>

如果报错，有可能项目中包含有低版本的javassist

java.lang.NoSuchMethodError: javassist.CtMethod.hasAnnotation(Ljava/lang/Class;)Z

尝试加入新版本的javassist，注意classpath的优先级是否正确

<dependency>
<groupId>org.javassist</groupId>
<artifactId>javassist</artifactId>
<version>3.19.0-GA</version>
<scope>test</scope>
</dependency>

使用文档可以看官网：https://github.com/jayway/powermock

获取linux用户和组映射脚本

Mon, 08 Aug 2016 03:02:55 +0000

记录一下 python代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re
import os
import sys
p = os.popen('id %s' % sys.argv[1])
s = p.read()
# s = 'uid=486(yarn) gid=484(yarn) groups=484(yarn),493(hadoop),513(supergroup)'
user = re.findall("uid=\d+\((.*?)\)", s)[0]
s = s.split("groups=")[1]
match = re.findall("\((.*?)\)", s)
groups = []
for group in match:
groups.append(group)
print user + "=" + ",".join(sorted(groups))

shell脚本

for user in $(cat /etc/passwd|gawk -F':' '{print $1}'); do
python ./f.py $user
done

hadoop组映射从配置文件读取

Sun, 31 Jul 2016 10:41:41 +0000

hadoop实现类似linux系统的文件权限，需要知道某个用户是属于哪个组。系统默认是使用ShellBasedUnixGroupsMapping 类来获取某个用户属于哪个组，实际是调用id命令来获取用户组信息。为了方便管理，也可以自己实现这个类，通过读取文件的方式来获得组信息。只要实现org.apache.hadoop.security.GroupMappingServiceProvider接口即可，具体可以参考ShellBasedUnixGroupsMapping的实现。

代码

package cn.uc.hadoop.security;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.security.GroupMappingServiceProvider;
import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashSet;
import java.util.List;
import java.util.Set;
import java.util.concurrent.ConcurrentHashMap;
/**
* Created by fatkun on 2016/7/31.
*/
public class FileBasedUnixGroupsMapping implements GroupMappingServiceProvider {
private ConcurrentHashMap<String, List<String>> groups = null;
private static final Log LOG = LogFactory.getLog(FileBasedUnixGroupsMapping.class);
private String confFilePath = "/home/cloudera/var/group/groups.txt";
// 格式： user1=group1,group2
public void setConfFilePath(String confFilePath) {
this.confFilePath = confFilePath;
}
private synchronized void loadConf(boolean refresh) {
if (refresh || groups == null) {
ConcurrentHashMap<String, List<String>> tmpGroups = new ConcurrentHashMap<>();
try {
BufferedReader reader = new BufferedReader(new FileReader(confFilePath));
String line = null;
while ((line = reader.readLine()) != null) {
line = line.trim();
if (line.startsWith("#")) continue;
String[] ugArray = line.split("=");
if (ugArray.length == 2) {
String user = ugArray[0].trim();
List<String> groupList = new ArrayList<>();
Set<String> groupSet = new HashSet<String>();
groupSet.add(user);
for (String group : ugArray[1].split(",")) {
groupSet.add(group.trim());
}
groupList.addAll(groupSet);
LOG.info("add user=" + user + " groups=" + groupList);
tmpGroups.put(user, groupList);
}
}
reader.close();
} catch (IOException e) {
LOG.error("LOAD GROUP MAPPING ERROR", e);
}
groups = tmpGroups;
}
}
@Override
public List<String> getGroups(String user) {
if (groups == null) {
loadConf(false);
}
List<String> groupList = groups.get(user);
// 如果找不到组配置，返回一个和用户名一样的组名称
if (groupList == null) {
groupList = new ArrayList<>();
groupList.add(user);
LOG.error("CAN'T NOT FIND GROUPS FOR USER " + user);
}
return groupList;
}
@Override
public void cacheGroupsRefresh() {
loadConf(true);
}
@Override
public void cacheGroupsAdd(List<String> groups) throws IOException {
// does nothing in this provider of user to groups mapping
}
public static void main(String[] args) throws IOException {
FileBasedUnixGroupsMapping f = new FileBasedUnixGroupsMapping();
f.setConfFilePath("d:/tmp/groups.txt");
System.out.println(f.getGroups("impala"));
}
}

在cloudera如何使用

在namenode的配置“hdfs-site.xml 的 NameNode 高级配置代码段”加入以下配置，注意不要改“服务级别的hadoop.security.group.mapping”，我们只打算改掉namenode获取组映射的方式

<property>
<name>hadoop.security.group.mapping</name>
<value>cn.uc.hadoop.security.FileBasedUnixGroupsMapping</value>
</property>

在 “NameNode 环境高级配置代码段（安全阀）”加入（把jar加入namenode的classpath里面）

HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/home/cloudera/var/group/hadoopgroup.jar

生成groups.txt见 http://fatkun.com/2016/08/get-user-group-mapping.html

迁移Hadoop NameNode

Fri, 22 Jul 2016 09:55:06 +0000

版本：hadoop cdh5.4

传输文件

接收方 nc -l <span class="hljs-number">19999</span> <span class="hljs-string">| tar zxvf -</span>
发送方 tar czvf - ./current <span class="hljs-string">| nc serverip 19999</span>

迁移方案

采用修改/etc/hosts的方式，把原hostname指向新的IP，新机器更改hostname

迁移前准备

迁移旧namenode机器上的其他服务，只保留HDFS Failover Controller、HDFS JournalNode、HDFS NameNode、ZooKeeper（如有）
在hdfs配置中找出元数据存放目录(dfs.name.dir)：/home/cloudera/var/dfs/nn
在新NameNode机器建立好用户和组（否则权限不正确）
如果要迁移Hive Metastore，要注意mysql-connector.jar是否部署好（放在 /usr/share/java/mysql-connector-java.jar）
更改/etc/hosts准备
在新机器部署cloudera

开始迁移

1.备份元数据

让备机NameNode进入安全模式
保存Namespace
进入元数据目录，新建目录，备份fsimage_*（最新的一份）、fsimage_*.md5、seen_txid、VERSION、edits_*
把元数据传到新机器

<span class="hljs-preprocessor"># 在新机器执行</span>
mkdir -p /home/cloudera/<span class="hljs-keyword">var</span>/dfs/nn/current
chown -R hdfs:hdfs /home/cloudera/<span class="hljs-keyword">var</span>/dfs
<span class="hljs-preprocessor"># 传输文件（要注意nc的版本）</span>
<span class="hljs-preprocessor">#接收方 </span>
nc -l <span class="hljs-number">19999</span> | tar zxvf -
<span class="hljs-preprocessor">#传送方</span>
tar czvf - ./fsimage_0000000000006460983* seen_txid <span class="hljs-constant"> VERSION </span>edits_* | nc serverip <span class="hljs-number">19999</span>

2.停止NameNode备机服务

把这台机器的所有服务停止，并且删除掉（停止前记录一下上面有哪些服务）
停止两个HDFS Failover Controller
停止旧机器的agent /etc/init.d/cloudera-scm-agent stop
从主机中删除旧机器

3.修改IP和Hostname

修改所有机器的旧hostname指向新IP
修改旧机器的hostname为其他名称（可以不操作）
修改新机器的hostname为旧机器hostname，注意/etc/hosts里面本机的原有hostname/IP注释掉
重启新机器的cloudera agent：/etc/init.d/cloudera-scm-agent restart
重启完成检查主机名称是否变更
重启agent后要重新部署CDH

4.重新添加回服务

添加ZooKeeper
添加Hive Metastore
添加NameNode、JournalNode、Failover Controller，需要改nameservice，先启动NameNode
等namenode汇报完块后

5.重启

重启zookeeper（全部重启）
重启hbase
重启impala
重启nodemanager、history server
重启spark
重启所有用了hdfs常驻型的程序

等新机器NameNode正常后，切换为主NameNode

错误处理

namenode (osg13-vm05) 在其主机上不具备自动故障转移所必需的 Failover Controller。
没有添加Failover Controller，添加一个

检查

hdfs：hdfs dfs -ls /tmp
hive：show tables;
impala
show tables; desc xxx; select
hbase

hbase shell
<span class="hljs-keyword">list</span>
desc <span class="hljs-string">"gjtt_uid"</span>
scan <span class="hljs-string">'gjtt_uid'</span>,{LIMIT =><span class="hljs-number">2</span>}

hadoop

hadoop jar /home/cloudera/parcels/CDH/lib/hadoop<span class="hljs-attribute">-mapreduce</span>/hadoop<span class="hljs-attribute">-mapreduce</span><span class="hljs-attribute">-examples</span><span class="hljs-built_in">.</span>jar pi <span class="hljs-number">1</span> <span class="hljs-number">10</span>

spark
spark-shell

val input = sc<span class="hljs-preprocessor">.textFile</span>(<span class="hljs-string">"/tmp/issue"</span>)
input<span class="hljs-preprocessor">.flatMap</span>(_<span class="hljs-preprocessor">.split</span>(<span class="hljs-string">" "</span>))<span class="hljs-preprocessor">.map</span>((_, <span class="hljs-number">1</span>))<span class="hljs-preprocessor">.reduceByKey</span>(_ + _)<span class="hljs-preprocessor">.foreach</span>(println)

回滚

把hosts改回去，namenode切换回去

做不到不影响服务的原因

一开始以为是java缓存了host/IP，但测试之后发现java只缓存30秒。
原因是DfsClient在建立rpcProxy对象的时候，已经把namenode两台机器的host解析出来，并且放在ConnectionId里，这个对象会一直使用。
补丁HADOOP-7472 只解决了在没有HA的场景，不过也让datanode可以不用重启。
在HA场景下，恰好让上面的补丁失效了。
在社区找了一下新的ISSUE https://issues.apache.org/jira/browse/HADOOP-12125 ，但可能不是重要的问题，也没人提交补丁。因为涉及比较基础的类，影响比较大，也不打算修改，采取重启的方式。
也尝试了一些奇怪的方法，但是没有很好的解决问题，还是选择重启服务。

hadoop磁盘写入选择策略

Thu, 14 Jul 2016 10:27:36 +0000

hadoop写入时，默认磁盘选择是轮询的方式。可以改用按空间大小来分配，避免某个磁盘特别满。参数：dfs.datanode.fsdataset.volume.choosing.policy

<property>
<name>dfs.datanode.fsdataset.volume.choosing.policy</name>
<value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
</property>

详细见：
hadoop2.0的datanode多目录数据副本存放策略

hadoop更换namenode注意事项

Wed, 25 May 2016 09:56:00 +0000

所有机器hosts都要加上新namenode
新namenode要建立好以前的用户和组
zookeeper中HA的信息可以删除，然后重建zookeeper HA
把namenode image备份，把image和edit log传到新机器
需要删除一个namenode和failover controler，然后重新建
重启所有业务（包含用到hdfs的所有程序）
重新部署所有配置

[HADOOP-11238]hdfs namenode getGroups延迟

Sun, 15 May 2016 02:29:06 +0000

在namenode日志看到如下错误

2016-05-11 01:00:26,360 WARN org.apache.hadoop.security.Groups: Potential performance problem: getGroups(user=xxx) took 5046 milliseconds

这个方法是hadoop为了获取某个用户是哪个组。

分析补丁

补丁：https://issues.apache.org/jira/browse/HADOOP-11238
先贴出修改前的源代码

public List<String> getGroups(String user) throws IOException {
// No need to lookup for groups of static users
List<String> staticMapping = staticUserToGroupsMap.get(user);
if (staticMapping != null) {
return staticMapping;
}
// Return cached value if available
CachedGroups groups = userToGroupsMap.get(user);
long startMs = timer.monotonicNow();
if (!hasExpired(groups, startMs)) {
if(LOG.isDebugEnabled()) {
LOG.debug("Returning cached groups for '" + user + "'");
}
if (groups.getGroups().isEmpty()) {
// Even with enabling negative cache, getGroups() has the same behavior
// that throws IOException if the groups for the user is empty.
throw new IOException("No groups found for user " + user);
}
return groups.getGroups();
}
// Create and cache user's groups
List<String> groupList = impl.getGroups(user);
long endMs = timer.monotonicNow();
long deltaMs = endMs - startMs ;
UserGroupInformation.metrics.addGetGroups(deltaMs);
if (deltaMs > warningDeltaMs) {
LOG.warn("Potential performance problem: getGroups(user=" + user +") " +
"took " + deltaMs + " milliseconds.");
}
groups = new CachedGroups(groupList, endMs);
if (groups.getGroups().isEmpty()) {
if (isNegativeCacheEnabled()) {
userToGroupsMap.put(user, groups);
}
throw new IOException("No groups found for user " + user);
}
userToGroupsMap.put(user, groups);
if(LOG.isDebugEnabled()) {
LOG.debug("Returning fetched groups for '" + user + "'");
}
return groups.getGroups();
}

导致缓慢的原因是，当缓存超过时间失效时，同时有多个线程调用impl.getGroups(user)方法，我们默认是使用org.apache.hadoop.security.ShellBasedUnixGroupsMapping的实现，这个实际是调用系统命令id来获取用户组信息。多线程调用时，可能会同时启动几十个进程，导致返回缓慢。我之前想到的修改方法是使用线程同步的方式，避免多个线程同时更新cache。搜索一下issue果然有人实现了，但那个是很久就提交了，没实现NegativeCache，所以官方合并是我上面给出来的补丁。 HADOOP-11238实现的方案是使用Google Guava第三方库来缓存。不了解具体实现，看注释同样实现了多线程请求时，如果在缓存中不存在，也只有一个线程加载，其他线程等待这个线程加载完成。如果在缓存中存在，直接返回缓存内容，如果缓存超时，刷新数据过程中，其他线程仍然获取旧数据，不会等待这个刷新。
NegativeCache是为了缓存空组（某个用户不属于任何组）的情况，超时时间和cache不一样，所以额外加了个变量。

踩坑

cloudera manager里面的hadoop.security.group.mapping配置是在“服务范围”内的，也就是对客户端和服务端都会生效。设置为jni的方式后，客户端可能会加载不到native lib导致任务失败。

DataNode启动流程源码分析

Mon, 02 May 2016 09:28:42 +0000

背景

最近打算要重启DataNode，之前有试过重启过程中导致业务任务失败的情况。所以想了解DataNode什么时候才算启动完成，以及能否检测DataNode是否已经准备好了。
本文分析的源码版本是hadoop cdh5.4.0

源码分析

从Datanode.java main方法开始

public static void main(String args[]) {
if (DFSUtil.parseHelpArgument(args, DataNode.USAGE, System.out, true)) {
System.exit(0);
}
secureMain(args, null);
}

进入secureMain方法，这里调用了createDataNode方法

public static DataNode createDataNode(String args[], Configuration conf,
SecureResources resources) throws IOException {
// 实例化datanode
DataNode dn = instantiateDataNode(args, conf, resources);
if (dn != null) {
// 启动BPOfferService、dataXceiverServer、ipcServer等
dn.runDatanodeDaemon();
}
return dn;
}

public static DataNode instantiateDataNode(String args [], Configuration conf,
SecureResources resources) throws IOException {
if (conf == null)
conf = new HdfsConfiguration();
if (args != null) {
// parse generic hadoop options
GenericOptionsParser hParser = new GenericOptionsParser(conf, args);
args = hParser.getRemainingArgs();
}
if (!parseArguments(args, conf)) {
printUsage(System.err);
return null;
}
// 获取实际的存储路径（根据配置dfs.datanode.data.dir）
Collection<StorageLocation> dataLocations = getStorageLocations(conf);
UserGroupInformation.setConfiguration(conf);
SecurityUtil.login(conf, DFS_DATANODE_KEYTAB_FILE_KEY,
DFS_DATANODE_KERBEROS_PRINCIPAL_KEY);
return makeInstance(dataLocations, conf, resources);
}

static DataNode makeInstance(Collection<StorageLocation> dataDirs,
Configuration conf, SecureResources resources) throws IOException {
LocalFileSystem localFS = FileSystem.getLocal(conf);
FsPermission permission = new FsPermission(
conf.get(DFS_DATANODE_DATA_DIR_PERMISSION_KEY,
DFS_DATANODE_DATA_DIR_PERMISSION_DEFAULT));
// DataNode磁盘检查类，检查目录权限以及是否能够创建目录
DataNodeDiskChecker dataNodeDiskChecker =
new DataNodeDiskChecker(permission);
// 找出能够正常读写的路径
List<StorageLocation> locations =
checkStorageLocations(dataDirs, localFS, dataNodeDiskChecker);
DefaultMetricsSystem.initialize("DataNode");
assert locations.size() > 0 : "number of data directories should be > 0";
return new DataNode(conf, locations, resources);
}

进入DataNode构造方法，主要看startDataNode(conf, dataDirs, resources)方法

void startDataNode(Configuration conf,
List<StorageLocation> dataDirs,
SecureResources resources
) throws IOException {
// settings global for all BPs in the Data Node
this.secureResources = resources;
synchronized (this) {
this.dataDirs = dataDirs;
}
this.conf = conf;
this.dnConf = new DNConf(conf);
checkSecureConfig(dnConf, conf, resources);
this.spanReceiverHost = SpanReceiverHost.getInstance(conf);
if (dnConf.maxLockedMemory > 0) {
if (!NativeIO.POSIX.getCacheManipulator().verifyCanMlock()) {
throw new RuntimeException(String.format(
"Cannot start datanode because the configured max locked memory" +
" size (%s) is greater than zero and native code is not available.",
DFS_DATANODE_MAX_LOCKED_MEMORY_KEY));
}
if (Path.WINDOWS) {
NativeIO.Windows.extendWorkingSetSize(dnConf.maxLockedMemory);
} else {
long ulimit = NativeIO.POSIX.getCacheManipulator().getMemlockLimit();
if (dnConf.maxLockedMemory > ulimit) {
throw new RuntimeException(String.format(
"Cannot start datanode because the configured max locked memory" +
" size (%s) of %d bytes is more than the datanode's available" +
" RLIMIT_MEMLOCK ulimit of %d bytes.",
DFS_DATANODE_MAX_LOCKED_MEMORY_KEY,
dnConf.maxLockedMemory,
ulimit));
}
}
}
LOG.info("Starting DataNode with maxLockedMemory = " +
dnConf.maxLockedMemory);
storage = new DataStorage();
// global DN settings
registerMXBean();
// 初始化xceiverServer一些对象
initDataXceiver(conf);
// 启动http web hdfs
startInfoServer(conf);
pauseMonitor = new JvmPauseMonitor(conf);
pauseMonitor.start();
// BlockPoolTokenSecretManager is required to create ipc server.
this.blockPoolTokenSecretManager = new BlockPoolTokenSecretManager();
// Login is done by now. Set the DN user name.
dnUserName = UserGroupInformation.getCurrentUser().getShortUserName();
LOG.info("dnUserName = " + dnUserName);
LOG.info("supergroup = " + supergroup);
// 初始化ipc服务
initIpcServer(conf);
metrics = DataNodeMetrics.create(conf, getDisplayName());
metrics.getJvmMetrics().setPauseMonitor(pauseMonitor);
// 重要，构造BlockPoolManager
blockPoolManager = new BlockPoolManager(this);
blockPoolManager.refreshNamenodes(conf);
// Create the ReadaheadPool from the DataNode context so we can
// exit without having to explicitly shutdown its thread pool.
readaheadPool = ReadaheadPool.getInstance();
saslClient = new SaslDataTransferClient(dnConf.conf,
dnConf.saslPropsResolver, dnConf.trustedChannelResolver);
saslServer = new SaslDataTransferServer(dnConf, blockPoolTokenSecretManager);
}

在blockPoolManager.refreshNamenodes里面调用了doRefreshNamenodes()方法

private void doRefreshNamenodes(
Map<String, Map<String, InetSocketAddress>> addrMap) throws IOException {
assert Thread.holdsLock(refreshNamenodesLock);
Set<String> toRefresh = Sets.newLinkedHashSet();
Set<String> toAdd = Sets.newLinkedHashSet();
Set<String> toRemove;
synchronized (this) {
// Step 1. For each of the new nameservices, figure out whether
// it's an update of the set of NNs for an existing NS,
// or an entirely new nameservice.
for (String nameserviceId : addrMap.keySet()) {
if (bpByNameserviceId.containsKey(nameserviceId)) {
toRefresh.add(nameserviceId);
} else {
toAdd.add(nameserviceId);
}
}
// Step 2. Any nameservices we currently have but are no longer present
// need to be removed.
toRemove = Sets.newHashSet(Sets.difference(
bpByNameserviceId.keySet(), addrMap.keySet()));
assert toRefresh.size() + toAdd.size() ==
addrMap.size() :
"toAdd: " + Joiner.on(",").useForNull("<default>").join(toAdd) +
" toRemove: " + Joiner.on(",").useForNull("<default>").join(toRemove) +
" toRefresh: " + Joiner.on(",").useForNull("<default>").join(toRefresh);
// 由于是重启，所以都是在toAdd里面
// Step 3. Start new nameservices
if (!toAdd.isEmpty()) {
LOG.info("Starting BPOfferServices for nameservices: " +
Joiner.on(",").useForNull("<default>").join(toAdd));
// 这里遍历的是nameServices，如果用了hdfs federation就会有多个
for (String nsToAdd : toAdd) {
ArrayList<InetSocketAddress> addrs =
Lists.newArrayList(addrMap.get(nsToAdd).values());
// 创建BPOfferService
BPOfferService bpos = createBPOS(addrs);
// 加入bpByNameserviceId里面，下次再执行这个方法的话，就是加入toRefresh里面了
bpByNameserviceId.put(nsToAdd, bpos);
offerServices.add(bpos);
}
}
// 启动所有offerServices的BPOfferService
startAll();
}

关注一下createBPOS方法，里面会包含多个BPServiceActor，存储在 BPOfferService.bpServices 变量内

protected BPOfferService createBPOS(List<InetSocketAddress> nnAddrs) {
return new BPOfferService(nnAddrs, dn);
}
BPOfferService(List<InetSocketAddress> nnAddrs, DataNode dn) {
Preconditions.checkArgument(!nnAddrs.isEmpty(),
"Must pass at least one NN.");
this.dn = dn;
// 如果有standby和active两个namenode，就会创建两个BPServiceActor
for (InetSocketAddress addr : nnAddrs) {
this.bpServices.add(new BPServiceActor(addr, this));
}
}

上面的startAll()把所有的BPOfferService都启动了，实际是调用下面的BPServiceActor.start()，BPServiceActor的作用在这文件的最上面注释写着：1.和namenode预注册，2.和namenode注册，3.周期性发送心跳到namenode，4.处理来自于namenode的命令。继续看这个类的run()方法

public void run() {
LOG.info(this + " starting to offer service");
try {
while (true) {
// init stuff
try {
// 向namenode注册以及初始化blockPool
// setup storage
connectToNNAndHandshake();
break;
} catch (IOException ioe) {
// Initial handshake, storage recovery or registration failed
runningState = RunningState.INIT_FAILED;
if (shouldRetryInit()) {
// Retry until all namenode's of BPOS failed initialization
LOG.error("Initialization failed for " + this + " "
+ ioe.getLocalizedMessage());
sleepAndLogInterrupts(5000, "initializing");
} else {
runningState = RunningState.FAILED;
LOG.fatal("Initialization failed for " + this + ". Exiting. ", ioe);
return;
}
}
}
runningState = RunningState.RUNNING;
while (shouldRun()) {
try {
// 更新当前那个是active actor，发送blockReport给namenode等
offerService();
} catch (Exception ex) {
LOG.error("Exception in BPOfferService for " + this, ex);
sleepAndLogInterrupts(5000, "offering service");
}
}
runningState = RunningState.EXITED;
} catch (Throwable ex) {
LOG.warn("Unexpected exception in block pool " + this, ex);
runningState = RunningState.FAILED;
} finally {
LOG.warn("Ending block pool service for: " + this);
cleanUp();
}
}

关注connectToNNAndHandshake()方法，这里初始化了blockPool

private void connectToNNAndHandshake() throws IOException {
// get NN proxy
bpNamenode = dn.connectToNN(nnAddr);
// 从namenode获取一些版本等信息用于校验
// First phase of the handshake with NN - get the namespace
// info.
NamespaceInfo nsInfo = retrieveNamespaceInfo();
// Verify that this matches the other NN in this HA pair.
// This also initializes our block pool in the DN if we are
// the first NN connection for this BP.
bpos.verifyAndSetNamespaceInfo(nsInfo);
// 向namenode注册，并且设定了一下blockReport的时间（当前时间 - (blockReportInterval - delay)），默认是马上
// Second phase of the handshake with the NN.
register();
}

在verifyAndSetNamespaceInfo()方法里，主要看dn.initBlockPool(this);

void initBlockPool(BPOfferService bpos) throws IOException {
NamespaceInfo nsInfo = bpos.getNamespaceInfo();
if (nsInfo == null) {
throw new IOException("NamespaceInfo not found: Block pool " + bpos
+ " should have retrieved namespace info before initBlockPool.");
}
setClusterId(nsInfo.clusterID, nsInfo.getBlockPoolID());
// 把BlockPoolId和BPOfferService关联起来，存放在bpByBlockPoolId
// Register the new block pool with the BP manager.
blockPoolManager.addBlockPool(bpos);
// 初始化data变量，创建出FsDatasetImpl
// In the case that this is the first block pool to connect, initialize
// the dataset, block scanners, etc.
initStorage(nsInfo);
// 去掉坏了的磁盘
// Exclude failed disks before initializing the block pools to avoid startup
// failures.
checkDiskError();
// 开启DirectoryScanner，定期运行，用于处理内存中的对象和实际存储文件的差异
initDirectoryScanner(conf);
// 添加blockPool
data.addBlockPool(nsInfo.getBlockPoolID(), conf);
blockScanner.enableBlockPoolId(bpos.getBlockPoolId());
}

这里面关注的是data.addBlockPool方法

public void addBlockPool(String bpid, Configuration conf)
throws IOException {
LOG.info("Adding block pool " + bpid);
synchronized(this) {
// 创建BlockPoolSlice对象，加入bpSlices变量内
volumes.addBlockPool(bpid, conf);
// 初始化ReplicaMap对象（ReplicaMap：Maintains the replica map）
volumeMap.initBlockPool(bpid);
}
// 获取所有磁盘的副本map
volumes.getAllVolumesMap(bpid, volumeMap, ramDiskReplicaTracker);
}

volumes.addBlockPool方法里，是创建BlockPoolSlice。BlockPoolSlice的介绍是说这是BlockPool存储在一个磁盘的一部分，里面主要是记录一些目录，还有使用大小等。注意这个有个计算磁盘使用大小非常耗时，这里使用了缓存，每600秒更新一次，在datanode退出的时候会写把数值写到文件里。

void addBlockPool(final String bpid, final Configuration conf) throws IOException {
long totalStartTime = Time.monotonicNow();
final List<IOException> exceptions = Collections.synchronizedList(
new ArrayList<IOException>());
List<Thread> blockPoolAddingThreads = new ArrayList<Thread>();
for (final FsVolumeImpl v : volumes.get()) {
Thread t = new Thread() {
public void run() {
try (FsVolumeReference ref = v.obtainReference()) {
FsDatasetImpl.LOG.info("Scanning block pool " + bpid +
" on volume " + v + "...");
long startTime = Time.monotonicNow();
// 创建BlockPoolSlice
v.addBlockPool(bpid, conf);
long timeTaken = Time.monotonicNow() - startTime;
FsDatasetImpl.LOG.info("Time taken to scan block pool " + bpid +
" on " + v + ": " + timeTaken + "ms");
} catch (ClosedChannelException e) {
// ignore.
} catch (IOException ioe) {
FsDatasetImpl.LOG.info("Caught exception while scanning " + v +
". Will throw later.", ioe);
exceptions.add(ioe);
}
}
};

volumes.getAllVolumesMap()方法，实际是调用每一个BlockPoolSlice.getVolumeMap()，我们当前版本在这里没有cache，因为要遍历目录，所以这里的操作比较耗时。添加cache具体见HDFS-7928补丁。

void getVolumeMap(ReplicaMap volumeMap,
final RamDiskReplicaTracker lazyWriteReplicaMap)
throws IOException {
// Recover lazy persist replicas, they will be added to the volumeMap
// when we scan the finalized directory.
if (lazypersistDir.exists()) {
int numRecovered = moveLazyPersistReplicasToFinalized(lazypersistDir);
FsDatasetImpl.LOG.info(
"Recovered " + numRecovered + " replicas from " + lazypersistDir);
}
// 遍历底下所有目录，构造副本map
// add finalized replicas
addToReplicasMap(volumeMap, finalizedDir, lazyWriteReplicaMap, true);
// add rbw replicas
addToReplicasMap(volumeMap, rbwDir, lazyWriteReplicaMap, false);
}

回到最上面，执行完bpos.verifyAndSetNamespaceInfo(nsInfo);后，执行register()方法，向namenode注册。执行完后，再往上就是调用offerService()，发送心跳，blockMap等。

结论

namenode启动过程中会有多个线程，http和rpc的端口会先启动，但是这个时候还是不能提供服务的。当前版本主要耗时在构建volumeMap上，需要遍历磁盘目录。
初始化完volumeMap会向namenode注册，注册成功后会在日志打印successfully registered with NN（有两条，active和standby namenode）
之后datanode向namenode汇报块信息，发送完成后在日志打印Successfully sent block report（同样有两条）
只有在blockReport完成后才算真的启动完成。在重启的过程中，如果时间不算太长，在namenode中还没有判定这个datanode为dead node，里面的block map信息还保留着，所以在完成磁盘扫描 volumeMap 之后也算完成了。

其他

代码比较多，限于个人能力，可能理解也有误，如果发现错误以后再更新。
~~同时也没找出可编程的方法来判断datanode是否启动完成，除非修改datanode代码自己加标志位。~~ update(2017-07-18)：判断datanode是否启动完成核心在判断两次blockreport是否完成（分别向active和standby namenode发送），所以可以通过访问datanode jmx地址http://xxx:50075/jmx,检查参数”BlockReportsNumOps” : 大于等于2来判断。

参考

第七章：小朱笔记hadoop之源码分析-hdfs分析第五节：Datanode 分析版本差异比较大
记一次DataNode慢启动问题

HDFS-8824 平衡数据的时候不移动小文件

Sun, 01 May 2016 02:08:22 +0000

Do not use small blocks for balancing the cluster https://issues.apache.org/jira/browse/HDFS-8824 Allow Balancer to run faster https://issues.apache.org/jira/browse/HDFS-8818 平衡设置的文章：https://community.hortonworks.com/articles/43849/hdfs-balancer-2-configurations-cli-options.html 线程不够会导致平衡卡死，评论说这样改参数可以绕过 By setting dfs.balancer.moverThreads to a value big than dfs.datanode.balance.max.concurrent.moves * also works. https://issues.apache.org/jira/browse/HDFS-11377

hdfs complete file 超时

Mon, 25 Apr 2016 02:48:00 +0000

修改一下超时次数，具体代码在 DFSOutputStream.java

private void completeFile(ExtendedBlock last) throws IOException {
long localstart = Time.now();
long localTimeout = 400;
boolean fileComplete = false;
int retries = dfsClient.getConf().nBlockWriteLocateFollowingRetry;
while (!fileComplete) {
fileComplete =
dfsClient.namenode.complete(src, dfsClient.clientName, last, fileId);
if (!fileComplete) {
final int hdfsTimeout = dfsClient.getHdfsTimeout();
if (!dfsClient.clientRunning ¦¦
(hdfsTimeout > 0 && localstart + hdfsTimeout < Time.now())) {
String msg = "Unable to close file because dfsclient " +
" was unable to contact the HDFS servers." +
" clientRunning " + dfsClient.clientRunning +
" hdfsTimeout " + hdfsTimeout;
DFSClient.LOG.info(msg);
throw new IOException(msg);
}
try {
if (retries == 0) {
throw new IOException("Unable to close file because the last block"
+ " does not have enough number of replicas.");
}
retries--;
Thread.sleep(localTimeout);
localTimeout *= 2;
if (Time.now() - localstart > 5000) {
DFSClient.LOG.info("Could not complete " + src + " retrying...");
}
} catch (InterruptedException ie) {
DFSClient.LOG.warn("Caught exception ", ie);
}
}
}
}

<property>
<name>dfs.client.block.write.locateFollowingBlock.retries</name>
<value>10</value>
</property>

hdfs启动相关文章

Sun, 24 Apr 2016 08:13:38 +0000

记一次DataNode慢启动问题：启动过程中，datanode为了获取used size，如果超过时间，可能会执行DU。

hadoop检查目录健康状态

Sun, 10 Apr 2016 08:38:39 +0000

DiskChecker负责检查目录是否有建目录和判断权限。

datanode

BlockPoolSlice.checkDirs()
DataNode.checkDiskError()

nodeManager

LocalDirsHandlerService.checkDirs()

hbase shell创建表命令

Wed, 20 Jan 2016 10:43:55 +0000

create 'ucbrowser_imei2', {NAME=>'date', VERSIONS=>5}
disable 'test_imei'
drop 'test_imei'
# 预先指定分区
create 'ucbrowser_utdid', 'date', { VERSIONS => '5', DATA_BLOCK_ENCODING => 'PREFIX', COMPRESSION => 'SNAPPY', SPLITS=>['03ufUX/IWscQABV+EwvaHDOo']}
# 预先分区（200个region）
hbase org.apache.hadoop.hbase.util.RegionSplitter -c 200 -f "date" "ucbrowser_imei2" "HexStringSplit"
# 修改版本
alter 'test_imei', {NAME => 'date', VERSIONS => 5 }
# 查看表描述
describe "test_imei"

snapshot

# 在原集群执行
snapshot 'ucbrowser_utdid', 'ucbrowser_utdid_20171208'
# 导出镜像
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot ucbrowser_utdid_20171208 -copy-to hdfs://10.xx.xx.xx:8020/hbase
# 检查目标集群的文件权限是否正确
hdfs dfs chown -R hbase:hbase /hbase/archive
# 在目标集群恢复
disable 'ucbrowser_utdid'
restore_snapshot 'ucbrowser_utdid_20171208'
# 查看镜像
list_snapshots

HBase备份之ExportSnapshot或CopyTable

Container killed by the ApplicationMaster, Exit code is 143

Wed, 30 Dec 2015 13:14:03 +0000

之前发现在map任务里面经常看到Container killed by the ApplicationMaster，挺奇怪，不过任务最终是成功的，就没怎么管。不过最近测试集群跑的任务报143错误，还是重新看一下这个问题。分析版本：hadoop cdh5.4

错误日志

2015-12-30 17:31:09,994 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: attempt_1451360650431_0228_m_000000_0 TaskAttempt Transitioned from RUNNING to SUCCESS_CONTAINER_CLEANUP
2015-12-30 17:31:09,995 INFO [ContainerLauncher #1] org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl: Processing the event EventType: CONTAINER_REMOTE_CLEANUP for container container_1451360650431_0228_01_000002 taskAttempt attempt_1451360650431_0228_m_000000_0
2015-12-30 17:31:09,995 INFO [ContainerLauncher #1] org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl: KILLING attempt_1451360650431_0228_m_000000_0
2015-12-30 17:31:09,995 INFO [ContainerLauncher #1] org.apache.hadoop.yarn.client.api.impl.ContainerManagementProtocolProxy: Opening proxy : uaerouter2-vm02:8041
2015-12-30 17:31:10,012 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: attempt_1451360650431_0228_m_000000_0 TaskAttempt Transitioned from SUCCESS_CONTAINER_CLEANUP to SUCCEEDED
2015-12-30 17:31:10,020 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskImpl: Task succeeded with attempt attempt_1451360650431_0228_m_000000_0
2015-12-30 17:31:10,021 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskImpl: task_1451360650431_0228_m_000000 Task Transitioned from RUNNING to SUCCEEDED
2015-12-30 17:31:10,023 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl: Num completed Tasks: 1
2015-12-30 17:31:10,895 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Before Scheduling: PendingReds:1 ScheduledMaps:0 ScheduledReds:0 AssignedMaps:1 AssignedReds:0 CompletedMaps:1 CompletedReds:0 ContAlloc:1 ContRel:0 HostLocal:1 RackLocal:0
2015-12-30 17:31:10,898 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Recalculating schedule, headroom=<memory:14336, vCores:14>
2015-12-30 17:31:10,898 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Reduce slow start threshold reached. Scheduling reduces.
2015-12-30 17:31:10,898 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: All maps assigned. Ramping up all remaining reduces:1
2015-12-30 17:31:10,898 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: After Scheduling: PendingReds:0 ScheduledMaps:0 ScheduledReds:1 AssignedMaps:1 AssignedReds:0 CompletedMaps:1 CompletedReds:0 ContAlloc:1 ContRel:0 HostLocal:1 RackLocal:0
2015-12-30 17:31:11,906 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerRequestor: getResources() for application_1451360650431_0228: ask=1 release= 0 newContainers=0 finishedContainers=1 resourcelimit=<memory:15360, vCores:15> knownNMs=2
2015-12-30 17:31:11,906 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Received completed container container_1451360650431_0228_01_000002
2015-12-30 17:31:11,907 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: After Scheduling: PendingReds:0 ScheduledMaps:0 ScheduledReds:1 AssignedMaps:0 AssignedReds:0 CompletedMaps:1 CompletedReds:0 ContAlloc:1 ContRel:0 HostLocal:1 RackLocal:0
2015-12-30 17:31:11,908 INFO [AsyncDispatcher event handler] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: Diagnostics report from attempt_1451360650431_0228_m_000000_0: Container killed by the ApplicationMaster.
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

分析一下错误日志

其中一个mapper任务完成，发送事件TaskAttemptEventType.TA_DONE
执行CleanupContainerTransition，取消taskAttemptListener监听，发送事件 ContainerLauncher.EventType.CONTAINER_REMOTE_CLEANUP给containerLauncher
containerLauncher执行kill命令，但判断container状态还没完成，让container kill掉
container还没有退出，被强制kill掉，所以有一个143的错误
TaskAttempt状态由RUNNING 转为 SUCCESS_CONTAINER_CLEANUP
kill了之后发送事件TaskAttemptEventType.TA_CONTAINER_CLEANED
TaskAttempt状态由SUCCESS_CONTAINER_CLEANUP转为SUCCEEDED 这里会有143的错误的原因是没等到container退出，就发起命令kill掉它了。简单的改法是等待几秒后再去kill它，但是到底要等几秒，每个都要等几秒拖慢了集群。还是看大神是怎么改的。

分析补丁

找到 MAPREDUCE-5465 这个补丁。在这个补丁里，在RUNNING -> SUCCESS_CONTAINER_CLEANUP 状态转换中，插入了一个状态 SUCCESS_FINISHING_CONTAINER （成功的场景，失败有另一个状态）。引入这个状态就是为了等container自己退出。

其中一个mapper任务完成，发送事件TaskAttemptEventType.TA_DONE
向TaskAttemptFinishingMonitor注册(这个类用来避免container一直不退出，之后说)，尽管container这时还没退出，还是发送TaskEventType.T_ATTEMPT_SUCCEEDED事件
状态由RUNNING 转为 SUCCESS_FINISHING_CONTAINER
等待container退出（依赖nodemanager发现container退出，汇报给RM，然后再传给AM）
AM知道container退出后，检查退出状态，如果是被终止的，就发送TaskAttemptEventType.TA_KILL，否则发送TaskAttemptEventType.TA_CONTAINER_COMPLETED
如果事件是TA_KILL，状态则会变成SUCCESS_CONTAINER_CLEANUP或者KILL_CONTAINER_CLEANUP。SUCCESS_CONTAINER_CLEANUP可以再转换为SUCCESSED
如果事件是TA_CONTAINER_COMPLETED，状态就变成SUCCESSED了另外还会收到事件TA_CONTAINER_CLEANED，有条件才会发这个事件的，看注释，好像是等价于TA_CONTAINER_COMPLETED（好烦）向TaskAttemptFinishingMonitor注册是这里设定了一个定时器，如果超过时间container都还没有退出，这个Monitor就会发起TA_TIMED_OUT的操作了，会把状态由 SUCCESS_FINISHING_CONTAINER 转为 SUCCESS_CONTAINER_CLEANUP，通过kill的方式清理。同样，这里还会对失败的taskattempt也做同样的处理，会有对应的状态。

PandoraBox路由多线多拨

Sat, 12 Dec 2015 13:12:15 +0000

划分VLAN

在网络->交换机里面，添加一个VLAN，看一下第二个vlan是怎么配置的，WAN的接口是在哪一个，然后自己插入lan接口，照着加一个。第三个vlan：端口1为不关联，CPU为关联，其他为关第一个vlan：端口1改成关在网络->接口里面，添加一个新接口wan2。配置物理网卡为vlan eth0.3，配置拨号信息。配置两个WAN的网络跃点为不同的值教程：http://www.right.com.cn/forum/thread-147109-1-1.html

配置MWAN

添加两个interface wan和刚才加的wan2
添加成员分别配置两个网卡
修改策略，选择两个成员

hdfs exceeds the limit of concurrent xcievers

Mon, 23 Nov 2015 11:53:49 +0000

版本: hadoop cdh5.4 datanode jstack，很多这样的线程

"DataXceiver for client unix:/var/run/hdfs-sockets/dn [Waiting for operation #1]" daemon prio=10 tid=0x00007ffc42de9000 nid=0x68f8 waiting on condition [0x00007ffacbd1d000]
java.lang.Thread.State: WAITING (parking)
at sun.misc.Unsafe.park(Native Method)
- parking to wait for <0x00000007a5d3d568> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
at java.util.concurrent.locks.LockSupport.park(LockSupport.java:186)
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2043)
at org.apache.hadoop.net.unix.DomainSocketWatcher.add(DomainSocketWatcher.java:316)
at org.apache.hadoop.hdfs.server.datanode.ShortCircuitRegistry.createNewMemorySegment(ShortCircuitRegistry.java:322)
at org.apache.hadoop.hdfs.server.datanode.DataXceiver.requestShortCircuitShm(DataXceiver.java:418)
at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opRequestShortCircuitShm(Receiver.java:214)
at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:95)
at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:241)
at java.lang.Thread.run(Thread.java:745)

hadoop cdh5.4 windows 开发环境

Sun, 15 Nov 2015 03:45:27 +0000

下载hadoop编译好的包
安装cygwin
下载hadoop.dll和winutils.exe (我是自己编译的，在网上找了一个，不知道能否通用http://www.aboutyun.com/thread-8178-1-1.html)
配置环境变量HADOOP_HOME
配置环境变量PATH，增加%HADOOP_HOME%/bin 报错处理

java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

没有安装cygwin

找不到winutils.exe 上网下载或者自己编译，自己编译好麻烦。。。要安装windows sdk。如果你确实准备好了winutils.exe还是报错，看看是不是显示null\bin\winutils.exe，这样的话是你的环境变量HADOOP_HOME没生效。

Mismatched address stored in ZK for NameNode

Wed, 28 Oct 2015 08:28:52 +0000

我在namenode配置dfs.namenode.servicerpc-address端口后，Failover Controller 报错 java.lang.RuntimeException: Mismatched address stored in ZK for NameNode at kpixxx/xx.xx.xx.xx:88

解决方法

停止Failover Controller
通过zookeeper删除 /hadoop-ha
通过cloudera manager 初始化zookeeper的HA
重新启动Failover Controller

路由器FQ配置

Sun, 20 Sep 2015 15:44:13 +0000

记录一下主要步骤使用ss-redir和iptable转发流量 ss-redir主要用于nat透明代理，注意不要使用ss-local的端口，那个是用来socks5端口。

#端口默认是1081
/usr/bin/ss-redir -c $CONFIG -b 0.0.0.0 -f $SERVICE_PID_FILE

默认是china 路由走本地，其他的流量走代理。这个是通过界面ipset实现的。手工配置IPSET（需要加入/etc/rc.local里）

ipset -N gfwlist iphash
iptables -t nat -A PREROUTING -p tcp -m set --match-set gfwlist dst -j REDIRECT --to-port 1081

配置dnsmasq 在/etc/dnsmasq.conf加入以下配置，/etc/init.d/dnsmasq restart 重启生效

#使用不受污染干扰的DNS解析该域名可以将此IP改为自己使用的DNS服务器

server=/google.com/127.0.0.1#5353

#将解析出来的IP保存到名为gfwlist的ipset表中

ipset=/google.com/gfwlist

## 参考

https://gist.github.com/wen-long/8644243

Shadowsocks + GfwList 实现 OpenWRT 路由器自动翻墙

编译hive cdh5.4.0

Thu, 23 Jul 2015 03:17:06 +0000

编译命令

mvn clean install -Phadoop-2,dist -DskipTests

https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-BuildingHivefromSource

hive1.1.0查询和旧版本不一致问题分析

Sun, 28 Jun 2015 07:08:22 +0000

背景

在查询以下语句的时候结果不正确，无法join tab1.tm=tab2.hour。如果存在以下类似的语句，有子查询的group by，外层有join语句，返回的结果不正确，无法join成功。

select tab1.ip, tab1.tm, tab2.hour
from (
    select c.ip,c.lkid, c.hour,min(s.hour) as tm from Tclick_iphone c join Tsndata_iphone s
    on c.ip=s.ip group by c.ip,c.lkid,c.hour
) tab1 join Tsndata_iphone tab2
on tab1.ip=tab2.ip and tab1.tm=tab2.hour;

分析

首先是构造可重复测试语句，减少所需要查询的数据，然后尝试替换其中的语句，检查语句是否正常。缩小错误范围。测试中发现如果把子查询替换为表，能够正常查询。另外在随机测试的过程中，发现这样的语句也可以成功。

select tab1.ip, tab1.tm, tab2.hour
from (
    select c.ip,c.lkid, min(s.hour) as tm from Tclick_iphone c join Tsndata_iphone s
    on c.ip=s.ip group by c.ip,c.lkid,c.hour
) tab1 join Tsndata_iphone tab2
on tab1.ip=tab2.ip and tab1.tm=tab2.hour;

### 单步调试1

反复单步调试对比错误、正确语句，发现第二步的输入和正确的语句不一样。这是字节数组，还有个解析这个字节数组的描述信息（多少个字段，各个字段的类型），正确语句输入的内容为： [3, 14, 49, 50, 49, 46, 50, 51, 54, 46, 49, 54, 52, 46, 50, 56, -114, 11, -82, 0, 0, 0, 0, 0, 0, 0, 0, 0] 描述信息有两个字段错误的语句输入内容为： [15, 14, 49, 50, 49, 46, 50, 51, 54, 46, 49, 54, 52, 46, 50, 56, 4, 119, 105, 102, 105, -114, 10, -84, -114, 11, -82, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] 描述信息有两个字段这个字节第一位是判断符号，判断是否是null，后面的字符如果是string，第一位是字符长度。如果是数字，会有类似这样的bytes [-114, 10, -84] 从这里看出输入的内容不一致，但字段描述信息却一样。那错误可能发生在输入的内容不正确或者字段描述解析不正确。

单步调试2 – 输入内容、字段描述从哪里来

从explain知道第二步的输入来源于子查询的输出，也就是子查询的reduce输出。单步调试发现字段描述是在编译语句阶段已经确定好，每个Operator已经确定了输出的字段数和类型。另外在对比explain中，发现正确的语句比错误的语句多了个SELECT Operator（列裁剪）。

单步调试3 – 为什么错误语句少了SELECT Operator？

范围缩小到语句的语法编译。发现代码中会打印一些日志出来，可以修改hive的log4j文件改为debug模式，发现语句优化的过程中把SELECT Operator去掉了。优化前

<span lang="EN-US">TS[0]-FIL[2]-RS[3]-JOIN[6]-SEL[7]-GBY[8]-RS[9]-GBY[10]-SEL[11]-FIL[13]-RS[14]-JOIN[17]-SEL[18]-FS[19]</span>

<span lang="EN-US">ppd.PredicatePushDown: After PPD</span>

<span lang="EN-US">TS[0]-FIL[21]-RS[3]-JOIN[6]-SEL[7]-GBY[8]-RS[9]-GBY[10]-FIL[20]-SEL[11]-RS[14]-JOIN[17]-SEL[18]-FS[19]</span>

优化后

<span lang="EN-US">TS[0]-FIL[21]-RS[3]-JOIN[6]-GBY[8]-RS[9]-GBY[10]-FIL[20]-RS[14]-JOIN[17]-SEL[18]-FS[19]</span>

可以看到在GBY[10]-FIL[20]-SEL[11]-RS[14]中，SEL[11]被去掉了。单步调试语句的优化过程，由于优化步骤有21个，使用二分法检查到底是运行到哪一个优化器把SEL去掉了。最终发现是 IdentityProjectRemover 优化器。这个优化器的功能是根据前后输入输出，去掉不必要的SELECT Operator。检查到这里，没有继续往下查了，还有一些为什么FIL[20] row schema为什么是两个字段，但实际输出内容却不是的问题。 ### 搜索

使用关键词IdentityProjectRemover搜索源代码，看看这个代码最新版本有没有修改过。搜索发现一些issue，找到了关闭这个优化器的参数。hive.optimize.remove.identity.project=false，另外发现在hive1.2.0版本，增加了另一个参数，间接默认关闭了这个优化。另外发现这个issue和我们这次的错误类似，应该是同一个问题 HIVE-10996 。这个issue里面有说明更详细的错误原因，见评论这个issue已经有补丁，但目前还没有合并到主干。它的解决的方法是在GBY-FIL-SEL中插入一个SEL，变成GBY-SEL-FIL-SEL

当前解决方案

设置参数 hive.optimize.remove.identity.project=false 关闭这个优化器这个优化是从1.1.0版本引入（我们当前使用的版本）

技巧

刚开始debug的时候很慢，而且越用越慢，后来发现限制hive客户端使用内存有一定效果。可能debug时需要dump内存。使用 hive –debug 可以远程debug 使用 hive –hiveconf hive.root.logger=DEBUG,console 可以临时打印日志

在Windows上编译hadoop cdh5.4

Sun, 17 May 2015 14:07:27 +0000

我的环境

系统:win8.1 ， maven3.1, eclipse 4.4 hadoop cdh5.4对应apache的源码是hadoop 2.6

准备条件

安装以下软件，见源码src/BUILDING.txt里的要求
jdk1.7
protoc.exe 2.5
cygwin
maven3
cygwin
cmake （注意要单独安装，不要使用cygwin里面的，否则在编译hadoop-hdfs会有cmake错误）
Windows SDK 或者 Visual Studio 2010 Professional（我用的是Windows SDK）

配置环境变量JAVA_HOME等，把下载的protoc.exe放入c:\windows

下载源码

略

编译

使用”Windows SDK 7.1 Command Prompt”进入命令行

mvn org.apache.maven.plugins:maven-eclipse-plugin:2.6:eclipse
mvn package -Pdist,native-win -DskipTests -Dtar

导入eclipse

为了使得Eclipse中安装的Maven插件，同windows中安装的那个相同，需要让eclipse中的maven重新定位一下，点击Window -> Preference -> Maven -> Installation -> Add进行设置

使用import -> Existing Projects into Workspace方式导入

错误处理

报错 Request to merge when ‘filtering’ is not identical

Failed to execute goal org.apache.maven.plugins:maven-eclipse-plugin:2.8:eclipse (default-cli) on project hadoop-yarn-common: Request to merge when 'filtering' is not identical. Original=resource src/main/resources: output=target/classes, include=[], exclude=[yarn-version-info.properties|**/*.java], test=false, filtering=false, merging with=resource src/main/resources: output=target/classes, include=[yarn-version-info.properties], exclude=[**/*.java], test=false, filtering=true -> [Help 1]

改用mvn org.apache.maven.plugins:maven-eclipse-plugin:2.6:eclipse 编译

或者修改hadoop-2.6.0-cdh5.4.0\src\hadoop-common-project\hadoop-common\pom.xml文件，加入

<build>
...
<plugins>
...
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-eclipse-plugin</artifactId>
<version>2.6</version>
</plugin>
</plugins>
</build>

来源

报错 EchoRequestProto cannot be resolved

在根src目录下执行一次 mvn install -DskipTests
你会看到最终这个是在hadoop-common*test.jar包里面的，应该是由hadoop-common-project\hadoop-common\src\test\proto编译出来的

报错 AvroRecord cannot be resolved

把hadoop-common*test.jar加入bulid path，或者下载下载avro-tools-x.x.x.jar，进入源码根目录下的“hadoop-common-project\hadoop-common\src\test\avro”执行命令，java -jar <所在目录>/avro-tools-1.7.7.jar compile schema avroRecord.avsc ..\java

报错 ApplicationAttemptStartDataPBImpl cannot be resolved

这个是因为解压的时候失败了，导致文件丢失。还有一个文件是ApplicationAttemptStartDataPBImpl，目录在hadoop-2.6.0-cdh5.4.0\src\hadoop-yarn-project\hadoop-yarn\hadoop-yarn-server\hadoop-yarn-server-applicationhistoryservice\src\main\java\org\apache\hadoop\yarn\server\applicationhistoryservice\records\impl\pb
在Windows下文件名目录不能长于260个字符，想办法把目录缩短一些，然后把文件拷贝回来。

导入eclipse后maven jdk.tools报错

修改hadoop-annotations/pom.xml，找到jdk.tools，把“java.home../”改为“{JAVA_HOME}/”,也就是jdk下面的tools.jar路径

提示maven-resource-plugin版本低于2.4错误

修改pom.xml文件，把版本改为2.4，忘记是哪个pom了

maven报错lifecycle错误

在eclipse配置maven，把这些错误忽略掉。

其他还有一些bulid path的报错

看着错误处理吧

参考

https://wiki.apache.org/hadoop/Hadoop2OnWindows
将Hadoop 2.6.0源码导入到Eclipse
Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS

解决“已在此计算机上检测到Microsoft Visual C++ 2010 Redistributable的更新版本”

Sun, 17 May 2015 08:55:41 +0000

安装Windows SDK for win7时失败，查看错误日志发现是安装vcredist_x64.exe时出错，原因是已经安装了Microsoft Visual C++ 2010 Redistributable新版本，再装旧版本会失败。安装vcredist_x64.exe提示 “已在此计算机上检测到Microsoft Visual C++ 2010 Redistributable的更新版本” 错误。

解决

尝试卸载Microsoft Visual C++ 2010 Redistributable，如果还不行删除注册表 HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node\Microsoft\VisualStudio\10.0

来源

http://blogs.msdn.com/b/vsnetsetup/archive/2014/07/17/installation-failing-with-a-newer-version-of-microsoft-visual-c-2010-redistributable-has-been-detected-on-this-machine.aspx

cloudera manager添加hive时报错找不到jdbc driver

Thu, 07 May 2015 03:19:57 +0000

cm 4.7

报错

JDBC driver cannot be found. Unable to find the JDBC database jar on host

解决方法

把包放入这个目录，注意文件名要保持一致 /usr/share/java/mysql-connector-java.jar

来源

https://groups.google.com/a/cloudera.org/forum/#!topic/cdh-user/OpXSfmzsnuo

namenode standby checkponit时间过长导致的问题

Sun, 03 May 2015 13:30:28 +0000

我们当前使用的版本是cdh-4.2.1，standby namenode默认每小时生成一个editlog文件，由于操作很多，这个保存时间超过了1分钟。这里面使用了一些读写锁，导致阻塞了其他的一些请求。

HDFS HA的实现

要理解整个过程，先来看看是如何实现hdfs ha的，我自己不懂，只能看其他大神的文章了。 Hadoop 2.0 NameNode HA和Federation实践 Hadoop目前的HA(High Availability)机制分析和源代码研究(1) 基于QJM/Qurom Journal Manager/Paxos的HDFS HA原理及代码分析还有一些fsimage、editlog的文章见: http://yanbohappy.sinaapp.com/?tag=hdfs 概括一下：

fsimage是历史的元数据，会定期把editlog合并进来，editlog是最近一段时间对namenode的操作，当前的文件状态等于fsimage+editlog
Datanode会同时向两个Namenode汇报块信息
保证在一个时间内，客户端只会连接active Namenode，由active Namenode负责写editlog（写入QJM），standby Namenode从QJM中获取editlog，更新自己内存中的块信息。这样当standby 变成active时，只用合并最近一小段时间的editlog就可以提供服务了。
客户端根据抛出的异常(StandbyException)来切换连接的namenode
隔离(fence)，需要避免同时存在两个active Namenode，同时服务，同时往QJM写editlog
为了避免namenode启动时合并fsimage和editlog时间过长，standby Namenode 负责定期合并editlog，生成新的fsimage，并且同步给active Namenode。(StandbyCheckpointer) cdh4.2.1 回到原来的问题，在checkpoint时，FSNamesystem有一个ReentrantReadWriteLock fslock，它包含一个读写锁。读锁时，允许其他线程读，但写操作会被阻塞。写锁时，其他线程的读写都会被阻塞。 cdh4.2.1版本的代码在checkpoint时，会加上writelock，导致一些rpc操作需要readlock被阻塞。当时检查日志发现failover controller的心跳RPC请求被阻塞了，但没找到它用到这个锁。后来发现NameNodeRpcServer里public synchronized void monitorHealth()方法使用了synchronized，同时还有public synchronized HAServiceStatus getServiceStatus()等方法，在这个类中，同时只允许进入一个synchronized的方法内。在checkpoint期间，getServiceStatus使用了readLock，导致monitorHealth也被阻塞住。

HDFS-5064

Standby checkpoints should not block concurrent readers 找到的第一个补丁是这个，主要修改是在checkpoint的过程中，不应该阻塞那些读操作（如getServiceStatus、monitorHealth）。专门给checkpoint增加了一个读锁fsLongReadLock，在writeLock方法先锁定fsLongReadLock

HDFS-7097

但是这样修改后，依然会阻塞一些需要writeLock的操作，然后有了新的patch

Allow block reports to be processed during checkpointing on standby name node

Since block reports are not modifying any state that is being saved to fsimage, I propose letting them through during checkpointing. 补丁作者说”块汇报”不改变任何保存在fsimage的状态，所以允许在checkpoint期间执行块报告。（没看懂为什么不影响，代码中好像是把当前的FSNameSystem持久化为文件，而block report也会操作FSNameSystem…有可能我理解错了）这次修改也是新加了一个锁，去掉了上一个补丁的fsLongReadLock，换为cpLock，但是没有在writeLock中先锁定cpLock。 update: 2015-05-05 fsimage的存储结构可以看这篇文章，[NameNode启动过程详细剖析][5] * block mapping(block ID <=> DN location)没有存储在fsimage内，只是保留在内存。 * block report汇报每个block在datanode的状况(block id <-> localtion) * fsimage里面存储的只是blockid

hdfs选择datanode策略

Thu, 23 Apr 2015 07:04:22 +0000

前几天报错如下：

Error: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/xxx/part-r-00002 could only be replicated to 0 nodes instead of minReplication (=1). There are 11 datanode(s) running and no node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1327)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2278)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:480)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:297)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44080)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1695)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1691)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1689)

阅读一下代码了解hdfs选择块的策略，可能理解有误，如果有错误请指出，代码来自cdh-4.2.1版本在 FSNamesystem.getAdditionalBlock()里，有个blockManager.chooseTarget(src, replication, clientNode, excludedNodes, blockSize);
这个方法用来决定在那个节点写数据代码文件：hadoop-2.0.0-cdh4.2.1\src\hadoop-hdfs-project\hadoop-hdfs\src\main\java\org\apache\hadoop\hdfs\server\blockmanagement\BlockPlacementPolicyDefault.java chooseTarget方法调用了几次转换，看最终调用的方法

/* choose <i>numOfReplicas</i> from all data nodes */
private DatanodeDescriptor chooseTarget(int numOfReplicas,
DatanodeDescriptor writer,
HashMap<Node, Node> excludedNodes,
long blocksize,
int maxNodesPerRack,
List<DatanodeDescriptor> results) {
if (numOfReplicas == 0 ¦¦ clusterMap.getNumOfLeaves()==0) {
return writer;
}
int totalReplicasExpected = numOfReplicas; // 总共需要的副本数
// results是当前已分配的节点
int numOfResults = results.size();
boolean newBlock = (numOfResults==0);
if (writer == null && !newBlock) {
writer = results.get(0);
}
try {
// 如果还没分配过，先选择本地节点
if (numOfResults == 0) {
writer = chooseLocalNode(writer, excludedNodes,
blocksize, maxNodesPerRack, results);
if (--numOfReplicas == 0) {
return writer;
}
}
// 如果之前已分配一个或零个，在其他机架的一台机器选择
if (numOfResults <= 1) {
chooseRemoteRack(1, results.get(0), excludedNodes,
blocksize, maxNodesPerRack, results);
if (--numOfReplicas == 0) {
return writer;
}
}
// 如果前面还没分配完，已有小于或等于两个副本
if (numOfResults <= 2) {
// 如果前两个在同一个机架上，选择一个其他机架的
if (clusterMap.isOnSameRack(results.get(0), results.get(1))) {
chooseRemoteRack(1, results.get(0), excludedNodes,
blocksize, maxNodesPerRack, results);
} else if (newBlock){
chooseLocalRack(results.get(1), excludedNodes, blocksize,
maxNodesPerRack, results);
} else {
chooseLocalRack(writer, excludedNodes, blocksize,
maxNodesPerRack, results);
}
if (--numOfReplicas == 0) {
return writer;
}
}
// 如果还需要副本，就随机选择
chooseRandom(numOfReplicas, NodeBase.ROOT, excludedNodes,
blocksize, maxNodesPerRack, results);
} catch (NotEnoughReplicasException e) {
LOG.warn("Not able to place enough replicas, still in need of "
+ numOfReplicas + " to reach " + totalReplicasExpected + "\n"
+ e.getMessage());
}
return writer;
}

看一下 chooseLocalNode

/* choose <i>localMachine</i> as the target.
* if <i>localMachine</i> is not available,
* choose a node on the same rack
* @return the chosen node
*/
private DatanodeDescriptor chooseLocalNode(
DatanodeDescriptor localMachine,
HashMap<Node, Node> excludedNodes,
long blocksize,
int maxNodesPerRack,
List<DatanodeDescriptor> results)
throws NotEnoughReplicasException {
// if no local machine, randomly choose one node 如果没有本地机器，随机选择一个
if (localMachine == null)
return chooseRandom(NodeBase.ROOT, excludedNodes,
blocksize, maxNodesPerRack, results);
if (preferLocalNode) { // 这个值写死为true
// otherwise try local machine first
Node oldNode = excludedNodes.put(localMachine, localMachine); // 把当前节点先加入排除列表
if (oldNode == null) { // was not in the excluded list 如果返回null表示之前没有在排除列表里
if (isGoodTarget(localMachine, blocksize,
maxNodesPerRack, false, results)) {//判断是否好的目标，后面再看这个方法
results.add(localMachine);
return localMachine;
}
}
}
// try a node on local rack
return chooseLocalRack(localMachine, excludedNodes,
blocksize, maxNodesPerRack, results);// 如果本机不适合，选择同机架的其他机器
}

继续看chooseLocalRack

/* choose one node from the rack that <i>localMachine</i> is on.
* if no such node is available, choose one node from the rack where
* a second replica is on.
* if still no such node is available, choose a random node
* in the cluster.
* @return the chosen node
*/
private DatanodeDescriptor chooseLocalRack(
DatanodeDescriptor localMachine,
HashMap<Node, Node> excludedNodes,
long blocksize,
int maxNodesPerRack,
List<DatanodeDescriptor> results)
throws NotEnoughReplicasException {
// no local machine, so choose a random machine
if (localMachine == null) {
return chooseRandom(NodeBase.ROOT, excludedNodes,
blocksize, maxNodesPerRack, results);
}
// choose one from the local rack 选择同一个机架的
try {
return chooseRandom(
localMachine.getNetworkLocation(),
excludedNodes, blocksize, maxNodesPerRack, results);
} catch (NotEnoughReplicasException e1) {
// find the second replica 从已有副本里面找同一个机架的
DatanodeDescriptor newLocal=null;
for(Iterator<DatanodeDescriptor> iter=results.iterator();
iter.hasNext();) {
DatanodeDescriptor nextNode = iter.next();
if (nextNode != localMachine) {
newLocal = nextNode;
break;
}
}
if (newLocal != null) {
try {
return chooseRandom(
newLocal.getNetworkLocation(),
excludedNodes, blocksize, maxNodesPerRack, results);
} catch(NotEnoughReplicasException e2) {
//otherwise randomly choose one from the network 如果还是找不到，随机选择
return chooseRandom(NodeBase.ROOT, excludedNodes,
blocksize, maxNodesPerRack, results);
}
} else {
//otherwise randomly choose one from the network
return chooseRandom(NodeBase.ROOT, excludedNodes,
blocksize, maxNodesPerRack, results);
}
}
}

继续chooseRemoteRack

/* choose <i>numOfReplicas</i> nodes from the racks
* that <i>localMachine</i> is NOT on.
* if not enough nodes are available, choose the remaining ones
* from the local rack
*/
private void chooseRemoteRack(int numOfReplicas,
DatanodeDescriptor localMachine,
HashMap<Node, Node> excludedNodes,
long blocksize,
int maxReplicasPerRack,
List<DatanodeDescriptor> results)
throws NotEnoughReplicasException {
int oldNumOfReplicas = results.size();
// randomly choose one node from remote racks 选择其他机架的节点，注意这里的"~"是表示排除本机架，如果找不到就只有在本机架找
try {
chooseRandom(numOfReplicas, "~"+localMachine.getNetworkLocation(),
excludedNodes, blocksize, maxReplicasPerRack, results);
} catch (NotEnoughReplicasException e) {
chooseRandom(numOfReplicas-(results.size()-oldNumOfReplicas),
localMachine.getNetworkLocation(), excludedNodes, blocksize,
maxReplicasPerRack, results);
}
}

最后一个 chooseRandom

/* Randomly choose <i>numOfReplicas</i> targets from <i>nodes</i>.
*/
private void chooseRandom(int numOfReplicas,
String nodes,
HashMap<Node, Node> excludedNodes,
long blocksize,
int maxNodesPerRack,
List<DatanodeDescriptor> results)
throws NotEnoughReplicasException {
int numOfAvailableNodes =
clusterMap.countNumOfAvailableNodes(nodes, excludedNodes.keySet()); // 当前可用节点数
StringBuilder builder = null;
if (LOG.isDebugEnabled()) {
builder = threadLocalBuilder.get();
builder.setLength(0);
builder.append("[");
}
boolean badTarget = false;
while(numOfReplicas > 0 && numOfAvailableNodes > 0) { // 循环直到所有可用副本数为0
DatanodeDescriptor chosenNode =
(DatanodeDescriptor)(clusterMap.chooseRandom(nodes));
Node oldNode = excludedNodes.put(chosenNode, chosenNode);
if (oldNode == null) {
numOfAvailableNodes--;
if (isGoodTarget(chosenNode, blocksize, maxNodesPerRack, results)) {
numOfReplicas--;
results.add(chosenNode);
} else {
badTarget = true;
}
}
}
if (numOfReplicas>0) {
String detail = enableDebugLogging;
if (LOG.isDebugEnabled()) {
if (badTarget && builder != null) {
detail = builder.append("]").toString();
builder.setLength(0);
} else detail = "";
}
throw new NotEnoughReplicasException(detail);
}
}

最后来看如何判断节点是否可用，isGoodTarget

/* judge if a node is a good target.
* return true if <i>node</i> has enough space,
* does not have too much load, and the rack does not have too many nodes
*/
private boolean isGoodTarget(DatanodeDescriptor node,
long blockSize, int maxTargetPerLoc,
List<DatanodeDescriptor> results) {
return isGoodTarget(node, blockSize, maxTargetPerLoc,
this.considerLoad, results);
}
private boolean isGoodTarget(DatanodeDescriptor node,
long blockSize, int maxTargetPerLoc,
boolean considerLoad,
List<DatanodeDescriptor> results) {
// check if the node is (being) decommissed 判断是否退役了
if (node.isDecommissionInProgress() ¦¦ node.isDecommissioned()) {
if(LOG.isDebugEnabled()) {
threadLocalBuilder.get().append(node.toString()).append(": ")
.append("Node ").append(NodeBase.getPath(node))
.append(" is not chosen because the node is (being) decommissioned ");
}
return false;
}
long remaining = node.getRemaining() -
(node.getBlocksScheduled() * blockSize);
// check the remaining capacity of the target machine 判断剩余的磁盘空间， 块大小 * 5 > 剩余大小 表示不可用
if (blockSize* HdfsConstants.MIN_BLOCKS_FOR_WRITE>remaining) {
if(LOG.isDebugEnabled()) {
threadLocalBuilder.get().append(node.toString()).append(": ")
.append("Node ").append(NodeBase.getPath(node))
.append(" is not chosen because the node does not have enough space ");
}
return false;
}
// check the communication traffic of the target machine 判断各个datanode的负载情况，这里的负载不是系统负载，而是根据xceiver线程数，这个线程好像是负责读写的。
if (considerLoad) { // 默认这个为true，配置项 dfs.namenode.replication.considerLoad
double avgLoad = 0;
int size = clusterMap.getNumOfLeaves(); // 所有datanode数
if (size != 0 && stats != null) {
avgLoad = (double)stats.getTotalLoad()/size; // 获取总的xceiver线程数除以所有datanode数，算出平均负载
}
if (node.getXceiverCount() > (2.0 * avgLoad)) { // 如果当前线程数 大于 平均值的两倍，则不可使用
if(LOG.isDebugEnabled()) {
threadLocalBuilder.get().append(node.toString()).append(": ")
.append("Node ").append(NodeBase.getPath(node))
.append(" is not chosen because the node is too busy ");
}
return false;
}
}
// check if the target rack has chosen too many nodes 检查是否有太多节点在当前机架上
String rackname = node.getNetworkLocation();
int counter=1;
for(Iterator<DatanodeDescriptor> iter = results.iterator();
iter.hasNext();) {
Node result = iter.next();
if (rackname.equals(result.getNetworkLocation())) {
counter++;
}
}
//maxNodesPerRack的算法，没看懂，可能是每个机架的平均数+2，不知道为什么定一个这样的值 int maxNodesPerRack = (totalNumOfReplicas-1)/clusterMap.getNumOfRacks()+2;
if (counter>maxTargetPerLoc) {
if(LOG.isDebugEnabled()) {
threadLocalBuilder.get().append(node.toString()).append(": ")
.append("Node ").append(NodeBase.getPath(node))
.append(" is not chosen because the rack has too many chosen nodes ");
}
return false;
}
return true;
}

我们当前集群状态，总共11台datanode，没有退役机器。其中7台机器磁盘已满或者基本满，剩下4台机器可写。没有划分机架，所以整个集群认为只有一个机架。所以应该不会触发“同一个机架不能有太多个节点的问题”（具体原因看上面代码，这里表述可能不是很准确） 怀疑检查负载的逻辑，7台满的机器datanode负载可能很低，但因为磁盘满不可以使用，导致剩下的4台机器线程数超过平均值的两倍。
当前只能加入日志，等下次出错后检查。

JS Flowchart Diagrams

Wed, 04 Mar 2015 21:57:50 +0800

Usage

st=>start: Start|past:>http://www.google.com[blank]
e=>end: End:>http://www.google.com
op1=>operation: My Operation|past
op2=>operation: Stuff|current
sub1=>subroutine: My Subroutine|invalid
cond=>condition: Yes
or No?|approved:>http://www.google.com
c2=>condition: Good idea|rejected
io=>inputoutput: catch something...|request
st->op1(right)->cond
cond(yes, right)->c2
cond(no)->sub1(left)->op1
c2(yes)->io->e
c2(no)->op2->e

```flow
st=>start: Start|past:>http://www.google.com[blank]
e=>end: End:>http://www.google.com
op1=>operation: My Operation|past
op2=>operation: Stuff|current
sub1=>subroutine: My Subroutine|invalid
cond=>condition: Yes
or No?|approved:>http://www.google.com
c2=>condition: Good idea|rejected
io=>inputoutput: catch something...|request
st->op1(right)->cond
cond(yes, right)->c2
cond(no)->sub1(left)->op1
c2(yes)->io->e
c2(no)->op2->e
```

Legacy Usage

st=>start: Start|past:>http://www.google.com[blank]
e=>end: End:>http://www.google.com
op1=>operation: My Operation|past
op2=>operation: Stuff|current
sub1=>subroutine: My Subroutine|invalid
cond=>condition: Yes
or No?|approved:>http://www.google.com
c2=>condition: Good idea|rejected
io=>inputoutput: catch something...|request
st->op1(right)->cond
cond(yes, right)->c2
cond(no)->sub1(left)->op1
c2(yes)->io->e
c2(no)->op2->e

```flowchart
st=>start: Start|past:>http://www.google.com[blank]
e=>end: End:>http://www.google.com
op1=>operation: My Operation|past
op2=>operation: Stuff|current
sub1=>subroutine: My Subroutine|invalid
cond=>condition: Yes
or No?|approved:>http://www.google.com
c2=>condition: Good idea|rejected
io=>inputoutput: catch something...|request
st->op1(right)->cond
cond(yes, right)->c2
cond(no)->sub1(left)->op1
c2(yes)->io->e
c2(no)->op2->e
```

Configuration

Configure for all home and regular pages:

1
2
3


[params.flowchartDiagrams]
 enable = true
 options = ""

Configure for a single post in the front matter (Params in front matter have higher precedence):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34


flowchartDiagrams:
 enable: true
 options: "{
 'x': 0,
 'y': 0,
 'line-width': 3,
 'line-length': 50,
 'text-margin': 10,
 'font-size': 14,
 'font-color': 'black',
 'line-color': 'black',
 'element-color': 'black',
 'fill': 'white',
 'yes-text': 'yes',
 'no-text': 'no',
 'arrow-end': 'block',
 'scale': 1,
 'i-am-a-comment-1': 'Do not use /​/!',
 'i-am-a-comment-2': 'style symbol types',
 'symbols': {
 'start': {
 'font-color': 'red',
 'element-color': 'green',
 'fill': 'yellow'
 },
 'end': {
 'class': 'end-element'
 }
 },
 'i-am-a-comment-3': 'even flowstate support ;-)',
 'flowstate': {
 'request': {'fill': 'blue'}
 }
 }"

See more information from https://github.com/adrai/flowchart.js.

JS Sequence Diagrams

Wed, 04 Mar 2015 21:57:45 +0800

Usage

Andrew->China: Says Hello
Note right of China: China thinks\nabout it
China-->Andrew: How are you?
Andrew->>China: I am good thanks!

 Andrew->China: Says Hello
Note right of China: China thinks\nabout it
China-->Andrew: How are you?
Andrew->>China: I am good thanks!
```
## Configuration
Configure for all home and regular pages:
```toml
[params.sequenceDiagrams]
enable = true
options = "{theme: 'hand'}"

Configure for a single post in the front matter (Params in front matter have higher precedence):

1
2
3


sequenceDiagrams:
 enable: true
 options: "{theme: 'hand'}"

Options

1
2
3
4
5
6
7


options = {
 // Change the styling of the diagram, typically one of 'simple', 'hand'. New themes can be registered with registerTheme(...).
 theme: string,

 // CSS style to apply to the diagram's svg tag. (Only supported if using snap.svg)
 css_class: string,
}

See more information from https://github.com/bramp/js-sequence-diagrams.

Examples

Title: Here is a title
A->B: Normal line
B-->C: Dashed line
C->>D: Open arrow
D-->>A: Dashed open arrow

```sequence
Title: Here is a title
A->B: Normal line
B-->C: Dashed line
C->>D: Open arrow
D-->>A: Dashed open arrow
```

# Example of a comment.
Note left of A: Note to the\n left of A
Note right of A: Note to the\n right of A
Note over A: Note over A
Note over A,B: Note over both A and B

```sequence
# Example of a comment.
Note left of A: Note to the\n left of A
Note right of A: Note to the\n right of A
Note over A: Note over A
Note over A,B: Note over both A and B
```

impala因为invalidate语句导致执行DDL语句卡住

Sun, 01 Feb 2015 16:06:11 +0000

现象

impala突然无法执行DDL语句，一直卡住，累积的很多任务。初步怀疑impala并发有问题，采取了一些减少并发的方法，有一点作用，但故障没有完全消除。

排查

怀疑超时时间太短（2分钟），修改代码更改超时时间到10分钟，没效果，但发现一个规律，有些任务在超时后17秒成功。开启详细debug日志。发现impalad的日志显示是获取元数据超时，但发现catalogd的获取元素据只需要10+秒。catalogd没有把结果返回给impalad？这里解释一下impalad和catalogd的关系。客户端直接访问impalad，impalad在本地缓存找不到这个表的元素据，就会向catalogd发起请求，catalogd从hive metastore获取元数据以及namenode获取block信息，返回给impalad。impalad在获取的过程中，每隔2秒检查一下本地的缓存，看这个表获取完元素据了没有，直到超时。但是。。。由于代码太复杂，C++和java的代码互相调用，我看不懂传递的过程。期望从代码了解为什么丢了结果是没办法了。另外还有一个办法是在代码里加上一些跟踪的日志重新编译，但耗时可能很长，没有继续下去。偶然发现有些卡住的语句，在我执行refresh语句时居然不卡了。想起我们执行语句前加了-r参数，每次都会执行invalidate metadata语句，猜想是不是因为这个引起。取消这个参数后一切正常，之前加这个参数是为了避免有些表没有更新元素据，可能会导致table not found的错误。（现在不需要这个参数，建表和更改时会执行这个语句）

代码分析

由于看不懂全部代码，所以以下分析可能有误。来看一下invalidate metadata做了什么。从注释来看应该没找错方法=。=

/**
* Executes a TResetMetadataRequest and returns the result as a
* TResetMetadataResponse. Based on the request parameters, this operation
* may do one of three things:
* 1) invalidate the entire catalog, forcing the metadata for all catalog
* objects to be reloaded.
* 2) invalidate a specific table, forcing the metadata to be reloaded
* on the next access.
* 3) perform a synchronous incremental refresh of a specific table.
*
* For details on the specific commands see comments on their respective
* methods in CatalogServiceCatalog.java.
*/
public TResetMetadataResponse execResetMetadata(TResetMetadataRequest req)

这个方法里调用了catalog_.reset();

///impala-fe/src/main/java/com/cloudera/impala/catalog/CatalogServiceCatalog.java
/**
* Resets this catalog instance by clearing all cached table and database metadata.
*/
public void reset() throws CatalogException {
catalogLock_.writeLock().lock();
try {
nextTableId_.set(0);
// Since UDFs/UDAs are not persisted in the metastore, we won't clear
// them across reset. To do this, we store all the functions before
// clearing and restore them after.
// TODO: Everything about this. Persist them.
List<Pair<String, HashMap<String, List<Function>>>> functions =
Lists.newArrayList();
for (Db db: dbCache_.get().values()) {
if (db.numFunctions() == 0) continue;
functions.add(Pair.create(db.getName(), db.getAllFunctions()));
}
// Build a new DB cache, populate it, and replace the existing cache in one
// step.
ConcurrentHashMap<String, Db> newDbCache = new ConcurrentHashMap<String, Db>();
List<TTableName> tblsToBackgroundLoad = Lists.newArrayList();
MetaStoreClient msClient = metaStoreClientPool_.getClient();
try {
for (String dbName: msClient.getHiveClient().getAllDatabases()) {
Db db = new Db(dbName, this);
db.setCatalogVersion(incrementAndGetCatalogVersion());
newDbCache.put(db.getName().toLowerCase(), db);
for (String tableName: msClient.getHiveClient().getAllTables(dbName)) {
Table incompleteTbl = IncompleteTable.createUninitializedTable(
getNextTableId(), db, tableName);
incompleteTbl.setCatalogVersion(incrementAndGetCatalogVersion());
db.addTable(incompleteTbl);
if (loadInBackground_) {
tblsToBackgroundLoad.add(
new TTableName(dbName.toLowerCase(), tableName.toLowerCase()));
}
}
}
} finally {
msClient.release();
}
// Restore UDFs/UDAs.
for (Pair<String, HashMap<String, List<Function>>> dbFns: functions) {
Db db = null;
try {
db = newDbCache.get(dbFns.first);
} catch (Exception e) {
continue;
}
if (db == null) {
// DB no longer exists - it was probably dropped externally.
// TODO: We could restore this DB and then add the functions back?
continue;
}
for (List<Function> fns: dbFns.second.values()) {
for (Function fn: fns) {
if (fn.getBinaryType() == TFunctionBinaryType.BUILTIN) continue;
fn.setCatalogVersion(incrementAndGetCatalogVersion());
db.addFunction(fn);
}
}
}
dbCache_.set(newDbCache);
// Submit tables for background loading.
for (TTableName tblName: tblsToBackgroundLoad) {
tableLoadingMgr_.backgroundLoad(tblName);
}
} catch (Exception e) {
LOG.error(e);
throw new CatalogException("Error initializing Catalog. Catalog may be empty.", e);
} finally {
catalogLock_.writeLock().unlock();
}
}

reset里面，dbCache_可能是impalad的本地缓存(又或者是catalogd的…)，里面存有各个表的元数据信息（包含block信息）。这里重新从metastore获取了所有的表信息（不包含分区和block信息），这些表称之为incomplete Table，因为还没有获取分区和block信息。如果启用了loadInBackground，就会在后台获取分区等信息，没启用的话就等使用的时候获取。最后设为dbCache_，相当于清空所有元素据缓存。

结论

从代码上解释，impalad在向catalogd获取元素据信息过程中，执行了invalidate metadata，导致本地缓存清空，impalad在检查缓存时，发现元素据还是空的，一直等到超时重试。这也能解释并发多时，一直失败，因为出现invalidate metadata的概率多了。另外取消这个后，应该能提高impalad的查询速度，能够利用本地缓存。

后续关注

去掉这个参数后会不会导致元素据不同步，导致读取不到最新的数据。

apache php 不缓存配置

Sun, 25 Jan 2015 04:08:04 +0000

ExpiresDefault可以设置所有文件的缓存时间针对php设置 header, “private, must-revalidate” 设成这个还能够后退，没搞清楚原理，但每次刷新不会使用旧的缓存。

ExpiresDefault "access plus 2 day"
ExpiresByType text/php "access plus 5 seconds"
<FilesMatch ".(php)$">
Header set Cache-Control "private, must-revalidate"
Header set Pragma "no-cache"
</FilesMatch>

参考

http://httpd.apache.org/docs/2.2/mod/mod_expires.html
http://www.jb51.net/article/15009.htm

从日志分析impala查询慢的原因（2）

Sat, 03 Jan 2015 08:51:57 +0000

上一篇文章看到 requestTblLoadAndWait 速度缓慢，继续分析。先上日志

# impalad日志
I0103 15:09:35.503356 27319 impala-beeswax-server.cc:170] query(): query=select distinct(disp_id) from default_impala.kpi_disp_user_info_stat_tb where pt='2014-04-08'
I0103 15:11:36.109915 27319 Frontend.java:779] Missing tables were not received in 120000ms. Load request will be retried.
I0103 15:11:36.110705 27319 Frontend.java:709] Requesting prioritized load of table(s): default_impala.kpi_disp_user_info_stat_tb
I0103 15:11:50.778054 27319 Frontend.java:833] create plan
I0103 15:11:50.806649 27319 HdfsScanNode.java:571] collecting partitions for table kpi_disp_user_info_stat_tb
I0103 15:11:51.070816 27319 impala-server.cc:590] Execution request: TExecRequest {
# catalog日志
I0103 15:09:35.892182 29165 rpc-trace.cc:133] RPC call: CatalogService.PrioritizeLoad(from ::ffff:127.0.0.1:44323)
I0103 15:09:39.563268 29185 HdfsTable.java:916] load table: default_impala.kpi_disp_user_info_stat_tb
I0103 15:10:48.357046 29185 HdfsTable.java:234] load block md for kpi_disp_user_info_stat_tb
I0103 15:11:36.110947 29165 rpc-trace.cc:133] RPC call: CatalogService.PrioritizeLoad(from ::ffff:127.0.0.1:44323)
I0103 15:11:48.948714 29185 HdfsTable.java:1056] table #rows=-1
# hive metastore日志
2015-01-03 15:09:38,991 INFO org.apache.hadoop.hive.metastore.HiveMetaStore: 54032: source:/IP地址 get_table : db=default_impala tbl=kpi_disp_user_info_stat_tb
2015-01-03 15:09:39,848 INFO org.apache.hadoop.hive.metastore.HiveMetaStore: 54032: source:/IP地址 get_partition_names : db=default_impala tbl=kpi_disp_user_info_stat_tb
2015-01-03 15:09:39,902 INFO org.apache.hadoop.hive.metastore.HiveMetaStore: 54032: source:/IP地址 get_partitions_by_names : db=default_impala tbl=kpi_disp_user_info_stat_tb
2015-01-03 15:09:52,839 INFO org.apache.hadoop.hive.metastore.HiveMetaStore: 54032: source:/IP地址 get_partitions_by_names : db=default_impala tbl=kpi_disp_user_info_stat_tb
2015-01-03 15:10:05,383 INFO org.apache.hadoop.hive.metastore.HiveMetaStore: 54032: source:/IP地址 get_partitions_by_names : db=default_impala tbl=kpi_disp_user_info_stat_tb

这次加多了metastore的日志进来在15:09:35提交了查询语句，可以看到impalad和catalog都有一条日志，metastore在3秒后有一条日志（3秒的原因是hive metastore一个bug，我在测试时没修复，但不影响分析）。 catalogd开始获取这个表的元素据以及文件block信息，15:09:39至15:10:48从metastore获取完元素据，15:10:48开始获取文件block信息。直到15:11:48完成，期间因为impalad获取元素据超过120秒，15:11:36重新获取了一次。

// Frontend.java
private boolean requestTblLoadAndWait(Set<TableName> requestedTbls, long timeoutMs)
throws InternalException {
// impala本地缓存了元素据，每个表有一个版本号。本地的缓存一开始只缓存表名，分区信息等都没有缓存
Set<TableName> missingTbls = getMissingTbls(requestedTbls);
// There are no missing tables, return and avoid making an RPC to the CatalogServer.
if (missingTbls.isEmpty()) return true;
// Call into the CatalogServer and request the required tables be loaded.
LOG.info(String.format("Requesting prioritized load of table(s): %s",
Joiner.on(", ").join(missingTbls)));
// 这里通过jni的方式调用c++写的代码，与catalogd通信获取元素据
TStatus status = FeSupport.PrioritizeLoad(missingTbls);
if (status.getStatus_code() != TStatusCode.OK) {
throw new InternalException("Error requesting prioritized load: " +
Joiner.on("\n").join(status.getError_msgs()));
}
long startTimeMs = System.currentTimeMillis();
// Wait until all the required tables are loaded in the Impalad's catalog cache.
// 检查是不是在本地缓存里了
while (!missingTbls.isEmpty()) {
// Check if the timeout has been reached.
if (timeoutMs > 0 && System.currentTimeMillis() - startTimeMs > timeoutMs) {
return false;
}
LOG.trace(String.format("Waiting for table(s) to complete loading: %s",
Joiner.on(", ").join(missingTbls)));
getCatalog().waitForCatalogUpdate(MAX_CATALOG_UPDATE_WAIT_TIME_MS);
missingTbls = getMissingTbls(missingTbls);
// TODO: Check for query cancellation here.
}
return true;
}

继续看FeSupport.PrioritizeLoad的代码，这里实际是调用c++的代码，在fe-support.cc里，直接看

extern "C"
JNIEXPORT jbyteArray JNICALL
Java_com_cloudera_impala_service_FeSupport_NativePrioritizeLoad(
JNIEnv* env, jclass caller_class, jbyteArray thrift_struct) {
TPrioritizeLoadRequest request;
DeserializeThriftMsg(env, thrift_struct, &request);
CatalogOpExecutor catalog_op_executor(ExecEnv::GetInstance(), NULL);
TPrioritizeLoadResponse result;
Status status = catalog_op_executor.PrioritizeLoad(request, &result);
if (!status.ok()) {
LOG(ERROR) << status.GetErrorMsg();
// Create a new Status, copy in this error, then update the result.
Status catalog_service_status(result.status);
catalog_service_status.AddError(status);
status.ToThrift(&result.status);
}
jbyteArray result_bytes = NULL;
THROW_IF_ERROR_RET(SerializeThriftMsg(env, &result, &result_bytes), env,
JniUtil::internal_exc_class(), result_bytes);
return result_bytes;
}

c++代码没看懂，不知道怎么调用到了catalogd的代码，不管了，从日志看执行了这行代码HdfsTable.java:916

public void load(Table cachedEntry, HiveMetaStoreClient client,
org.apache.hadoop.hive.metastore.api.Table msTbl) throws TableLoadingException {
numHdfsFiles_ = 0;
totalHdfsBytes_ = 0;
LOG.debug("load table: " + db_.getName() + "." + name_);
...
loadColumns(fieldSchemas, client);
//这里有一些判断是否使用缓存的代码，如果是完全没有缓存，会通过以下方法获取
msPartitions.addAll(MetaStoreUtil.fetchAllPartitions(
client, db_.getName(), name_, NUM_PARTITION_FETCH_RETRIES));
//如果部分分区已经获取过了，会只获取未知分区的元素据
LOG.info(String.format("Incrementally refreshing %d/%d partitions.",
modifiedPartitionNames.size(), totalPartitions));
// No need to make the metastore call if no partitions are to be updated.
if (modifiedPartitionNames.size() > 0) {
// Now reload the the remaining partitions.
msPartitions.addAll(MetaStoreUtil.fetchPartitionsByName(client,
Lists.newArrayList(modifiedPartitionNames), db_.getName(), name_));
}
...
// 加载元素据和获取block信息
loadPartitions(msPartitions, msTbl, oldFileDescMap);
// load table stats
numRows_ = getRowCount(msTbl.getParameters());
LOG.debug("table #rows=" + Long.toString(numRows_));
}

在MetaStoreUtil.fetchAllPartitions方法里会先get_partition_names获取全部的分区名，然后再分批get_partitions_by_names来获取分区的全部信息。每次RPC获取的分区数量由参数HiveConf.ConfVars.METASTORE_BATCH_RETRIEVE_TABLE_PARTITION_MAX指定，默认1000个分区一次。在loadPartitions方法中，会创建一些分区对象和搜集分区的行数（这个应该是要用comput stat才有值，默认搜集不到），然后再调用loadBlockMd(fileDescsToLoad);方法

/**
* Loads the file block metadata for the given collection of FileDescriptors.
* The FileDescriptors are passed as a Map of partition location to list of
* files that exist under that directory.
*/
private void loadBlockMd(Map<String, List<FileDescriptor>> fileDescriptors)
throws RuntimeException {
Preconditions.checkNotNull(fileDescriptors);
LOG.debug("load block md for " + name_);
// Store all BlockLocations so they can be reused when loading the disk IDs.
List<BlockLocation> blockLocations = Lists.newArrayList();
// loop over all files and record their block metadata, minus volume ids
for (String parentPath: fileDescriptors.keySet()) {
for (FileDescriptor fileDescriptor: fileDescriptors.get(parentPath)) {
Path p = new Path(parentPath, fileDescriptor.getFileName());
BlockLocation[] locations = null;
try {
// 这里可能耗时，每个分区都获取文件信息（已缓存的不获取，但没看懂缓存的机制）
FileStatus fileStatus = DFS.getFileStatus(p);
// fileDescriptors should not contain directories.
Preconditions.checkArgument(!fileStatus.isDirectory());
// RPC操作
locations = DFS.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
Preconditions.checkNotNull(locations);
blockLocations.addAll(Arrays.asList(locations));
// Loop over all blocks in the file.
for (BlockLocation block: locations) {
String[] blockHostPorts = block.getNames();
try {
blockHostPorts = block.getNames();
} catch (IOException e) {
// this shouldn't happen, getNames() doesn't throw anything
String errorMsg = "BlockLocation.getNames() failed:\n" + e.getMessage();
LOG.error(errorMsg);
throw new IllegalStateException(errorMsg);
}
// Now enumerate all replicas of the block, adding any unknown hosts
// to hostIndex_ and the index for that host to replicaHostIdxs.
List<Integer> replicaHostIdxs = new ArrayList<Integer>(blockHostPorts.length);
for (int i = 0; i < blockHostPorts.length; ++i) {
String[] ip_port = blockHostPorts[i].split(":");
Preconditions.checkState(ip_port.length == 2);
TNetworkAddress network_address = new TNetworkAddress(ip_port[0],
Integer.parseInt(ip_port[1]));
replicaHostIdxs.add(hostIndex_.getIndex(network_address));
}
fileDescriptor.addFileBlock(
new FileBlock(block.getOffset(), block.getLength(), replicaHostIdxs));
}
} catch (IOException e) {
throw new RuntimeException("couldn't determine block locations for path '"
+ p + "':\n" + e.getMessage(), e);
}
}
}
if (SUPPORTS_VOLUME_ID) {
LOG.trace("loading disk ids for: " + getFullName() +
". nodes: " + getNumNodes());
loadDiskIds(blockLocations, fileDescriptors);
LOG.trace("completed load of disk ids for: " + getFullName());
}
}

另外找到一个有一点关系的issue， IMPALA-1480 Slow DDL statements for tables with large number of partitions google group上的讨论 https://groups.google.com/a/cloudera.org/forum/#!topic/impala-user/Xv8d2jndzZ0

Dimitris：

It looks like an issue I am currently working on (https://issues.cloudera.org/browse/IMPALA-1480). I have a patch in flight that significantly improves DDL and INSERT statements for partitioned tables. Currently, the issue is that we force-reload the entire table metadata even though only few partitions have been modified.

不过他说的是DDL语句，会强制加载整个元数据，尽管只改几个分区，和这里的查询类似。

## 结论

对于很多分区的表，获取全部元素据以及block信息花费很多时间导致查询变慢。如果impala能够针对查询只获取需要用到的分区信息将会加快很多。

从日志分析impala查询慢的原因（1）

Sun, 28 Dec 2014 18:42:52 +0000

本文只是分析和代码的关联，并没有解决慢的问题。有些语句在impala查询很慢，尝试把日志和代码关联起来，便于之后的分析。由于impala涉及到多个对象，有些代码搞不清楚是如何调用的。当前发现在获取元数据的过程很慢。代码中有fe和be两个目录,be是c++写的，fe是java写的。 c++通过jni调用java代码（或许还有rpc调用）在be\src\service\impala-hs2-server.cc里是我们使用的hiveserver2协议的服务端

开始

先把impalad的debug日志记录下来，修改/etc/default/impala里，增加一行export GLOG_v=2 通过impala-shell查询 select distinct(disp_id) from default_impala.kpi_disp_user_info_stat_tb where pt=’2014-04-08′ 等查询完后的时间分析为：

Query Timeline: 2m34s
- Start execution: 77.818us (77.818us)
- Planning finished: 2m33s (2m33s)
- Ready to start remote fragments: 2m33s (4.473ms)
- Remote fragments started: 2m34s (580.800ms)
- Rows available: 2m34s (353.883ms)
- First row fetched: 2m34s (51.765ms)
- Unregister query: 2m34s (13.51ms)

其中大部分时间在Planning里面在日志可以看到这两条 I1228 17:22:53.467937 11982 rpc-trace.cc:133] RPC call: BeeswaxService.query(from ::ffff:IP:39274)
I1228 17:22:53.467978 11982 impala-beeswax-server.cc:170] query(): query=select distinct(disp_id) from default_impala.kpi_disp_user_info_stat_tb where pt=’2014-04-08′ 已经开始查询 I1228 17:22:53.471019 11982 Frontend.java:760] analyze query select distinct(disp_id) from default_impala.kpi_disp_user_info_stat_tb where pt=’2014-04-08′
I1228 17:22:53.472192 11982 Frontend.java:709] Requesting prioritized load of table(s): default_impala.kpi_disp_user_info_stat_tb
I1228 17:24:54.335124 11982 Frontend.java:779] Missing tables were not received in 120000ms. Load request will be retried.
I1228 17:24:54.335906 11982 Frontend.java:709] Requesting prioritized load of table(s): default_impala.kpi_disp_user_info_stat_tb
I1228 17:25:27.136531 11982 Frontend.java:833] create plan impala-beeswax-server.cc中通过jni的方式调用Frontend.java的代码，这里日志中有一次超时了（120秒），重试了一次。第一次花了120秒，第二次重试后，在17:25:27后获取成功，第二次花了30秒。

private AnalysisContext.AnalysisResult analyzeStmt(TQueryCtx queryCtx)
throws AnalysisException, InternalException, AuthorizationException {
AnalysisContext analysisCtx = new AnalysisContext(impaladCatalog_, queryCtx,
authzConfig_);
LOG.debug("analyze query " + queryCtx.request.stmt);
// Run analysis in a loop until it any of the following events occur:
// 1) Analysis completes successfully.
// 2) Analysis fails with an AnalysisException AND there are no missing tables.
// 3) Analysis fails with an AuthorizationException.
try {
while (true) {
try {
analysisCtx.analyze(queryCtx.request.stmt);
Preconditions.checkState(analysisCtx.getAnalyzer().getMissingTbls().isEmpty());
return analysisCtx.getAnalysisResult();
} catch (AnalysisException e) {
Set<TableName> missingTbls = analysisCtx.getAnalyzer().getMissingTbls();
// Only re-throw the AnalysisException if there were no missing tables.
if (missingTbls.isEmpty()) throw e;
// Some tables/views were missing, request and wait for them to load.
if (!requestTblLoadAndWait(missingTbls, MISSING_TBL_LOAD_WAIT_TIMEOUT_MS)) {
LOG.info(String.format("Missing tables were not received in %dms. Load " +
"request will be retried.", MISSING_TBL_LOAD_WAIT_TIMEOUT_MS));
}
}
}
} finally {
// Authorize all accesses.
// AuthorizationExceptions must take precedence over any AnalysisException
// that has been thrown, so perform the authorization first.
analysisCtx.getAnalyzer().authorize(getAuthzChecker());
}
}

进去看requestTblLoadAndWait这个方法

/**
* Requests the catalog server load the given set of tables and waits until
* these tables show up in the local catalog, or the given timeout has been reached.
* The timeout is specified in milliseconds, with a value <= 0 indicating no timeout.
* The exact steps taken are:
* 1) Collect the tables that are missing (not yet loaded locally).
* 2) Make an RPC to the CatalogServer to prioritize the loading of these tables.
* 3) Wait until the local catalog contains all missing tables by (re)checking the
* catalog each time a new catalog update is received.
*
* Returns true if all missing tables were received before timing out and false if
* the timeout was reached before all tables were received.
*/
private boolean requestTblLoadAndWait(Set<TableName> requestedTbls, long timeoutMs)
throws InternalException {
Set<TableName> missingTbls = getMissingTbls(requestedTbls);
// There are no missing tables, return and avoid making an RPC to the CatalogServer.
if (missingTbls.isEmpty()) return true;
// Call into the CatalogServer and request the required tables be loaded.
LOG.info(String.format("Requesting prioritized load of table(s): %s",
Joiner.on(", ").join(missingTbls)));
TStatus status = FeSupport.PrioritizeLoad(missingTbls);
if (status.getStatus_code() != TStatusCode.OK) {
throw new InternalException("Error requesting prioritized load: " +
Joiner.on("\n").join(status.getError_msgs()));
}
long startTimeMs = System.currentTimeMillis();
// Wait until all the required tables are loaded in the Impalad's catalog cache.
while (!missingTbls.isEmpty()) {
// Check if the timeout has been reached.
if (timeoutMs > 0 && System.currentTimeMillis() - startTimeMs > timeoutMs) {
return false;
}
LOG.trace(String.format("Waiting for table(s) to complete loading: %s",
Joiner.on(", ").join(missingTbls)));
getCatalog().waitForCatalogUpdate(MAX_CATALOG_UPDATE_WAIT_TIME_MS);
missingTbls = getMissingTbls(missingTbls);
// TODO: Check for query cancellation here.
}
return true;
}

这里没看懂怎么调用的，调用的是FeSupport.PrioritizeLoad，是放到一个SET里面，并且移到第一位。猜测是impalad自己有个catalog的缓存，如果在缓存找不到(missingTbls)，会通过rpc调用中心的catalogd服务。看中心catalogd的日志，可以看到被调用了两次。时间上和impalad的日志一致。（因为在线上测试，catalogd没有打开更详细日志） I1228 17:22:53.448292 9209 TableLoader.java:60] Loading metadata for: default_impala.kpi_disp_user_info_stat_tb
I1228 17:22:53.448468 9209 HiveMetaStoreClient.java:238] Trying to connect to metastore with URI thrift://vdc22:9083
I1228 17:22:53.449069 9209 HiveMetaStoreClient.java:326] Connected to metastore.
I1228 17:23:07.808981 15118 HiveMetaStoreClient.java:238] Trying to connect to metastore with URI thrift://vdc22:9083
I1228 17:23:07.809939 15118 HiveMetaStoreClient.java:326] Connected to metastore.
I1228 17:23:20.419278 26716 HiveMetaStoreClient.java:238] Trying to connect to metastore with URI thrift://vdc22:9083
I1228 17:23:20.419970 26716 HiveMetaStoreClient.java:326] Connected to metastore.
I1228 17:24:54.308159 3044 TableLoader.java:60] Loading metadata for: default_impala.kpi_disp_user_info_stat_tb 这里日志的代码在这里com.cloudera.impala.catalog.TableLoader 后面的步骤花费的时间不多，不继续分析了。

编译impala2.0.0

Sun, 21 Dec 2014 08:50:16 +0000

使用redhat5.8没编译成功，改用redhat6.4最终编译成功。参考官方的文档https://github.com/cloudera/Impala/tree/v1.2.2 不知道官方的readme.md在新的版本为什么删掉了。。。囧

准备条件

安装必须要的包，jdk，llvm，maven 注意它要求用oracle的jdk，redhat默认是openjdk，可以参考这里安装 http://unix.stackexchange.com/questions/63587/how-to-install-g-4-7-2-c11-on-centos-5-x

安装boost

CentOS 6.4上预装的是boost 1.41，但是impala需要更高版本的boost库（Note: Impala requires Boost 1.4.2 or later），所以先卸载掉boost 1.41

rpm -e `rpm -qa|grep boost`

cd boost_1_46_1
sh ./bootstrap.sh
#注意要加上 cxxflags=-fPIC 参数，否则后面编译失败
./bjam --libdir=/usr/lib64 threading=multi --layout=tagged install cxxflags=-fPIC
#编译静态库，不知道有没有用...
./bjam --layout=tagged --libdir=/usr/lib64 cxxflags=-fPIC \
link=static threading=multi runtime-link=static install

编译impala

把代码下载下来，由于不是直接从git下载来的，所以用git init初始化一次。另外注意里面有clean的选项，使用git来clean会导致一些代码被删掉。

sh ./buildall.sh -noclean -skiptests

bulitall.sh实际会用到bin下面的脚本，可以都看一下

报错处理

Linking CXX executable ../../build/debug/common/atomic-test
/usr/bin/ld: cannot find -lboost_date_time
collect2: ld returned 1 exit status
make[2]: *** [be/build/debug/common/atomic-test] Error 1
make[1]: *** [be/src/common/CMakeFiles/atomic-test.dir/all] Error 2

我们用的是mt（多线程）的库，所以要改一下
修改了be/CMakeLists.txt的216行，将原有的：
-lrt -lboost_date_time
改为
-lrt -lboost_date_time-mt
如果要静态编译，要把-lboost_date_time去掉（这里我需要静态编译，所以把它去掉了）
修改./CMakeLists.txt，加入date_time-mt

find_package(Boost REQUIRED COMPONENTS thread regex-mt system-mt filesystem-mt date_time-mt)

修改./CMakeLists.txt找到 Boost_DEBUG 这一行，加上着一些

set(Boost_DEBUG FALSE)
set(Boost_USE_STATIC_LIBS ON)
set(Boost_USE_STATIC_RUNTIME ON)
set(Boost_USE_MULTITHREADED ON)
add_definitions(-DBOOST_ALL_NO_LIB)

编译后的文件在 be/bulid里面，编译出来的东西有200MB+，和官方的比20MB吓尿了好吧。
执行strip –strip-debug impalad 会变成30MB+

报错Could NOT find JNI (missing: JNI_INCLUDE_DIRS)

修改cmake_modules/FindJNI.cmake文件

找到JAVA_AWT_LIBRARY_DIRECTORIES，增加路径（和你jdk位置相关）
/usr/java/jdk1.7.0_67-cloudera/jre/lib/amd64/
找到JAVA_AWT_INCLUDE_DIRECTORIES，增加路径
/usr/java/jdk1.7.0_67-cloudera/include
其他路径注释掉
另外我还设定了几个路径
set(JAVA_INCLUDE_PATH
/usr/java/jdk1.7.0_67-cloudera/include
)
set(JAVA_INCLUDE_PATH2
/usr/java/jdk1.7.0_67-cloudera/include/linux/
)
set(JAVA_AWT_INCLUDE_PATH
/usr/java/jdk1.7.0_67-cloudera/include
)

cdh4.5 hive的bug

impala2.0.0通过yum方法安装中，会使用cdh4.5的lib
cdh4.5中，org.apache.hadoop.hive.metastore.HiveMetaStoreClient有个bug，在每次连接metastore的时候都会等3秒钟，可以从catalog的日志看到，如果用background-load的方法会很慢。
照着 cdh4.6的代码改就可以了。一个低级的错误http://www.grepcode.com/file/repository.cloudera.com/content/repositories/releases/org.apache.hive/hive-metastore/0.10.0-cdh4.6.0/org/apache/hadoop/hive/metastore/HiveMetaStoreClient.java#314
把编译好的包替换掉，目录在/usr/lib/impala里

参考

https://github.com/cloudera/Impala/tree/v1.2.2
http://blog.csdn.net/vah101/article/details/32343471
http://blog.chinaunix.net/uid-21519621-id-3952587.html
编译release版本 http://johnjianfang.blogspot.com/2013/06/build-impala-release.html

在Redhat6.4手动安装impala2.0

Sun, 21 Dec 2014 08:21:17 +0000

背景

已经通过cloudera manager装好了hadoop，但由于不敢升级cm，所以单独升级impala，采用yum的安装方式。原本已经安装了impala1.1，现在升级到impala2.0。所以有些配置没有说明，请参考官方文档。

在本地做个镜像

把需要用到的rpm下载下来

wget -r -np -k 'http://archive.cloudera.com/impala/redhat/6/x86_64/impala/2.0.0/'

配置一个nginx，用来提供下载 nginx配置

server {
listen 9500;
server_name www.lnmp.org;
index index.html index.htm index.php;
root /home/kpi/impala/archive.cloudera.com;
autoindex on; #打开索引功能
autoindex_exact_size off; #人性化方式显示大小
autoindex_localtime on; #显示服务器时间
}

配置repo

把以下内容保存为文件 impala.repo 到 /etc/yum.repos.d/目录下，下面的地址 archive.cloudera.com 可以换成你本地镜像的地址

[cloudera-impala]
name=Impala
baseurl=http://archive.cloudera.com/impala/redhat/6/x86_64/impala/2.0.0/
gpgkey = http://archive.cloudera.com/impala/redhat/6/x86_64/impala/RPM-GPG-KEY-cloudera
gpgcheck = 1

安装

安装服务，所有机器安装

yum install impala impala-server impala-shell

在某台机器上装state-store这些启动脚本

yum install impala-state-store impala-catalog

配置

ln -s /etc/hive/conf/hive-site.xml /etc/impala/conf/
ln -s /etc/hive/conf/hive-env.sh /etc/impala/conf/
ln -s /etc/hadoop/conf/core-site.xml /etc/impala/conf/
cp /etc/hadoop/conf/hdfs-site.xml /etc/impala/conf/

hdfs-site.xml配置不能直接用客户端的配置，会缺少某个配置导致impala-server启动不了。如果启动不了可以检查impala的日志。在hdfs-site.xml加入

<property>
<name>dfs.client.file-block-storage-locations.timeout</name>
<value>3000</value>
</property>

hdfs配置查看下面的网址，注意影响性能的Short-Circuit Reads选项
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/impala_config_performance.html?scroll=config_performance

修改impala默认用户为kpi

这个只是我们需要用kpi这个账号来读取数据，如果你使用默认用户impala也是可以的，注意要在hdfs配置这个用户可以直接读取hdfs 修改/etc/init.d/impala-server, /etc/init.d/impala-state-store,/etc/init.d/impala-catalog 文件，
找到 SVC_USER=”impala” 改为 SVC_USER=”kpi”
找到install -d -m 0755 -o impala -g impala /var/run/impala 改为 install -d -m 0755 -o kpi -g kpi /var/run/impala
创建日志目录

mkdir -p /home/hadoop/log/impala/
chown kpi:kpi /home/hadoop/log/impala/

修改impala 的默认配置/etc/default/impala文件

IMPALA_CATALOG_SERVICE_HOST=catalog的机器名或IP
IMPALA_STATE_STORE_HOST=statestore的机器名或IP
IMPALA_STATE_STORE_PORT=24000
IMPALA_BACKEND_PORT=22000
IMPALA_LOG_DIR=/home/hadoop/log/impala
IMPALA_CATALOG_ARGS=" -log_dir=${IMPALA_LOG_DIR} "
IMPALA_STATE_STORE_ARGS=" -log_dir=${IMPALA_LOG_DIR} -state_store_port=${IMPALA_STATE_STORE_PORT}"
IMPALA_SERVER_ARGS=" \
-mem_limit=4294967296 \
-enable_webserver=true \
-webserver_port=25000 \
-beeswax_port=21000 \
-hs2_port=21050 \
-log_dir=${IMPALA_LOG_DIR} \
-catalog_service_host=${IMPALA_CATALOG_SERVICE_HOST} \
-state_store_port=${IMPALA_STATE_STORE_PORT} \
-use_statestore \
-state_store_host=${IMPALA_STATE_STORE_HOST} \
-be_port=${IMPALA_BACKEND_PORT}"
ENABLE_CORE_DUMPS=false
# LIBHDFS_OPTS=-Djava.library.path=/usr/lib/impala/lib
# MYSQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar
# IMPALA_BIN=/usr/lib/impala/sbin
# IMPALA_HOME=/usr/lib/impala
# HIVE_HOME=/usr/lib/hive
# HBASE_HOME=/usr/lib/hbase
# IMPALA_CONF_DIR=/etc/impala/conf
# HADOOP_CONF_DIR=/etc/hadoop/conf

启动

service impala-state-store start
service impala-catalog start
service impala-server start

报错/etc/init.d/impala-state-store: line 35: /etc/default/hadoop: No such file or directory 这个无关紧要，找不到hadoop默认配置文件

报错处理

在redhat5.x版本中启动impala-shell会报sasl的错误，需要用pip安装python26-libs ,sasl 报错 ERROR: block location tracking is not properly enabled because
– dfs.client.file-block-storage-locations.timeout is too low. It should be at least 3000. 是因为hdfs的配置不对，需要在hdfs_site.xml加入dfs.client.file-block-storage-locations.timeout配置,见上面的配置

检查进程

看一下进程是否都已经起来了

ps auxf|grep state
ps auxf|grep catalog

安装impala lzo（可选）

加入cloudera-gplextras5.repo

[cloudera-gplextras5]
# Packages for Cloudera's GPLExtras, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera's GPLExtras, Version 5
baseurl=http://archive.cloudera.com/gplextras/redhat/6/x86_64/gplextras/4.3.0/
gpgkey = http://archive.cloudera.com/gplextras/redhat/6/x86_64/gplextras/RPM-GPG-KEY-cloudera
gpgcheck = 1

安装

yum install impala-lzo-2.0.0

参考

http://blog.javachen.com/2013/03/29/install-impala/
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/impala_noncm_installation.html

hdfs httpfs与webhdfs的简单使用

Sun, 02 Nov 2014 08:46:33 +0000

HttpFS和WebHDFS

通过http协议操作hdfs有两个组件，httpfs和webhdfs，我一开始还以为这两个是同一个东西，其实不是。webhdfs是namenode、datanode自带的，httpfs是完全独立的一个组件。 webhdfs上传文件等操作需要通过某个datanode进行，而不是直接通过namenode上传，客户端有可能访问多个机器。而httpfs，所有的操作都通过httpfs进行。 webhdfs和httpfs的使用方法基本是一样的，只有很小很小的差别。

HttpFS一些常用的操作

查看home目录
curl “http://osg11-vm06:8014/webhdfs/v1?op=GETHOMEDIRECTORY&user.name=kpi” 创建目录
curl -i -X PUT “http://osg11-vm06:8014/webhdfs/v1/tmp/chenyk?op=MKDIRS&user.name=kpi” curl -i -X PUT “http://osg11-vm06:8014/webhdfs/v1/tmp/chenyk/a/b/c?op=MKDIRS&user.name=kpi” 删除目录，recursive参数删除非空目录
curl -i -X DELETE “http://osg11-vm06:8014/webhdfs/v1/tmp/chenyk/a?op=DELETE&recursive=true&user.name=kpi” 创建文件(httpfs执行这一步没意义，上传也是通过httpfs上传)
curl -i -X PUT “http://osg11-vm06:8014/webhdfs/v1/tmp/chenyk/test?op=CREATE&user.name=kpi” 创建文件和上传
这里需要加入header，否则提示出错，可能是个bug https://issues.cloudera.org/browse/HUE-679 curl -i -X PUT -T /tmp/test.txt “http://osg11-vm06:8014/webhdfs/v1/tmp/chenyk/test?op=CREATE&data=true&user.name=kpi” -H “Content-Type:application/octet-stream” 追加文件
curl -i -X POST -T /tmp/test.txt “http://osg11-vm06:8014/webhdfs/v1/tmp/chenyk/test?op=APPEND&data=true&user.name=kpi” -H “Content-Type:application/octet-stream” 打开文件并读取
curl -i -L “http://osg11-vm06:8014/webhdfs/v1/tmp/chenyk/test?op=OPEN&user.name=kpi”

参考

http://hadoop.apache.org/docs/r1.0.4/webhdfs.html

cdh4 spark配置LZO

Sat, 27 Sep 2014 05:36:21 +0000

使用的hadoop是cdh4.2.1版本 spark1.1，需要配置hadoop-native和lzo native 在spark-env.sh加入

HADOOP_CONF_DIR=/etc/hadoop/conf
SPARK_SUBMIT_CLASSPATH=$SPARK_SUBMIT_CLASSPATH:/etc/hive/conf:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/hadoop-lzo.jar
#SPARK_SUBMIT_LIBRARY_PATH=$SPARK_SUBMIT_LIBRARY_PATH:/opt/cloudera/parcels/CDH/lib/hadoop/lib/native:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/native
LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cloudera/parcels/CDH/lib/hadoop/lib/native:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/native

我加了SPARK_SUBMIT_LIBRARY_PATH发现是加入了java.library.path，但是丢了默认的配置。改为加入LD_LIBRARY_PATH里 spark-defaults.conf的配置

spark.ui.port 8810
spark.executor.extraLibraryPath /opt/cloudera/parcels/CDH/lib/hadoop/lib/native:/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/native

可能还需要加上 spark.executor.extraClassPath，但我当前还是单机测试，没配也能跑成功。。
启动spark-sql试试，打开监控页面看看 http://xxxx:8810/environment/ 是否配置正确。参考：
http://hsiamin.com/posts/2014/05/03/enable-lzo-compression-on-hadoop-pig-and-spark/ （按这里的配置不成功，可能环境变量名称改了。）
http://lotso.blog.51cto.com/3681673/1441737
https://spark.apache.org/docs/latest/configuration.html

phpstorm CodeIgniter 自动完成配置

Fri, 19 Sep 2014 09:09:17 +0000

https://github.com/topdown/phpStorm-CC-Helpers

hadoop本地目录相关代码分析

Thu, 04 Sep 2014 10:23:12 +0000

最近hadoop本地磁盘总是坏，伴随着有些hadoop job失败，阅读了一些相关的代码。

本地磁盘健康检查

NodeManager默认会每两分钟检查本地磁盘（local-dirs），找出那些目录可以使用。注意这里如果判定这个磁盘不可用，则在重启NodeManager之前，就算磁盘好了，也不会把它变成可用。代码在LocalDirsHandlerService，DirectoryCollection。当好磁盘数少于一定量时，会把这台机器变成unhealthy，将不会再给这台机器分配任务。参数：

yarn.nodemanager.disk-health-checker.enable     是否开启磁盘健康检查，默认是开启
yarn.nodemanager.disk-health-checker.interval-ms 检查间隔时间，默认是2分钟
yarn.nodemanager.disk-health-checker.min-healthy-disks  最少健康磁盘的个数，默认值是0.25，如果少于这个值，则把这个节点变成unhealthy

本地磁盘使用

NodeManager会从hdfs下载job.jar等东西，这叫资源本地化。代码在ResourceLocalizationService和DefaultContainerExecutor里。 token文件会使用第一个好的local-dirs，其他的文件会顺序的使用local-dirs，文件可能分散在各个盘上。

AppMaster重试

AppMaster重试是由RM触发，代码在RMAppImpl的AttemptFailedTransition事件里。默认重试次数是1次（也就是不重试）参数：

yarn.resourcemanager.am.max-retries AM最大重试次数

TaskAttempt重试

我们的map和reduce任务都是一个个TaskAttempt，TaskAttempt由AppMaster来管理，启动和重启的操作都是由AppMaster来处理。代码在TaskImpl的AttemptFailedTransition里参数：

mapreduce.map.maxattempts map最大重试次数，默认是4
mapreduce.reduce.maxattempts reduce最大重试次数，默认是4

AppMaster资源分配

AppMaster会定时申请、释放container资源，代码在RMContainerRequestor.containerFailedOnHost 当taskAttempt在一个节点的失败数目超过一定上限（通过参数 mapreduce.job.maxtaskfailures.per.tracker 配置，默认是3），该节点会被加入临时的黑名单，为了防止大量的机器加入黑名单，还有个参数 yarn.app.mapreduce.am.job.node-blacklisting.ignore-threshold-node-percent 设置最多被加入黑名单的比例，默认值是33，当超过33%的机器被加入黑名单，则黑名单将会失效。加入黑名单后，会让RM回收这台机器的container，申请其他机器的container 参数：

mapreduce.job.maxtaskfailures.per.tracker 失败多少次后，加入黑名单，默认是3
yarn.app.mapreduce.am.job.node-blacklisting.ignore-threshold-node-percent 加入黑名单的比例超过这个值时，关闭黑名单，默认是33
yarn.app.mapreduce.am.job.node-blacklisting.enable 是否使用黑名单，默认true

最终处理

在AM失败重启前，先sleep两分钟，等待磁盘健康检查完成。TaskAttempt有黑名单的方式，由于本地磁盘损坏造成的失败可能会比较少触发。

hive简单查询的过程

Thu, 21 Aug 2014 06:07:21 +0000

查询以下语句的过程

select fr from xxxxxx where substr(fr, 1, 1) = 'a';

Hive查询在编译的阶段把语句转换成一个个有层级关系的Operator，然后执行下去。 ExecMapper中mo是一个MapOperator对象，里面有个childOperators存储了一个树形的操作步骤(Operator)，如本次查询的Operator结构如下:

TableScanOperator 表扫描
FilterOperator 过滤条件
SelectOperator 列裁剪，只查询fr出来
FileSinkOperator 输出到文件

首先第一步是mo.process()，传入的value是整行内容

public void map(Object key, Object value, OutputCollector output,
Reporter reporter) throws IOException {
...
mo.process((Writable)value);
...
}

没做什么处理，只是做了个反序列化，放入rowWithPart[0]中

rowWithPart[0] = deserializer.deserialize((Writable) value);
...
forward(rowWithPart, rowObjectInspector); // 传递给下一个Operator

遍历它的所有子Operator，一个个做

for (int i = 0; i < childOperatorsArray.length; i++) {
Operator<? extends OperatorDesc> o = childOperatorsArray[i];
if (o.getDone()) {
childrenDone++;
} else {
o.process(row, childOperatorsTag[i]);
}
}

下一个Operator是TableScan，这个只是单纯传给下一个Operator

public void processOp(Object row, int tag) throws HiveException {
if (conf != null && conf.isGatherStats()) {
gatherStats(row);
}
forward(row, inputObjInspectors[tag]);
}

下一个Operator是FilterOperator，执行udf和判断条件是否成立，如果成立才传给下一个
这里有个计数器 PASSED记录通过的， FILTERED记录被过滤掉的。

Object condition = conditionEvaluator.evaluate(row);

从FilterOperator可以看到conditionEvaluator的expr值有

class org.apache.hadoop.hive.ql.udf.generic.GenericUDFOPEqual(class org.apache.hadoop.hive.ql.udf.generic.GenericUDFBridge(Column[fr], Const int 1, Const int 1(), Const string a()

这里面有一个substr的udf，来看一下他是怎么处理的。substr(fr, 1, 1) = ‘a’ ，这里很多地方都调用了get()方法，用来获取值。
udf是通过反射调用的, udf function看起来只实例化一次

@Override
public Object evaluate(DeferredObject[] arguments) throws HiveException {
assert (arguments.length == realArguments.length);
// Calculate all the arguments
for (int i = 0; i < realArguments.length; i++) {
realArguments[i] = arguments[i].get();
}
// Call the function
Object result = FunctionRegistry.invoke(udfMethod, udf, conversionHelper
.convertIfNecessary(realArguments));
return result;
}

下一个Operator是SelectOperator，只输出某些列，如果是select *，就原样输出

if (conf.isSelStarNoCompute()) {
forward(row, inputObjInspectors[tag]);
return;
}

我们是只取出fr的，所以有个eval[0]，取出的结果放到output里面，这里输出的是output=[‘android’]

for (int i = 0; i < eval.length; i++) {
try {
output[i] = eval[i].evaluate(row);
} catch (HiveException e) {
throw e;
} catch (RuntimeException e) {
throw new HiveException("Error evaluating "
+ conf.getColList().get(i).getExprString(), e);
}
}
forward(output, outputObjInspector);

最后一步FileSinkOperator,序列化结果写到磁盘

recordValue = serializer.serialize(row, inputObjInspectors[0]);
...
rowOutWriters[0].write(recordValue);

重复以上步骤，直到所有数据全部读完。

Linux 编译 hadoop-cdh4.2.1

Sun, 10 Aug 2014 08:33:37 +0000

配置

安装Maven, Ant, Findbugs, protobuf, cmake
参考:http://cn.soulmachine.me/blog/20140214/ 注意CDH4.2.1需要用protobuf2.4.1编译，否则hadoop-common那里报错在apache-maven-3.0.5/conf/settings.xml 更改maven镜像

<mirror>
<id>nexus-osc</id>
<mirrorOf>central</mirrorOf>
<name>Nexus osc</name>
<url>http://maven.oschina.net/content/groups/public/</url>
</mirror>
<mirror>
<id>nexus-spring</id>
<mirrorOf>cdh.repo</mirrorOf>
<name>spring</name>
<url>http://repo.spring.io/repo/</url>
</mirror>
<mirror>
<id>nexus-spring2</id>
<mirrorOf>cdh.releases.repo</mirrorOf>
<name>spring2</name>
<url>http://repo.spring.io/repo/</url>
</mirror>

编译

mvn package -DskipTests -Pdist,native -Dtar

替换jar包

从src/hadoop-mapreduce-project/hadoop-mapreduce-client/hadoop-mapreduce-client-app/target里面拿出mr-app.jar重命名为hadoop-mapreduce-client-app-2.0.0-cdh4.2.1-20140801.jar

cd /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce
# 上传jar包
chmod 755 hadoop-mapreduce-client-app-2.0.0-cdh4.2.1-20140801.jar
ln -snf hadoop-mapreduce-client-app-2.0.0-cdh4.2.1-20140801.jar hadoop-mapreduce-client-app.jar
mv hadoop-mapreduce-client-app-2.0.0-cdh4.2.1.jar /tmp

错误处理

Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.6:run (make) on project hadoop-common: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "cmake" (in directory "/home/xx/hadoop-fix/hadoop/build/hadoop-2.0.0-cdh4.2.1/src/hadoop-common-project/hadoop-common/target/native"): java.io.IOException: error=2, No such file or directory -> [Help 1]

没有安装cmake，yum install cmake

清理sendmail日志文件

Mon, 04 Aug 2014 11:05:26 +0000

# 关闭sendmail
service sendmail stop
chkconfig --list sendmail
chkconfig --level 2345 sendmail off
# 删除mail文件夹
rm -rf /var/spool/mqueue && mkdir /var/spool/mqueue
rm -rf /var/spool/clientmqueue && mkdir /var/spool/clientmqueue
rm -rf /var/spool/mail && mkdir /var/spool/mail
# 删除logwatch
mv /etc/cron.daily/0logwatch /etc
rm -rf /var/cache/logwatch/*

via: http://hi.baidu.com/chenhj_brenda/item/e46c6b3fdb8f03b9124b14f0

hadoop重启Namenode时，appTokens报FileNotFoundException

Sun, 27 Jul 2014 13:56:09 +0000

现象

报错如下

Application application_1405852606905_0014 failed 3 times due to AM Container for appattempt_1405852606905_0014_000003 exited with exitCode: -1000 due to: RemoteTrace: java.io.FileNotFoundException: File does not exist: hdfs://mycluster:8020/user/kpi/.staging/job_1405852606905_0014/appTokens at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:809)

同时注意到是因为每次重启nodemanager才发生。
首先用关键词“apptokens FileNotFoundException”在google和issue搜索没找到相关的问题。

猜测原因

可能找不到的原因：1.客户端没上传成功 2.上传成功了，但后面不知道给谁删了

重现

既然在网上找不到，尝试在测试环境重现这个问题，运行一个sleep job

cd /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce;
hadoop jar hadoop-mapreduce-client-*-tests.jar sleep -Dmapred.job.queue.name=sleep -m5 -r5 -mt 60000 -rt 30000 -recordt 1000

重启nodemanage后会发现报错。

分析日志

但发现找不到AM的日志，哪里去了？我们的hadoop环境都配置了“日志聚集”(yarn.log-aggregation-enable)，失败的任务就把日志删了(可能是bug)，尝试关掉后，从crontainer日志找到AM日志。
同时还可以看ResourceManager，NameNode，HDFS审计日志（hdfs-audit.log）
从AM日志可以看到第一次尝试好像是成功的，从HDFS审计日志发现了删除staging的目录

cmd=delete src=/user/kpi/.staging/job_1405852606905_0013

到此可以确认目录是被删除了，导致后面的job失败，但谁删了这个目录？

继续搜索

代码很多，需要定位一下那里操作.staging这个目录，确定谁删了这个目录。在issue搜索“staging delete”，看有没有相关的操作代码。
同时阅读代码发现了org.apache.hadoop.mapreduce.v2.app.MRAppMaster.cleanupStagingDir()方法，对照日志，可以确定是这个方法删除了staging目录。

public synchronized void stop() {
...
//这里判断了是不是AM的最后一次尝试，如果是才清理
if(isLastAMRetry) {
cleanupStagingDir();
}
...
}

这个逻辑还算正常, 继续找isLastAMRetry是怎么来的

public void shutDownJob() {
...
//We are finishing cleanly so this is the last retry
isLastAMRetry = true;
// Stop all services
// This will also send the final report to the ResourceManager
LOG.info("Calling stop for all the services");
MRAppMaster.this.stop();
...
}

发现调用了shutDownJob，会把isLastAMRetry设置为true，调用shutDownJob是因为接收到JobFinishEvent事件。
我们多了一些信息，偷懒在issue继续搜索一下，看有没有人解决了。
这次找到issue了，https://issues.apache.org/jira/browse/MAPREDUCE-5086 阅读patch，发现之前忽略了RM报的一个错误。

org.apache.hadoop.yarn.exceptions.impl.pb.YarnRemoteExceptionPBImpl: Application doesn't exist in cache appattempt_1405852606905_0014_000001

结果

重启nodemanager导致RM的appattempt cache数组删除，JobImpl返回了InternalError，AM认为出错了就没必要重试了，直接置isLastRetry=true。
修改方式是加了一个状态，表明这是“RM重启”了（注意这里不是nodemanager重启，有一些关联），还可以继续重试。具体修改阅读patch https://issues.apache.org/jira/browse/MAPREDUCE-5086 最后，由于patch修改的版本和我们用的版本不一致，还得需要用我们使用的版本依照它的思路改一遍。

关闭linux sendmail

Wed, 23 Jul 2014 02:32:54 +0000

service sendmail stop
chkconfig --level 2345 sendmail off
chkconfig --list sendmail

via: http://hi.baidu.com/chenhj_brenda/item/e46c6b3fdb8f03b9124b14f0

python sax xml解析报错not well-formed error

Fri, 06 Jun 2014 08:51:43 +0000

可能的原因是有特殊的字符，或者xml编码不正确。我用notepad++安装xml tool插件，检查xml格式发现错误可能用命令 sed -i -e ‘s/[^[:print:]]/ /g’ 文件名替换掉不可见字符也可以。

参考

http://stackoverflow.com/questions/11964023/python-sax-not-well-formed-error
http://www.megasolutions.net/python/Please-help!!-SAXParseException_not-well-formed-(invalid-token)-43696.aspx

mysql 排序规则 COLLATE 修改

Mon, 24 Mar 2014 07:23:59 +0000

使用以下语句转换。

alter table <some_table> convert to character set utf8 collate utf8_unicode_ci;

来源：http://stackoverflow.com/questions/742205/mysql-alter-table-collation

【转】HADOOP 2.0 YARN中的MR/RM/NM状态转换图

Sun, 23 Mar 2014 07:36:48 +0000

hadoop2 可以用GRAPHVIZ来生成状态图，点击下面的连接查看状态转换图。 http://www.rigongyizu.com/generate-hadoop-yarn-state-transit-graph/

在eclipse远程调试mapreduce（hadoop2）

Sat, 22 Feb 2014 08:13:20 +0000

背景

线上的服务器都是linux，直接在线上debug不需要准备太多测试数据。

实现

远程调试实际上实在服务端开启一个监听端口，通过eclipse连接进行debug。调试mapreduce程序需要修改配置，让mapreduce就在本机运行。从hadoop拷贝一份配置出来，修改mapper-site.xml配置（基于hadoop2配置说明）

<property>
<name>mapreduce.jobtracker.staging.root.dir</name>
<value>/tmp</value>
</property>
<property>
<name>yarn.app.mapreduce.am.staging-dir</name>
<value>/tmp</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>local</value>
</property>
<property>
<name>mapreduce.jobtracker.address</name>
<value>local</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>local</value>
</property>

注意检查这些标签是不是都有了。。可以放到最后覆盖原来的值在hadoop-env.sh加上，这里的address=52902是监听的端口，suspend=y表示等待我们连接才继续执行下去

export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=52902"

执行hadoop程序，指定配置文件目录为我们改过的配置目录

hadoop --config ./conf jar xx.jar xxx

最后，在eclipse的debug configuration新增一个remote java application，填入IP和端口，点击debug即可。

调试NodeManager

在yarn-env.sh加入

YARN_NODEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8092"

调试ResouceManager

在yarn-env.sh加入

export YARN_RESOURCEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8091"

调试appMaster

设置只有一台nodemanager，在mapred-site.xml 加入

<property>
<name>yarn.app.mapreduce.am.command-opts</name>
<value> -Xmx512m -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8314</value>
</property>

如果不可以，试多几次。。不知道为什么。检查一下进程有没有启动。 ps aux|grep MRAppMaster

不足

不能调试一个jar包有两个job，执行到第二个job时会报错，可能原因是HADOOP_CLIENT_OPTS被加载了两次，并且第二个job启动时需要更换端口，否则会冲突。
不是很清楚hadoop LocalJobRunner是怎样调用的，并且暂时没调试第二个job就不深究了。

远程调试hive

执行命令，会启动监听端口8000

hive --debug

如果报错，ERROR: Cannot load this JVM TI agent twice, check your java command line for duplicate jdwp options.。打开${Hadoop_HOME}/bin/hadoop，注释掉HADOOP_OPTS=”$HADOOP_OPTS $HADOOP_CLIENT_OPTS” 在hive输入以下命令，在单机执行

SET mapred.job.tracker=local;
SET hive.exec.mode.local.auto=true;
SET fs.defaultFS=file:///;

打印日志

<span class="pln">hive </span><span class="pun">--</span><span class="pln">hiveconf hive</span><span class="pun">.</span><span class="pln">root</span><span class="pun">.</span><span class="pln">logger</span><span class="pun">=</span><span class="pln">DEBUG</span><span class="pun">,</span><span class="pln">console</span>

via: http://fatkun.com/2012/10/debug-hive-mapreduce-with-eclipse.html

参考

hadoop2.2.0 源码远程调试这里有图
http://www.aboutyun.com/thread-6504-1-1.html

【转】hive 结合执行计划分析 limit 执行原理

Mon, 27 Jan 2014 08:57:05 +0000

这篇文章介绍了limit是怎样执行的，从大体上看代码的运行情况。备忘。 http://yaoyinjie.blog.51cto.com/3189782/923378

impala文档的翻译

Sun, 12 Jan 2014 06:55:41 +0000

weiqingbin 翻译了很多，赞！

电梯如下： http://my.oschina.net/weiqingbin/blog?catalog=423691

vim格式化json

Wed, 08 Jan 2014 02:36:08 +0000

在vim输入以下命令就可以格式化

:%!python -m json.tool

可以在~/.vimrc增加快捷键

map <F4> <Esc>:%!python -m json.tool<CR>

来源: http://blog.realnitro.be/2010/12/20/format-json-in-vim-using-pythons-jsontool-module/ vim快捷键： http://uniquejava.iteye.com/blog/1485884

动态注册hive udf

Sun, 22 Dec 2013 15:07:35 +0000

目标

可以不重启hive服务端动态增加或更新udf，本文用到动态加载以及hive hook实现。

看看原来的代码是怎样写的

我看的是cdh4.3.0代码，目前有两个地方注册udf，一个是在org.apache.hadoop.hive.ql.exec.FunctionRegistry类里，大部分的内置udf都是在这里注册的，很多网站都是通过修改这里代码重新打包来注册udf。第二个是最近新增了一个hive-builtins*.jar文件，注册函数是在

public SessionState(HiveConf conf) {
...
Class<?> pluginClass = Utilities.getBuiltinUtilsClass();
URL jarLocation = pluginClass.getProtectionDomain().getCodeSource().getLocation();
add_builtin_resource(ResourceType.JAR, jarLocation.toString());
FunctionRegistry.registerFunctionsFromPluginJar(jarLocation, pluginClass.getClassLoader());
...
}

通过找到org.apache.hive.builtins.BuiltinUtils类定位jar的位置，把jar包加入hive.added.jars.path配置里，然后通过FunctionRegistry.registerFunctionsFromPluginJar来注册udf

//我们可以用这两个方法来注册udf
public static void registerTemporaryUDF(String functionName, Class<? extends UDF> UDFClass, boolean isOperator)
public static void registerFunctionsFromPluginJar(URL jarLocation, ClassLoader classLoader)

存在的问题

当我更新jar包时，发现执行的代码没有更新，发生什么问题了？原因是jar是动态加载的，udf.jar都是通过aux.path加入到当前线程里的，当一直都是同一个线程时，只是把jar放到classpath的末端，程序还是找到之前已经加载的代码。代码不能更新怎么办？使用新的类名，当找不到这个类名的时候，会到jar文件里面找。注意新jar包不要直接替换，否则jvm会奔溃。

最终解决方法

使用一个hook，通过registerFunctionsFromPluginJar来注册udf，hive hook的介绍可以看这个PPT udf的代码可以参考buildin udf那个jar包时怎么做的 hook 代码，在解析hive语句之前注册udf

public class AddUdfHook extends AbstractSemanticAnalyzerHook {
static final private Log LOG = LogFactory
.getLog(AddUdfHook.class.getName());
@Override
public void postAnalyze(HiveSemanticAnalyzerHookContext context,
List<Task<? extends Serializable>> rootTasks)
throws SemanticException {
super.postAnalyze(context, rootTasks);
}
@Override
public ASTNode preAnalyze(HiveSemanticAnalyzerHookContext context,
ASTNode ast) throws SemanticException {
LOG.warn("udf register hook");
try {
Class<?> pluginClass = Class.forName("cn.uc.udf.CustomUtils");
URL jarLocation = pluginClass.getProtectionDomain().getCodeSource()
.getLocation();
FunctionRegistry.registerFunctionsFromPluginJar(jarLocation,
pluginClass.getClassLoader());
} catch (Exception ex) {
LOG.error("load udf err", ex);
}
return super.preAnalyze(context, ast);
}

编译好了需要在hive-site.xml加上hook的配置

<property>
<name>hive.semantic.analyzer.hook</name>
<value>cn.uc.hook.AddUdfHook</value>
</property>
<property>
<name>hive.aux.jars.path</name>
<value>file:///home/xxx/myudf.jar</value>
</property>

全部代码下载

使用jdbc连接impala例子

Sun, 15 Dec 2013 12:51:02 +0000

来源： https://github.com/onefoursix/Cloudera-Impala-JDBC-Example 需要依赖的lib见这篇文章。 http://www.cloudera.com/content/cloudera-content/cloudera-docs/Impala/latest/Installing-and-Using-Impala/ciiu_impala_jdbc.html

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
public class ClouderaImpalaJdbcExample {
// here is an example query based on one of the Hue Beeswax sample tables
private static final String SQL_STATEMENT = "SELECT a FROM test limit 10";
// set the impalad host
private static final String IMPALAD_HOST = "192.168.1.106";
// port 21050 is the default impalad JDBC port
private static final String IMPALAD_JDBC_PORT = "21050";
private static final String CONNECTION_URL = "jdbc:hive2://" + IMPALAD_HOST + ':' + IMPALAD_JDBC_PORT + "/;auth=noSasl";
private static final String JDBC_DRIVER_NAME = "org.apache.hive.jdbc.HiveDriver";
public static void main(String[] args) {
System.out.println("\n=============================================");
System.out.println("Cloudera Impala JDBC Example");
System.out.println("Using Connection URL: " + CONNECTION_URL);
System.out.println("Running Query: " + SQL_STATEMENT);
Connection con = null;
try {
Class.forName(JDBC_DRIVER_NAME);
con = DriverManager.getConnection(CONNECTION_URL);
Statement stmt = con.createStatement();
ResultSet rs = stmt.executeQuery(SQL_STATEMENT);
System.out.println("\n== Begin Query Results ======================");
// print the results to the console
while (rs.next()) {
// the example query returns one String column
System.out.println(rs.getString(1));
}
System.out.println("== End Query Results =======================\n\n");
} catch (SQLException e) {
e.printStackTrace();
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
con.close();
} catch (Exception e) {
// swallow
}
}
}
}

linux expect自动登录ssh

Thu, 12 Dec 2013 12:00:40 +0000

#!/usr/bin/expect
# 传送文件并且执行
set timeout 30
set host [lindex $argv 0]
set username [lindex $argv 1]
set password [lindex $argv 2]
set file [lindex $argv 3]
set center_password [lindex $argv 4]
spawn scp -P22 $file $username@$host:/tmp/tmp.sh
sleep 1
expect {
"*yes/no*" {send "yes\n"; exp_continue}
"*password:*" {send "$password\n" }
}
interact
spawn ssh -p22 $username@$host
sleep 1
expect {
"*yes/no*" {send "yes\n"; exp_continue}
"*password:*" {send "$password\n" }
}
sleep 1
expect "*$*"
send "sh /tmp/tmp.sh \n"
send "exit\n"
#interact
expect eof

参考

http://blog.51yip.com/linux/1462.html

改用rsync来覆盖正在运行的程序

Thu, 12 Dec 2013 09:08:34 +0000

cp会保持inode，如果程序正在执行，会导致不能覆盖。改用rsync来覆盖

rsync -r src_dir target_dir

http://unix.stackexchange.com/questions/9899/how-to-overwrite-target-files-with-mv

免密码ssh登陆

Tue, 10 Dec 2013 03:49:03 +0000

场景：机器A想要无密码访问机器B

方法一：手工操作

在机器A执行，ssh-keygen 按几次回车
把生成的id_rsa.pub传输到机器B /tmp/ 目录下
把id_rsa.pub加入到authorized_keys里
1. 如果没有authorized_keys，mv /tmp/id_rsa.pub ~/.ssh/authorized_keys
2. 如果有authorized_keys， cat /tmp/id_rsa.pub >> ~/.ssh/authorized_keys
更改权限 chmod 700 ~/.ssh && chmod 600 ~/.ssh/authorized_keys 一定要注意权限对不对，如果不对还是需要输入密码

方法二：使用ssh-copy-id

#步骤1: 用 ssh-key-gen 在本地主机上创建公钥和密钥
ssh-keygen -t rsa
#步骤2: 用 ssh-copy-id 把公钥复制到远程主机上
ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 1122 user@server"

# 拷贝authorized_keys

key='ssh-rsa xxx'
mkdir -p ~/.ssh && chmod 700 ~/.ssh
content=`cat ~/.ssh/authorized_keys |grep "$key"`
if (($? != 0)); then
echo $key >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
fi

参考：http://baiqiuyi.com/linux/ssh-sshkeygen-linux.html

hiveserver2 python client

Sun, 17 Nov 2013 16:45:11 +0000

一个hiveserver2 python客户端的例子，大部分代码来自于hue。忽略了一些必要的判断，只是做一个简单的例子。
需要安装thrift以及把hive-0.10.0-cdh4.3.0/src/service/src/gen/thrift/gen-py目录拷贝到项目目录中。
thrift文件在hive-0.10.0-cdh4.3.0/src/service/if/TCLIService.thrift 默认需要通过sasl客户端，前端的表现是连接了没反应，后端hiveserver2有错误日志

java.lang.RuntimeException: org.apache.thrift.transport.TTransportException
at org.apache.thrift.transport.TSaslServerTransport$Factory.getTransport(TSaslServerTransport.java:219)

如果不用sasl客户端，可以设置参数（参考stackoverflow）

<property><name>hive.server2.authentication</name><value>NOSASL</value></property>

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import sys
import os
cur_dir = os.path.dirname(os.path.abspath(__file__))
sys.path.append(os.path.join(cur_dir, "gen-py"))
from TCLIService import TCLIService
from TCLIService.ttypes import TOpenSessionReq, TGetTablesReq, TFetchResultsReq,\
TStatusCode, TGetResultSetMetadataReq, TGetColumnsReq, TType,\
TExecuteStatementReq, TGetOperationStatusReq, TFetchOrientation,\
TCloseSessionReq, TGetSchemasReq, TGetLogReq, TCancelOperationReq
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
class HiveServerTColumnValue:
def __init__(self, tcolumn_value):
self.column_value = tcolumn_value
@property
def val(self):
# TODO get index from schema
if self.column_value.boolVal is not None:
return self.column_value.boolVal.value
elif self.column_value.byteVal is not None:
return self.column_value.byteVal.value
elif self.column_value.i16Val is not None:
return self.column_value.i16Val.value
elif self.column_value.i32Val is not None:
return self.column_value.i32Val.value
elif self.column_value.i64Val is not None:
return self.column_value.i64Val.value
elif self.column_value.doubleVal is not None:
return self.column_value.doubleVal.value
elif self.column_value.stringVal is not None:
return self.column_value.stringVal.value
class HiveServerClient(object):
user = 'fatkun'
session_handle = None
def connect(self):
transport = TSocket.TSocket('localhost', 10000)
transport = TTransport.TBufferedTransport(transport)
protocol = TBinaryProtocol.TBinaryProtocol(transport)
client = TCLIService.Client(protocol)
transport.open()
self._client = client
def open_session(self, username):
req = TOpenSessionReq(username=username, configuration={})
res = self._client.OpenSession(req)
session_handle = res.sessionHandle
print res
return session_handle
def call(self, fn, req, status=TStatusCode.SUCCESS_STATUS):
if self.session_handle is None:
self.session_handle = self.open_session(self.user)
if hasattr(req, 'sessionHandle') and req.sessionHandle is None:
req.sessionHandle = self.session_handle
res = fn(req)
return res
def execute_statement(self, statement, max_rows=100):
req = TExecuteStatementReq(statement=statement, confOverlay={})
res = self.call(self._client.ExecuteStatement, req)
return self.fetch_result(res.operationHandle, max_rows=max_rows)
def fetch_result(self, operation_handle, orientation=TFetchOrientation.FETCH_NEXT, max_rows=100):
fetch_req = TFetchResultsReq(operationHandle=operation_handle, orientation=orientation, maxRows=max_rows)
res = self.call(self._client.FetchResults, fetch_req)
if operation_handle.hasResultSet:
meta_req = TGetResultSetMetadataReq(operationHandle=operation_handle)
schema = self.call(self._client.GetResultSetMetadata, meta_req)
else:
schema = None
return res, schema
def main():
client = HiveServerClient()
client.connect()
client.execute_statement(statement='SET hive.server2.blocking.query=true')
statement = 'select name from test'
res, schema = client.execute_statement(statement)
for row in res.results.rows:
for column in row.colVals:
print HiveServerTColumnValue(column).val
if __name__ == '__main__':
main()

[备忘]使用log4j

Sun, 17 Nov 2013 08:01:11 +0000

加载配置的方法

方法1：
把配置改名为log4j.properties，放在src目录下，打包成jar的时候，它就在jar的根目录下了。 方法2：
使用getResource的方式

//假设这里把配置文件放在com.fatkun目录下
String resource = "/com/fatkun/log4j.properties";
URL configFileResource = TestLog4j.class.getResource(resource);
PropertyConfigurator.configure(configFileResource);

方法3：
相对路径，把配置放在{项目根目录}/conf目录下，默认就是相对路径了

PropertyConfigurator.configure("conf/log4j.properties");

例子

package com.fatkun;
import org.apache.log4j.Logger;
import org.apache.log4j.PropertyConfigurator;
// Contributed by ThoughtWorks Inc.
public class TestLog4j {
private static Logger logger = Logger.getLogger(TestLog4j.class);
public static void main(String argv[]) {
PropertyConfigurator.configure("conf/log4j.properties");
// Add a bunch of logging statements ...
logger.debug("Hello, my name is Homer Simpson.");
logger.info("We are the Simpsons!");
}
}

配置文件

log4j.rootCategory=DEBUG,console,R
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss,SSS} [%c]-[%p] %m%n
# R is the RollingFileAppender that outputs to a rolling log
# file called rolling_log_file.log.
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=log/rolling_log_file.log
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L %m%n
log4j.appender.R.MaxFileSize=5MB
log4j.appender.R.MaxBackupIndex=10

extra jar出来后可以用以下命令执行,lib目录里的是log4j.jar

java -classpath test_log4j.jar -Djava.ext.dirs=./lib com.fatkun.TestLog4j

如果想把某个package输出到独立的文件

log4j.rootLogger=DEBUG,myConsole,syslog
log4j.logger.com.fatkun.xxx=INFO,jobdep
log4j.additivity.com.fatkun.xxx=false # 不在主日志记录

参考

官方example
Log4j 配置最全说明

hadoop wordcount新API例子

Sun, 27 Oct 2013 16:26:48 +0000

准备

准备一些输入文件，可以用hdfs dfs -put xxx/* /user/fatkun/input上传文件

代码

package com.fatkun;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.StringTokenizer;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
public class WordCount extends Configured implements Tool {
static enum Counters {
INPUT_WORDS // 计数器
}
static Log logger = LogFactory.getLog(WordCount.class);
public static class CountMapper extends
Mapper<LongWritable, Text, Text, IntWritable> {
private final IntWritable one = new IntWritable(1);
private Text word = new Text();
private boolean caseSensitive = true;
@Override
protected void setup(Context context) throws IOException,
InterruptedException {
// 读取配置
Configuration conf = context.getConfiguration();
caseSensitive = conf.getBoolean("wordcount.case.sensitive", true);
super.setup(context);
}
@Override
protected void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
if (caseSensitive) { // 是否大小写敏感
word.set(itr.nextToken());
} else {
word.set(itr.nextToken().toLowerCase());
}
context.write(word, one);
context.getCounter(Counters.INPUT_WORDS).increment(1);
}
}
}
public static class CountReducer extends
Reducer<Text, IntWritable, Text, IntWritable> {
@Override
protected void reduce(Text text, Iterable<IntWritable> values,
Context context) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable value : values) {
sum += value.get();
}
context.write(text, new IntWritable(sum));
}
}
@Override
public int run(String[] args) throws Exception {
Configuration conf = new Configuration(getConf());
Job job = Job.getInstance(conf, "Example Hadoop WordCount");
job.setJarByClass(WordCount.class);
job.setMapperClass(CountMapper.class);
job.setCombinerClass(CountReducer.class);
job.setReducerClass(CountReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
List<String> other_args = new ArrayList<String>();
for (int i = 0; i < args.length; ++i) {
other_args.add(args[i]);
}
FileInputFormat.addInputPath(job, new Path(other_args.get(0)));
FileOutputFormat.setOutputPath(job, new Path(other_args.get(1)));
int ret = job.waitForCompletion(true) ? 0 : 1;
long inputWord = job.getCounters().findCounter(Counters.INPUT_WORDS)
.getValue();
System.out.println("INPUT_WORDS:" + inputWord);
logger.info("test log: " + inputWord);
return ret;
}
public static void main(String[] args) throws Exception {
int res = ToolRunner.run(new Configuration(), new WordCount(), args);
System.exit(res);
}
}

运行

在eclipse导出jar包，执行以下命令

hadoop jar wordcount.jar com.fatkun.WordCount -Dwordcount.case.sensitive=false /user/fatkun/input /user/fatkun/output

参考

http://cxwangyi.blogspot.com/2009/12/wordcount-tutorial-for-hadoop-0201.html http://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html#Example%3A+WordCount+v2.0

在hive中使用parquet (CDH4.3)

Mon, 21 Oct 2013 17:05:47 +0000

hadoop版本 cdh4.3 使用impala创建parquet表后，查询会出错。

[impala:21000] > select * from foo;
Query: select * from foo
ERROR: AnalysisException: Failed to load metadata for table: default.foo
CAUSED BY: TableLoadingException: Failed to load metadata for table: foo
CAUSED BY: MetaException: org.apache.hadoop.hive.serde2.SerDeException SerDe parquet.hive.serde.ParquetHiveSerDe does not exist

原因是hive并没有这些lib，下载它们并放入/opt/cloudera/parcels/CDH/lib/hive/lib目录（我是使用cloudera manager部署的）,创建脚本下载

#!/bin/sh
#parquet-pig parquet-scrooge parquet-test-hadoop2 parquet-thrift parquet-avro parquet-cascading
for f in parquet-column parquet-common parquet-encoding parquet-generator parquet-hadoop parquet-hive
do
curl -O http://repo1.maven.org/maven2/com/twitter/${f}/1.2.4/${f}-1.2.4.jar
#curl -O http://oss.sonatype.org/service/local/repositories/releases/content/com/twitter/${f}/1.2.4/${f}-1.2.4.jar
done
curl -O http://repo1.maven.org/maven2/com/twitter/parquet-format/1.0.0/parquet-format-1.0.0.jar

然后把他们拷贝进去

cp parquet-* /opt/cloudera/parcels/CDH/lib/hive/lib

可能要重启metastore，然后在impala中刷新metastore

INVALIDATE METADATA;

在impala修改parquet表

create table test2 (name STRING) STORED AS PARQUETFILE;

插入数据

insert into test2 select * from test;

参考

https://issues.cloudera.org/browse/IMPALA-574

记录cloudera manager安装hadoop的步骤

Sat, 19 Oct 2013 17:24:36 +0000

安装cloudera-manager

在http://go.cloudera.com/cloudera-standard-download.html下载cloudera-manager-installer.bin 下载完要给它设置执行权限 chmod +x ./cloudera-manager-installer.bin 要用root权限运行, sudo ./cloudera-manager-installer.bin 一步步执行后，会下载安装jdk和cm，需要等一会儿，要下载200mb左右。(手工下载路径，http://archive.cloudera.com/cm4/cm/4/，但下载这个不知道怎么用，还是给程序下载吧。) 安装完后，提示打开 http://localhost:7180

部署hadoop

ubuntu中的root用户没有密码，可以sudo passwd root设置密码 ubuntu默认没有openssh-server，使用sudo apt-get install openssh-server安装吧，需要测试ssh localhost是否有效 host好像不允许一个IP对应多个主机名称，编辑/etc/hosts把localhost的那个去掉，保留主机的那个。到`http://archive.cloudera.com/cdh4/parcels/`下载你想要安装的CDH版本（我的是ubuntu12.04，下载CDH-4.3.0-1.cdh4.3.0.p0.22-precise.parcel文件），并且下载manifest.json文件，里面有hash值，把hash值找出来，保存为CDH-4.3.0-1.cdh4.3.0.p0.22-precise.parcel.sha文件（根据版本改名字），echo “1959e87dc6bfcfe9cc7eacd1ff7727bfd737f42d” > /opt/cloudera/parcel-repo/CDH-4.3.0-1.cdh4.3.0.p0.22-precise.parcel.sha 把下载好的包放在/opt/cloudera/parcel-repo目录下,然后cm应该不会重新下载了。。另外如果用mysql还要自己安装mysql-server和jdbc包。

在windows部署nexus编译hadoop cdh4.3

Mon, 14 Oct 2013 18:02:45 +0000

部署nexus

死活启动不了nexus，下载了多个版本。最后下载tomcat7 + 2.5的war才可以。把war包丢到webapps目录下，启动tomcat会自动解压。。停掉tomcat，把目录改名为nexus吧。。修改nexus\WEB-INF\plexus.properties里的路径，jar包会下载到这里 nexus-work=E:/sonatype-work/nexus 为避免出现tomcat内存溢出，新建文件setenv.bat，设置内存

set CATALINA_OPTS=-server -Xms256m -Xmx1024m -XX:PermSize=512m -XX:MaxPermSize=1024m

重新启动tomcat，启动完成后，访问http://localhost:8080/nexus，用户名:admin 密码:admin123

配置maven

修改 {maven}/conf/settings.xml文件，指定本地repo目录，会把lib下载到这里

<localRepository>E:\apache-maven-3.1.0\repository</localRepository>

修改镜像，找到mirrors这里

<mirror>
<id>central</id>
<mirrorOf>central</mirrorOf>
<name>central</name>
<url>http://127.0.0.1:8080/nexus/content/repositories/central</url>
</mirror>
<mirror>
<id>cdh.repo</id>
<mirrorOf>cdh.repo</mirrorOf>
<name>cdh.repo</name>
<url>http://localhost:8080/nexus/content/repositories/cdh.repo</url>
</mirror>
</mirrors>

上面的cdh.repo是我新增的，要在nexus上新增一个mirror，注意mirrorOf这个参数，这个是从pom.xml里的repositories找出来的，而且有个路径。

编译hadoop

编译前要改hadoop-project\pom.xml等里的protobuf-java版本，否则会下载个2.4的版本会用不了。
com.google.protobuf
protobuf-java
2.5.0
compile
需要安装好cygwin和protoc.exe（从网站下载丢到cygwin的bin目录就可以了。。），需要在cygwin里执行 mvn eclipse:eclipse

设计模式理解

Tue, 24 Sep 2013 15:55:14 +0000

设计模式学习

抽象工厂模式

场景： 把同一主题的工厂封装起来，对外提供一致的接口，返回不同的产品。 **使用：**利用接口建立一个抽象工厂，不同的工厂实现这个接口，产出的产品也要有一个接口。在使用时，需要选择具体工厂类（不能new 接口）。 **实例：**提供对不同的数据库访问的支持。IUser和IDepartment是两种不同的抽象产品，它们都有Access和SQL Server这两种不同的实现；IFactory是产生IUser和IDepartment的抽象工厂，根据具体实现（AccessFactory和SqlFactory）产生对应的具体的对象（CAccessUser与CAccessDepartment，或者CSqlUser与CSqlDepartment）。

抽象工厂模式（python）
class IUser:
def GetUser(self):
pass
class IDepartment:
def GetDepartment(self):
pass
class CAccessUser(IUser):
def GetUser(self):
print "Access GetUser"
class CAccessDepartment(IDepartment):
def GetDepartment(self):
print "Access GetDepartment"
class CSqlUser(IUser):
def GetUser(self):
print "Sql GetUser"
class CSqlDepartment(IDepartment):
def GetDepartment(self):
print "Sql GetDepartment"
class IFactory:
def CreateUser(self):
pass
def CreateDepartment(self):
pass
class AccessFactory(IFactory):
def CreateUser(self):
temp=CAccessUser()
return temp
def CreateDepartment(self):
temp = CAccessDepartment()
return temp
class SqlFactory(IFactory):
def CreateUser(self):
temp = CSqlUser()
return temp
def CreateDepartment(self):
temp = CSqlDepartment()
return temp
if __name__ == "__main__":
factory = SqlFactory()
user=factory.CreateUser()
depart=factory.CreateDepartment()
user.GetUser()
depart.GetDepartment()

工厂方法模式/简单工厂

**场景：**创建实体类比较多，抽取出来，根据条件判断要创建哪个实现类。 **使用：**根据不同的参数选择具体的实现类。 **实例：**一个程序要读取图像文件。程序支持多种图像格式，每种格式都有一个对应的ImageReader类用来读取图像。程序每次读取图像时，需要基于文件信息创建合适类型的ImageReader。

public class ImageReaderFactory {
public static ImageReader imageReaderFactoryMethod(InputStream is) {
ImageReader product = null;
int imageType = determineImageType(is);
switch (imageType) {
case ImageReaderFactory.GIF:
product = new GifReader(is);
case ImageReaderFactory.JPEG:
product = new JpegReader(is);
//...
}
return product;
}
}

生成器模式/建造者模式

**场景：**和抽象工厂类似，创建复杂的对象。生成器着重在一步一步的构造对象。 **使用：**一个Builder抽象类，一个实现Builder类，有多个方法来构造对象。Director是用来使用builder的。 **实例：**制造Pizza

/** "Product" */
class Pizza {
private String dough = "";
private String sauce = "";
private String topping = "";
public void setDough (String dough) { this.dough = dough; }
public void setSauce (String sauce) { this.sauce = sauce; }
public void setTopping (String topping) { this.topping = topping; }
}
''/** "Abstract Builder" */''
abstract class PizzaBuilder {
protected Pizza pizza;
public Pizza getPizza() { return pizza; }
public void createNewPizzaProduct() { pizza = new Pizza(); }
public abstract void buildDough();
public abstract void buildSauce();
public abstract void buildTopping();
}
/** "ConcreteBuilder" */
class HawaiianPizzaBuilder extends PizzaBuilder {
public void buildDough() { pizza.setDough("cross"); }
public void buildSauce() { pizza.setSauce("mild"); }
public void buildTopping() { pizza.setTopping("ham+pineapple"); }
}
/** "ConcreteBuilder" */
class SpicyPizzaBuilder extends PizzaBuilder {
public void buildDough() { pizza.setDough("pan baked"); }
public void buildSauce() { pizza.setSauce("hot"); }
public void buildTopping() { pizza.setTopping("pepperoni+salami"); }
}
''/** "Director" */''
class Waiter {
private PizzaBuilder pizzaBuilder;
public void setPizzaBuilder (PizzaBuilder pb) { pizzaBuilder = pb; }
public Pizza getPizza() { return pizzaBuilder.getPizza(); }
public void constructPizza() {
pizzaBuilder.createNewPizzaProduct();
pizzaBuilder.buildDough();
pizzaBuilder.buildSauce();
pizzaBuilder.buildTopping();
}
}
/** A customer ordering a pizza. */
class BuilderExample {
public static void main(String[] args) {
Waiter waiter = new Waiter();
PizzaBuilder hawaiian_pizzabuilder = new HawaiianPizzaBuilder();
PizzaBuilder spicy_pizzabuilder = new SpicyPizzaBuilder();
waiter.setPizzaBuilder ( hawaiian_pizzabuilder );
waiter.constructPizza();
Pizza pizza = waiter.getPizza();
}
}

惰性初始模式/惰性工厂

**场景：**延迟创建对象 **使用：**有一个map来存储创建出来的对象，如果没创建过就创建出来放到map里，否则直接返回。要注意要有锁。

import java.util.*;
public class Fruit
{
private static final Map<String,Fruit> types = new HashMap<String,Fruit>();
private final String type;
// using a private constructor to force use of the factory method.
private Fruit(String type) {
this.type = type;
}
/**
* Lazy Factory method, gets the Fruit instance associated with a
* certain type. Instantiates new ones as needed.
* @param type Any string that describes a fruit type, e.g. "apple"
* @return The Fruit instance associated with that type.
*/
public static synchronized Fruit getFruit(String type) {
if(!types.containsKey(type))
types.put(type, new Fruit(type)); // Lazy initialization
return types.get(type);
}

}

对象池模式

**场景：**创建实例的时间比较长 **使用：**一开始创建多个实例保存起来，每次用完之后还回池里。

原型模式

**场景：**创建实例的成本比较高，复制实例的成本低。使用：实现clone()这个方法，每个对象可以从自身克隆。python可以使用deepcopy()方法来拷贝。

/** Prototype Class **/
public class Cookie implements Cloneable {
public Object clone()
{
try{
//In an actual implementation of this pattern you would now attach references to
//the expensive to produce parts from the copies that are held inside the prototype.
return this.getClass().newInstance();
}
catch(InstantiationException e)
{
e.printStackTrace();
return null;
}
}
}
/** Concrete Prototypes to clone **/
public class CoconutCookie extends Cookie { }
/** Client Class**/
public class CookieMachine
{
private Cookie cookie;//cookie必须是可复制的
public CookieMachine(Cookie cookie) {
this.cookie = cookie;
}
public Cookie makeCookie() {
return (Cookie)cookie.clone();
}
public Object clone() { }
public static void main(String args[]){
Cookie tempCookie = null;
Cookie prot = new CoconutCookie();
CookieMachine cm = new CookieMachine(prot); //设置原型
for(int i=0; i<100; i++)
tempCookie = cm.makeCookie();//通过复制原型返回多个cookie
}
}

单例模式

**场景：**只需要创建一个实例，多个使用 **使用：**要注意Java 中的双重检查（Double-Check），可以使用在成员变量初始化、使用volatile变量、对方法sync python单例例子：http://blog.csdn.net/ghostfromheaven/article/details/7671853，python的模块（module）本身是单例的

public class Singleton {
private static volatile Singleton INSTANCE = null;
// Private constructor suppresses
// default public constructor
private Singleton() {}
//thread safe and performance promote
public static Singleton getInstance() {
if(INSTANCE == null){
synchronized(Singleton.class){
//when more than two threads run into the first null check same time, to avoid instanced more than one time, it needs to be checked again.
if(INSTANCE == null){
INSTANCE = new Singleton();
}
}
}
return INSTANCE;
}
}

适配器模式

**场景：**和客户需要的接口有差异 **使用：**构建一个Adapter实现客户需要的接口，把对应的方法映射到自己的类上（Adaptee）

class Target:
def Request():
print "common request."
class Adaptee(Target):
def SpecificRequest(self):
print "specific request."
class Adapter(Target):
def __init__(self,ada):
self.adaptee = ada
def Request(self):
self.adaptee.SpecificRequest()
if __name__ == "__main__":
adaptee = Adaptee()
adapter = Adapter(adaptee)
adapter.Request()

桥接模式 /Bridge

**场景：**把抽象（abstraction）和实现（implementor）分离，两者可以独立变化 **使用：**Refined Abstraction是为了调用具体实现类 **实例：**不同的汽车有不同的引擎参考代码见这里：http://blog.csdn.net/shaopeng5211/article/details/8827507

组合模式

**场景：**把多个对象组成树状结构来表示局部与整体，这样用户可以一样的对待单个对象和对象的组合。 **实例：**公司人员结构

组合模式
class Component:
def __init__(self,strName):
self.m_strName = strName
def Add(self,com):
pass
def Display(self,nDepth):
pass
class Leaf(Component):
def Add(self,com):
print "leaf can't add"
def Display(self,nDepth):
strtemp = ""
for i in range(nDepth):
strtemp=strtemp+"-"
strtemp=strtemp+self.m_strName
print strtemp
class Composite(Component):
def __init__(self,strName):
self.m_strName = strName
self.c = []
def Add(self,com):
self.c.append(com)
def Display(self,nDepth):
strtemp=""
for i in range(nDepth):
strtemp=strtemp+"-"
strtemp=strtemp+self.m_strName
print strtemp
for com in self.c:
com.Display(nDepth+2)
if __name__ == "__main__":
p = Composite("Wong")
p.Add(Leaf("Lee"))
p.Add(Leaf("Zhao"))
p1 = Composite("Wu")
p1.Add(Leaf("San"))
p.Add(p1)
p.Display(1);

装饰模式/Decorator

装饰（ Decorator ）模式又叫做包装模式。通过一种对客户端透明的方式来扩展对象的功能，是继承关系的一个替换方案。 **场景：**对类扩展方法 代码：http://blog.csdn.net/shaopeng5211/article/details/8803120

外观模式/Facadec

**场景：**为client提供简单的方法，调用具体的多个实现类代码：http://blog.csdn.net/shaopeng5211/article/details/8813135

享元模式/Flyweight

采用一个共享来避免大量拥有相同内容对象的开销。这种开销中最常见、直观的就是内存的损耗。享元模式以共享的方式高效的支持大量的细粒度对象。 ** **

代理模式/Proxy

所谓代理，是指具有与代理元（被代理的对象）具有相同的接口的类，客户端必须通过代理与被代理的目标类交互，而代理一般在交互的过程中（交互前后），进行某些特别的处理。需要与继承区分，继承是静态的增加方法，代理可以实现一些纵切的功能。

职责链模式/Chain of Responsibility

该模式构造一系列分别担当不同的职责的类的对象来共同完成一个任务，这些类的对象之间像链条一样紧密相连，所以被称作职责链模式。 **场景：**如一件事需要多个部门处理，这个部门处理完交给下个部门。 **使用：**每个对象设定下一个处理的对象是什么，并且在handle方法里调用下一个处理的方法。 **代码：** ## 命令模式/Command

命令物件可以把行动(action) 及其参数封装起来，可以重复执行、取消。 Command Command抽象类。
ConcreteCommand Command的具体实现类。
Receiver 需要被调用的目标对象。
Invorker 通过Invorker执行Command对象。

import java.util.List;
import java.util.ArrayList;
/* The Command interface */
public interface Command {
void execute();
}
/* The Invoker class */
public class Switch {
private List<Command> history = new ArrayList<Command>();
public Switch() {
}
public void storeAndExecute(Command cmd) {
this.history.add(cmd); // optional
cmd.execute();
}
}
/* The Receiver class */
public class Light {
public Light() {
}
public void turnOn() {
System.out.println("The light is on");
}
public void turnOff() {
System.out.println("The light is off");
}
}
/* The Command for turning on the light - ConcreteCommand #1 */
public class FlipUpCommand implements Command {
private Light theLight;
public FlipUpCommand(Light light) {
this.theLight = light;
}
public void execute(){
theLight.turnOn();
}
}
/* The Command for turning off the light - ConcreteCommand #2 */
public class FlipDownCommand implements Command {
private Light theLight;
public FlipDownCommand(Light light) {
this.theLight = light;
}
public void execute() {
theLight.turnOff();
}
}
/* The test class or client */
public class PressSwitch {
public static void main(String[] args){
Light lamp = new Light();
Command switchUp = new FlipUpCommand(lamp);
Command switchDown = new FlipDownCommand(lamp);
Switch mySwitch = new Switch();
try {
if ("ON".equalsIgnoreCase(args[0])) {
mySwitch.storeAndExecute(switchUp);
}
else if ("OFF".equalsIgnoreCase(args[0])) {
mySwitch.storeAndExecute(switchDown);
}
else {
System.out.println("Argument \"ON\" or \"OFF\" is required.");
}
} catch (Exception e) {
System.out.println("Arguments required.");
}
}
}

解释器模式/Interpreter

它建立一个解释器，对于特定的计算机程序设计语言，用来解释预先定义的文法。简单地说，Interpreter模式是一种简单的语法解释器构架。 Context 解释器上下文环境类。用来存储解释器的上下文环境，比如需要解释的文法等。
AbstractExpression 解释器抽象类。
ConcreteExpression 解释器具体实现类 代码：http://blog.csdn.net/shaopeng5211/article/details/8847991

迭代器

提供一种方法顺序访问一个聚合对象中各个元素, 而又不需暴露该对象的内部表示。

中介者模式

**场景：**有多个类需要交互，由中介来调用他们。但中介者会变得复杂。 http://haolloyin.blog.51cto.com/1177454/333810

备忘录模式

用另一个结构一样的类把变量存储起来。。o(╯□╰)o，可以在某个时间还原。 http://blog.csdn.net/shaopeng5211/article/details/8879519

观察者模式

**场景：**一个目标对象管理所有相依于它的观察者对象，并且在它本身的状态改变时主动发出通知。 **使用：**Subject提供注册、删除、通知的方法，Observer注册到Subject，Subject状态变化时，就会通知所有注册的Observer。 代码：http://zh.wikipedia.org/wiki/观察者模式

状态模式

State模式允许通过改变对象的内部状态而改变对象的行为，这个对象表现得就好像修改了它的类一样。 **使用：**Context维护一个state变量，并且使用这个state的方法。但state变更时，方法自然也变了。

策略模式

策略模式作为一种软件设计模式，指对象有某个行为，但是在不同的场景中，该行为有不同的实现算法。比如每个人都要“交个人所得税”，但是“在美国交个人所得税”和“在中国交个人所得税”就有不同的算税方法。 **使用：**新建不同的策略让Context调用，需要与状态模式区分，状态模式的迁移对客户是透明的。

模板模式

模板方法模式定义了一个算法的步骤，并允许次类别为一个或多个步骤提供其实践方式。 http://zh.wikipedia.org/wiki/模板模式

访问者模式

把对象和算法分开，通过使用回调的方式。对象实现accept方法，传入vistor调用它的方法。 http://zh.wikipedia.org/wiki/访问者模式

参考

http://www.cnblogs.com/wuyuegb2312/archive/2013/04/09/3008320.html http://blog.csdn.net/shaopeng5211/ http://zh.wikipedia.org/zh-cn/设计模式_(计算机)

安装pylibmc

Thu, 29 Aug 2013 10:51:00 +0000

首先需要安装libmemcached ，不要安装太新的版本，对gcc有要求 http://launchpad.net/libmemcached/1.0/0.51/+download/libmemcached-0.51.tar.gz 然后就可以安装了， ./configuare make && sudo make install 之后用pip安装pylibmc， https://pypi.python.org/pypi/pylibmc pip install pylibmc 装完后报错

>>> import pylibmc
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/local/python2.6/lib/python2.6/site-packages/pylibmc/__init__.py", line 70, in <module>
import _pylibmc
ImportError: libmemcached.so.8: cannot open shared object file: No such file or directory

把/usr/local/lib加入/etc/ld.so.conf,然后执行/sbin/ldconfig

[备忘]Hive权限授权命令

Sun, 25 Aug 2013 08:13:58 +0000

官方文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Authorization Hive支持的权限有Users,Groups,Roles 一个角色可以包含组或者用户 By default, the Metastore uses the HadoopDefaultAuthenticator for determing user -> group mappings metastore默认会以metastore所在的机器根据用户名获取用户所属的组，而不是客户端的组。

创建角色

CREATE ROLE role_name
DROP ROLE role_name

角色分配

GRANT ROLE role_name [, role_name] ...
TO principal_specification [, principal_specification] ...
REVOKE ROLE role_name [, role_name] ...
FROM principal_specification [, principal_specification] ...
principal_specification
: USER user
¦ GROUP group
¦ ROLE role
-- 查看权限
SHOW ROLE GRANT principal_specification
-- 例子：
CREATE ROLE youxi_role;
GRANT ROLE youxi_role TO USER fatkun;

权限

Hive的权限支持全局权限(Global)、数据库、表、分区、列。 priv_type

权限名称	含义
ALL	所有权限
ALTER	允许修改元数据（modify metadata data of object）—表信息数据
UPDATE	允许修改物理数据（modify physical data of object）—实际数据
CREATE	允许进行Create操作
DROP	允许进行DROP操作
INDEX	允许建索引（目前还没有实现）
LOCK	当出现并发的使用允许用户进行LOCK和UNLOCK操作
SELECT	允许用户进行SELECT操作
SHOW_DATABASE	允许用户查看可用的数据库

GRANT
priv_type [(column_list)]
[, priv_type [(column_list)]] ...
[ON object_type]
TO principal_specification [, principal_specification] ...
[WITH GRANT OPTION]
REVOKE
priv_type [(column_list)]
[, priv_type [(column_list)]] ...
[ON object_type priv_level]
FROM principal_specification [, principal_specification] ...
REVOKE ALL PRIVILEGES, GRANT OPTION
FROM user [, user] ...
object_type:
TABLE
¦ DATABASE
priv_level:
db_name
¦ tbl_name
例子：
GRANT ALL ON DATABASE default TO USER fatkun;
GRANT ALL ON TABLE test TO GROUP kpi;
REVOKE ALL ON TABLE test FROM GROUP kpi;
GRANT ALL TO USER fatkun;
REVOKE ALL FROM fatkun;

授权还是挺麻烦的。。你在哪一级别授权，只能在那个级别收回授权。

查看权限

SHOW GRANT principal_specification
[ON object_type priv_level [(column_list)]]
例子：
SHOW GRANT GROUP kpi ON TABLE test;

安卓应用：爱美女1.3

Sun, 18 Aug 2013 07:13:34 +0000

爱美女是一个android浏览图片的应用。爱美女下载：点此下载不用过多的介绍，图片高清，有广告但不会影响浏览图片的心情，试过就知道（觉得好可以点击广告支持作者）。

ADB server didn’t ACK解决方法

Sat, 10 Aug 2013 10:06:19 +0000

原文：【杂症】一个豌豆荚引发的血案——关于ADB server didn’t ACK的问题
原文有图，本文只作为备忘。

现象

ADB server didn’t ACK
* failed to start daemon *

解决方法

找出那个程序占用了5037端口，然后把对应的进程kill掉。最后一位是PID。
netstat -a -o 5037 我遇到的是tadb.exe，这个是腾讯手机管家的进程。
如果你用了豌豆荚，也有个wangdoujia_hepler.exe之类的进程也要kill掉。

芒果广告平台混淆代码后不显示广告解决方法

Tue, 06 Aug 2013 17:37:59 +0000

使用芒果广告平台(adsmogo)混淆代码后广告不显示，我试了N次打包。。。o(╯□╰)o

解决方法

新建proguard.cfg文件，不要用芒果提供的那份配置了。。我打死搞不定。。囧
-libraryjars 不知道有没有用，加了再说，把放到libs下的lib都加进来吧
然后把你用到的class都不混淆，除了自己的代码, -keep class 表示保留这个类不混淆。参见以下例子

#The below is used for AdsMOGO_Android_SDK_1.3.4 settings
-dontwarn android.support.v4.**
-libraryjars libs/android-support-v4.jar
-libraryjars libs/AdsMOGO_Android_SDK_1.3.4.jar
-libraryjars libs/Baidu_MobAds_SDK_Agg_3.2.jar
-libraryjars libs/domob_android_sdk_v3.3.4.jar
-keep class uk.** {*;}
-keep class org.** {*;}
-keep class android.support.** {*;}
-keep class com.adsmogo.** {*;}
-keep class com.baidu.** {*;}
-keep class cn.domob.** {*;}
-keep class net.youmi.android.** {*;}
-keep class com.anwo.adsdk.** {*;}
-keep class com.suizong.** {*;}

jquery选择行(tr)勾选checkbox（避免冲突）

Sun, 04 Aug 2013 08:01:54 +0000

一般情况下点击行可以勾选多选框，但直接点勾选框会因为事件的冒泡导致再点击了一次。。
解决方法是判断最初点击的是不是checkbox 来源是：http://stackoverflow.com/, 找不回网址了。。

$("#album_list input.checkall").click(function(event) {
//prop 需要jquery1.6+才支持
$("#album_list input.chk_album").prop("checked", $(this).prop("checked"));
});
$("#album_list tr").click(function(event) {
var isCheckbox = $(event.target).is(":checkbox"); // 判断是否是checkbox本身
if (!isCheckbox) {
var chk = $(this).find(".chk_album");
if (chk) {
chk.prop("checked", !chk.prop("checked"));
}
}
});

《模拟城市5》破解版提示下载失败解决方法

Thu, 20 Jun 2013 17:22:04 +0000

前面的步骤都没有问题，提示Everything sounds good !! 但是点击图标安装游戏的时候，过一会儿就提示下载失败了。。尼玛，搞了一晚上，自己解决了。。修改D:\simcity5\apache\httpd.conf 文件（注意我的目录可能和你不一样D:\simcity5）在首行加入以下两句

EnableMMAP off
EnableSendfile off

保存，然后stop server再start server。本文同时发在3dmgame论坛。。

AES加密例子（python和php版本）

Wed, 12 Jun 2013 06:48:18 +0000

python版本
输入的加密字符必须是16的倍数，php的默认补零，所以解密的时候还需要rtrim掉零。python没有自动做这件事情，所以要自己补零。

class MyCrypt():
def __init__(self, key):
self.key = key
self.mode = AES.MODE_CBC
self.padding = '\0'
def encrypt(self, text):
cryptor = AES.new(self.key, self.mode)
length = 16
count = text.count('')
if count < length:
add = (length - count) + 1
text += (self.padding * add)
elif count > length:
add = (length - (count % length)) + 1
text += (self.padding * add)
self.ciphertext = cryptor.encrypt(text)
return self.ciphertext
def decrypt(self, text):
cryptor = AES.new(self.key, self.mode)
plain_text = cryptor.decrypt(text)
return plain_text.rstrip("\0")
if __name__ == '__main__':
key = '1234567890abcdef'
data = '{"a": "123中文", sss} '
ec = MyCrypt(key)
encrpt_data = ec.encrypt(data)
decrpt_data = ec.decrypt(encrpt_data)
print encrpt_data, decrpt_data, decrpt_data == data
from base64 import b64encode, b64decode
print b64encode(encrpt_data)

PHP版本:

<?php
$privateKey = "1234567890abcdef";
$iv = "\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0";
$data = '{"a": "123中文", sss} ';
//加密
$encrypted = mcrypt_encrypt(MCRYPT_RIJNDAEL_128, $privateKey, $data, MCRYPT_MODE_CBC, $iv);
$edata = base64_encode($encrypted);
echo $edata;
echo '<br/>';
//解密
$encryptedData = base64_decode('6PIG4DBcjsDDxY9GtHq2TXjTVE5linoc/7i8CdJNTU0=');
$decrypted = mcrypt_decrypt(MCRYPT_RIJNDAEL_128, $privateKey, $encryptedData, MCRYPT_MODE_CBC, $iv);
echo(rtrim($decrypted, "\0"));
?>

使用base64加密在URL传递(python和php版本)

Wed, 12 Jun 2013 06:37:54 +0000

把base64加密后在url传输，会把“+“，”/”分别替换为”-“，”_”，以及会把末尾的等号“=”去掉。
另外base64加密后的长度必然是4的倍数，所以可以根据这个还原“=”号解密的过程就是这个的逆向。注意：python必须补齐=号才正常，不然会抛错no padding. python版本：

def base64_url_decode(inp):
# 通过url传输时去掉了=号，所以需要补上=号
import base64
return base64.urlsafe_b64decode(str(inp + '=' * (4 - len(inp) % 4)))
def base64_url_encode(inp):
import base64
return base64.urlsafe_b64encode(str(inp)).rstrip('=')

php版本：

function base64url_encode($data) {
return rtrim(strtr(base64_encode($data), '+/', '-_'), '=');
}
function base64url_decode($data) {
return base64_decode(str_pad(strtr($data, '-_', '+/'), strlen($data) % 4, '=', STR_PAD_RIGHT));
}

Hive的Lateral View

Tue, 11 Jun 2013 18:10:14 +0000

Lateral View用于把UDTF的行转列结果集合在一起提供服务。Lateral View可以返回多列数据，前提是UDTF注册的输出个数。 UDTF代码参考：hive/src/ql/src/java/org/apache/hadoop/hive/ql/udf/generic/GenericUDTFExplode.java

准备数据

create table test_array (a array<int>, b array<string>)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '`'
COLLECTION ITEMS TERMINATED BY ',';

测试数据，保存文件为/tmp/test

10,11`tom,mary
20,21`kate,tim

导入数据

load data local inpath '/tmp/test' overwrite into table test_array;

测试

hive> select explode(b) as name, a from test_array;
FAILED: SemanticException 1:27 Only a single expression in the SELECT clause is supported with UDTF's. Error encountered near token 'a'

UDTF只能select单列使用LATERAL VIEW

hive> SELECT a, name FROM test_array LATERAL VIEW explode(b) r1 AS name;
[10,11] tom
[10,11] mary
[20,21] kate
[20,21] tim

可以有多个lateral view

hive> SELECT id, name FROM test_array LATERAL VIEW explode(b) r1 AS name LATERAL VIEW explode(A) r2 AS id;
10 tom
11 tom
10 mary
11 mary
20 kate
21 kate
20 tim
21 tim

参考

hive中的Lateral View

hive-builtins文件找不到

Tue, 11 Jun 2013 16:57:19 +0000

java.io.FileNotFoundException: File does not exist: hdfs://localhost:8020/home/fatkun/hive-0.10.0-cdh4.3.0/lib/hive-builtins-0.10.0-cdh4.3.0.jar
at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:824)
at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:288)
at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:224)
at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestamps(ClientDistributedCacheManager.java:93)
at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestampsAndCacheVisibilities(ClientDistributedCacheManager.java:57)
at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:254)
at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:290)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:361)
at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1269)
at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1266)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1266)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:606)
at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:601)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:601)
at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:586)
at org.apache.hadoop.hive.ql.exec.ExecDriver.execute(ExecDriver.java:448)
at org.apache.hadoop.hive.ql.exec.ExecDriver.main(ExecDriver.java:690)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:208)
Job Submission failed with exception 'java.io.FileNotFoundException(File does not exist: hdfs://localhost:8020/home/fatkun/hive-0.10.0-cdh4.3.0/lib/hive-builtins-0.10.0-cdh4.3.0.jar)'

可能的原因

刚开始我用伪分布模式没有提示这个错误，我配置了mapred-site.xml为local模式，但core-site.xml使用hdfs，从hdfs找不到这个文件。

可能的代码

//ql/src/java/org/apache/hadoop/hive/ql/session/SessionState.java
// Register the Hive builtins jar and all of its functions
try {
Class<?> pluginClass = Utilities.getBuiltinUtilsClass();
URL jarLocation = pluginClass.getProtectionDomain().getCodeSource()
.getLocation();
add_builtin_resource(
ResourceType.JAR, jarLocation.toString());
FunctionRegistry.registerFunctionsFromPluginJar(
jarLocation, pluginClass.getClassLoader());
sessionFunctionRegistry.putAll(FunctionRegistry.getStaticFunctionRegistry());
} catch (Exception ex) {
throw new RuntimeException("Failed to load Hive builtin functions", ex);
}

解决方法

方法一：
更改core.site.xml，把fs.default.name改成local

<property>
<name>fs.default.name</name>
<value>file:///</value>
</property>

方法二（没试过）：
把hive-builtins包上传到提示的hdfs路径（我这里是/home/fatkun/hive-0.10.0-cdh4.3.0/lib/）
$ hadoop fs -mkdir /home/fatkun/hive-0.10.0-cdh4.3.0/lib/
$ hadoop fs -put $HIVE_HOME/lib/hive-builtins-*.jar /home/fatkun/hive-0.10.0-cdh4.3.0/lib/

参考

FileNotFoundException for hive/lib/hive-builtins-0.9.0.jar in Hive

[蛋疼向]cloudera文档最大化

Tue, 04 Jun 2013 17:09:42 +0000

cloudera的文档可视面积太小了。。。头部占了很大高度。。点我到文档地址

解决方法

使用css改变一下样式。。在浏览器加入一个书签代码如下：

javascript:$("#center article").css("top", 0);$("#site-head").hide();$("#topnav").hide();$("#searchform").css("top", "auto").css("bottom", 0).css("left", "10px").css("right", "auto");$("#leftbar").css("top", 0);

Hive更改输入输出文件格式

Tue, 04 Jun 2013 07:52:01 +0000

文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL
ALTER TABLE table_name [PARTITION partitionSpec] SET FILEFORMAT file_format 分区和表都会存储了文件格式，都要改过来才正确。。例子： ALTER TABLE foo SET FILEFORMAT
INPUTFORMAT “com.hadoop.mapred.DeprecatedLzoTextInputFormat”
OUTPUTFORMAT “org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat”; ALTER TABLE foo PARTITION (pt=’2013-06-04′) SET FILEFORMAT
INPUTFORMAT “com.hadoop.mapred.DeprecatedLzoTextInputFormat”
OUTPUTFORMAT “org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat”; 也可以直接改metastore数据库，但要注意hive服务端可能有cache（默认是开了level2 cache），不知道会不会影响。更改SD表
UPDATE SDS SET INPUT_FORMAT=’com.hadoop.mapred.DeprecatedLzoTextInputFormat’;

Hive改表名后查询不了数据(DataNucleus缓存问题)

Wed, 29 May 2013 17:21:15 +0000

现象

改了Hive表名后查询不了任何数据。

重现方式

开启两个hive命令行，
先在第一个hive查询一条语句：select * from logs1;
然后在第二个hive把表名更改：alter table logs1 rename to logs2;
再在第一个hive查询：select * from logs2;//这时查询成功，但没有数据

调试

想到可能是缓存或者事务的原因。。虽然发现查询条件没有错，但返回结果的预期不一样

public void getMetaData(QB qb) throws SemanticException {
tab = db.getTable(tab_name); // 这里返回了上一次的结果
}

代码太多了。。最终还是没搞懂哪里缓存了。。实际上跟踪调试是经过了mysql-connector的查询，中间结果返回了JDBCResult，但是二进制的结果，看不出什么东西，不知道为什么最后返回的结果却是缓存的。只能随便试试看DataNucleus有那些缓存的参数了，死马当活马医。找到有以下参数： datanucleus.query.compilation.cached
datanucleus.query.results.cached
datanucleus.cache.level2.type 最终试了datanucleus.cache.level2.type可行。。

解决方法

在hive-site.xml加上这个参数

<property>
<name>datanucleus.cache.level2.type</name>
<value>none</value>
</property>

[备忘]java指定一个目录加入classpath

Mon, 22 Apr 2013 02:08:15 +0000

java -classpath test.jar -Djava.ext.dirs=./lib com.fatkun.Test

java反射引起的java.lang.OutOfMemoryError: PermGen space

Sun, 21 Apr 2013 13:50:58 +0000

由于之前为了不改hive的代码，用了反射的方式动态修改，导致了另一个问题出现。
我用的反射代码如下：（代码是针对local metastore写的）, 主要是为了调用ObjectStore的shutdown()方法。

            Hive hive = Hive.get();
            Method method = Hive.class.getDeclaredMethod("getMSC");
            method.setAccessible(true);
            HiveMetaStoreClient msc = (HiveMetaStoreClient)method.invoke(hive);
            Field field = HiveMetaStoreClient.class.getDeclaredField("client");
            field.setAccessible(true);
            HiveMetaStore.HMSHandler client = (HiveMetaStore.HMSHandler)field.get(msc);
            
            if (client != null) {
                method = HiveMetaStore.HMSHandler.class.getDeclaredMethod("getMS", boolean.class);
                method.setAccessible(true);
                ObjectStore os = (ObjectStore)method.invoke(client, false);
                os.shutdown();
            }
            method = null;
            field = null;
            
            Hive.closeCurrent();

使用反射后，用jprofiler检查发现多了很多这些类
sun.reflect.DelegatingClassLoader
sun.reflect.GeneratedConstructorAccessor77 估计是反射引起的，类越來越多（还没有严谨的测试过，因为perm内存增长很缓慢）
看了几篇文章，没搞懂。。到StackOverflow去问使用这个参数，通过jni的方式调用反射

-Dsun.reflect.inflationThreshold=0

我理解是使用反射会有两种途径，jni和Java bytecode，（It can use a JNI accessor, or a Java bytecode accessor），使用jni调用会慢一些，但使用Java bytecode会生成一个类和classloader (sun/reflect/GeneratedMethodAccessor class and sun/reflect/DelegatingClassLoader)。JVM刚开始默认使用JNI的方式调用，当同一个类调用次数达到一定值后改为Java bytecode调用。可能会有少许的性能缺失,但我调用的次数还不算多，应该可以接受。另外发现在线上的对象个数有150个左右，应该有些内存还是被回收了，调用的次数不止那么少。

参考

StackOverflow
Potential native memory use in reflection delegating classloaders

关于参考和抄袭小乐图客

Sat, 13 Apr 2013 14:21:08 +0000

在开发fatkun图片批量下载时，遇到很多问题自己解决不了，之前保存都是靠浏览器的保存页面方式存储的。当时也在找HTML5是否有相关的资料可以保存文件，后面发现小乐图客和另一个扩展（忘记叫什么了，可以按大图小图分类来下载图片）实现了这个功能，那时参考了两者，都是用同样的方式实现的，模拟用户点击链接来保存文件，就把这个功能加入了fatkun图片批量下载中。在互联网中，可以从各个途径中学习到不同的知识来提高自己，为了完善自己的扩展会参考其他扩展的做法，会添加一些新功能或者改进。有些功能是直接使用了小乐图客的代码，如：打开多个网址，但我也做了一些改变，不会打开多个标签，而是只在一个标签里打开多个页面。匹配规则也与小乐图客有些不一样，你不用关心你访问的网站是什么，如果匹配了就给你返回最大图。但这个功能也是参考小乐图客实现的。小乐图客是基于MIT协议开放（见小乐图客源码开头），我没有标注部分源码来自小乐图客，在此向小乐道歉。
现在已经在博客和chrome store显著位置标注，之后下一个版本的扩展也会加上这个版权声明。感谢小乐开发的扩展并以此协议发布代码，在代码中学习到一些东西。

/*
* zzllrr Imager <http://goo.gl/n8SMk>
* Copyright (c) 2011 zzllrr. All rights reserved.
* http://about.me/zzllrr
* Released under MIT License
*/

Hbase DependentColumnFilter

Mon, 25 Mar 2013 17:43:05 +0000

Here you have a more complex filter that does not simply filter out data based on
directly available information. Rather, it lets you specify a dependent column—or
reference column—that controls how other columns are filtered. It uses the timestamp
of the reference column and includes all other columns that have the same timestamp. 尝试找到该列所在的每一行，并返回该行具有相同时间戳的全部键值对。如果某一行不包含指定的列，则该行的任何键值对都不返回。
如果dropDependentColumn=true，则从属列不返回。 via: http://abloz.com/2012/08/22/the-hbases-content-query-2.html

package com.fatkun.filter.comparison;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.BinaryPrefixComparator;
import org.apache.hadoop.hbase.filter.CompareFilter;
import org.apache.hadoop.hbase.filter.DependentColumnFilter;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.filter.SubstringComparator;
import org.apache.hadoop.hbase.filter.ValueFilter;
import org.apache.hadoop.hbase.filter.WritableByteArrayComparable;
import org.apache.hadoop.hbase.util.Bytes;
public class TestHbaseDependentColumnFilter {
String tableName = "test_value_filter";
Configuration config = HBaseConfiguration.create();
public void filter(boolean drop, CompareFilter.CompareOp operator,
WritableByteArrayComparable comparator) throws IOException {
HTable table = new HTable(config, tableName);
//
Filter filter;
if (comparator != null) {
// drop为true时，filter表示对"col1"列以外的所有"data1"列族数据做filter操作
// drop为false时,表示对所有"data1"列族的数据做filter操作
filter = new DependentColumnFilter(Bytes.toBytes("data1"),
Bytes.toBytes("col1"), drop, operator, comparator);
} else {
filter = new DependentColumnFilter(Bytes.toBytes("data1"),
Bytes.toBytes("col1"), drop);
}
// filter应用于scan
Scan scan = new Scan();
scan.setFilter(filter);
ResultScanner scanner = table.getScanner(scan);
for (Result result : scanner) {
for (KeyValue kv : result.list()) {
System.out.println("kv=" + kv.toString() + ",value="
+ Bytes.toString(kv.getValue()));
}
}
scanner.close();
table.close();
}
/**
* 部分代码来自hbase权威指南
*
* @throws IOException
*/
public void testFilter() throws IOException {
// The dropDependentColumn parameter is giving you additional control
// over how the reference column is handled: it is either included or
// dropped by the filter
// 1.获取整个"data1"列族当前Version中的所有timestamp等于参照列"data1:col1"的数据
System.out.println("drop=false");
filter(false, CompareFilter.CompareOp.NO_OP, null);
// 2.获取除了"col1"列以外的"data1"列族中的所有timestamp等于参照列"data1:col1"的数据
System.out.println("drop=true");
filter(true, CompareFilter.CompareOp.NO_OP, null);
// 3.获取除了"col1"列以外的"data1"列族当前Version中的所有timestamp等于参照列"data1:col1"的,value以"data100"开头的所有数据
System.out.println("比较");
filter(true, CompareFilter.CompareOp.EQUAL, new BinaryPrefixComparator(
Bytes.toBytes("data100")));
}
/**
* 初始化数据
*/
public void init() {
// 创建表和初始化数据
try {
HBaseAdmin admin = new HBaseAdmin(config);
if (!admin.tableExists(tableName)) {
HTableDescriptor htd = new HTableDescriptor(tableName);
HColumnDescriptor hcd1 = new HColumnDescriptor("data1");
htd.addFamily(hcd1);
HColumnDescriptor hcd2 = new HColumnDescriptor("data2");
htd.addFamily(hcd2);
HColumnDescriptor hcd3 = new HColumnDescriptor("data3");
htd.addFamily(hcd3);
admin.createTable(htd);
}
HTable table = new HTable(config, tableName);
table.setAutoFlush(false);
int count = 50;
for (int i = 1; i <= count; ++i) {
Put p = new Put(String.format("row%03d", i).getBytes());
p.add("data1".getBytes(), String.format("col%01d", i % 10)
.getBytes(), String.format("data1%03d", i).getBytes());
p.add("data2".getBytes(), String.format("col%01d", i % 10)
.getBytes(), String.format("data2%03d", i).getBytes());
p.add("data3".getBytes(), String.format("col%01d", i % 10)
.getBytes(), String.format("data3%03d", i).getBytes());
table.put(p);
}
table.close();
} catch (IOException e) {
e.printStackTrace();
}
}
/**
* @param args
* @throws IOException
*/
public static void main(String[] args) throws IOException {
TestHbaseDependentColumnFilter test = new TestHbaseDependentColumnFilter();
test.init();
test.testFilter();
}
}

Hbase ValueFilter

Mon, 25 Mar 2013 16:52:03 +0000

Hbase ValueFilter用于过滤值

package com.fatkun.filter.comparison;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.BinaryComparator;
import org.apache.hadoop.hbase.filter.CompareFilter;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.filter.SubstringComparator;
import org.apache.hadoop.hbase.filter.ValueFilter;
import org.apache.hadoop.hbase.util.Bytes;
public class TestHbaseValueFilter {
String tableName = "test_value_filter";
Configuration config = HBaseConfiguration.create();
/**
* 部分代码来自hbase权威指南
*
* @throws IOException
*/
public void testFilter() throws IOException {
HTable table = new HTable(config, tableName);
Scan scan = new Scan();
System.out.println("只列出值包含data1的列");
Filter filter1 = new ValueFilter(CompareFilter.CompareOp.EQUAL,
new SubstringComparator("data1"));
scan.setFilter(filter1);
ResultScanner scanner1 = table.getScanner(scan);
for (Result res : scanner1) {
System.out.println(res);
}
scanner1.close();
System.out.println("get也可以设置filter");
Get get1 = new Get(Bytes.toBytes("row003"));
get1.setFilter(filter1);
Result result1 = table.get(get1);
System.out.println("Result of get(): " + result1);
}
/**
* 初始化数据
*/
public void init() {
// 创建表和初始化数据
try {
HBaseAdmin admin = new HBaseAdmin(config);
if (!admin.tableExists(tableName)) {
HTableDescriptor htd = new HTableDescriptor(tableName);
HColumnDescriptor hcd1 = new HColumnDescriptor("data1");
htd.addFamily(hcd1);
HColumnDescriptor hcd2 = new HColumnDescriptor("data2");
htd.addFamily(hcd2);
HColumnDescriptor hcd3 = new HColumnDescriptor("data3");
htd.addFamily(hcd3);
admin.createTable(htd);
}
HTable table = new HTable(config, tableName);
table.setAutoFlush(false);
int count = 50;
for (int i = 1; i <= count; ++i) {
Put p = new Put(String.format("row%03d", i).getBytes());
p.add("data1".getBytes(), String.format("col%01d", i % 10)
.getBytes(), String.format("data1%03d", i).getBytes());
p.add("data2".getBytes(), String.format("col%01d", i % 10)
.getBytes(), String.format("data2%03d", i).getBytes());
p.add("data3".getBytes(), String.format("col%01d", i % 10)
.getBytes(), String.format("data3%03d", i).getBytes());
table.put(p);
}
table.close();
} catch (IOException e) {
e.printStackTrace();
}
}
/**
* @param args
* @throws IOException
*/
public static void main(String[] args) throws IOException {
TestHbaseValueFilter test = new TestHbaseValueFilter();
test.init();
test.testFilter();
}
}

Hbase QualifierFilter

Mon, 25 Mar 2013 16:40:53 +0000

Hbase QualifierFilter用于过滤qualifier，也就是一个列族里面data:xxx，冒号后面的字符串。 =。=

package com.fatkun.filter.comparison;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.BinaryComparator;
import org.apache.hadoop.hbase.filter.CompareFilter;
import org.apache.hadoop.hbase.filter.FamilyFilter;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.filter.QualifierFilter;
import org.apache.hadoop.hbase.util.Bytes;
public class TestHbaseQualifierFilter {
String tableName = "test_qualifier_filter";
Configuration config = HBaseConfiguration.create();
/**
* 部分代码来自hbase权威指南
* @throws IOException
*/
public void testRowFilter() throws IOException {
HTable table = new HTable(config, tableName);
Scan scan = new Scan();
System.out.println("只列出小于col5的列");
Filter filter1 = new QualifierFilter(CompareFilter.CompareOp.LESS,
new BinaryComparator(Bytes.toBytes("col5")));
scan.setFilter(filter1);
ResultScanner scanner1 = table.getScanner(scan);
for (Result res : scanner1) {
System.out.println(res);
}
scanner1.close();
System.out.println("get也可以设置filter");
Get get1 = new Get(Bytes.toBytes("row003"));
get1.setFilter(filter1);
Result result1 = table.get(get1);
System.out.println("Result of get(): " + result1);
}
/**
* 初始化数据
*/
public void init() {
// 创建表和初始化数据
try {
HBaseAdmin admin = new HBaseAdmin(config);
if (!admin.tableExists(tableName)) {
HTableDescriptor htd = new HTableDescriptor(tableName);
HColumnDescriptor hcd1 = new HColumnDescriptor("data1");
htd.addFamily(hcd1);
HColumnDescriptor hcd2 = new HColumnDescriptor("data2");
htd.addFamily(hcd2);
HColumnDescriptor hcd3 = new HColumnDescriptor("data3");
htd.addFamily(hcd3);
admin.createTable(htd);
}
HTable table = new HTable(config, tableName);
table.setAutoFlush(false);
int count = 50;
for (int i = 1; i <= count; ++i) {
Put p = new Put(String.format("row%03d", i).getBytes());
p.add("data1".getBytes(), String.format("col%01d", i % 10)
.getBytes(), String.format("data1%03d", i).getBytes());
p.add("data2".getBytes(), String.format("col%01d", i % 10)
.getBytes(), String.format("data2%03d", i).getBytes());
p.add("data3".getBytes(), String.format("col%01d", i % 10)
.getBytes(), String.format("data3%03d", i).getBytes());
table.put(p);
}
table.close();
} catch (IOException e) {
e.printStackTrace();
}
}
/**
* @param args
* @throws IOException
*/
public static void main(String[] args) throws IOException {
TestHbaseQualifierFilter test = new TestHbaseQualifierFilter();
test.init();
test.testRowFilter();
}
}

Hbase FamilyFilter

Sun, 24 Mar 2013 17:01:05 +0000

FamilyFilter 用于过滤Family

package com.fatkun.filter;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.BinaryComparator;
import org.apache.hadoop.hbase.filter.CompareFilter;
import org.apache.hadoop.hbase.filter.FamilyFilter;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.util.Bytes;
public class TestHbaseFamilyFilter {
String tableName = "test_family_filter";
Configuration config = HBaseConfiguration.create();
/**
* 部分代码来自hbase权威指南
* @throws IOException
*/
public void testRowFilter() throws IOException {
HTable table = new HTable(config, tableName);
Scan scan = new Scan();
System.out.println("只列出小于data2的列");
Filter filter1 = new FamilyFilter(CompareFilter.CompareOp.LESS,
new BinaryComparator(Bytes.toBytes("data2")));
scan.setFilter(filter1);
ResultScanner scanner1 = table.getScanner(scan);
for (Result res : scanner1) {
System.out.println(res);
}
scanner1.close();
System.out.println("get也可以设置filter");
Get get1 = new Get(Bytes.toBytes("row005"));
get1.setFilter(filter1);
Result result1 = table.get(get1);
System.out.println("Result of get(): " + result1);
}
/**
* 初始化数据
*/
public void init() {
// 创建表和初始化数据
try {
HBaseAdmin admin = new HBaseAdmin(config);
if (!admin.tableExists(tableName)) {
HTableDescriptor htd = new HTableDescriptor(tableName);
HColumnDescriptor hcd1 = new HColumnDescriptor("data1");
htd.addFamily(hcd1);
HColumnDescriptor hcd2 = new HColumnDescriptor("data2");
htd.addFamily(hcd2);
HColumnDescriptor hcd3 = new HColumnDescriptor("data3");
htd.addFamily(hcd3);
admin.createTable(htd);
}
HTable table = new HTable(config, tableName);
table.setAutoFlush(false);
int count = 50;
for (int i = 1; i <= count; ++i) {
Put p = new Put(String.format("row%03d", i).getBytes());
p.add("data1".getBytes(), String.format("col%01d", i % 10)
.getBytes(), String.format("data1%03d", i).getBytes());
p.add("data2".getBytes(), String.format("col%01d", i % 10)
.getBytes(), String.format("data2%03d", i).getBytes());
p.add("data3".getBytes(), String.format("col%01d", i % 10)
.getBytes(), String.format("data3%03d", i).getBytes());
table.put(p);
}
table.close();
} catch (IOException e) {
e.printStackTrace();
}
}
/**
* @param args
* @throws IOException
*/
public static void main(String[] args) throws IOException {
TestHbaseFamilyFilter test = new TestHbaseFamilyFilter();
test.init();
test.testRowFilter();
}
}

hbase RowFilter

Sun, 24 Mar 2013 13:58:40 +0000

RowFilter用于过滤row key

Operator	Description
`LESS`	小于
`LESS_OR_EQUAL`	小于等于
`EQUAL`	等于
`NOT_EQUAL`	不等于
`GREATER_OR_EQUAL`	大于等于
`GREATER`	大于
`NO_OP`	排除所有

Comparator	Description
`BinaryComparator`	使用Bytes.compareTo()比较
`BinaryPrefixComparator`	和BinaryComparator差不多，从前面开始比较
`NullComparator`	Does not compare against an actual value but whether a given one is `null`, or not `null`.
`BitComparator`	Performs a bitwise comparison, providing a `BitwiseOp` class with `AND`, `OR`, and `XOR` operators.
`RegexStringComparator`	正则表达式
`SubstringComparator`	把数据当成字符串，用contains()来判断

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.BinaryComparator;
import org.apache.hadoop.hbase.filter.BinaryPrefixComparator;
import org.apache.hadoop.hbase.filter.CompareFilter;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.filter.RegexStringComparator;
import org.apache.hadoop.hbase.filter.RowFilter;
import org.apache.hadoop.hbase.filter.SubstringComparator;
public class TestHbaseRowFilter {
String tableName = "test_row_filter";
Configuration config = HBaseConfiguration.create();
/**
* 部分代码来自hbase权威指南
* @throws IOException
*/
public void testRowFilter() throws IOException {
HTable table = new HTable(config, tableName);
Scan scan = new Scan();
System.out.println("小于等于row010的行");
Filter filter1 = new RowFilter(CompareFilter.CompareOp.LESS_OR_EQUAL,
new BinaryComparator("row010".getBytes()));
scan.setFilter(filter1);
ResultScanner scanner1 = table.getScanner(scan);
for (Result res : scanner1) {
System.out.println(res);
}
scanner1.close();
System.out.println("正则获取结尾为5的行");
Filter filter2 = new RowFilter(CompareFilter.CompareOp.EQUAL,
new RegexStringComparator(".*5$"));
scan.setFilter(filter2);
ResultScanner scanner2 = table.getScanner(scan);
for (Result res : scanner2) {
System.out.println(res);
}
scanner2.close();
System.out.println("包行有5的行");
Filter filter3 = new RowFilter(CompareFilter.CompareOp.EQUAL,
new SubstringComparator("5"));
scan.setFilter(filter3);
ResultScanner scanner3 = table.getScanner(scan);
for (Result res : scanner3) {
System.out.println(res);
}
scanner3.close();
System.out.println("开头是row01的");
Filter filter4 = new RowFilter(CompareFilter.CompareOp.EQUAL,
new BinaryPrefixComparator("row01".getBytes()));
scan.setFilter(filter4);
ResultScanner scanner4 = table.getScanner(scan);
for (Result res : scanner4) {
System.out.println(res);
}
scanner3.close();
}
/**
* 初始化数据
*/
public void init() {
// 创建表和初始化数据
try {
HBaseAdmin admin = new HBaseAdmin(config);
if (!admin.tableExists(tableName)) {
HTableDescriptor htd = new HTableDescriptor(tableName);
HColumnDescriptor hcd1 = new HColumnDescriptor("data");
htd.addFamily(hcd1);
HColumnDescriptor hcd2 = new HColumnDescriptor("url");
htd.addFamily(hcd2);
admin.createTable(htd);
}
HTable table = new HTable(config, tableName);
table.setAutoFlush(false);
int count = 50;
for (int i = 1; i &lt;= count; ++i) {
Put p = new Put(String.format("row%03d", i).getBytes());
p.add("data".getBytes(), String.format("col%01d", i % 10)
.getBytes(), String.format("data%03d", i).getBytes());
p.add("url".getBytes(), String.format("col%01d", i % 10)
.getBytes(), String.format("url%03d", i).getBytes());
table.put(p);
}
table.close();
} catch (IOException e) {
e.printStackTrace();
}
}
/**
* @param args
* @throws IOException
*/
public static void main(String[] args) throws IOException {
TestHbaseRowFilter test = new TestHbaseRowFilter();
test.init();
test.testRowFilter();
}

}

输出结果

小于等于row010的行
keyvalues={row001/data:col1/1364133382268/Put/vlen=7, row001/url:col1/1364133382268/Put/vlen=6}
keyvalues={row002/data:col2/1364133382268/Put/vlen=7, row002/url:col2/1364133382268/Put/vlen=6}
keyvalues={row003/data:col3/1364133382268/Put/vlen=7, row003/url:col3/1364133382268/Put/vlen=6}
keyvalues={row004/data:col4/1364133382268/Put/vlen=7, row004/url:col4/1364133382268/Put/vlen=6}
keyvalues={row005/data:col5/1364133382268/Put/vlen=7, row005/url:col5/1364133382268/Put/vlen=6}
keyvalues={row006/data:col6/1364133382268/Put/vlen=7, row006/url:col6/1364133382268/Put/vlen=6}
keyvalues={row007/data:col7/1364133382268/Put/vlen=7, row007/url:col7/1364133382268/Put/vlen=6}
keyvalues={row008/data:col8/1364133382268/Put/vlen=7, row008/url:col8/1364133382268/Put/vlen=6}
keyvalues={row009/data:col9/1364133382268/Put/vlen=7, row009/url:col9/1364133382268/Put/vlen=6}
keyvalues={row010/data:col0/1364133382268/Put/vlen=7, row010/url:col0/1364133382268/Put/vlen=6}
正则获取结尾为5的行
keyvalues={row005/data:col5/1364133382268/Put/vlen=7, row005/url:col5/1364133382268/Put/vlen=6}
keyvalues={row015/data:col5/1364133382268/Put/vlen=7, row015/url:col5/1364133382268/Put/vlen=6}
keyvalues={row025/data:col5/1364133382268/Put/vlen=7, row025/url:col5/1364133382268/Put/vlen=6}
keyvalues={row035/data:col5/1364133382268/Put/vlen=7, row035/url:col5/1364133382268/Put/vlen=6}
keyvalues={row045/data:col5/1364133382268/Put/vlen=7, row045/url:col5/1364133382268/Put/vlen=6}
包行有5的行
keyvalues={row005/data:col5/1364133382268/Put/vlen=7, row005/url:col5/1364133382268/Put/vlen=6}
keyvalues={row015/data:col5/1364133382268/Put/vlen=7, row015/url:col5/1364133382268/Put/vlen=6}
keyvalues={row025/data:col5/1364133382268/Put/vlen=7, row025/url:col5/1364133382268/Put/vlen=6}
keyvalues={row035/data:col5/1364133382268/Put/vlen=7, row035/url:col5/1364133382268/Put/vlen=6}
keyvalues={row045/data:col5/1364133382268/Put/vlen=7, row045/url:col5/1364133382268/Put/vlen=6}
keyvalues={row050/data:col0/1364133382268/Put/vlen=7, row050/url:col0/1364133382268/Put/vlen=6}
开头是row01的
keyvalues={row010/data:col0/1364133382268/Put/vlen=7, row010/url:col0/1364133382268/Put/vlen=6}
keyvalues={row011/data:col1/1364133382268/Put/vlen=7, row011/url:col1/1364133382268/Put/vlen=6}
keyvalues={row012/data:col2/1364133382268/Put/vlen=7, row012/url:col2/1364133382268/Put/vlen=6}
keyvalues={row013/data:col3/1364133382268/Put/vlen=7, row013/url:col3/1364133382268/Put/vlen=6}
keyvalues={row014/data:col4/1364133382268/Put/vlen=7, row014/url:col4/1364133382268/Put/vlen=6}
keyvalues={row015/data:col5/1364133382268/Put/vlen=7, row015/url:col5/1364133382268/Put/vlen=6}
keyvalues={row016/data:col6/1364133382268/Put/vlen=7, row016/url:col6/1364133382268/Put/vlen=6}
keyvalues={row017/data:col7/1364133382268/Put/vlen=7, row017/url:col7/1364133382268/Put/vlen=6}
keyvalues={row018/data:col8/1364133382268/Put/vlen=7, row018/url:col8/1364133382268/Put/vlen=6}
keyvalues={row019/data:col9/1364133382268/Put/vlen=7, row019/url:col9/1364133382268/Put/vlen=6}

参考

hbase权威指南

android接收长短信处理逻辑

Sun, 10 Mar 2013 13:14:08 +0000

长短信会分割成多条发送过来，每一条头部会带上总共有多少条，和这是第几条。（具体的细节我也没太深究）
手机收到其中一条短信时，如果辨别出是长短信，则先把短信存储在raw表内(sqlite路径：/data/data/com.android.providers.telephony/databases/mmssms.db)
当收完全部短信时，就把raw表的相关内容删除，传播到其他程序处理贴代码充数。。。。o(╯□╰)o
主要代码在SMSDispatcher.java里

/**
* If this is the last part send the parts out to the application, otherwise
* the part is stored for later processing. Handles both 3GPP concatenated messages
* as well as 3GPP2 format WAP push messages processed by
* {@link com.android.internal.telephony.cdma.CdmaSMSDispatcher#processCdmaWapPdu}.
*
* @param pdu the message PDU, or the datagram portion of a CDMA WDP datagram segment
* @param address the originating address
* @param referenceNumber distinguishes concatenated messages from the same sender
* @param sequenceNumber the order of this segment in the message
* (starting at 0 for CDMA WDP datagrams and 1 for concatenated messages).
* @param messageCount the number of segments in the message
* @param timestamp the service center timestamp in millis
* @param destPort the destination port for the message, or -1 for no destination port
* @param isCdmaWapPush true if pdu is a CDMA WDP datagram segment and not an SM PDU
*
* @return a result code from {@link Telephony.Sms.Intents}, or
* {@link Activity#RESULT_OK} if the message has been broadcast
* to applications
*/
protected int processMessagePart(byte[] pdu, String address, int referenceNumber,
int sequenceNumber, int messageCount, long timestamp, int destPort,
boolean isCdmaWapPush) {
byte[][] pdus = null;
Cursor cursor = null;
try {
// used by several query selection arguments
String refNumber = Integer.toString(referenceNumber);
String seqNumber = Integer.toString(sequenceNumber);
// Check for duplicate message segment 检查有没有重复的片段，有就忽略了
cursor = mResolver.query(mRawUri, PDU_PROJECTION,
"address=? AND reference_number=? AND sequence=?",
new String[] {address, refNumber, seqNumber}, null);
// moveToNext() returns false if no duplicates were found
if (cursor.moveToNext()) {
Log.w(TAG, "Discarding duplicate message segment from address=" + address
+ " refNumber=" + refNumber + " seqNumber=" + seqNumber);
String oldPduString = cursor.getString(PDU_COLUMN);
byte[] oldPdu = HexDump.hexStringToByteArray(oldPduString);
if (!Arrays.equals(oldPdu, pdu)) {
Log.e(TAG, "Warning: dup message segment PDU of length " + pdu.length
+ " is different from existing PDU of length " + oldPdu.length);
}
return Intents.RESULT_SMS_HANDLED;
}
cursor.close();
// not a dup, query for all other segments of this concatenated message
String where = "address=? AND reference_number=?";
String[] whereArgs = new String[] {address, refNumber};
cursor = mResolver.query(mRawUri, PDU_SEQUENCE_PORT_PROJECTION, where, whereArgs, null);
int cursorCount = cursor.getCount();
if (cursorCount != messageCount - 1) { //如果不是最后一条，就插入raw表
// We don't have all the parts yet, store this one away
ContentValues values = new ContentValues();
values.put("date", timestamp);
values.put("pdu", HexDump.toHexString(pdu));
values.put("address", address);
values.put("reference_number", referenceNumber);
values.put("count", messageCount);
values.put("sequence", sequenceNumber);
if (destPort != -1) {
values.put("destination_port", destPort);
}
mResolver.insert(mRawUri, values);
return Intents.RESULT_SMS_HANDLED;
}
// All the parts are in place, deal with them
pdus = new byte[messageCount][];
for (int i = 0; i < cursorCount; i++) {
cursor.moveToNext();
int cursorSequence = cursor.getInt(SEQUENCE_COLUMN);
// GSM sequence numbers start at 1; CDMA WDP datagram sequence numbers start at 0
if (!isCdmaWapPush) {
cursorSequence--;
}
pdus[cursorSequence] = HexDump.hexStringToByteArray(
cursor.getString(PDU_COLUMN));
// Read the destination port from the first segment (needed for CDMA WAP PDU).
// It's not a bad idea to prefer the port from the first segment for 3GPP as well.
if (cursorSequence == 0 && !cursor.isNull(DESTINATION_PORT_COLUMN)) {
destPort = cursor.getInt(DESTINATION_PORT_COLUMN);
}
}
// This one isn't in the DB, so add it
// GSM sequence numbers start at 1; CDMA WDP datagram sequence numbers start at 0
if (isCdmaWapPush) {
pdus[sequenceNumber] = pdu;
} else {
pdus[sequenceNumber - 1] = pdu;
}
// Remove the parts from the database
mResolver.delete(mRawUri, where, whereArgs);
} catch (SQLException e) {
Log.e(TAG, "Can't access multipart SMS database", e);
return Intents.RESULT_SMS_GENERIC_ERROR;
} finally {
if (cursor != null) cursor.close();
}
// Special handling for CDMA WDP datagrams
if (isCdmaWapPush) {
// Build up the data stream
ByteArrayOutputStream output = new ByteArrayOutputStream();
for (int i = 0; i < messageCount; i++) {
// reassemble the (WSP-)pdu
output.write(pdus[i], 0, pdus[i].length);
}
byte[] datagram = output.toByteArray();
// Dispatch the PDU to applications
if (destPort == SmsHeader.PORT_WAP_PUSH) {
// Handle the PUSH
return mWapPush.dispatchWapPdu(datagram);
} else {
pdus = new byte[1][];
pdus[0] = datagram;
// The messages were sent to any other WAP port
dispatchPortAddressedPdus(pdus, destPort);
return Activity.RESULT_OK;
}
}
// Dispatch the PDUs to applications
if (destPort != -1) {
if (destPort == SmsHeader.PORT_WAP_PUSH) {
// Build up the data stream
ByteArrayOutputStream output = new ByteArrayOutputStream();
for (int i = 0; i < messageCount; i++) {
SmsMessage msg = SmsMessage.createFromPdu(pdus[i], getFormat());
byte[] data = msg.getUserData();
output.write(data, 0, data.length);
}
// Handle the PUSH
return mWapPush.dispatchWapPdu(output.toByteArray());
} else {
// The messages were sent to a port, so concoct a URI for it
dispatchPortAddressedPdus(pdus, destPort);
}
} else {
// The messages were not sent to a port
dispatchPdus(pdus);
}
return Activity.RESULT_OK;
}
/**
* Dispatches standard PDUs to interested applications
*
* @param pdus The raw PDUs making up the message
*/
protected void dispatchPdus(byte[][] pdus) {
Intent intent = new Intent(Intents.SMS_RECEIVED_ACTION);
intent.putExtra("pdus", pdus);
intent.putExtra("format", getFormat());
dispatch(intent, RECEIVE_SMS_PERMISSION);
}

参考

Android MMS模块数据存取
 android sms接收流程（ril分析）
Raw access to SMS/MMS database on Android phones

安装android sdk提示找不到JDK解决方法

Sun, 10 Mar 2013 05:29:01 +0000

我的环境WIN7 64bit win7可以使用mklink做软链

Can also create symbolic link if you don't want to copy the files. (requires administrator privileges):
mklink C:\Windows\SysWOW64\java.exe C:\Windows\System32\java.exe
mklink C:\Windows\SysWOW64\javaw.exe C:\Windows\System32\javaw.exe

参考

http://stackoverflow.com/questions/4382178/android-sdk-installation-doesnt-find-jdk
http://android-er.blogspot.com/2011/02/android-sdk-cannot-detect-jdk.html

codeigniter数据库错误信息获取

Fri, 01 Mar 2013 07:37:35 +0000

db_debug – TRUE/FALSE (boolean) – Whether database errors should be displayed.
需要设置db_debug = false

Yes, this is the mysql_error() wrapper.
$this->db->_error_message();
And the mysql_errno wrapper is:
$this->db->_error_number();

via:
http://stackoverflow.com/questions/3234564/under-codeigniter-is-it-possible-to-see-mysql-error

Hive – JOIN实现过程

Sun, 20 Jan 2013 15:12:31 +0000

准备数据

语句
SELECT a.uid,a.name,b.age FROM logs a JOIN users b ON (a.uid=b.uid);
我们希望的结果是把users表join进来获取age字段。

hive> select * from logs;
OK
a 苹果 5
a 橙子 3
b 烧鸡 1
hive> select * from users;
OK
a 23
b 21
hive> SELECT a.uid,a.name,b.age FROM logs a JOIN users b ON (a.uid=b.uid);
a 苹果 23
a 橙子 23
b 烧鸡 21

计算过程

key这里后面的数字是tag，后面在reduce阶段用来区分来自于那个表的数据。tag是附属在key后面的。那为什么会把a(0)和a(1)汇集在一起了呢，是因为对先对a求了hashcode，设在了HiveKey上，所以同一个key还是在一起的。
Map阶段只是拆分key和value。
reduce阶段主要看它是如何把它合并起来了，从图上可以直观的看到，其实就是把tag=1的内容，都加到tag=0的后面，就是这么简单。
代码实现上，就是先临时用个变量把值存储起来在storage里面, storage(0) = [{a, 苹果}, {a, 橙子}] storage(1) = [{23}]，当key变化（如a变为b）或全部结束时，会调用endGroup()方法，把内容合并起来。变成[{a,苹果,23}, {a, 橙子,23}]

Operator

Explain

hive> explain SELECT a.uid,a.name,b.age FROM logs a JOIN users b ON (a.uid=b.uid);
OK
//语法树
ABSTRACT SYNTAX TREE:
(TOK_QUERY (TOK_FROM (TOK_JOIN (TOK_TABREF (TOK_TABNAME logs) a) (TOK_TABREF (TOK_TABNAME users) b) (= (. (TOK_TABLE_OR_COL a) uid) (. (TOK_TABLE_OR_COL b) uid)))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (. (TOK_TABLE_OR_COL a) uid)) (TOK_SELEXPR (. (TOK_TABLE_OR_COL a) name)) (TOK_SELEXPR (. (TOK_TABLE_OR_COL b) age)))))
//阶段
STAGE DEPENDENCIES:
Stage-1 is a root stage
Stage-0 is a root stage
STAGE PLANS:
Stage: Stage-1
Map Reduce
Alias -> Map Operator Tree: //mapper阶段
a
TableScan //扫描表, 就只是一行一行的传递下去而已
alias: a
Reduce Output Operator //输出给reduce的内容
key expressions: // key啦，这里的key是uid，就是我们写在ON子句那个，你可以试试加多几个条件
expr: uid
type: string
sort order: + //排序
Map-reduce partition columns://分区字段，貌似是和key一样的
expr: uid
type: string
tag: 0 //用来区分这个key是来自哪个表的
value expressions: //reduce用到的value字段
expr: uid
type: string
expr: name
type: string
b
TableScan //扫描表, 就只是一行一行的传递下去而已
alias: b
Reduce Output Operator //输出给reduce的内容
key expressions: //key
expr: uid
type: string
sort order: +
Map-reduce partition columns: //分区字段
expr: uid
type: string
tag: 1 //用来区分这个key是来自哪个表的
value expressions: //值
expr: age
type: int
Reduce Operator Tree: // reduce阶段
Join Operator // JOIN的Operator
condition map:
Inner Join 0 to 1 // 内连接0和1表
condition expressions: // 第0个表有两个字段，分别是uid和name, 第1个表有一个字段age
0 {VALUE._col0} {VALUE._col1}
1 {VALUE._col1}
handleSkewJoin: false //是否处理倾斜join，如果是，会分为两个MR任务
outputColumnNames: _col0, _col1, _col6 //输出字段
Select Operator //列裁剪（我们sql写的select字段）
expressions:
expr: _col0
type: string
expr: _col1
type: string
expr: _col6
type: int
outputColumnNames: _col0, _col1, _col2
File Output Operator //把结果输出到文件
compressed: false
GlobalTableId: 0
table:
input format: org.apache.hadoop.mapred.TextInputFormat
output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
Stage: Stage-0
Fetch Operator
limit: -1

可以看到里面都是一个个Operator顺序的执行下来

Hive – Group By 的实现

Sun, 20 Jan 2013 14:53:23 +0000

准备数据

SELECT uid, sum(count) FROM logs group by uid;

hive> select * from logs;
a 苹果 5
a 橙子 3
a 苹果 2
b 烧鸡 1
hive> SELECT uid, sum(count) FROM logs group by uid;
a 10
b 1

计算过程

默认设置了hive.map.aggr=true，所以会在mapper端先group by一次，最后再把结果merge起来，为了减少reducer处理的数据量。注意看explain的mode是不一样的。mapper是hash，reducer是mergepartial。如果把hive.map.aggr=false，那将groupby放到reducer才做，他的mode是complete.

Operator

Explain

hive> explain SELECT uid, sum(count) FROM logs group by uid;
OK
ABSTRACT SYNTAX TREE:
(TOK_QUERY (TOK_FROM (TOK_TABREF (TOK_TABNAME logs))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (TOK_TABLE_OR_COL uid)) (TOK_SELEXPR (TOK_FUNCTION sum (TOK_TABLE_OR_COL count)))) (TOK_GROUPBY (TOK_TABLE_OR_COL uid))))
STAGE DEPENDENCIES:
Stage-1 is a root stage
Stage-0 is a root stage
STAGE PLANS:
Stage: Stage-1
Map Reduce
Alias -> Map Operator Tree:
logs
TableScan // 扫描表
alias: logs
Select Operator //选择字段
expressions:
expr: uid
type: string
expr: count
type: int
outputColumnNames: uid, count
Group By Operator //这里是因为默认设置了hive.map.aggr=true，会在mapper先做一次聚合，减少reduce需要处理的数据
aggregations:
expr: sum(count) //聚集函数
bucketGroup: false
keys: //键
expr: uid
type: string
mode: hash //hash方式，processHashAggr()
outputColumnNames: _col0, _col1
Reduce Output Operator //输出key，value给reducer
key expressions:
expr: _col0
type: string
sort order: +
Map-reduce partition columns:
expr: _col0
type: string
tag: -1
value expressions:
expr: _col1
type: bigint
Reduce Operator Tree:
Group By Operator
aggregations:
expr: sum(VALUE._col0)
//聚合
bucketGroup: false
keys:
expr: KEY._col0
type: string
mode: mergepartial //合并值
outputColumnNames: _col0, _col1
Select Operator //选择字段
expressions:
expr: _col0
type: string
expr: _col1
type: bigint
outputColumnNames: _col0, _col1
File Output Operator //输出到文件
compressed: false
GlobalTableId: 0
table:
input format: org.apache.hadoop.mapred.TextInputFormat
output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
Stage: Stage-0
Fetch Operator
limit: -1

Hive – Distinct 的实现

Sun, 20 Jan 2013 14:34:13 +0000

准备数据

语句

select count, count(distinct uid) from logs group by count;

hive> select * from logs;
OK
a 苹果 3
a 橙子 3
a 烧鸡 1
b 烧鸡 3
hive> select count, count(distinct uid) from logs group by count;
1 1
3 2

根据count分组，计算独立用户数。

计算过程

第一步先在mapper计算部分值，会以count和uid作为key，如果是distinct并且之前已经出现过，则忽略这条计算。第一步是以<count, uid>组合为key，第二步是以count为key.
ReduceSink是在mapper.close()时才执行的，在GroupByOperator.close()时，把结果输出。注意这里虽然key是count和uid，但是在reduce时分区是按count来的！
第一步的distinct计算的值没用，要留到reduce计算的才准确。这里只是减少了key组合相同的行。不过如果是普通的count，后面是会合并起来的。
distinct通过比较lastInvoke判断要不要+1（因为在reduce是排序过了的，所以判断distict的字段变了没有，如果没变，则不+1）

Operator

Explain

hive> explain select count, count(distinct uid) from logs group by count;
OK
ABSTRACT SYNTAX TREE:
(TOK_QUERY (TOK_FROM (TOK_TABREF (TOK_TABNAME logs))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (TOK_TABLE_OR_COL count)) (TOK_SELEXPR (TOK_FUNCTIONDI count (TOK_TABLE_OR_COL uid)))) (TOK_GROUPBY (TOK_TABLE_OR_COL count))))
STAGE DEPENDENCIES:
Stage-1 is a root stage
Stage-0 is a root stage
STAGE PLANS:
Stage: Stage-1
Map Reduce
Alias -> Map Operator Tree:
logs
TableScan //表扫描
alias: logs
Select Operator//列裁剪，取出uid，count字段就够了
expressions:
expr: count
type: int
expr: uid
type: string
outputColumnNames: count, uid
Group By Operator //先来map聚集
aggregations:
expr: count(DISTINCT uid) //聚集表达式
bucketGroup: false
keys:
expr: count
type: int
expr: uid
type: string
mode: hash //hash方式
outputColumnNames: _col0, _col1, _col2
Reduce Output Operator
key expressions: //输出的键
expr: _col0 //count
type: int
expr: _col1 //uid
type: string
sort order: ++
Map-reduce partition columns: //这里是按group by的字段分区的
expr: _col0 //这里表示count
type: int
tag: -1
value expressions:
expr: _col2
type: bigint
Reduce Operator Tree:
Group By Operator //第二次聚集
aggregations:
expr: count(DISTINCT KEY._col1:0._col0) //uid:count
bucketGroup: false
keys:
expr: KEY._col0 //count
type: int
mode: mergepartial //合并
outputColumnNames: _col0, _col1
Select Operator //列裁剪
expressions:
expr: _col0
type: int
expr: _col1
type: bigint
outputColumnNames: _col0, _col1
File Output Operator //输出结果到文件
compressed: false
GlobalTableId: 0
table:
input format: org.apache.hadoop.mapred.TextInputFormat
output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
Stage: Stage-0
Fetch Operator
limit: -1

python嵌套作用域问题

Thu, 27 Dec 2012 16:28:02 +0000

之前都不太理解这个。。。

在Python中，使用一个变量之前不必预先声明它，但是在真正使用它之前，它必须已经绑定到某个对象；而名字绑定将在当前作用域中引入新的变量，同时屏蔽外层作用域中的同名变量，不论这个名字绑定发生在当前作用域中的哪个位置。

代码一

i = 6
def f():
def g():
print i # 返回10
i = 10 # 会绑定在f函数上
g()
f()

在f函数里，i有个赋值操作，所以全局变量i=6被屏蔽掉了。i绑定后，执行g函数，g函数会有f函数的作用域（？？），打印的i值=10

代码二

i = 6
def f():
def g():
print i # NameError: free variable 'i' referenced before assignment in enclosing scope
g()
i = 10
f()

把位置换了一下,i赋值在g函数的后面。print的时候就抛异常NameError了。
由于f函数中有一个同名的i参数赋值，会把外层的全局变量i给屏蔽掉（不管这个赋值在f函数的什么地方，都会先屏蔽掉上层的同名变量），但由于还没有绑定值就先执行g函数了，所以抛出异常。

参考

http://www.cnblogs.com/frydsh/archive/2012/08/12/2602100.html
http://www.python.org/dev/peps/pep-0227/

Extjs3.x带搜索的下拉多选框

Sat, 22 Dec 2012 14:44:59 +0000

修改自deebugger：https://github.com/deebugger/Ext.ux.form.ExtendedComboBox
修复了一些bug和加入预先过滤功能、延迟搜索。把例子放入extjs3.x的目录下，就可以看到了
例子下载：点此下载

Ext.util.DelayedTask很好用

Sat, 22 Dec 2012 11:51:27 +0000

Ext3.x有个这个类Ext.util.DelayedTask，
实现好简单。。做个定时器，如果还没执行又被触发就取消上一个定时器。。
应用场景在于想要延迟搜索，触发了keyup事件，但如果连续输入了N个字母，可不希望过滤N次，只需要过滤一次就够了。
可以在new的时候指定scope

var task = new Ext.util.DelayedTask(function(){
alert(Ext.getDom('myInputField').value.length);
});
Ext.get('myInputField').on('keypress', function(){
task.delay(500);
});

使用jsduck生成extjs3.x的代码

Tue, 18 Dec 2012 15:54:54 +0000

直接按说明的命令会出错
Error: Error while parsing /root/PROJECTS/foundation-ui/src/main/webapp/scripts/ext/src/ext-core/src/adapter/ext-base-begin.js: Line 18: Unexpected end of input

解决方法

jsduck ext-3.4.0/src/{core,data,dd,direct,ext-core/src/core,ext-core/src/data,ext-core/src/util,state,widgets} --output api 来源：http://www.sencha.com/forum/showthread.php?151739-JSDuck-the-tool-for-documenting-your-Ext-JS-apps&p=870848&viewfull=1#post870848

解决M2Crypto报错ImportError: DLL load failed

Mon, 17 Dec 2012 06:13:22 +0000

提示这个错误

import M2Crypto
Traceback (most recent call last):
File ““, line 1, in
File “C:\PYTHON26\lib\site-packages\M2Crypto__init__.py”, line 22, in
import __m2crypto
ImportError: DLL load failed: %1 不是有效的 Win32 应用程序。

解决方法

需要安装win32OpenSSL http://slproweb.com/products/Win32OpenSSL.html

Hive内容包含有\001会当成分割符

Sun, 21 Oct 2012 14:45:54 +0000

起因

发现某一行一列数据多了一个\001字符，导致select的时候在这一列后面的结果都不正确。

重现

hive版本：0.7.1cdh3u4

# 建表语句
create table test ( sn string, pv int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '`';
# 在另一个窗口构造一个错误数据文件
printf "a\001`12" > /tmp/test.txt
# 把数据load进表里
LOAD DATA LOCAL INPATH '/tmp/test.txt' OVERWRITE INTO TABLE test;

这里指定了字段的分割符为反引号（`），后来发现中途并不是全部用这个分割字段。
这时如果查询

select sn,pv from test;

返回的值居然是a NULL，而不是 a 12

原因

这条语句（select sn,pv from test;）会有三个Opertor，分别是TableScanOperator, SelectOperator, FileSinkOperator。FileSinkOperator是负责把结果输出到文件，输出前需要把对象做一次序列化存储到文件里。

//FileSinkOperator.java文件
@Override
public void processOp(Object row, int tag) throws HiveException {
...
// use SerDe to serialize r, and write it out
recordValue = serializer.serialize(row, inputObjInspectors[0]);
...
}

这里的row是由它的父Operator（SelectOperator）传入的，值是一个数组，暂且用row = [a\001, 12]表示(实际上这里面还包裹一些对象，但不妨碍分析)。
单步跟进后，发现recordValue返回的值是a\001\00112，这里的serializer用的分割符号是\001，所以现在变成了两个\001。
那么，这个serializer哪里来的？

//FileSinkOperator.java文件
serializer = (Serializer) conf.getTableInfo().getDeserializerClass().newInstance();
serializer.initialize(null, conf.getTableInfo().getProperties());

conf.getTableInfo()返回的是一个TableDesc，这个是在编译阶段genFileSinkPlan()构造的。

// SemanticAnalyzer.java
private Operator genFileSinkPlan(String dest, QB qb, Operator input)
throws SemanticException {
...
CreateTableDesc tblDesc = qb.getTableDesc(); //到qb里面找
...
if (tblDesc == null) {
if (qb.getIsQuery()) {
String fileFormat = HiveConf.getVar(conf, HiveConf.ConfVars.HIVEQUERYRESULTFILEFORMAT);
table_desc = PlanUtils.getDefaultQueryOutputTableDesc(cols, colTypes, fileFormat);
} else {
table_desc = PlanUtils.getDefaultTableDesc(Integer
.toString(Utilities.ctrlaCode), cols, colTypes, false);
}
} else {
table_desc = PlanUtils.getTableDesc(tblDesc, cols, colTypes);
}
...
}

发现在SemanticAnalyzer.java文件里，只有在CTAS的语句才会调用qb.setTableDesc()，所以这里tblDesc没有值，它自己用默认值创建了一个。PlanUtils.getDefaultQueryOutputTableDesc(cols, colTypes, fileFormat);分割符是Utilities.ctrlaCode，也就是\001 目前还没搞明白为什么分割符这么混乱。但可以知道为什么第二列本来应该返回数字却返回了null，是这里的分割符号是\001，那么就多了一列出来。

结论

就算你指定了分割符（FIELDS TERMINATED BY），但hive在中间交换数据时仍然使用它默认的分割符号\001-\009，暂时只想到在数据中过滤这些字符了，还不了解hive的序列化\反序列化。

使用eclipse调试hive mapreduce

Sun, 21 Oct 2012 12:12:35 +0000

我们知道Hive经过一些转换后，提交job到hadoop，一般我们只能debug到submitJob这里，而不知道后面那些mapper到底是怎样执行的。如果想要跟踪一下像SelectOperator是怎么处理的怎样做呢？

解决方法

使用local模式运行

确保配置hive-site.xml中mapred.job.tracker设为local

<property>
<name>mapred.job.tracker</name>
<value>local</value>
</property>

在hadoop的mapred-site.xml也有mapred.job.tracker配置，我这里也设为了local（不确定是否可以不设置）
如果设为local，系统会调用命令的方式运行

//MapRedTask.java
public int execute(DriverContext driverContext) {
//....
// Run ExecDriver in another JVM
executor = Runtime.getRuntime().exec(cmdLine, env, new File(workDir));
//....
}

上面的代码会最终调用这样的命令

/home/fatkun/hadoop/bin/hadoop jar /home/fatkun/local/hive-0.7.1-cdh3u4/lib/hive-exec-0.7.1-cdh3u4.jar org.apache.hadoop.hive.ql.exec.ExecDriver -plan file:/tmp/fatkun/hive_2012-10-21_19-55-58_644_8079645408059698793/-local-10002/plan.xml -jobconf ...

如果这里提示找不到null/bin/hadoop，是环境变量HADOOP_HOME读取不到的原因，在eclipse的debug environment加上一个HADOOP_HOME配置。(这里有图)

远程 debug hadoop

其实貌似不像远程debug，都是在本地进行的，我们知道上面是通过hadoop jar运行的。拷贝%HADOOP_HOME%/bin/hadoop一个备份出来，然后修改这个文件。

# 找到jar这一行
elif [ "$COMMAND" = "jar" ] ; then
CLASS=org.apache.hadoop.util.RunJar
# 加上下面这一行代码用于调试，6666是端口
HADOOP_OPTS="$HADOOP_OPTS -Xdebug -Xrunjdwp:transport=dt_socket,address=6666,server=y,suspend=y"
HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"

这样，每次调用hadoop jar这个命令时，就会等着eclipse调试了。
eclipse在Debug configuration配置一个Remote Java Application，端口填6666就可以开始调试了。
hadoop调试的更多信息点击这里
这样就可以在ExecMapper.java下断点调试了。

远程 debug hadoop 2

以debug模式启动Cli，${HIVE_HOME}/bin/hive –debug。进程会监听在8000端口等待调试连接。如果想更改监听端口，可以修改配置文件:${HIVE_HOME}bin/ext/debug.sh 。
在Eclipse中, 选择Debug configurations->Remote Java Application，填好Host和Port，确定。
如果Hadoop是0.23以上版本，debug模式启动Cli会报错：ERROR: Cannot load this JVM TI agent twice, check your java command line for duplicate jdwp options.。打开${Hadoop_HOME}/bin/hadoop，注释掉HADOOP_OPTS=”$HADOOP_OPTS $HADOOP_CLIENT_OPTS”即可。注1：https://issues.apache.org/jira/browse/HIVE-2500 http://long-xie.iteye.com/blog/1779072 在yarn中单步调试时使用local job SET mapred.job.tracker=local; SET hive.exec.mode.local.auto=true; SET fs.defaultFS=file:///;

JAVA反射(Reflect)的使用

Sun, 07 Oct 2012 15:59:52 +0000

反射方法Method

getDeclaredMethod是获取该类声明的方法，不包括继承的。

Method getDeclaredMethod(String name, Class… parameterTypes)
返回一个 Method 对象，该对象反映此 Class 对象所表示的类或接口的指定已声明方法。还有一个getMethod是只能获取public的方法 getMethod(String name, Class… parameterTypes)
返回一个 Method 对象，它反映此 Class 对象所表示的类或接口的指定公共成员方法。 name参数是方法名；parameterTypes 参数是按声明顺序标识该方法形参类型的 Class 对象的一个数组
如：

LogFactory.class.getDeclaredMethod("functionName",new Class[]{String.class,int.class})

如果方法没有参数，提供null或者省略都可以。
method.invoke中，invoke(Object obj, Object… args) ，obj是对象，如果是静态方法，填入null；args参数是一个Object对象数组，如 new Object[] {“test”, new Integer(10)} 下面的例子是想要反射common logging 包里的LogFactory getContextClassLoader方法。这是一个private static方法

Method method = LogFactory.class.getDeclaredMethod("getContextClassLoader");
method.setAccessible(true); // 如果是private的方法，要把它设为可访问
ClassLoader classLoader = (ClassLoader)method.invoke(null);

反射属性Field

和method差不多，也有getDeclaredField和getField方法。
可以通过field.get来获取值，参数是你要获取的是哪个对象的属性。如果是静态变量，填入null
另外可以通过field.set来赋值。

Field field = LogFactory.class.getDeclaredField("factories");
field.setAccessible(true);
Hashtable obj = (Hashtable)field.get(null);

例子

在SesstionState里有一个ThreadLocal的pravate tss变量，我们要取到这个变量，并且调用它的remove方法。注意：ThreadLocal的对象是在每个线程都存有一个map，把值存在那里，所以，必须和原线程一致才能取到他的值。

// SessionState里有一个private static的tss局部变量
Class clazz = SessionState.class;
Field field = clazz.getDeclaredField("tss"); // 由于是private的，不能通过getField获取
field.setAccessible(true); // 设为可访问
ThreadLocal threadLocal = (ThreadLocal)field.get(sessionState);// 通过field.get(对象) 获取它的值
threadLocal.remove();

python安装pywin32出现DLL load failed的解决办法

Fri, 21 Sep 2012 05:46:22 +0000

在cmd执行python c:/Python26/Scripts/pywin32_postinstall.py -install 我的python目录是python2.6 来源：http://stackoverflow.com/questions/6379195/dll-load-errors-in-python-executable-made-from-pywin32

mysql kill process解决死锁

Thu, 06 Sep 2012 06:11:56 +0000

主要是两个命令：

show processlist;
和
kill id,id...;

版权声明：转载时请以超链接形式标明文章原始出处和作者信息及本声明
来源：http://ri0day.blogbus.com/logs/59186177.html mysql使用myisam的时候锁表比较多，尤其有慢查询的时候，造成死锁.这时需要手动kill掉locked的process.使他释放. (以前我都是重起服务)..惭愧啊.. 演示:(id 7是我用python 来连过来的一个会话,虽然是状态是sleep,为了演示，干掉他)

mysql> show processlist;
+----+------+-----------+------+---------+------+-------+------------------+
¦ Id ¦ User ¦ Host ¦ db ¦ Command ¦ Time ¦ State ¦ Info ¦
+----+------+-----------+------+---------+------+-------+------------------+
¦ 7 ¦ root ¦ localhost ¦ yy ¦ Sleep ¦ 154 ¦ ¦ NULL ¦
¦ 8 ¦ root ¦ localhost ¦ NULL ¦ Query ¦ 0 ¦ NULL ¦ show processlist ¦
+----+------+-----------+------+---------+------+-------+------------------+
2 rows in set (0.00 sec)
mysql> kill 7
-> ;
mysql> show processlist;
+----+------+-----------+------+---------+------+-------+------------------+
¦ Id ¦ User ¦ Host ¦ db ¦ Command ¦ Time ¦ State ¦ Info ¦
+----+------+-----------+------+---------+------+-------+------------------+
¦ 8 ¦ root ¦ localhost ¦ NULL ¦ Query ¦ 0 ¦ NULL ¦ show processlist ¦
+----+------+-----------+------+---------+------+-------+------------------+
1 row in set (0.00 sec)

Fatkun批量下载图片扩展已经在chrome webstore上线

Tue, 14 Aug 2012 17:16:46 +0000

非常感谢(此处应要求匿名)的大力支持~！！帮忙支付了webstore的验证费用！！帮了大忙。。暂时上线的还是当前版本。。。。之后再做一个更新。。如果喜欢这个扩展，给好评哦，亲~ 点此去围观

鉴于有些人说图片下载扩展的图标太难看，求图标

Mon, 30 Jul 2012 15:41:21 +0000

目前这个扩展是我用photoshop叠加了几个图片做出来的，自我感觉没那么难看啊。。主要表达下载图片的意思。。你觉得呢？另外，喜欢这个扩展的人有设计师么，或者身边有设计师朋友么，能不能帮这个扩展设计一个图标？
作为回报，如果扩展使用了你的图标，会在选项中加入你的链接标注图标是由你提供的，虽然目前这个扩展的用户不多，但我觉得还算是一个好用的扩展吧。。图标可以通过邮件发送给我，我的邮箱：cyk.cn#qq.com(把#换成@)

目前在使用的（我自己设计的=。=）：

目前收到的图标：

来自：墨鱼

**来自：大翠**

Fatkun图片批量下载谷歌浏览器扩展1.4.3版下载

Sun, 22 Jul 2012 09:22:53 +0000

1.4.3下载：点此下载如果上一版本用不了，试试下载1.4.2这个版本。目前1.4.2这个版本还没自动更新。如果好了或者还有问题，在评论告诉我。另外，在chrome22版本，谷歌已经不允许从外部的网站安装扩展了，可以打开扩展界面，把下载好的扩展拖进去安装。 1.4.2版update:2012-07-22

尝试修复某些版本使用的问题，请通过评论反馈给我
允许每次把图片汇集到一个输出页面（在【选项】可以关闭）
增加花瓣网取大图（所有支持的网站可以在【选项】看到）
增加了一个改扩展名的脚本，在输出页面可以下载下来放到图片文件夹双击运行

chrome扩展让指定标签作为当前浏览标签

Sat, 21 Jul 2012 15:34:15 +0000

Tab有一个active表示这个标签是否是激活的，但想要把某个tab变成激活怎么办呢？
可以使用chrome.tabs.highlight，可以传入多个index，或者一个，第一个会变成激活状态。

chrome.tabs.highlight(object highlightInfo, function callback)
高亮突出指定标签页。
参数
highlightInfo ( object )
windowId ( optional integer ) [从r136510开始该属性可选]
包含标签页的窗口。
tabs ( array of integer or integer )
要高亮突出的一个或多个标签页索引。
callback ( function )
回调函数
callback参数应该指定一个如下形式的函数：
function(Window window) {...};
window ( Window )
高亮突出的标签页所在窗口的详情。

中文api来源：https://sites.google.com/site/crxdoczh/devguide/browserinteraction/tabs

hive命令行抛NullPointerException

Wed, 18 Jul 2012 16:11:23 +0000

我只是执行了一下这个代码

create temporary function strip as 'com.fatkun.Strip';

就抛出异常

hive> create temporary function strip as 'com.fatkun.Strip';
OK
Exception in thread "main" java.lang.NullPointerException
at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:221)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:286)
at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:516)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:197)

从代码中看CliDriver.java:221，
原来和print header有关系。。。囧之前是为了打印header
默认这个是false的，所以把它去掉或者在hive-site置为false即可

<property>
<name>hive.cli.print.header</name>
<value>false</value>
</property>

挂载fuse-dfs遇到的问题

Wed, 18 Jul 2012 15:27:01 +0000

以下是在ubuntu12.04 amd64， hadoop cdh3u3下安装在${HADOOP_HOME}/contrib/fuse-dfs目录下已经帮我编译了一个64bit的fuse-dfs了，不用自己编译（苦逼，自己编译出错=。=）

缺少某些.so文件

把这些so加入到LD_LIBRARY_PATH中，可以写入~/.bashrc文件
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$JAVA_HOME/jre/lib/amd64/server
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/c++/lib

提示/etc/fuse.conf没权限

把当前用户加入fuse组， adduser 用户名 fuse
检查一下/etc/fuse.conf权限是否是可读

挂载点input/output error

变成一堆？？？号，原因是没有加上-d参数
./fuse_dfs_wrapper.sh dfs://localhost:8020 /mnt/dfs -d
变成？？？可以通过sudo umount /mnt/xxx解除挂载

class not found

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
把hadoop的lib加进去

for f in $(find $HADOOP_HOME/ -name '*.jar')
do
export CLASSPATH=$CLASSPATH:$f
done

最终的脚本是：

#!/bin/sh
for f in $(find $HADOOP_HOME/ -name '*.jar')
do
export CLASSPATH=$CLASSPATH:$f
done
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$JAVA_HOME/jre/lib/amd64/server
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/c++/lib
./fuse_dfs_wrapper.sh dfs://localhost:8020 /mnt/dfs -d &

Fatkun图片批量下载1.4版更新

Sun, 08 Jul 2012 14:31:29 +0000

图片批量下载，可以找出当前页面的所有图片,提供按分辨率筛选图片，用另存为页面就可以把所有图片下载下来。只为做一个简单好用的批量下图扩展。 1.4.1正式版下载地址：https://bath-image-download.googlecode.com/files/batch1_4_1.crx （已经下载了1.4抢先版的应该不用重新下，会自动更新） 1.4版update:2012-07-08****

支持多标签获取图片
支持快捷键Alt + Z
增加特定网站获取大图片：QQ空间、QQ相册、百度相册、豆瓣相册
修正新浪微博相册取不了大图的问题
改了脚本加载方式，可能要重启浏览器才生效
Ctrl + S保存网页的时候要注意保存类型是：网页/全部这次支持了多个相册取图，QQ空间也可以取图了，快去试试吧！

在Windows下编译hadoop eclipse-plugin

Sat, 07 Jul 2012 09:06:01 +0000

1.首先准备好ant和maven，配置好ANT_HOME和MAVEN_HOME的环境变量，把%ANT_HOME%/bin和%MAVEN/HOME%/bin配置在PATH变量。
（貌似如果只是编译eclipse-plugin不用安装maven）我这里的版本是hadoop-core-0.20.2-cdh3u3，其他版本的编译方法也一样。 2.在你下载的hadoop根目录下，把hadoop-core-0.20.2-cdh3u3.jar解压到build\classes目录下。
3.把hadoop-core-0.20.2-cdh3u3.jar拷贝到build目录下 4.从CMD进入到src\contrib\eclipse-plugin目录，执行以下命令：
eclipse.home=D:/eclipse/需要指定你eclipse的安装目录
version=0.20.2-cdh3u3 是你的hadoop版本

ant -Declipse.home=D:/eclipse/ -Dversion=0.20.2-cdh3u3 jar

会在build\contrib\eclipse-plugin生成jar文件，但这时还不可以用。
否则会出现错误：

An internal error occurred during: "Map/Reduce location status updater".
org/codehaus/jackson/map/JsonMappingException
An internal error occurred during: "Connecting to DFS myhadoop".
org/apache/hadoop/thirdparty/guava/common/collect/LinkedListMultimap

5.还要从{hadoop根目录}/lib下，找到jackson-core-asl-1.5.2.jar,jackson-mapper-asl-1.5.2.jar,guava-r09-jarjar.jar把他们都解压出来放入刚生成的hadoop-eclipse-plugin-0.20.2-cdh3u3.jar classes目录下（可以通过winrar直接拖进去） 6.最后，把hadoop-eclipse-plugin-0.20.2-cdh3u3.jar放进eclipse的dropin目录，重启eclipse就可以了。 PS:本来想把这些包拷贝进lib目录下，然后改MANIFEST.MF，发现打死不可以。。不知道为什么我编译的版本，适用于eclipse3.7和hadoop-0.20.2-cdh3u3：下载

Hive查询用到的语句记录

Thu, 05 Jul 2012 09:03:59 +0000

子查询

子查询需要一个别名

SELECT * FROM (SELECT A,B FROM atable) alaisName

group by

这样的语句会报错，提示a不在group by里面

select a,sum(b) from atable group by b

hive Expression Not In Group By Key
via:来源
解决方法是，使用 max、min、或者collect_set，如：

select max(a),sum(b) from atable group by b

group by 之后字段可以作为条件再继续查找

SELECT * FROM (SELECT SUM(A) ASUM FROM ATABLE GROUP BY A) SUBQ1 WHERE ASUM > 10

Join

默认join是内连接，还有left outer join 、right outer join和 full outer join

可以用case when … then … else …

语法: CASE a WHEN b THEN c [WHEN d THEN e]* [ELSE f] END via:HIVE UDF整理（九） via:数据倾斜总结

select *
from log a
left outer join users b
on case when a.user_id is null then concat(‘hive’,rand() ) else a.user_id end = b.user_id;

Not in

not in 在Hive0.8才支持，在之前的版本可以用left outer join代替 Hive使用LEFT OUTER JOIN 实现not in

-- 要实现这个，key不在B表
select a.key from a where key not in(select key from b)
-- 改写为 左连接key，找出B表key为null的
select a.key from a left outer join b on a.key=b.key where b.key1 is null

android PopupWindow

Sun, 24 Jun 2012 05:28:13 +0000

View loadingView = this.getLayoutInflater().inflate(R.layout.loading, null);
PopupWindow loaddingPopup = new PopupWindow(loadingView, LayoutParams.MATCH_PARENT, LayoutParams.MATCH_PARENT);
loaddingPopup.setAnimationStyle(R.style.popupWindow); //配置动画
loaddingPopup.update();
loaddingPopup.showAtLocation(findViewById(R.id.btnRefresh), Gravity.CENTER, 0, 0); //显示在中间

配置一个animate, popupwindow.xml

<?xml version="1.0" encoding="utf-8"?>
<set xmlns:android="http://schemas.android.com/apk/res/android" >
<alpha
android:duration="500"
android:fromAlpha="0.0"
android:interpolator="@android:anim/accelerate_interpolator"
android:toAlpha="1.0" />
</set>

除了要配置一个animate外，还需要配置style

<?xml version="1.0" encoding="utf-8"?>
<resources>
<style name="popupWindow">
<item name="android:windowEnterAnimation">@anim/popupwindow</item>
</style>
</resources>

容易犯错的地方是，这里的setAnimationStyle是指style，不是动画

popupWindow.setAnimationStyle(R.anim.popupwindow); // 错误写法

popwindow通过setAnimationStyle(int animationStyle)函数来设置动画效果
android:windowEnterAnimation表示进入窗口动画
android:windowExitAnimation表示窗口退出动画更多信息：android PopupWindow 以及activity切换的动画效果对比

Hive Select * 替换回列字段

Sun, 03 Jun 2012 16:11:42 +0000

Hive中会把TOK_ALLCOLREF替换成各个列名称，来看看代码中是如何做到的。
我以TOK_ALLCOLREF入手看代码，执行顺序不是这样的，这算是倒叙？=。= 来看SemanticAnalyzer.class这个类，这是查询中用得最多了。
首先看到genSelectPlan()方法

private Operator<?> genSelectPlan(ASTNode selExprList, QB qb,
Operator<?> input) throws SemanticException {
...
if (expr.getType() == HiveParser.TOK_ALLCOLREF) {
pos = genColListRegex(".*", expr.getChildCount() == 0 ? null
: getUnescapedName((ASTNode)expr.getChild(0)).toLowerCase(),
expr, col_list, inputRR, pos, out_rwsch, qb.getAliases());
selectStar = true;
}
...
}

咱们的列名称就在col_list存着，继续看genColListRegex()方法。可以发现它是由传入的inputRR字段获取的。
这inputRR是从调用这个方法就传过来了。。继续往上看。
genBodyPlan(QB qb, Operator input)
还是传过来的。。

Operator bodyOpInfo = genBodyPlan(qb, srcOpInfo);

srcOpInfo就是从这里来的，看一下genTablePlan

// Recurse over all the source tables
for (String alias : qb.getTabAliases()) {
Operator op = genTablePlan(alias, qb);
aliasToOpInfo.put(alias, op);
}

private Operator genTablePlan(String alias, QB qb) throws SemanticException {
String alias_id = (qb.getId() == null ? alias : qb.getId() + ":" + alias);
Table tab = qb.getMetaData().getSrcForAlias(alias);
RowResolver rwsch;
........................
rwsch = new RowResolver();
try {
// 先从Table中取到所有字段，加入RowResolver中
StructObjectInspector rowObjectInspector = (StructObjectInspector) tab
.getDeserializer().getObjectInspector();
List<? extends StructField> fields = rowObjectInspector
.getAllStructFieldRefs();
for (int i = 0; i < fields.size(); i++) {
rwsch.put(alias, fields.get(i).getFieldName(), new ColumnInfo(fields
.get(i).getFieldName(), TypeInfoUtils
.getTypeInfoFromObjectInspector(fields.get(i)
.getFieldObjectInspector()), alias, false));
}
} catch (SerDeException e) {
throw new RuntimeException(e);
}
// 这里再把Partition的字段给补上
// Hack!! - refactor once the metadata APIs with types are ready
// Finally add the partitioning columns
for (FieldSchema part_col : tab.getPartCols()) {
LOG.trace("Adding partition col: " + part_col);
// TODO: use the right type by calling part_col.getType() instead of
// String.class
rwsch.put(alias, part_col.getName(), new ColumnInfo(part_col.getName(),
TypeInfoFactory.stringTypeInfo, alias, true));
}

可以看到RowResolver存的值是列字段+分区字段。
最终select * 会得到这些值。。

android抓包

Sat, 02 Jun 2012 18:29:14 +0000

首先要安装好adb驱动,手机通过usb连接. 通过adb shell进入shell,再su有root权限
把/system分区变成可读写
android4.0的命令是这个,具体可以参考这篇文章,有点不同
mount -o remount /dev/block/platform/s3c-sdhci.0/by-name/system /system 下载tcpdump ,备用地址上传文件并添加权限
adb push tcpdump /system/xbin/
adb shell
cd /system/xbin/
chmod +x tcpdump 然后执行一下
tcpdump -p -vv -s 0 -w /sdcard/capture.pcap 执行要监控的程序最后把日志取下来
adb pull /sdcard/capture.pcap 使用WireShark打开日志文件进行分析。

参考文章

http://yezhiqiu-love-yeah-net.iteye.com/blog/1122237
http://blog.csdn.net/Zengyangtech/article/details/6030390

python生成缩略图和合并图片

Sat, 02 Jun 2012 14:58:25 +0000

第一次使用Python Imaging Library,参考了各类文章.
直接贴代码吧,不长.容易理解以下代码是把一个目录下的图片生成正方形的缩略图,并把缩略图合并成一个大图…

#!/usr/bin/env python
#coding=utf-8
'''
Created on 2012-6-2
@author: fatkun
'''
import Image
import os
import sys
import glob
import time
def make_thumb(path, thumb_path, size):
"""生成缩略图"""
img = Image.open(path)
width, height = img.size
# 裁剪图片成正方形
if width > height:
delta = (width - height) / 2
box = (delta, 0, width - delta, height)
region = img.crop(box)
elif height > width:
delta = (height - width) / 2
box = (0, delta, width, height - delta)
region = img.crop(box)
else:
region = img
# 缩放
thumb = region.resize((size, size), Image.ANTIALIAS)
base, ext = os.path.splitext(os.path.basename(path))
filename = os.path.join(thumb_path, '%s_thumb.jpg' % (base,))
print filename
# 保存
thumb.save(filename, quality=70)
def merge_thumb(files, output_file):
"""合并图片"""
imgs = []
width = 0
height = 0
# 计算总宽度和长度
for file in files:
img = Image.open(file)
if img.mode != 'RGB':
img = img.convert('RGB')
imgs.append(img)
if img.size[0] > width:
width = img.size[0]
height += img.size[1]
# 新建一个白色底的图片
merge_img = Image.new('RGB', (width, height), 0xffffff)
cur_height = 0
for img in imgs:
# 把图片粘贴上去
merge_img.paste(img, (0, cur_height))
cur_height += img.size[1]
merge_img.save(output_file, quality=70)
if __name__ == '__main__':
ROOT_PATH = os.path.abspath(os.path.dirname(__file__))
IMG_PATH = os.path.join(ROOT_PATH, 'img')
THUMB_PATH = os.path.join(IMG_PATH, 'thumbs')
if not os.path.exists(THUMB_PATH):
os.makedirs(THUMB_PATH)
# 生成缩略图
files = glob.glob(os.path.join(IMG_PATH, '*.jpg'))
begin_time = time.clock()
for file in files:
make_thumb(file, THUMB_PATH, 90)
end_time = time.clock()
print ('make_thumb time:%s' % str(end_time - begin_time))
# 合并图片
files = glob.glob(os.path.join(THUMB_PATH, '*_thumb.jpg'))
merge_output = os.path.join(THUMB_PATH, 'thumbs.jpg')
begin_time = time.clock()
merge_thumb(files, merge_output)
end_time = time.clock()
print ('merge_thumb time:%s' % str(end_time - begin_time))

参考文章

API
用 PIL 写了个简单的缩略图生成程序
 Python代码：合并图片

格式化Hive语法树(python)

Sat, 19 May 2012 17:19:02 +0000

为了容易看一点，把用explain得到的语法树加上一些缩进. 该代码只是简单的加上缩进.

效果

这是查询explain select key from kv mykv join test mytest on (mykv.key == mytest.id);语句获取的语法树

(TOK_QUERY
(TOK_FROM
(TOK_JOIN
(TOK_TABREF
(TOK_TABNAME kv)
mykv)
(TOK_TABREF
(TOK_TABNAME test)
mytest)
(==
(.
(TOK_TABLE_OR_COL mykv)
key)
(.
(TOK_TABLE_OR_COL mytest)
id)
)
)
)
(TOK_INSERT
(TOK_DESTINATION
(TOK_DIR TOK_TMP_FILE)
)
(TOK_SELECT
(TOK_SELEXPR
(TOK_TABLE_OR_COL key)
)
)
)
)

代码如下

#!/usr/bin/env python
# -*- coding: utf-8 -*-
'''
Created on 2012-5-20
@author: fatkun
'''
import sys
# explain select key from kv mykv join test mytest on (mykv.key == mytest.id);
original_str = """(TOK_QUERY (TOK_FROM (TOK_JOIN (TOK_TABREF
(TOK_TABNAME kv) mykv) (TOK_TABREF (TOK_TABNAME test) mytest)
(== (. (TOK_TABLE_OR_COL mykv) key) (. (TOK_TABLE_OR_COL mytest) id))))
(TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (TOK_TABLE_OR_COL key)))))"""
tmp_str = original_str.strip().replace('\n', '')
def my_print(mystr):
sys.stdout.write(mystr)
def print_indent(indent_level):
for i in range(indent_level):
my_print(' ' * 4)
indent_level = 0
for char in tmp_str:
if char == '(':
# 如果是左括号,先换行,然后打印缩进+(
my_print('\n')
print_indent(indent_level)
my_print(char)
indent_level += 1
elif char == ')':
# 如果是右括号,先打印),再换行,打印下一级别的缩进
indent_level -= 1
my_print(char)
my_print('\n')
print_indent(indent_level - 1)
else:
# 其他的直接打印出来
my_print(char)

[转]解决ubuntu下mysql不能远程连接数据库的问题

Thu, 03 May 2012 18:00:09 +0000

来源：http://www.php100.com/html/webkaifa/database/Mysql/2010/1115/6818.html
Ubuntu10.04上自带的MySQL，执行了
root@ubuntu:~#sudo apt-get install mysql
安装完mysql-server 启动mysql
root@ubuntu:~#/etc/init.d/mysql start 本地可以连接进入数据库。
root@ubuntu:~#mysql -uroot -p 设置了远程访问权限：
mysql> grant all PRIVILEGES on *.* to admin@’%’ identified by ‘123456′;
Query OK, 0 rows affected (0.04 sec) mysql> use information_schema
mysql> select * from user_privileges;
查询到有下面的结果：’admin’@’%’，说明mysql已经授权远程连接。在windows下访问Ubuntu的数据库，连接不上，但是Ubuntu上安装的apache可以访问。
用iptalbes添加端口3306后也无法访问。
root@ubuntu:~# iptables -A INPUT -p tcp –dport 3306 -j ACCEPT Ubuntu上查看Mysql网络连接：
root@ubuntu:~# netstat -an |grep 3306
tcp 0 0 127.0.0.1:3306 0.0.0.0:* LISTEN
本地端口也在监听 root@ubuntu:~# ufw status
Firewall not loaded
本地防火墙未打开后来在网上找到一个解决办法：
查看/etc/mysql/my.cnf找到bind-address才发现配置的是 127.0.0.1(bind-address=127.0.0.1)，直接改为bind-address=192.168.0.xxx(本机ip)，然后再查看3306端口打开了，ok，可以正常连接了

Fatkun图片批量下载谷歌浏览器扩展1.3版更新了

Tue, 01 May 2012 14:00:51 +0000

1.3版插件地址：https://bath-image-download.googlecode.com/files/batch1_3.crx 1.3版update:2012-05-01****

支持特定网站取大图，添加新浪微博和新浪轻博客的支持
支持input图片
添加视图切换最近工作上有点忙，先做一个小更新。有好多东西要学，是压力也是动力~！详细信息：http://fatkun.com/2010/09/batch-image-download.html

Ubuntu 11.04 下安装配置 JDK 7

Sun, 29 Apr 2012 17:44:19 +0000

文章来源：Ubuntu 11.04 下安装配置 JDK 7 这篇文章说得很清晰。。复制过来。。以作备用。。
———————
第一步：下载jdk-7-linux-i586.tar.gz

wget -c http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-i586.tar.gz

(注：如果下载不下来，建议使用迅雷下载，然后拷贝到Linux系统上。)
第二步：解压安装

sudo tar zxvf ./jdk-7-linux-i586.tar.gz -C /usr/lib/jvm
cd /usr/lib/jvm
sudo mv jdk1.7.0/ java-7-sun

第三步：修改环境变量

vim ~/.bashrc

添加：

export JAVA_HOME=/usr/lib/jvm/java-7-sun
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

保存退出，输入以下命令使之立即生效。

source ~/.bashrc

第四步：配置默认JDK版本
由于ubuntu中可能会有默认的JDK，如openjdk，所以，为了将我们安装的JDK设置为默认JDK版本，还要进行如下工作。
执行代码:

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java-7-sun/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java-7-sun/bin/javac 300
sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/java-7-sun/bin/jar 300

执行代码：

sudo update-alternatives --config java

系统会列出各种JDK版本，如下所示：

snowdream@snowdream:~$ sudo update-alternatives --config java
有 3 个候选项可用于替换 java (提供 /usr/bin/java)。
选择 路径 优先级 状态
------------------------------------------------------------
* 0 /usr/lib/jvm/java-6-openjdk/jre/bin/java 1061 自动模式
1 /usr/lib/jvm/java-6-openjdk/jre/bin/java 1061 手动模式
2 /usr/lib/jvm/java-6-sun/jre/bin/java 63 手动模式
3 /usr/lib/jvm/java-7-sun/bin/java 300 手动模式

要维持当前值[*]请按回车键，或者键入选择的编号：3
update-alternatives: 使用 /usr/lib/jvm/java-7-sun/bin/java 来提供 /usr/bin/java (java)，于手动模式中。
第五步：测试

snowdream@snowdream:~$ java -version
java version "1.7.0"
Java(TM) SE Runtime Environment (build 1.7.0-b147)
Java HotSpot(TM) Server VM (build 21.0-b17, mixed mode)

eclipse上单步调试Hive

Sat, 14 Apr 2012 10:06:16 +0000

在百度找到这篇文章：在Windows eclipse上单步调试Hive教程可是我死活搞不定在windows安装hadoop和hive，cgywin不靠普啊。。还是在ubuntu下调试了。

准备

前提条件是你已经部署好hadoop和hive，能够正常的执行hive查询。我在~/workspace/hive新建了两个目录lib和conf

从hive目录中的lib和hadoop目录中的lib复制一份到一个目录里，我是放在~/workspace/hive/lib
还要把hadoop目录下的hadoop*.jar都拷贝过来吧。
如果用mysql做metastore的数据库，还需要把mysql-connector的lib加上
把hive的conf文件夹拷贝过来（要已配置好的conf文件哦）
把hive中的src目录拷贝进来

创建项目

在这个目录下（~/workspace/hive/src/cli）的代码是hive命令行的代码，我们可以通过调试它来了解hive的执行过程。在这个目录下，用eclipse新建一个项目。配置bulid path，把我们准备好的lib全部加上这个时候，代码应该没有编译错误了，如果有，请检查一下那个lib没加上。还有个重要的步骤！hive是怎样找它的配置文件的呢？我们要把conf目录加入classpath中，在debug configuration中的Classpath，点击左侧的advanced，add exteral path，选上我们准备好的conf目录。这样就可以开始debug了！如果你运行报does not have a sch错误，应该是由于没找到配置文件引起的。
顺便看看hive是怎么找到配置文件的。
都是通过getClassLoader().getResource()方法来获取的，所以配置文件夹必须在classpath中！

URL hconfurl = getClassLoader().getResource("hive-default.xml");
if (hconfurl == null) {
l4j.debug("hive-default.xml not found.");
} else {
addResource(hconfurl);
}
URL hsiteurl = getClassLoader().getResource("hive-site.xml");
if (hsiteurl == null) {
l4j.debug("hive-site.xml not found.");
} else {
addResource(hsiteurl);
}

Hive为什么会创建DELETEME表

Tue, 10 Apr 2012 16:16:45 +0000

在Hive中会去取schme name和catalog（暂时不知道这个东西有什么用）
是第三方的库datanucleus在操作，
可以看到它创建DELETEME123213一些随机数字的表，然后删掉。。目的就为了去获取schme name和catalog 可以在hive-site.xml配置，不让做这个操作…

<property>
<name>datanucleus.fixedDatastore</name>
<value>true</value>
</property>

这样会导致的结果暂时未知。。。o(╯□╰)o
另外，最好把datanucleus.autoCreateSchema设为false
官方的注释中表明，如果你第一次已经建好了表，就把这个设回false，为了方便第一次创建表结构。

<property>
<name>datanucleus.autoCreateSchema</name>
<value>false</value>
</property>

Hive MetaStore建表与修改表分析

Tue, 10 Apr 2012 15:57:54 +0000

问题

使用Hive MetaStore（这里指的是通过thrift连接hiveserver） Create table 和 Alter table的时候遇到一个问题
建表时指定的location为 /mnt/dfs/xxx，实质上使用hiveMetastore会帮你做一个转换，最后location变成 hdfs://hostname:port/mnt/dfs/xxx的路径
但在修改表的时候，却不会帮你做这样的转换！！坑爹啊。。你指定的是什么就是什么~ 注：通过hive命令行方式执行sql命令建表也是这样，不过修改表的时候，location必须是这样的路径hdfs://hostname:port/mnt/dfs/xxx才可以修改成功，否则报错。

分析问题

从代码入手吧。。
进入这个目录
hive-0.7.1-cdh3u3\src\metastore\src\java\org\apache\hadoop\hive\metastore
这里都是hiveserver的代码了。打开HiveMetaStore.java代码，咱们直奔主题，找create_table和alter_table去

public void create_table(final Table tbl) throws AlreadyExistsException,
MetaException, InvalidObjectException {
...
create_table_core(ms, tbl);

调用了create_table_core(ms, tbl);继续

private void create_table_core(final RawStore ms, final Table tbl)
throws AlreadyExistsException, MetaException, InvalidObjectException {
//检查了一些名称，列名，分区之类的
//...
ms.openTransaction();
//....
if (!TableType.VIRTUAL_VIEW.toString().equals(tbl.getTableType())) {
if (tbl.getSd().getLocation() == null
|| tbl.getSd().getLocation().isEmpty()) {
tblPath = wh.getDefaultTablePath(
tbl.getDbName(), tbl.getTableName());
} else {
if (!isExternal(tbl) && !MetaStoreUtils.isNonNativeTable(tbl)) {
LOG.warn("Location: " + tbl.getSd().getLocation()
+ " specified for non-external table:" + tbl.getTableName());
}
// 主要就是这里啦！getDnsPath！！！帮我们把dataurl补全
tblPath = wh.getDnsPath(new Path(tbl.getSd().getLocation()));
}
tbl.getSd().setLocation(tblPath.toString());
}
//...
ms.createTable(tbl);
}

因为我们的location不为空~所以..
主要就是这一句：tblPath = wh.getDnsPath(new Path(tbl.getSd().getLocation()));
看看getDnsPath()做了什么，打开代码Warehouse.java

public Path getDnsPath(Path path) throws MetaException {
FileSystem fs = getFs(path);
return (new Path(fs.getUri().getScheme(), fs.getUri().getAuthority(), path
.toUri().getPath()));
}

就帮我们做了些转换。。。我们建表看到的hdfs://hostname:port就是这里加上的。再来看一下alter_table

public void alter_table(final String dbname, final String name, final Table newTable)
throws InvalidOperationException, MetaException {
\\...
alterHandler.alterTable(ms, wh, dbname, name, newTable);

跳入这个类HiveAlterHandler.java，只有一个方法：

public void alterTable(RawStore msdb, Warehouse wh, String dbname,
String name, Table newt) throws InvalidOperationException, MetaException {
//这里主要判断表名有没有改
//如果改了分区字段则抛错误
//如果改了表名但location没改或者为空，并且不是外部表，则把数据给移了~
//最后，直接的alterTable了。。？虾米，location就这样保存进去了？！
// now finally call alter table
msdb.alterTable(dbname, name, newt);
// commit the changes
success = msdb.commitTransaction();
}

location没做什么处理就保存进去了。。。 RawStore是什么东西？代码中很多用了反射的方式调用。。貌似实质上是ObjectStore.java类。。
这个类使用jdo来操作metastore数据库

记录一些常用的linux shell命令

Sun, 25 Mar 2012 13:31:35 +0000

日期

取前一天

date -d ‘1 days ago’ +%Y-%m-%d

命令別名設定功能： (alias)

alias ll=’ls -al’

一些特殊值

$$：(關於本 shell 的 PID)
$!：得到子进程的进程PID,例如nohup的命令可以通过这个获取PID
$?：(關於上個執行指令的回傳值)
$#: 参数个数 $@ ：代表『 “$1” “$2” “$3” “$4” 』
$* ：代表『 “$1c$2c$3c$4” 』，其中 c 為分隔字元

declare

数值计算要用 declare -i sum=100+12
也可以用sum=$((100+12))计算
[root@www ~]# declare [-aixr] variable
選項與參數：
-a ：將後面名為 variable 的變數定義成為陣列 (array) 類型
-i ：將後面名為 variable 的變數定義成為整數數字 (integer) 類型
-x ：用法與 export 一樣，就是將後面的 variable 變成環境變數；
-r ：將變數設定成為 readonly 類型，該變數不可被更改內容，也不能 unset

数组

var1=”small min”
echo $(var1)

截取字符串

# 从第0位开始截取2个字符
echo ${a:0:2}

删除/替换字符

echo ${PATH#/usr_:} #从前到后开始删除掉第一个符合条件的字符
echo ${PATH##/usr_:} #从前到后开始删除掉所有符合条件的字符
也可以从后面开始，就是把#号替换成%号
echo ${PATH/usr/USR} #替换
echo ${PATH//usr/USR} #替换所有

&&和||

可以把多条命令串起来，例如
ls ./test/||mkdir ./test/ #如果目录不存在，创建一个

判断

使用中括号时注意空格必须要有[ -e “xxx” ] 语法

if [ "$name" == "Fatkun" ]; then
echo "Hi!Fatkun"
elif [ ... ]; then
echo "..."
else
echo "..."
fi

測試的標誌	代表意義
1. 關於某個檔名的『檔案類型』判斷，如 test -e filename 表示存在否
-e	該『檔名』是否存在？(常用)
-f	該『檔名』是否存在且為檔案(file)？(常用)
-d	該『檔名』是否存在且為目錄(directory)？(常用)
-b	該『檔名』是否存在且為一個 block device 裝置？
-c	該『檔名』是否存在且為一個 character device 裝置？
-S	該『檔名』是否存在且為一個 Socket 檔案？
-p	該『檔名』是否存在且為一個 FIFO (pipe) 檔案？
-L	該『檔名』是否存在且為一個連結檔？
2. 關於檔案的權限偵測，如 test -r filename 表示可讀否 (但 root 權限常有例外)
-r	偵測該檔名是否存在且具有『可讀』的權限？
-w	偵測該檔名是否存在且具有『可寫』的權限？
-x	偵測該檔名是否存在且具有『可執行』的權限？
-u	偵測該檔名是否存在且具有『SUID』的屬性？
-g	偵測該檔名是否存在且具有『SGID』的屬性？
-k	偵測該檔名是否存在且具有『Sticky bit』的屬性？
-s	偵測該檔名是否存在且為『非空白檔案』？
3. 兩個檔案之間的比較，如： test file1 -nt file2
-nt	(newer than)判斷 file1 是否比 file2 新
-ot	(older than)判斷 file1 是否比 file2 舊
-ef	判斷 file1 與 file2 是否為同一檔案，可用在判斷 hard link 的判定上。主要意義在判定，兩個檔案是否均指向同一個 inode 哩！
4. 關於兩個整數之間的判定，例如 test n1 -eq n2
-eq	兩數值相等 (equal)
-ne	兩數值不等 (not equal)
-gt	n1 大於 n2 (greater than)
-lt	n1 小於 n2 (less than)
-ge	n1 大於等於 n2 (greater than or equal)
-le	n1 小於等於 n2 (less than or equal)
5. 判定字串的資料
test -z string	判定字串是否為 0 ？若 string 為空字串，則為 true
test -n string	判定字串是否非為 0 ？若 string 為空字串，則為 false。註： -n 亦可省略
test str1 = str2	判定 str1 是否等於 str2 ，若相等，則回傳 true
test str1 != str2	判定 str1 是否不等於 str2 ，若相等，則回傳 false
6. 多重條件判定，例如： test -r filename -a -x filename
-a	(and)兩狀況同時成立！例如 test -r file -a -x file，則 file 同時具有 r 與 x 權限時，才回傳 true。
-o	(or)兩狀況任何一個成立！例如 test -r file -o -x file，則 file 具有 r 或 x 權限時，就可回傳 true。
!	反相狀態，如 test ! -x file ，當 file 不具有 x 時，回傳 true

## case语法

case $變數名稱 in <==關鍵字為 case ，還有變數前有錢字號
"第一個變數內容") <==每個變數內容建議用雙引號括起來，關鍵字則為小括號 )
程式段
;; <==每個類別結尾使用兩個連續的分號來處理！
"第二個變數內容")
程式段
;;
*) <==最後一個變數內容都會用 * 來代表所有其他值
不包含第一個變數內容與第二個變數內容的其他程式執行段
exit 1
;;
esac <==最終的 case 結尾！『反過來寫』思考一下！

while语法

while [ condition ] <==中括號內的狀態就是判斷式
do <==do 是迴圈的開始！
程式段落
done <==done 是迴圈的結束

for…do…done语法

for var in con1 con2 con3 ...
do
程式段
done

CLUSTERS=(aaa bbb ccc)
for cluster in ${CLUSTERS[@]};
do
echo $cluster
done

for((i=1;i<100;i++));do
echo $i
done

软链接替换

ln -snf ./hive-0.7.1/ hive

利用grep和gawk，xargs来kill

xargs会把gawk的每一行变成kill的参数，如 kill 1 2 3 grep -v 是排除 ps -ef|grep scott|grep -v grep|gawk {‘print $1’}|xargs kill

sed命令替换文本

sed -i "s/oldstring/newstring/g" file #在原文件修改
sed "s/oldstring/newstring/g" file >file.new # 输出到其他文件
file="/tmp/crontab_`date +"%H%M%S"`.bak"; crontab -l > $file; sed "s/\*\/5 \* \* \* \* run-parts/\* \* \* \* \* run-parts/g" $file > "$file.new"; crontab "$file.new"; # 替换crontab文件
sed -r 's/^\s+([0-9]+) /\1|/g'
sed -i '$i\eeeeeeeee'  urfile # 在倒数一行插入内容

tar

tar --exclude=log -cvzf xxx_`date +"%Y-%m-%d_%H_%M"`.tar.gz ./xxx
# 使用xz压缩，如果使用lzma压缩也是用XZ_OPT
XZ_OPT=-1 tar -cf 1.tar.xz --xz xx.log

获取机器IP

via:http://www.cnblogs.com/starspace/archive/2009/02/13/1390062.html

/sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:"

GREP 获取前几行后几行的内容

grep -n -B1 -A1 "关键字" file #匹配关键字的前一行与后一行.

Rsync 通过ssh传输

# -e 参数指定用ssh传输
rsync --exclude 'logs' --size-only --progress -rave "ssh -p2222" /home/xx/ 用户名@IP地址:/tmp/xx

kill进程树

http://stackoverflow.com/questions/392022/best-way-to-kill-all-child-processes

gawk

gawk -F'|' 'BEGIN {OFS="|"}{print $1,$2,$3}'
gawk '{a=index($0, " from ");if(a>0){b=substr($0,a+6);print substr(b, 0, index(b, " "))}}'
gawk 'BEGIN{sum=0}{sum+=$1}END{print sum}' data.txt

输出一大段文本

cat <<'EOF' >> ./test.txt
XXX
EOF

简单的http服务

python -m SimpleHTTPServer 8080

## NC传文件

接收方
/sbin/ifconfig |grep 'inet addr:10'
nc -l 9999 | tar zxvf -
发送方 tar czvf - ./xxx | nc server 9999
如果nc -l执行失败，下载旧版本 http://vault.centos.org/6.6/os/x86_64/Packages/nc-1.84-22.el6.x86_64.rpm

Find

find /tmp/ -mtime +1 -name 'xxx_*.log' -delete
find /tmp/ -mmin +60 -name 'xxx_*.log' -delete

date

dt=$(date +"%Y%m%d_%H%M%S")

用户/组管理命令

http://cnzhx.net/blog/linux-add-user-to-group/

# 把xxx加入apache组
usermod -a -G apache xxx

sort

# 按human readable 方式排序（sort -h）
hdfs dfs -du -h /user/|sed -r 's/([0-9.]*)[ ]/\1/'|sort -hr
# -t是分隔符
# 先按第一列排序，再按第二列数字排序
cat 1.txt |sort -t',' -k1,1 -k2,2n

截取kv文件

via

head 000000_0 |awk -v RS='`' -F'=' '$1=="keyname"'
head 000000_0 |grep -o '`keyname=[^`]*'

只复制目录结构

# 把dir1的目录结构复制到dir2内
find ./dir1 -type d -exec mkdir -p dir2/\{\} \;

shell重试方法

retry() {
local -r -i max_attempts="$1"; shift
local -r cmd="$@"
local -i attempt_num=1
until $cmd
do
if (( attempt_num == max_attempts ))
then
echo "Attempt $attempt_num failed and there are no more attempts left!"
return 1
else
echo "Attempt $attempt_num failed! Trying again in 60 seconds..."
echo $(( attempt_num++ ))
sleep 60
fi
done
}
# 使用方式
retry 6 echo "ok"

参考

大部分内容来自：http://linux.vbird.org/linux_basic/0320bash.php
linux命令行查询

Extjs3 PagingToolbar下拉框分页插件

Sun, 11 Mar 2012 17:37:40 +0000

Extjs PagingToolbar下拉框分页插件

Ext.namespace('Ext.ui.plugins');
Ext.ui.plugins.ComboPageSize = function(config) {
Ext.apply(this, config);
};
Ext.extend(Ext.ui.plugins.ComboPageSize, Ext.util.Observable, {
pageSizes: [25, 50, 100, 200, 500],
prefixText: '每页显示',
postfixText: '条',
addToItem: true, //true添加到items中去，配合index；false则直接添加到最后
index: 10, //在items中的位置
init: function(pagingToolbar) {
var ps = this.pageSizes;
var combo = new Ext.form.ComboBox({
typeAhead: true,
triggerAction: 'all',
lazyRender: true,
mode: 'local',
width: 80,
store: ps,
enableKeyEvents: true,
editable: false,
loadPages: function() {
var rowIndex = 0;
var gp = pagingToolbar.findParentBy(
function(ct, cmp) { return (ct instanceof Ext.grid.GridPanel) ? true : false; }
);
var sm = gp.getSelectionModel();
if (undefined != sm && sm.hasSelection()) {
if (sm instanceof Ext.grid.RowSelectionModel) {
rowIndex = gp.store.indexOf(sm.getSelected());
} else if (sm instanceof Ext.grid.CellSelectionModel) {
rowIndex = sm.getSelectedCell()[0];
}
}
rowIndex += pagingToolbar.cursor;
pagingToolbar.doLoad(Math.floor(rowIndex / pagingToolbar.pageSize) * pagingToolbar.pageSize);
},
listeners: {
select: function(c, r, i) {
pagingToolbar.pageSize = ps[i];
this.loadPages();
},
blur: function() {
var pagesizeTemp = Number(this.getValue());
if (isNaN(pagesizeTemp)) {
this.setValue(pagingToolbar.pageSize);
return;
}
pagingToolbar.pageSize = Number(this.getValue());
this.loadPages();
}
}
});
if (this.addToItem) {
var inputIndex = this.index;
if (inputIndex > pagingToolbar.items.length) inputIndex = pagingToolbar.items.length;
pagingToolbar.insert(++inputIndex, '-');
pagingToolbar.insert(++inputIndex, this.prefixText);
pagingToolbar.insert(++inputIndex, combo);
pagingToolbar.insert(++inputIndex, this.postfixText);
}
else {
pagingToolbar.add('-');
pagingToolbar.add(this.prefixText);
pagingToolbar.add(combo);
pagingToolbar.add(this.postfixText);
}
pagingToolbar.on({
beforedestroy: function() {
combo.destroy();
},
change: function() {
combo.setValue(pagingToolbar.pageSize);
}
});
}
})

使用方法

bbar: new Ext.PagingToolbar({
plugins: new Ext.ui.plugins.ComboPageSize(),
pageSize: myPageSize,
displayInfo : true,
displayMsg : '当前记录数: {0} - {1} 总记录数: {2}',
emptyMsg : '没有符合条件的记录',
store : config.store
})

来源：Ext.PagingToolbar设置每页显示条数插件
作者还有个滑动条改变分页的，赞，链接过去看吧。

hue runcpserver has restarted more than 3 times

Tue, 06 Mar 2012 17:07:38 +0000

运行hue时，~/hue/build/env/bin$ ./supervisor 遇到这个错误，查看logs可以看到这句：

runcpserver has restarted more than 3 times

解决方法

更改hue/desktop/conf/hue.ini配置
# Set to true to use CherryPy as the webserver, set to false
# to use Spawning as the webserver. Defaults to Spawning if
# key is not specified.
use_cherrypy_server = true 去掉注释并改为true
默认为Spawning，不知道我错误的原因。。不过盖茨用cherrypy就正常了。
如果需要用beeswax还需要配置hue_beeswax.ini，把注释去掉就可以了。

gcc: error trying to exec ‘cc1plus’: execvp: 没有那个文件或目录

Tue, 06 Mar 2012 15:47:25 +0000

参考http://archive.cloudera.com/cdh/3/hue/manual.html安装hue，首先把那些lib都安装先。然后

$ HADOOP_HOME=/path/to/hadoop-0.20 PREFIX=/path/to/install/into make install

遇到这个错误

gcc -pthread -fno-strict-aliasing -DNDEBUG -g -fwrapv -O2 -Wall -Wstrict-prototypes -fPIC -Isasl -I/usr/include/python2.7 -c sasl/saslwrapper.cpp -o build/temp.linux-i686-2.7/sasl/saslwrapper.o
gcc: error trying to exec ‘cc1plus’: execvp: 没有那个文件或目录
error: command ‘gcc’ failed with exit status 1
make[2]: *** [/home/fatkun/hue-1.2.0.0-cdh3u3/desktop/core/build/sasl-0.1.1/egg.stamp] 错误 1 安装g++即可,apt-get install g++ 注意g++的版本要和gcc的一致， g++ –version查看版本。

图片批量下载扩展捐赠名单(6月10日更新)

Sun, 04 Mar 2012 15:21:01 +0000

捐赠名单好久不更新了。。是因为我懒（也是因为懒才有了这个扩展）。。。但支付成功的我都收的到，谢谢。不说什么了，感谢你们的支持！如果你不想出现在此页面上或有其他要求，请在下面的评论和我联系。很多人给我捐款，真的很感动。。捐赠链接 (以下按捐赠时间排序,姓名用星号替代避免隐私泄露，未支付成功的没有列出来)

姓名	留言	金额	捐赠日期
*志鹏	图片批量下载	6元
*沛	很好用，希望不短完善	10元
*日厚	FATKUN图片指下载	10元
*驰	好	10元	2013.05.21
*宗仁	非常感谢您的工具，保存名序号能不能从20 或其它设置呀？	1元
*鸿元	谢谢你的努力，这是我的第一笔开发者捐赠	10元
*锋		30元
*天贵	Fatkun图片批量下载	1元
*仁波	加油这个插件不错继续改进	10元
*显	从不吃免费午餐	1元
张*鸣	谢谢制作Fatkun图片批量下载谷歌浏览器扩展	20元	2013.04.08
*炯		10元
刘*峰	一定要坚持下去哈	5元
*鹏	还在上学，没有多少钱，心意一下，希望继续开发。很好用，十分感	10元
杨*达	谢谢你的批量图片下载猎豹插件啊	1元
吴*端	鼓励	49元
刘*曦	谢谢！	1元
*沛	辛苦了	10元
*恒	感谢	20元
*田	浏览器插件很好用，望继续开发	20元
胡*仁	友情捐助	10元	2013.03.04
郎*一	谢谢	3元
*菲	支持你开发了这么好的插件！	10元
*全	谢谢您开发的软件,对我很有帮助,一点小小心意	5元
胡*凡	感謝分享插件	50元	史上金额最高！！感谢支持！
*田	很好的软件	10元	2013.02.02
费*军	买瓶健康点的饮料，别多喝可乐。	10元	：）谢谢
*力	一瓶可乐。略表谢意~	2.5元
杨*卿	加油，运行起来小卡一下	3元
李*敏	xie	1元
徐*靓	我爱死你了~	10元	我也爱你^_^
*健	下载百度贴吧图片再排序,忙一下午就哥们你这方案最佳,送可乐！	2.5元
李*梅	支持	10元
*旻炅	我是穷学生，不过也要支持你，希望你继续加油	2元
*文龙	穷学生，还是学计算机的不学习的菜鸟，用着不错，谢谢分享	10元	2012.12.02
*崧博	用着挺好	10元
*云潇	。。一瓶可乐	3元
*志立	鼓励作者继续开发	4元
*光明	图片批量下载很好用，希望继续开发	2元
*美锋	很感谢你做的图片下载扩展！略表谢意	5元
*文龙	本人热爱编程，望赐教与指导！	5元
*娜	谢谢，很实用的工具	0.5元
*家冀	支持作者	10元
*龙	穷学生，没什么钱	1元
匿名	帮忙支付google webstore验证费用	5$
*子铭	想知道怎么使用	5元	2012.08.18
*东明	支持	2元	2012.08.17
*培文	感谢您这么多年来的努力，钱虽不多，仅表敬意。	10元	2012.07.20
*韬	一瓶汽水	10元	2012.07.18
*文达	谢谢	3元	2012.07.16
*巍	希望你继续	10元	2012.07.13
*颢	支持	10元	2012.07.11
*剑勋	赞助	4元	2012.06.29
*旗	一直使用，能力有限，支持。	30元	2012.06.28
艾孜热提艾力·*森	非常感谢你的批量下载插件, 我是一位维吾尔小伙子! 呵呵..	5元	2012.06.01
张*辉	谢谢。	1元	2012.05.17
*诚	余额不多。还请笑纳。	5元	2012.05.07
刘*锴	面包总会有的，好用的插件；可以合并多页取图就好了	5元	2012.05.07
*成	没想到作者还惦记着这扩展，希望继续完善	2元	2012.04.04
王*聿	这个扩展很好用，无奈本人学生财力有限，但还是支持一下	5元	2012.03.30
叶*锋	支持	20元	2012.03.23
*迪	谢谢你的chrome图片作品，很荣幸能使用您的作品	10元	2012.03.13
马*龙	加油，我很喜欢这个插件，希望你能进一步的完善它，感谢！	20元	2012.03.12
崔*辉	方便，继续加油。小钱表示心意。	10元	2012.03.08
*珂	支持	1元	2012.03.07
*兴	小小心意，支持开发	9.2元	2012.02.29
韩*泓	只剩半瓶汽水的钱了	0.5元	2012.02.20
刘*锐	fatkun	0.1元	2012.02.06

Fatkun图片批量下载谷歌浏览器扩展1.2版更新

Sun, 04 Mar 2012 14:55:44 +0000

Fatkun图片批量下载1.2版更新了！

首先，特别感谢三位朋友的捐赠，谢谢你们的鼓励！这是我人生中第一次收到的捐赠，非常感谢你们！

欢迎使用Fatkun图片批量下载1.2版，有以下更新：

增加了针对特定网站获取大图片，现在支持topit.me和mmfuli.com，后期会继续增加其他网站的支持
图片分批次获取图片大小
添加新浪微博分享

这个扩展虽然功能还不算很强大，但依然花费了我一些时间来完善它，如果你认为这个扩展对你有用并且愿意支持作者开发，点此捐助作者，或者向身边的朋友推荐这个扩展，谢谢。

topit.me和mmfuli.com这两个网站，可以去试试。

mmfuli的要进到图片列表的目录才有效果哦。。如下面的网址。

http://mmfuli.com/beautyleg/no550_kate

为什么要针对特定网站获取大图片呢？因为有些图片是要打开页面才能看到大图片的，不过对于部分图片，缩略图和大图存在一些关系，我们可以把这关系找出来，然后进行替换。

考虑到编写替换规则有困难（需要了解js，正则表达式），暂时还是由我在日后更新中添加更多网站的支持。

js模拟限制图片同时下载个数(使用setTimeout)

Sat, 03 Mar 2012 13:24:15 +0000

浏览器默认会对同一域名的图片有一个限制同时最多下载X个图片，但是如果图片是多域名的，有时候就会同时下载了很多图片，导致有些图片下载失败！
先来看一段代码：

<script language="javascript">
// 构造一些不同子域名的图片链接
url = '.topit.me/4/cf/69/1130159413c3c69cf4l.jpg';
var array = [];
var hex = ['1', '2', '3', '4', '5', '6', '7', '8', '9', 'a', 'b', 'c', 'd', 'e', 'f']
for (var i=0; i < 20; i++) {
var index = hex[i % 15];
array.push('http://i' + index + url + '?time=' + i);
}
console.log(array);
for (var i=0; i < array.length; i++) {
var img = new Image();
img.onload = function() {
console.log('onload', this.src);
}
img.onerror = function() {
console.log('onerror', this.src);
}
img.src = array[i];
console.log('array[i]', array[i]);
}
</script>

这段代码模拟网页打开时加载图片，一次性给浏览器加载N个图片。
把代码保存为html文件，在chrome浏览器打开。
可以在控制台network看到图片的加载，如果是同一域名下，会限制X个图片同时下载，但不同域名就会看到一堆的图片在下载了，还有些图片下载失败了。

需求

我们需要人为限制一下图片同时下载的个数！并且分批来完成下载所有图片。

思路

有点像消费者/生产者模式，有一个生产者（目前已经生产了产品啦，就是一堆图片url），然后就有多个消费者去消费（拿url去下载图片）
利用一个数组来模拟队列~然后取吧。。

实现

<script language="javascript">
// 构造一些不同子域名的图片链接
url = '.topit.me/4/cf/69/1130159413c3c69cf4l.jpg';
var array = [];
var hex = ['1', '2', '3', '4', '5', '6', '7', '8', '9', 'a', 'b', 'c', 'd', 'e', 'f']
for (var i=0; i < 20; i++) {
var index = hex[i % 15];
array.push('http://i' + index + url + '?time=' + i);
}
console.log(array);
var QueneEnginer = function(){
this.Quene = [];
}
QueneEnginer.prototype = {
processTime: 100,
loadNum: 0,
maxDownloadNum: 5,
add: function(arr) {
for (var i=0; i < arr.length; i++) {
this.Quene.push(arr[i]);
}
},
start: function() {
var that = this;
setTimeout(function() {that.process();}, that.processTime);
},
process: function() {
var that = this;
if (this.Quene.length > 0) {
while (this.loadNum < this.maxDownloadNum) { // 如果有空位，就加载图片吧
var url = this.Quene.shift(); // 从数组取一个出来吧
if (url == null) {break;} // 取完了就中断
this.loadNum++;// 标记一下，我要开始下载咯
this.loadPic(url, function(src) {
document.write(src + '<br/>');
that.loadNum--; // 加载完图片记得减一哦
console.log('callback');
});
}
this.start(); // 这里是重点，利用了setTimeout，不断的循环，直到this.Quene.length <= 0
}
},
loadPic: function(url, callback) { //加载图片，实现callback为了回调计数
var img = new Image();
img.onload = function() {
console.log('onload', this.src);
callback(this.src);
}
img.onerror = function() {
console.log('onerror', this.src);
callback(this.src);
}
img.src = url;
console.log('array[i]', url);
}
}
var qe = new QueneEnginer();
qe.add(array);
qe.start();
</script>

Django实战(Django admin)

Wed, 22 Feb 2012 04:08:23 +0000

这个django教程不错，看了admin部分，说得很清楚。记录一下
包括如何使用Django admin等 http://blog.csdn.net/thinkinside/article/details/7249001

Android真机调试访问本地服务器（localhost）的解决方案

Sun, 05 Feb 2012 15:21:33 +0000

Android系统把它自己作为了localhost!当连接localhost都是他自己啊。。囧，在这里晕了好久才发现。。网上介绍的都是模拟器连接本地服务器的，我试着把链接改为http://10.0.2.2/依然不可以。。
我是真机调试，不是模拟器，那怎么办呢？

解决方法

我的环境是用手机通过WIFI上网，和本地电脑在同一个局域网内。找出本地电脑的ip即可，手机可以直接访问这个IP。如果不是在局域网内，只能把网页放到可以给外部访问的地方了（例如服务器）

Android Handler和HandlerThread使用方法

Sun, 05 Feb 2012 14:10:55 +0000

Handler的官方注释如下：

A Handler allows you to send and process <a href="file:///F:/android%E5%AD%A6%E4%B9%A0/docs-3.0_r01-linux/docs/reference/android/os/Message.html">Message</a> and Runnable objects associated with a thread’s <a href="file:///F:/android%E5%AD%A6%E4%B9%A0/docs-3.0_r01-linux/docs/reference/android/os/MessageQueue.html">MessageQueue</a>. Each Handler instance is associated with a single thread and that thread’s message queue. Handler会关联一个单独的线程和消息队列。Handler默认关联主线程，虽然要提供Runnable参数，但默认是直接调用Runnable中的run()方法。也就是默认下会在主线程执行，如果在这里面的操作会有阻塞，界面也会卡住。如果要在其他线程执行，可以使用HandlerThread。

Handler使用方法：

Handler handler = new Handler() {
@Override
public void handleMessage(Message msg) {
// 处理发送过来的消息
Bundle b = msg.getData();
System.out.println("msg:" + msg.arg1);
System.out.println("msg:" + b.getString("name") + " - age:" + b.getInt("age"));
super.handleMessage(msg);
}
};
Message msg = handler.obtainMessage();
msg.arg1 = 121;
Bundle b = new Bundle();
b.putInt("age", 24);
b.putString("name", "Fatkun");
msg.setData(b);
msg.sendToTarget();
handler.post(r);
}
Runnable r = new Runnable() {
public void run() {
try {
// 在这里只是睡一下
Thread.sleep(10000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
};

HandlerThread使用方法：

//把上面创建Handler的代码
Handler handler = new Handler() {
...
}
//改为：
HandlerThread thread = new HandlerThread("athread");
thread.start(); //要把线程启动
Handler handler = new Handler(thread.getLooper()) {
...
}

参考：

Android中的Handler, Looper, MessageQueue和Thread的关系

Fatkun图片批量下载谷歌浏览器扩展1.0版更新了！

Thu, 02 Feb 2012 16:25:28 +0000

乱码的问题今天晚上更新，非常抱歉。将会自动更新，不需要任何操作。

已更新到服务器，可以等自动更新也可以下载下面链接立即更新。（尝试解决乱码）1.1版插件地址：https://bath-image-download.googlecode.com/files/batch1_1.crx Fatkun图片批量下载谷歌浏览器扩展是一个从网页批量下载图片的扩展，提供方便简单的筛选功能，快速的批量下载图片。 1.0版update:2012-02-03****

完全重构了一次代码，以前的代码写的很乱，趁春节在家重写一遍代码
支持框架网页获取图片（例如猫扑）
支持直接链接是图片的文本链接图片
重新自己画了一个图标：）下一次更新将加入一些特定代码针对特定网站取得大图片。做这个扩展，刚开始是因为当时的扩展并不好用，自己写了一个简单的自己用着爽。现在还花时间更新这个扩展，一是想通过做学习多一点js，二是这个扩展也还不算完善。如果你喜欢这个扩展并愿意捐赠作者，给一点点鼓励也好。。。点此给我买瓶汽水（支付宝）。更多内容见此：http://fatkun.com/2010/09/batch-image-download.html

event.getAction()&MotionEvent.ACTION_MASK的原因

Tue, 10 Jan 2012 17:36:45 +0000

看到下面代码中用了AND位运算是为了什么呢？

public boolean onTouchEvent(MotionEvent event) {
int action = event.getAction();
switch (action & MotionEvent.ACTION_MASK) {
case MotionEvent.ACTION_DOWN:
showMsg("ACTION_DOWN" + action);
break;
case MotionEvent.ACTION_UP:
showMsg("ACTION_UP" + action);
break;
case MotionEvent.ACTION_POINTER_UP:
showMsg("ACTION_POINTER_UP" + action);
break;
case MotionEvent.ACTION_POINTER_DOWN:
showMsg("ACTION_POINTER_DOWN" + action);
break;
}
return super.onTouchEvent(event);
}

首先来看看这些常量的值

ACTION_MASK 0x000000ff
ACTION_DOWN 0x00000000 ACTION_UP 0x00000001 ACTION_MOVE 0x00000002
ACTION_POINTER_DOWN 0x00000005 ACTION_POINTER_UP 0x00000006
ACTION_POINTER_1_DOWN 0x00000005 ACTION_POINTER_1_UP 0x00000006
ACTION_POINTER_2_DOWN 0x00000105 ACTION_POINTER_2_UP 0x00000106
ACTION_POINTER_3_DOWN 0x00000205 ACTION_POINTER_3_UP 0x00000206

看到这么多16进制有没有怕呢。。。我数学不太好，看着有点怕呢~
先做做十六进制AND运算
来看看ACTION_MASK & ACTION_POINTER_2_DOWN 即 0x000000ff & 0x00000105
~~换成二进制 1111 1111(2) & 1 0000 0110(2) = 0110(2) = 0x00000006~~ update：上面换算错了。。囧，应该是 1111 1111(2) & 1 0000 0101(2) = 0101(2) = 0x00000005
如果不会换算，试试用计算器啦。。（掩面，我也是用计算器，快速计算的方法是把16进制的每一位扩展为4位的二进制）
可以看到，and运算的结果总是小于等于0x000000ff，那就是说and之后，无论你多少根手指加进来，都是会ACTION_POINTER_DOWN或者ACTION_POINTER_UP 补充一下，当第二个手指触摸屏幕时，event.getAction()的值是0x00000105，第三个手指触摸是0x00000205，放开相应的手指数量会返回相应的值。

Android ViewHolder模式

Sat, 07 Jan 2012 07:46:54 +0000

这个ViewHolder到底是什么呢？我们可以在官方sample看到这段代码
 http://developer.android.com/resources/samples/ApiDemos/src/com/example/android/apis/view/List14.html

static class ViewHolder {
TextView text;
ImageView icon;
}

可以看到它只是一个静态类，它的作用就在于减少不必要的调用findViewById
完整的官方例子，官方例子中convertView 也是避免inflating View。
然后把对底下的控件引用存在ViewHolder里面，再在View.setTag(holder)把它放在view里，下次就可以直接取了。效率相差多少？看这篇文章：Android开发之ListView 适配器（Adapter）优化

/*
* Copyright (C) 2008 The Android Open Source Project
*
* Licensed under the Apache License, Version 2.0 (the "License");
* you may not use this file except in compliance with the License.
* You may obtain a copy of the License at
*
* http://www.apache.org/licenses/LICENSE-2.0
*
* Unless required by applicable law or agreed to in writing, software
* distributed under the License is distributed on an "AS IS" BASIS,
* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
* See the License for the specific language governing permissions and
* limitations under the License.
*/
package com.example.android.apis.view;
import android.app.ListActivity;
import android.content.Context;
import android.os.Bundle;
import android.view.LayoutInflater;
import android.view.View;
import android.view.ViewGroup;
import android.widget.BaseAdapter;
import android.widget.TextView;
import android.widget.ImageView;
import android.graphics.BitmapFactory;
import android.graphics.Bitmap;
import com.example.android.apis.R;
/**
* Demonstrates how to write an efficient list adapter. The adapter used in this example binds
* to an ImageView and to a TextView for each row in the list.
*
* To work efficiently the adapter implemented here uses two techniques:
* - It reuses the convertView passed to getView() to avoid inflating View when it is not necessary
* - It uses the ViewHolder pattern to avoid calling findViewById() when it is not necessary
*
* The ViewHolder pattern consists in storing a data structure in the tag of the view returned by
* getView(). This data structures contains references to the views we want to bind data to, thus
* avoiding calls to findViewById() every time getView() is invoked.
*/
public class List14 extends ListActivity {
private static class EfficientAdapter extends BaseAdapter {
private LayoutInflater mInflater;
private Bitmap mIcon1;
private Bitmap mIcon2;
public EfficientAdapter(Context context) {
// Cache the LayoutInflate to avoid asking for a new one each time.
mInflater = LayoutInflater.from(context);
// Icons bound to the rows.
mIcon1 = BitmapFactory.decodeResource(context.getResources(), R.drawable.icon48x48_1);
mIcon2 = BitmapFactory.decodeResource(context.getResources(), R.drawable.icon48x48_2);
}
/**
* The number of items in the list is determined by the number of speeches
* in our array.
*
* @see android.widget.ListAdapter#getCount()
*/
public int getCount() {
return DATA.length;
}
/**
* Since the data comes from an array, just returning the index is
* sufficent to get at the data. If we were using a more complex data
* structure, we would return whatever object represents one row in the
* list.
*
* @see android.widget.ListAdapter#getItem(int)
*/
public Object getItem(int position) {
return position;
}
/**
* Use the array index as a unique id.
*
* @see android.widget.ListAdapter#getItemId(int)
*/
public long getItemId(int position) {
return position;
}
/**
* Make a view to hold each row.
*
* @see android.widget.ListAdapter#getView(int, android.view.View,
* android.view.ViewGroup)
*/
public View getView(int position, View convertView, ViewGroup parent) {
// A ViewHolder keeps references to children views to avoid unneccessary calls
// to findViewById() on each row.
ViewHolder holder;
// When convertView is not null, we can reuse it directly, there is no need
// to reinflate it. We only inflate a new View when the convertView supplied
// by ListView is null.
if (convertView == null) {
convertView = mInflater.inflate(R.layout.list_item_icon_text, null);
// Creates a ViewHolder and store references to the two children views
// we want to bind data to.
holder = new ViewHolder();
holder.text = (TextView) convertView.findViewById(R.id.text);
holder.icon = (ImageView) convertView.findViewById(R.id.icon);
convertView.setTag(holder);
} else {
// Get the ViewHolder back to get fast access to the TextView
// and the ImageView.
holder = (ViewHolder) convertView.getTag();
}
// Bind the data efficiently with the holder.
holder.text.setText(DATA[position]);
holder.icon.setImageBitmap((position & 1) == 1 ? mIcon1 : mIcon2);
return convertView;
}
static class ViewHolder {
TextView text;
ImageView icon;
}
}
@Override
public void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setListAdapter(new EfficientAdapter(this));
}
private static final String[] DATA = Cheeses.sCheeseStrings;
}

找不到管理网页和文件夹对处理方法

Wed, 04 Jan 2012 14:33:23 +0000

把下面内容保存为aa.reg文件，双击运行导入
（未测试是否成功，注册表从我电脑导出的,WIN7和XP应该是一样可以用的）

Windows Registry Editor Version 5.00
[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\Advanced\Folder\Thickets]
"Text"="管理网页和文件夹对"
"HelpID"="TBD"
"Type"="group"
"Bitmap"="C:\\Windows\\system32\\\\SHELL32.DLL,4"
[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\Advanced\Folder\Thickets\AUTO]
"CheckedValue"=dword:00000000
"Type"="radio"
"ValueName"="NoFileFolderConnection"
"HelpID"="TBD"
"Text"="作为单一文件显示和管理对"
"DefaultValue"=dword:00000000
"RegPath"="Software\\Microsoft\\Windows\\CurrentVersion\\Explorer"
"HKeyRoot"=dword:80000001
[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\Advanced\Folder\Thickets\NOHIDE]
"ValueName"="NoFileFolderConnection"
"DefaultValue"=dword:00000000
"Text"="显示两部分但是作为单一文件进行管理"
"RegPath"="Software\\Microsoft\\Windows\\CurrentVersion\\Explorer"
"HelpID"="TBD"
"Type"="radio"
"CheckedValue"=dword:00000002
"HKeyRoot"=dword:80000001
[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Explorer\Advanced\Folder\Thickets\NONE]
"CheckedValue"=dword:00000001
"Type"="radio"
"HKeyRoot"=dword:80000001
"RegPath"="Software\\Microsoft\\Windows\\CurrentVersion\\Explorer"
"HelpID"="TBD"
"ValueName"="NoFileFolderConnection"
"DefaultValue"=dword:00000000
"Text"="显示两部分并分别进行管理"
[HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Explorer]
"NoFileFolderConnection"=dword:00000001

Activity startActivityForResult

Sun, 01 Jan 2012 14:24:32 +0000

public void startActivityForResult (Intent intent, int requestCode)
从一个Activity启动另一个activity，得到结果返回给前一个activity。

简单说

OneActivity实现onActivityResult (int requestCode, int resultCode, Intent data)方法，然后使用startActivityForResult启动另一个Activity
另一个Activity取得结果后通过setResult (…)把结果传回。

代码如下

界面代码不提供了，两个都是一个简单的button
注意要在AndroidManifest.xml定义你新增的Activity

<activity android:name=".OtherActivity"></activity>

第一个Activity

package com.fatkun;
import android.app.Activity;
import android.content.Intent;
import android.os.Bundle;
import android.view.View;
import android.view.View.OnClickListener;
import android.widget.Button;
import android.widget.Toast;
public class OneActivity extends Activity {
private final int myRequestCode = 1; //请求码
/** Called when the activity is first created. */
@Override
public void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.main);
Button btn = (Button)findViewById(R.id.button1);
btn.setOnClickListener(new OnClickListener() {
public void onClick(View v) {
Intent intent = new Intent(OneActivity.this, OtherActivity.class);
//第二个参数是请求码，会在onActivityResult返回
startActivityForResult(intent, myRequestCode);
}
});
}
@Override
protected void onActivityResult(int requestCode, int resultCode, Intent data) {
super.onActivityResult(requestCode, resultCode, data);
switch (requestCode) {
case myRequestCode:
if (resultCode == Activity.RESULT_OK) {
//如果resultCode是RESULT_OK的话，就把内容显示出来。
Toast.makeText(this, data.getExtras().getString("info"), Toast.LENGTH_SHORT).show();
}
break;
}
}
}

第二个Activity

package com.fatkun;
import android.app.Activity;
import android.content.Intent;
import android.os.Bundle;
import android.view.View;
import android.view.View.OnClickListener;
import android.widget.Button;
public class OtherActivity extends Activity {
@Override
protected void onCreate(Bundle savedInstanceState) {
// TODO Auto-generated method stub
super.onCreate(savedInstanceState);
setContentView(R.layout.other);
Button btn = (Button) findViewById(R.id.button1);
btn.setOnClickListener(new OnClickListener() {
public void onClick(View v) {
Intent intent = new Intent(OtherActivity.this, OneActivity.class);
intent.putExtra("info", "我是从OtherActivity返回的数据");
OnClickListener a = this;
// 这里的OtherActivity.this是为了得到OtherActivity类的对象，因为现在在button的内部类里面，this指向的是OnClickListener
OtherActivity.this.setResult(Activity.RESULT_OK, intent);
OtherActivity.this.finish(); // 结束自己
}
});
}
}

Android BroadcastReceiver 广播

Sun, 01 Jan 2012 08:44:20 +0000

总结如下：
广播可用于Service与Activity的之间的通信，也可用于接收一些系统的事件，例如收到短信，电量等信息。有两种方法注册，静态注册和动态注册

静态注册

创建一个类继承BroadcastReceiver，然后在AndroidManifest.xml 添加

<receiver android:name="clsReceiver2">
<intent-filter>
<action android:name="com.testBroadcastReceiver.Internal_2"/>
</intent-filter>
</receiver>

动态注册

继承BroadcastReceiver类，实现onReceive方法。然后registerReceiver它。同一个Receiver还可以“听多个广播”，可以在IntentFilter加多个action。
主要通过IntentFilter，别人用sendBroadcast(intent)发广播，如果频率一样（IntentFilter里的Action一样）就可以听到广播。

//动态注册广播消息
registerReceiver(bcrIntenal1, new IntentFilter(INTENAL_ACTION_1));

//取消广播接收器
unregisterReceiver(rhelper);

两篇参考文章： http://blog.csdn.net/hellogv/article/details/5999170
http://www.cnblogs.com/jico/articles/1838293.html

WP-Syntax代码编辑器插件

Sun, 01 Jan 2012 07:54:49 +0000

升级到WP3.3后，之前的那些插入代码按钮都没有用啦。。上去找插件没找到，自己改了一个syntanx-highlighter的。
感谢原作者leo108，http://leo108.com/ 把下面的代码保存下来，放在一个文件夹里，打包成zip文件，然后就可以在插件处上传安装了。
或者下载这个文件：http://fatkun.googlecode.com/files/wp-syntax-editor.zip

<?php
/*
Plugin Name: WP-Syntax Code Editor
Plugin URI: http://fatkun.com/2012/01/wp-syntax-code-editor.html
Description: 在编辑框加入一个插入wp-syntax代码的按钮，修改自syntax-highlighter-with-add-button-in-editor（原作者leo108）
Version: 1.0.0
Original Author: leo108
Author URI: http://fatkun.com/
*/
function codebox_init(){
?>
<div id="codebox" class="meta-box-sortables ui-sortable" style="position: relative;"><div class="postbox">
<div class="handlediv" title="Click to toggle"></div>
<h3 class="hndle"><span>WP-Syntax</span></h3>
<div class="inside">
Language:
<select id="language">
<option value="other">Other</option>
<option value="bash">Bash</option>
<option value="c">C</option>
<option value="cpp">C++</option>
<option value="csharp">C#</option>
<option value="css">CSS</option>
<option value="delphi">Delphi</option>
<option value="diff">Diff</option>
<option value="erl">Erlang</option>
<option value="groovy">Groovy</option>
<option value="html">HTML</option>
<option value="java">Java</option>
<option value="js">Javascript</option>
<option value="perl">Perl</option>
<option value="php">PHP</option>
<option value="ps">PowerShell</option>
<option value="python">Python</option>
<option value="ruby">Ruby</option>
<option value="sql">SQL</option>
<option value="vb">VisualBasic</option>
<option value="vb">VB.NET</option>
<option value="xml">XML</option>
</select>
<br>
Code:<br><textarea id="code" rows="8" cols="70" style="width:97%;"></textarea><br>
<input type="button" value="INSERT" onclick="javascript:settext();">
<script>
function settext()
{
var str='<pre escaped="true" lang="';
var lang=document.getElementById("language").value;
var code=document.getElementById("code").value;
str=str+lang;
str=str+'">';
str=str+filter(code)+"</pre>";
var win = window.dialogArguments ¦¦ opener ¦¦ parent ¦¦ top;
win.send_to_editor(str);
document.getElementById("code").value="";
}
function filter (str) {
str = str.replace(/&/g, '&');
str = str.replace(/</g, '<');
str = str.replace(/>/g, '>');
str = str.replace(/'/g, ''');
str = str.replace(/"/g, '"');
str = str.replace(/\¦/g, '¦');
return str;
}
</script>
</div></div></div>
<script>document.getElementById("postdivrich").appendChild(document.getElementById("codebox"));</script>
<?php
}
add_action('dbx_post_sidebar','codebox_init');
?>

Fatkun图片批量下载谷歌浏览器扩展0.5版更新了

Thu, 15 Dec 2011 15:45:21 +0000

0.5版插件地址：https://bath-image-download.googlecode.com/files/batch0_5.crx 主要是修复性更新。。最近都感觉很累，晚上回来就不想做什么了~很久没更新博客了。 0.5版更新****

修复CHROMEV15点击图片不删除的问题
图片居中显示

在Extjs Grid扩展一个链接按钮列

Sun, 30 Oct 2011 06:19:29 +0000

问题

想要在Extjs grid每一行添加一个链接或者添加一个按钮，怎么办？

解决方法

实现方法一是用renderer，但是这个链接的方法必须调用全局的变量。
方法二就是我将要介绍的。 ActionColumn是显示一个图标按钮，而我需要一个链接按钮呢？改写ActionColumn代码即可。
代码如下，主要是修改了renderer，如果你想改成button也是可以的：

/*!
* Ext JS Library 3.3.1
* Copyright(c) 2006-2010 Sencha Inc.
* licensing@sencha.com
* http://www.sencha.com/license
*/
Ext.grid.LinkColumn = Ext.extend(Ext.grid.Column, {
header: ' ',
linkIdRe: /x-link-col-(\d+)/,
constructor: function(cfg) {
var me = this,
items = cfg.items || (me.items = [me]),
l = items.length,
i,
item;
Ext.grid.LinkColumn.superclass.constructor.call(me, cfg);
me.renderer = function(v, meta) {
// Allow a configured renderer to create initial value (And set the other values in the "metadata" argument!)
v = Ext.isFunction(cfg.renderer) ? cfg.renderer.apply(this, arguments)||'' : '';
meta.css += ' x-link-col-cell';
for (i = 0; i < l; i++) {
item = items[i];
v += '<a href="javascript:;" class="x-link-col-icon x-link-col-' + String(i) + ' ' + (Ext.isFunction(item.getClass) ? item.getClass.apply(item.scope||this.scope||this, arguments) : '') + '"' +
((item.tooltip) ? ' ext:qtip="' + item.tooltip + '"' : '') + '>' + (item.text||'') + '</a>';
if (i < l - 1) v += '    ';
}
return v;
};
},
destroy: function() {
delete this.items;
delete this.renderer;
return Ext.grid.LinkColumn.superclass.destroy.apply(this, arguments);
},
/**
* @private
* Process and refire events routed from the GridView's processEvent method.
* Also fires any configured click handlers. By default, cancels the mousedown event to prevent selection.
* Returns the event handler's status to allow cancelling of GridView's bubbling process.
*/
processEvent : function(name, e, grid, rowIndex, colIndex){
var m = e.getTarget().className.match(this.linkIdRe),
item, fn;
if (m && (item = this.items[parseInt(m[1], 10)])) {
if (name == 'click') {
(fn = item.handler || this.handler) && fn.call(item.scope||this.scope||this, grid, rowIndex, colIndex, item, e);
} else if ((name == 'mousedown') && (item.stopSelection !== false)) {
return false;
}
}
return Ext.grid.LinkColumn.superclass.processEvent.apply(this, arguments);
}
});
//register ptype
Ext.preg('linkcolumn', Ext.grid.LinkColumn);
// register Column xtype
Ext.grid.Column.types.linkcolumn = Ext.grid.LinkColumn;

使用方法

引用扩展的文件后，在grid columns加一个xtype: ‘linkcolumn’的列

{
xtype: 'linkcolumn',
header: '操作',
width: 100,
sortable: true,
items: [{
text: '查看',
handler: function(grid, rowIndex, colIndex) {
var record = grid.store.getAt(rowIndex);
new stat_task_his_win({
record: record
});
}
}]
}

Extjs combobox下拉框模糊匹配

Fri, 21 Oct 2011 17:30:28 +0000

Ext中的combobox有属性typeAhead：true 可以实现模糊匹配，但是是从开始匹配的，如果需要自定的的匹配，则需要监听beforequery方法，实现自己的匹配查询方法：

// 判断某个值str是否存在store里,field是store的字段
var checkIfInStore = function(str, store, field, ignoreCase) {
var count = store.getCount();
for( var i = 0; i < count; i++) {
var val = store.getAt(i).get(field);
if (ignoreCase) {
str = str.toUpperCase();
val = val.toUpperCase();
}
if (str == val) {
return true;
}
}
return false;
};
var ComboSearchPlugin = {
init: function(combo) {
combo.addListener('blur', function(combo) {
// 如果没有写完整则设置为空
var isValid = checkIfInStore(combo.getRawValue(), combo.store, combo.displayField, false);
if (!isValid) {
combo.setValue('');
}
});
combo.addListener('beforequery', function(qe) {
var combo = qe.combo;
var q = qe.query;
var forceAll = qe.forceAll;
if (forceAll === true || (q.length >= this.minChars)) {
if (this.lastQuery !== q) {
this.lastQuery = q;
if (this.mode == 'local') {
this.selectedIndex = -1;
if (forceAll) {
this.store.clearFilter();
} else {
// 检索的正则
var regExp = new RegExp(".*" + q + ".*", "i");
// 执行检索
this.store.filterBy(function(record, id) {
// 得到每个record的项目名称值
var text = record.get(combo.displayField);
return regExp.test(text);
});
}
this.onLoad();
} else {
this.store.baseParams[this.queryParam] = q;
this.store.load({
params: this.getParams(q)
});
this.expand();
}
} else {
this.selectedIndex = -1;
this.onLoad();
}
}
return false;
});
}
};

参考文章：http://weibaojun.iteye.com/blog/1098731
原文我试了一下有问题，第一次输入时会不显示结果，主要差别在onLoad上

误删contacts.apk解决方法（不用刷机）

Mon, 03 Oct 2011 15:21:11 +0000

从完整的刷机包内，注意，版本最好是和你手机一致的。如果找不到，可以上网问别人要。在压缩包目录下android2.3.6.zip\system\app找到Contacts.apk，Contacts.odex文件，如果你把其他文件也删了，也可以按照这个步骤。连接手机U盘，复制到SD卡。然后用ROOT Explor从SD卡把这两个文件复制到手机的这个目录下/system/app/ 最后一步！注意，一定要给这两个文件设置权限，在RE里按住文件，选permissions，都勾上read/write权限。重启一下你的手机，就可以编辑联系人了。

Thrift入门篇-运行Tutorial

Mon, 12 Sep 2011 16:06:53 +0000

本文假设你已经了解Thrift是什么了，如果还不了解，请借助强大的谷歌。本文的开发环境是windows 7 + python2.6 Thrift官方主页：http://thrift.apache.org/ 先来这里下载thrift-0.7.0.tar.gz 和Thrift compiler for Windows (thrift-0.7.0.exe) 。thrift-0.7.0.exe是帮你编译好的，可以在windows下运行。解压thrift-0.7.0.tar.gz 学一样东西之前，当然是看Tutorial啦，不过文档还不完善啊。下面将以Python来举例子。

1.安装thrift库

先要安装thrift-0.7.0\lib\py里的库，setup.py install 注意，在windows下安装不成功，需要用VC编译，还要对代码做相应修改，很麻烦，就不说了，直接在这里下载已经编译好的版本。http://www.lfd.uci.edu/~gohlke/pythonlibs/ （这里真的是个好地方，感谢大神）

2.Thrift生成代码

Thrift能够帮你生成一部分代码，让你更关注你的业务部分，而不必关注它是怎么通信的。在thrift-0.7.0\tutorial，就是一个官方教程了。可以先看看tutorial.thrift，这是thrift定义的语法，就是通过它来生成各种代码的了。生成代码开始啦，使用之前下载的thrift-0.7.0.exe，在thrift-0.7.0\tutorial目录下执行命令

thrift-0.7.0.exe –r –gen py –gen java tutorial.thrift

搞定，在当前文件夹就产生两个文件夹了，分别是gen-java和gen-py。gen-java咱暂时用不着，生成来玩的：）如果你想生成更多其他类型的代码，–gen xxx就可以了。

3.运行

进入thrift-0.7.0\tutorial\py目录，在运行之前，先改一下PythonServer.py 不知道是我安装的thrift库有问题还是它的tutorial写错了，找到下面这行代码。

transport = TSocket.TServerSocket(9090)

把它改为

transport = TSocket.TServerSocket(port=9090)

好吧，双击运行服务端PythonServer.py。看到Starting the server就证明你成功运行服务端了！如果黑乎乎的窗口一闪而过，那看看哪一步做错了吧。用cmd运行看看。接下来，再运行客户端PythonClient.py，这时就可以看到服务端有信息输出了~~成功！

下载新浪音乐

Mon, 12 Sep 2011 07:48:21 +0000

新浪音乐没有直接下载音乐的地方。。听到一首好歌想要下载怎么办呢··找出它的下载地址只要你得到新浪音乐的短地址，就行啦。（你可以分享一条歌曲获得短地址） http://fatkun.com/sina.php 这样就可以找出新浪音乐的下载地址，从此爽歪歪..

Syntax Highlighting

Tue, 30 Aug 2011 16:01:23 +0800

1
2
3


function helloWorld () {
 alert("Hello, World!")
}

1
2
3
4
5


public class HelloWorld {
 public static void main(String[] args) {
 System.out.println("Hello, World!");
 }
}

1
2
3
4
5


package hello

fun main(args: Array<String>) {
 println("Hello World!")
}

1
2
3
4
5
6
7


#include <stdio.h>

/* Hello */
int main(void){
 printf("Hello, World!");
 return 0;
}

1
2
3
4
5
6
7
8


// 'Hello World!' program

#include <iostream>

int main(){
 std::cout << "Hello World!" << std::endl;
 return 0;
}

1
2
3
4
5
6


using System;
class HelloWorld{
 public static void Main(){
 System.Console.WriteLine("Hello, World!");
 }
}

1
2
3
4
5


<html>
<body>
 Hello, World!
</body>
</html>

1
2
3
4
5
6
7


package main
import fmt "fmt"

func main()
{
 fmt.Printf("Hello, World!\n");
}

1
2
3


object HelloWorld with Application {
 Console.println("Hello, World!");
}

1
2
3


<?php
 echo 'Hello, World!';
?>

1

print("Hello, World!")

1
2
3
4


(defn hello-world
 "A function print 'Hello world'."
 []
 (prn "Hello world"))

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


<!DOCTYPE html>
<html>
<head>
 <title>{{ .Title }}</title>
</head>
<body>
 <h1>{{ .Title }}</h1>
 {{ .Content }}
</body>
</html>

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


{{ partial "header.html" . }}

 <h1>posts</h1>
 {{ range first 10 .Data.Pages }}
 {{ if eq .Type "post"}}
 <h2><a href="{{ .Permalink }}">{{ .Title }}</a></h2>
 {{ end }}
 {{ end }}

 <h1>pages</h1>
 {{ range .Data.Pages }}
 {{ if or (eq .Type "page") (eq .Type "about") }}
 <h2><a href="{{ .Permalink }}">{{ .Type }} - {{ .Title }} - {{ .RelPermalink }}</a></h2>
 {{ end }}
 {{ end }}

{{ partial "footer.html" . }}

Detect the language

package hello
fun main(args: Array<String>) {
println("Hello World!")
}

<?php
echo 'Hello, World!';
?>

By {{< highlight go-html-template "linenos=table,hl_lines=1 3-7,linenostart=199" >}}..{{< / highlight >}}

199
200
201
202
203
204
205
206


<section id="main">
 <div>
 <h1 id="title">{{ .Title }}</h1>
 {{ range .Data.Pages }}
 {{ .Render "summary"}}
 {{ end }}
 </div>
</section>

更换新主题

Sat, 20 Aug 2011 18:39:25 +0000

把Zindi主题改了一下，主要是改了页面宽度，文字大小。。我还是喜欢14px的文字，看起来容易阅读。悲剧的是发现评论不是嵌套的···o(╯□╰)o这个还没改。。嵌套评论是必须的··怎么能木有呢···迟点试着改一下。。

Django values(*fields) 如何使用

Sun, 14 Aug 2011 09:08:12 +0000

官方文档:https://docs.djangoproject.com/en/1.3/ref/models/querysets/#values

1. values(*fields)

这个方法返回的是ValuesQuerySet,是QuerySet 的子类，也就是说，你可以用QuerySet里的方法。需要注意的是，返回的不是list，不要直接当list来用了。对ValuesQuerySet遍历，每一个元素是“字典”dict。

当不传入参数时，返回这个model的所有字段

AppDef.objects.values()
[{'creator': u'admin', 'apptype_name': u'uc3g', 'apptype_chn_name': u'3G\u95e8\u6237', 'note': u'', ...},...]

当传入参数时，只会列出你指定的参数

AppDef.objects.values('apptype_name')
[{'apptype_name': u'uc3g'},...]

也可以加上filter，filter在前或者后面都是一样的

AppDef.objects.filter(pk=1).values('apptype_name')
AppDef.objects.values('apptype_name').filter(pk=1)

如果想把关联的字段也一起查出来
OneToOneField, ForeignKey 和ManyToManyField 关系的都可以。
ManyToManyField 在Django1.3版后才支持
LogTypeDef定义了一个app的ForeignKey

LogTypeDef.objects.filter(pk=6).values('pk', 'app__apptype_name')
[{'pk': 6L, 'app__apptype_name': u'wapsearch'}]

如果你只想拿到app_id，可以这样
下面三种方法都是一样的，只是返回的结果名字对应你的查询语句

LogTypeDef.objects.filter(pk=6).values('pk', 'app_id')
LogTypeDef.objects.filter(pk=6).values('pk', 'app')
LogTypeDef.objects.filter(pk=6).values('pk', 'app__id')

注意在关联关系为多对多的时候，它只会帮你一条一条的列出来，而不会帮你合并为一个list。
例如会返回类型的结果：同一个pk并不会帮你合并app_id

[{pk: 6, app_id: 2}, {pk: 6, app_id: 3}]

2. 注意事项

当同时使用distinct()和values()，需要注意order_by() (或者默认 model ordering) ，会自动加入select 中作为distinct项，所以返回的结果你以为是重复的，其实是order by的字段没列出来。
如果在extra() 之后用values()，一定要把extra用到的字段也加进来；如果extra()在values()之后，extra的字段会自动加进select。
Because ManyToManyField attributes and reverse relations can have multiple related rows, including these can have a multiplier effect on the size of your result set. This will be especially pronounced if you include multiple such fields in your values() query, in which case all possible combinations will be returned. (这个不太懂什么意思，应该是当values有多个manytomanyfield的时候，会尽量合并一些)

3. 适用范围

l 只需要返回dict，而不需要返回model object。
l 只需要返回简单的数据（包括层次简单）

4. Values_list

和values一样，只是返回的不是字典而是元组。

Extjs FormPanel.getForm().getValues()对下拉框(Combobox)取值的问题

Mon, 27 Jun 2011 05:36:01 +0000

遇到的问题

我使用的是Extjs3.3
在FormPanel中，可以通过 FormPanel.getForm().getValues()取得这个FormPanel下的所有值。
但是，在取下拉框值时，得到的是显示名称（displayValue），而不是真正的值（value）

解决方法

原因是没有在下拉框指定hiddenName，指定hiddenName 和 name的值一样就可以了。 2011-8-30update : 用FormPanel.getForm().getFieldValues()可以不用设置hiddenName。

Extjs3 EditorGridPanel的beforeedit事件参数

Thu, 02 Jun 2011 02:21:37 +0000

beforeedit : ( Object e )

只有一个事件(edit event)参数，但这个参数内容很丰富，可以满足很多需求。
参数分别如下：
grid – 表格本身
record – 你要编辑的那一行记录
field – 你编辑的列名
value – 你编辑的值
row – 行号
column – 列号
cancel – 设这个为true或者return false可以取消编辑（不显示那个编辑框）

Extjs renderer参数

Tue, 31 May 2011 09:05:24 +0000

function myRenderer(value, cellmeta, record, rowIndex, columnIndex, store) {
[…]
}
看上面的myRenderer，依次最多有6个参数
1 value：当前单元格的值
2 cellmeta里保存的是cellId单元格id，id不知道是干啥的，似乎是列号，css是这个单元格的css样式。（没看懂？？？）
3 record：这行的所有数据，可以通过record.data[“id”]获得本行中“id”字段的值。
4 rowIndex：行号，不是从头往下数的意思，而是计算了分页以后的结果。
5 columnIndex：列号
6 store：整个grid关联的数据来源：http://blog.sina.com.cn/s/blog_5140a6a50100bfat.html
关于该store的访问，可以看http://blog.chinaunix.net/u1/37472/showart_2190023.html

Ext.encode与Ext.decode的JSON转换

Sat, 14 May 2011 13:51:30 +0000

在Extjs中，我们可以通过json来交换数据，Extjs内置了两个方法来互相转换。

Ext.decode( String json ) : Object

把json字符串转换为对象

Ext.encode( Mixed o ) : String

把对象转换为字符串，用这个方法可以在ajax提交时返回数据

var arr = [];
var field1 = {};
field1['name'] = 'fatkun';
field1['age'] = 23;
var field2 = {};
field2['name'] = 'test';
field2['age'] = 24;
arr.push(field1);
arr.push(field2);
Ext.encode(arr);
//返回结果"[{"name":"fatkun","age":23},{"name":"test","age":24}]"

Python遍历淘宝成交记录（版本二）

Tue, 10 May 2011 15:49:15 +0000

在前一版本的基础上，加入了排序。按物品和日期来排序，排除重复的价格和物品

#-*- encoding: gbk -*-
'''
Created on 2011-5-8
@author: fatkun
'''
import urllib2
import re
import time
import string
from operator import itemgetter
#读取网页
def read(url):
opener = urllib2.build_opener()
#opener.handle_open["http"][0].set_http_debuglevel(1)
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
f= opener.open(url)
content = f.read()
return content
#正则表达式返回需要的内容
def display(content):
pattern = re.compile(r"""<tr(?:[^>]+)?> #TR
[\S\s]*?<td[\S\s]*?</td>[\S\s]*?<td(?:[^>]+)?> #Second TD
[\S\s]*?<a [^>]+>([\S\s]*?)</a> # 链接
[\S\s]*?<br/>\s+((?:[\S]+[ ]?)+)\s+</td> # 物品名称
[\S\s]*?<em>(\d+)</em> # 价格
[\S\s]*?<td>[\S\s]*?</td> # TD
[\S\s]*?<td>([\S\s]*?)</td> # 日期
[\S\s]*?</tr> #Last TR
""", flags=re.MULTILINE|re.IGNORECASE|re.VERBOSE)
matchs = re.findall(pattern, content )
alist = []
for match in matchs:
alist.append((match[2].strip(), match[3].strip()[:11], match[1].strip()))
return alist
filepath = 'c:\\log.txt'
resultfilepath = 'c:\\log_result.txt'
open(filepath, 'w').close()
lastpage = 50
#淘宝物品的成交记录下一页的链接，请复制链接，把最后一个页数的数字删掉，放在url变量里
url = 'http://tbskip.taobao.com/json/show_buyer_list.htm?is_offline=&page_size=15&is_start=false&item_type=b&ends=1305198406000&starts=1304593606000&item_id=5964804060&user_tag=475363344&old_quantity=5521&sold_total_num=3057&closed=false&seller_num_id=69211806&zhichong=true&bidPage='
onlyonelist = []
allfieldlist = []
for i in range(1, lastpage + 1):
fullurl = '%s%d' % (url, i)
#不出错运行后设为False
runfail = True
#重试次数
retry = 2
print '第%d页 - %s' % (i, fullurl)
try:
logfile = open(filepath, 'a')
while (runfail and retry >= 0):
try:
content = read(fullurl)
alist = display(content)
str = '';
for record in alist:
price_product_record = (record[0], record[2])
if price_product_record not in onlyonelist:
onlyonelist.append(price_product_record)
allfieldlist.append(record)
str += string.ljust(record[0], 7) + string.ljust(record[1], 15) + record[2]
str += '\n'
if str != '': logfile.write(str)
runfail = False
except IOError:
print 'IO error'
retry = retry - 1
time.sleep(5)
if (retry == 0):time.sleep(10) #最后一次尝试等10秒
logfile.flush()
except:
print 'write file fail!'
finally:
logfile.close()
#保存排序后结果
allfieldlist.sort(key=itemgetter(2, 1))
resultfile = open(resultfilepath, 'w')
str = ''
for record in allfieldlist:
str += string.ljust(record[0], 7) + string.ljust(record[1], 15) + record[2]
str += '\n'
resultfile.write(str)
resultfile.close()
print 'Success!'

Python list的多列排序

Mon, 09 May 2011 15:02:55 +0000

Python 中的排序真的很方便
你可以使用alist.sort()或者sorted(alist)进行排序。不同的是，前者会改变原来list的顺序。
在python中你可以简单的指定key则可以按照某一列排序

#默认顺序
>>> l
[('aa', '2'), ('aa', '1'), ('bb', '1'), ('dd', '3'), ('cc', '4')]
#普通排序，默认会按顺序进行排序
>>> sorted(l)
[('aa', '1'), ('aa', '2'), ('bb', '1'), ('cc', '4'), ('dd', '3')]
#指定排序的优先级，在这里你可以看到多列排序只需要用逗号隔开即可
>>> from operator import itemgetter, attrgetter
>>> sorted(l, key=itemgetter(1, 0))
[('aa', '1'), ('bb', '1'), ('aa', '2'), ('dd', '3'), ('cc', '4')]

对List里的dict排序，key=lambda x:x[‘b’]。b为你想排序的列

>>> l = [{'a':'fatkun', 'b':23}, {'a':'ken', 'b':21}]
>>> sorted(l, key=lambda x:x['b'])
[{'a': 'ken', 'b': 21}, {'a': 'fatkun', 'b': 23}]

这样的排序方法实在是太简单了~~另外如果需要更复杂的方法，可以使用cmp参数，自己写一个方法比较。参考文章：
http://wiki.python.org/moin/HowTo/Sorting/

Python遍历淘宝成交记录

Sun, 08 May 2011 13:19:21 +0000

本着学习urllib和正则re的原因和无比蛋疼，另外想把淘宝的成交记录全部列出来看看价格的变化
在这个例子中你可以学到

urllib2 addHeader的使用
正则表达式的使用使用前需要配置一下url变量，淘宝物品的成交记录下一页的链接，请复制链接，把最后一个页数的数字删掉，放在url变量里
因为里面太多参数了，没办法只改变某些变量结果会保存在c:\log.txt文件内。

以下是代码

#-*- encoding: gbk -*-
'''
Created on 2011-5-8
@author: fatkun
'''
import urllib2
import re
import time
import string
#读取网页
def read(url):
opener = urllib2.build_opener()
#opener.handle_open["http"][0].set_http_debuglevel(1)
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
f= opener.open(url)
content = f.read()
return content
#正则表达式返回需要的内容
def display(content):
pattern = re.compile(r"""<tr(?:[^>]+)?> #TR
[\S\s]*?<td[\S\s]*?</td>[\S\s]*?<td(?:[^>]+)?> #Second TD
[\S\s]*?<a [^>]+>([\S\s]*?)</a> # 链接
[\S\s]*?<br/>\s+((?:[\S]+[ ]?)+)\s+</td> # 物品名称
[\S\s]*?<em>(\d+)</em> # 价格
[\S\s]*?<td>[\S\s]*?</td> # TD
[\S\s]*?<td>([\S\s]*?)</td> # 日期
[\S\s]*?</tr> #Last TR
""", flags=re.MULTILINE|re.IGNORECASE|re.VERBOSE)
matchs = re.findall(pattern, content )
str = ''
for match in matchs:
str += string.ljust(match[2].strip(), 7) + string.ljust(match[3][:11], 15) + match[1].strip()
str += '\n'
return str
filepath = 'c:\\log.txt'
open(filepath, 'w').close()
lastpage = 150
#淘宝物品的成交记录下一页的链接，请复制链接，把最后一个页数的数字删掉，放在url变量里
url = 'http://tbskip.taobao.com/json/show_buyer_list.htm?is_offline=&page_size=15&is_start=false&item_type=b&ends=1305101478000&starts=1304496678000&item_id=8689953932&user_tag=475363344&old_quantity=1187&sold_total_num=365&closed=false&seller_num_id=69211806&zhichong=true&bidPage='
for i in range(1, lastpage + 1):
fullurl = url + '%d' % (i,)
#不出错运行后设为False
runfail = True
#重试次数
retry = 2
print fullurl
try:
logfile = open(filepath, 'a')
while (runfail and retry >= 0):
try:
content = read(fullurl)
str = display(content)
logfile.write(str)
runfail = False
except:
print '*' * 100
print 'error'
print '*' * 100
retry = retry - 1
time.sleep(5)
if (retry == 0):time.sleep(10) #最后一次尝试等10秒
logfile.flush()
except:
print 'write file fail!'
finally:
logfile.close()

Ubuntu中配置Mysql编码

Tue, 03 May 2011 08:42:34 +0000

找到配置文件

我是通过sudo apt-get install mysql来安装的。mysql的配置文件在/etc/mysql/my.cnf
如果找不到这个文件，可以运行sudo find / -iname ‘*.cnf’查找所有的cnf文件

修改配置文件

在[mysqld]下添加
default-character-set=utf8
在[client]下添加
default-character-set=utf8

重启mysql

sudo service mysql restart

登录mysql查看是否成功

# mysql -u root

mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name | Value |
+--------------------------+----------------------------+
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | utf8 |
| character_set_server | utf8 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

修改已经部署的数据库编码

感觉还是挺麻烦的，注意要修改数据库、表、字段的编码。
具体的命令请参考mysql修改表、字段、库的字符集参考文章：
Linux平台下修正MySQL中文乱码问题

mysql修改表、字段、库的字符集

Mon, 02 May 2011 08:20:27 +0000

修改数据库字符集：

ALTER DATABASE db_name DEFAULT CHARACTER SET character_name [COLLATE ...];

把表默认的字符集和所有字符列（CHAR,VARCHAR,TEXT）改为新的字符集：

ALTER TABLE tbl_name CONVERT TO CHARACTER SET character_name [COLLATE ...]
如：ALTER TABLE logtest CONVERT TO CHARACTER SET utf8 COLLATE utf8_general_ci;

只是修改表的默认字符集：

ALTER TABLE tbl_name DEFAULT CHARACTER SET character_name [COLLATE...];
如：ALTER TABLE logtest DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

修改字段的字符集：

ALTER TABLE tbl_name CHANGE c_name c_name CHARACTER SET character_name [COLLATE ...];
如：ALTER TABLE logtest CHANGE title title VARCHAR(100) CHARACTER SET utf8 COLLATE utf8_general_ci;

查看数据库编码：

show create database db_name;

查看表编码：

show create table tbl_name;

查看字段编码：

show full columns from tbl_name;

来源：http://www.diannaowa.com/index.php/archives/233

在VIM加入Ctrl+S快捷键保存当前文件

Sun, 01 May 2011 03:56:22 +0000

由于Ctrl+S被其他使用，首先要修改~/.bashrc文件，在最后加上

stty stop ''

然后在~/.vimrc文件中加入

map <C-s> :w<CR>
imap <C-s> <C-o>:w<CR>

参考来源，有修改：http://sigttou.com/vim-ctrl-s

部署outlook2003插件

Thu, 21 Apr 2011 03:53:29 +0000

如果你的插件部署失败，很可能是没有信任的原因，请参考下面的文章吧。

问题

outlook addin 部署成功了，但打死不能切换语言，无论切换哪个都是英文。（多语言是通过ResourceManager读取的）

解决方法

原因是资源文件是放在子目录下的dll文件，例如”zh-CN\xxx.resource.dll”，这些dll并没有授权。
你可以在 VS的命令行中输入 “caspol -lg” 列出所有授权的组。
如果你是按照MSDN的文章进行部署，你应该会有个CaspolSecurityPolicyCreator.cs的文件用于授权。

//找到这句
string arguments = policyLevel + " -q -ag " + parentCodeGroup + " -url \"" + solutionInstallationUrl + "\" Nothing -n \"" + solutionCodeGroupName + "\" -d \"" + solutionCodeGroupDescription + "\"";
//把Nothing改为FullTrust，其实就是把这个目录的所有文件都信任了
string arguments = policyLevel + " -q -ag " + parentCodeGroup + " -url \"" + solutionInstallationUrl + "\" FullTrust -n \"" + solutionCodeGroupName + "\" -d \"" + solutionCodeGroupDescription + "\"";

如果你没有上面这个文件（其实这个文件也是调用caspol.exe来授权的），可以尝试自己来运行caspol.exe -m -ag …来授权。

参考文章

Outlook 2003 Add in 部署笔记
 Deploying Visual Studio 2005 Tools for the Office System SE Solutions Using Windows Installer (Part 1 of 2)

python实现一个简单的地址簿

Sun, 17 Apr 2011 10:51:16 +0000

看了简明python教程，动手试试，用python实现一个简单的地址簿

版本一

这只是一个简单的试验版本，如何新建对象并保存。

#!/usr/bin/python
# Filename: addressBook.py
import cPickle as pickle
class PersonInfo:
def __init__(self, name, age):
self.name = name
self.age = age
def __str__(self):
return '姓名:%s，年龄:%s' % (self.name, self.age)
addrFileName = 'address.data'
addrList = {}
pi = PersonInfo('Fatkun', 23)
addrList[pi.name] = pi
pi = PersonInfo('Olunx', 22)
addrList[pi.name] = pi
addrFile = file(addrFileName, 'w')
pickle.dump(addrList, addrFile)
addrFile.close()
del pi
addrFile = file(addrFileName)
storedPi = pickle.load(addrFile)
for key, pi in storedPi.items():
print pi

版本2

这个版本是较完整的例子，实现了多个方法。

#!/usr/bin/python
# -*- coding: gbk -*-
# Filename: addressBook.py
import cPickle as pickle
import sys
class PersonInfo:
def __init__(self, name, age):
self.name = name
self.age = age
def __str__(self):
return '姓名:%s，年龄:%s' % (self.name, self.age)
#读取文件
def readObj(addrFileName):
addrFile = file(addrFileName)
storedList = pickle.load(addrFile)
return storedList
#添加或更新
def addOrUpdatePerson(name, age):
global addrList
pi = PersonInfo(name, age)
addrList[name] = pi
#保存对象到文件
def save(addrFileName):
global addrList
addrFile = file(addrFileName, 'w')
pickle.dump(addrList, addrFile)
addrFile.close()
def delPersion(name):
global addrList
#if addrList.has_key(name): 可以用这个判断是否有key，但我想练习一下捕捉异常，so...
try:
del addrList[name]
except KeyError:
print "出错啦，可能已经删除了。\n"
#遍历
def printAll():
global addrList
for key, pi in addrList.items():
print pi
#保存对象的文件名
addrFileName = 'address.data'
#map
addrList = readObj(addrFileName)
if len(sys.argv) < 2:
printAll()
elif sys.argv[1].startswith('--'):
option = sys.argv[1][2:]
if option == 'version':
print 'Version 1.0'
elif option == 'help':
print '''\
这只是一个简单的地址簿（坑爹啊，哪里有地址了，就一个名字和年龄）
参数：
--version : 打印版本
--help : 显示帮助
-a username age ：添加
-u username age ：更新
-d username : 删除
'''
else:
print '未知参数'
elif sys.argv[1].startswith('-'):
option = sys.argv[1][1:]
if option == 'a':#添加
if len(sys.argv) == 4:
addOrUpdatePerson(sys.argv[2],sys.argv[3])
elif option == 'u':#更新
if len(sys.argv) == 4:
addOrUpdatePerson(sys.argv[2],sys.argv[3])
elif option == 'd':#删除
if len(sys.argv) == 3:
delPersion(sys.argv[2])
printAll()
save(addrFileName)

CSS实现的三角形

Sun, 10 Apr 2011 07:23:49 +0000

看着喜欢，就试着自己做一个了。

原理

主要是利用border来实现。看上图的的正方形的代码

<div style="width:0; height:0; border:40px solid transparent;border-top-color:green;border-left-color:red;border-right-color:blue;border-bottom-color:yellow;"></div>

分别给四边的border设了四种颜色。也许你看到这里就知道了，取一部分不就是三角形了嘛。没错，把其他三边设为透明即可。

<style type="text/css">
.triangle_contianer{ position:relative; background:#FFE4CA; color:#000; border:4px solid #F90; padding:5px;}
.triangle_border{ width:0; position:absolute; left:50%;bottom:-24px; margin-left:-12px; border:12px solid transparent;border-top-color:#F90;}
.triangle{ position:absolute; left:50%;bottom:-12px; margin-left:-6px; border:6px solid transparent;border-top-color:#FFE4CA;}
</style>
<span class="triangle_contianer">
Fatkun,这是提示的内容啊<span class="triangle_border"></span><span class="triangle"></span>
</span>

其实这里用了一个span假装作为了三角形边框(triangle_border)，其实也是一个三角形border。另外里面的边框宽度改变的话，还要相应的改变margin-left等一些值。

安装VS2008失败，Microsoft Visual Studio Web创作组件安装失败

Sat, 02 Apr 2011 06:45:05 +0000

我的计算机系统是vista家庭版的，已经安装了Office 2007，在安装VS2008的过程中出现安装失败的窗口。先把vs2008镜像文件下的\WCU\WebDesignerCore\WebDesignerCore.EXE 手动解压(Winrar)，然后找一个office2007光盘或光盘镜像，找到Office.zh-cn文件夹，把该文件夹复制，覆盖WebDesignerCore.EXE 解压后的office.zh-cn文件夹，再点击里面的setup.exe。最后就可以点击根目录下的setup.exe计科安装成功。如果不先执行覆盖操作，就会提示找不到“Office.zh-cn\OfficeMUI.msi文件”文件。原文：http://blog.csdn.net/shilmey/archive/2010/03/04/5347447.aspx
更多：http://blogs.itecn.net/blogs/wbpluto/archive/2008/02/17/visual-studio-2008-web.aspx

org.hibernate.NonUniqueObjectException的原因与解决方法

Fri, 01 Apr 2011 09:42:12 +0000

使用hibernate更新对象时，出现如下错误：
org.hibernate.NonUniqueObjectException: a different object with the same identifier value was already associated with the session:[com.fatkun.dao.hibernate.User#12]

原因

在同一个session内，如果已经有一个对象已经是持久化状态(load进来等)，现在构造一个新的PO，和前一个持久化对象拥有相同的持久化标识(identifier)，在update的时候，就会抛这个错误。
举个例子（伪代码）：

User user1 = session.load(1);
User user2 = new User();
user2.setId(1);//此时ID和user1一样
user2.setUsername("fatkun");
session.update(user2);//这里会抛出错误

解决方法

1.不要重新new一个对象，使用load的对象对他进行更改值。
例如上面例子直接对user1操作，最后更新user1
2.如果是hibernate3以上，可以使用session.merge()方法
3.把session中同标识的对象移出(session.evict(user1))，使他成为脱管的状态，然后user2就可以update了。

Outlook自定义窗体自动发布

Wed, 16 Mar 2011 01:20:42 +0000

一般来说，我们都是把窗体“另存为”一个.oft的文件，然后如果要发布给很多人，一个是发布到exchange server上大家共用，一个是只发布到自己。通常是使用“工具->窗体->发布窗体”来进行发布，但是如果窗体很多。。而且每个人都要发布。。那就挺麻烦的。

实现代码

把下面的代码保存为xxx.vbs文件，放到.oft同一个目录就可以自动发布了。当然，你可以要相应修改一下

Sub PublishForm(objOL, olns, strPath, trueName, displayName, folderId)
Dim objItem ' As Outlook.ContactItem
Dim objFD ' As Outlook.FormDescription
Dim MyFolder
Const olPersonalRegistry = 2
Const olFolderRegistry = 3
Const olDiscard = 1
Set objItem = objOL.CreateItemFromTemplate(strPath)
Set objFD = objItem.FormDescription
Set MyFolder = olns.GetDefaultFolder(folderId)
With objFD
.Name = trueName
.DisplayName = displayName
.PublishForm olFolderRegistry, MyFolder '请参考msdn，olPersonalRegistry 是发布到personal文件夹
End With
objItem.Close olDiscard
Set objFD = Nothing
Set objItem = Nothing
End Sub
Const olFolderCalendar = 9
Const olFolderTasks = 13
Dim path
'取得当前位置
path = createobject("Scripting.FileSystemObject").GetFolder(".").Path+"\"
Dim objOL,olns
Set objOL = CreateObject("Outlook.Application")
Set olns = objOL.GetNameSpace("MAPI")
Call PublishForm(objOL, olns, path+"Activity.oft","命名","显示名称",olFolderTasks)
Set objOL = Nothing
Set olns = Nothing

参考文章

To distribute Microsoft Outlook forms to other users Automating the Installation of Outlook Forms for off-line users http://www.txsz.net/xs/delphi/3/Outlook%20TypeLib%28MSOUTL9.OLB%29.htm

FormDescription.PublishForm Method

VSTO获取邮件联系人邮箱

Tue, 15 Mar 2011 01:23:56 +0000

C# VSTO获取邮件联系人邮箱，包括获取To,CC等
直接从mailItem.Recipients取得所有这封邮件的联系人，然后在根据Type来判断是属于哪个的。

public enum OlMailRecipientType
{
olOriginator = 0,
olTo = 1,
olCC = 2,
olBCC = 3,
}

举例，取得CC的联系人邮箱：

public static List<string> GetCCAddress(Microsoft.Office.Interop.Outlook.MailItem mailItem)
{
List<string> addressList = new List<string>();
Outlook.Recipients recipients = mailItem.Recipients;
foreach (Outlook.Recipient recipient in recipients)
{
if (recipient.Type != 2)//OlMailRecipientType.olCC=2
{
continue;
}
if (recipient.Address != null)
{
string addType = recipient.AddressEntry.Type;
if ("SMTP".Equals(addType))
{
addressList.Add(recipient.Address);
}
else if ("EX".Equals(addType))
{
addressList.AddRange(GetEmailAddressForExchangeServer(mailItem.Application, recipient.Name));
}
}
}
return addressList;
}

参考网址： http://msdn.microsoft.com/en-us/library/aa210995%28v=office.11%29.aspx http://msdn.microsoft.com/en-us/library/aa219371%28v=office.11%29.aspx

JDK源码分析：java.lang.String

Thu, 10 Mar 2011 15:24:57 +0000

最近开始看JDK源码，不能太懒了注释非常详细（虽然是英文），而且部分代码也不算很复杂。先挑的简单的看看。。为了坚持下去，所以在博客写些记录，一是为了记忆，二是给自己一个坚持的理由哇咔咔，英文不算很好，那就对着中文API一起看吧。。

String结构

这个类结构很简单。。

/** The value is used for character storage. */
private final char value[];
/** The offset is the first index of the storage that is used. */
private final int offset;
/** The count is the number of characters in the String. */
private final int count;

用了一个char数组来存储字符，然后offset是偏移（这个我还搞不懂有啥用），count是String的长度。
注意到String类是final的，不可以被继承，而且private final char value[];，只能赋值一次，赋值后就不能变了，只有从新生成一个String对象。

public String concat(String str)

public String concat(String str) {
int otherLen = str.length();
if (otherLen == 0) {
return this;
}
char buf[] = new char[count + otherLen];
getChars(0, count, buf, 0);
str.getChars(0, otherLen, buf, count);
return new String(0, count + otherLen, buf);
}

这段代码是连接两个String的，先拿个char数组当容器，从this和str分别取出char放入buf内，注意getChars方法的第四个参数，这个是说buf从count个开始拷贝。也就是说把两个string的char放在了一个char数组内，再返回一个新的String对象。(因为之前的String已经不可以改变)

public int indexOf(String str, int fromIndex)

public int indexOf(String str, int fromIndex) {
return indexOf(value, offset, count,
str.value, str.offset, str.count, fromIndex);
}
//source源字符，sourceOffset源偏移，sourceCount源长度
//target查找的字符 ...
static int indexOf(char[] source, int sourceOffset, int sourceCount,
char[] target, int targetOffset, int targetCount,
int fromIndex) {
//如果fromIndex比源字符还长(从0算起)，并且查找的字符长度为0，那就返回源字符的长度，否则返回-1
if (fromIndex >= sourceCount) {
return (targetCount == 0 ? sourceCount : -1);
}
if (fromIndex < 0) {
fromIndex = 0;
}
//如果fromIndex比源字符短，查找的字符长度为0，直接返回fromIndex
if (targetCount == 0) {
return fromIndex;
}
//先取出第一个字符
char first = target[targetOffset];
int max = sourceOffset + (sourceCount - targetCount);
//循环每一个字符
for (int i = sourceOffset + fromIndex; i <= max; i++) {
/* 直到找到第一个字符 */
if (source[i] != first) {
while (++i <= max && source[i] != first);
}
/* 找到第一个字符后，比较剩下的字符 */
if (i <= max) {
int j = i + 1;
int end = j + targetCount - 1;
for (int k = targetOffset + 1; j < end && source[j] ==
target[k]; j++, k++);
if (j == end) {
/* 如果j能到end，那就说明找到整个字符串啦，返回偏移 */
return i - sourceOffset;
}
}
}
return -1;
}

indexOf只要看它的查找方法，先找到第一个，然后再匹配剩下的。

public boolean equals(Object anObject)

public boolean equals(Object anObject) {
if (this == anObject) {
return true;
}
if (anObject instanceof String) {
String anotherString = (String)anObject;
int n = count;
if (n == anotherString.count) {
char v1[] = value;
char v2[] = anotherString.value;
int i = offset;
int j = anotherString.offset;
while (n-- != 0) {
if (v1[i++] != v2[j++])
return false;
}
return true;
}
}
return false;
}

比较char~~

replace与replaceAll

public String replace(CharSequence target, CharSequence replacement) {
return Pattern.compile(target.toString(), Pattern.LITERAL).matcher(
this).replaceAll(Matcher.quoteReplacement(replacement.toString()));
}
public String replaceAll(String regex, String replacement) {
return Pattern.compile(regex).matcher(this).replaceAll(replacement);
}

这两句真短啊。。用正则表达式来替换的。可以看出他们的区别。
replace只支持普通字符的替换哦，Pattern.LITERAL是指启用模式的字面值解析。Matcher.quoteReplacement(str)返回指定 String 的字面值替换 String。这个方法也就是替换\为\\(四个反斜杠)，$换为\$。这样，它就不能用正则表达式了，但是看到依然是replaceAll，替换所有。
replaceAll很简单的一个正则表达式使用~~
要注意的是源字符串替换后内容并没有发生变化。
举例如下: 来源
String src = new String("ab43a2c43d");
System.out.println(src.replace("3","f"));=>ab4f2c4fd.
System.out.println(src.replace('3','f'));=>ab4f2c4fd.
System.out.println(src.replaceAll("\d","f"));=>abffafcffd.
System.out.println(src.replaceAll("a","f"));=>fb43fc23d.
System.out.println(src.replaceFirst("\d,"f"));=>abf32c43d
System.out.println(src.replaceFirst("4","h"));=>abh32c43d.

安装.net framework 3.5错误

Wed, 09 Mar 2011 05:20:13 +0000

问题

我在官方下了一个.net framework 3.5,可是安装的时候说
Visual C++ Runtime Library runtime error.
This application has requested the runtime to terminate it in an unusual way.Please contact the application’s support team for more information. 后面来弹出一个错误是：printfilterpipelinesve.exe 应用程序错误

解决方法

在我的电脑-》右键-》管理-》服务和应用程序-》服务-》启用Print Spooler服务

谷歌浏览器扩展:Fatkun图片批量下载0.4版出来了

Sat, 05 Mar 2011 16:31:30 +0000

这次改动很少。。 0.4版update:2011-03-06

添加选项选择使用标题保存还是固定名字目录下载地址：0.4版插件地址：http://bath-image-download.googlecode.com/files/batch0_4.crx 更多信息看这里:http://fatkun.com/2010/09/batch-image-download.html

HTML Canvas 鼠标画图

Sun, 20 Feb 2011 07:32:27 +0000

原文来自:http://www.williammalone.com/articles/create-html5-canvas-javascript-drawing-app(已被墙) 译文: http://fatkun.com/2011/02/html5-canvas-paint.html 我也不打算全部翻译了…大部分也看的懂,就算看不懂,代码也能看懂….o(╯□╰)o原谅我非常懒…很久没写博客了.

——————-以下是一个简单的例子————————————-

html容器

首先，准备个容器,也就是画板了。

<canvas id="canvasInAPerfectWorld" width="490" height="220"></canvas>

但是，由于IE部分版本还是不支持HTML5，那我们可以借用exCanvas兼容IE..

<div id="canvasDiv"></div>

初始化js代码

如果你不管IE使用第一种方法

context = document.getElementById('canvasInAPerfectWorld').getContext("2d");

为了兼容IE，不得不使用下面这个方法，创建一个canvas，然后使用excanvas初始化。当然，为了IE兼容，你需要针对IE加上exCanvas.js

var canvasDiv = document.getElementById('canvasDiv');
canvas = document.createElement('canvas');
canvas.setAttribute('width', canvasWidth);
canvas.setAttribute('height', canvasHeight);
canvas.setAttribute('id', 'canvas');
canvasDiv.appendChild(canvas);
if(typeof G_vmlCanvasManager != 'undefined') {
canvas = G_vmlCanvasManager.initElement(canvas);
}
context = canvas.getContext("2d");

开始一个简单的画板

在开始之前，说说怎么做先。它包含了四个鼠标事件和两个方法。addClick是为了记录鼠标的移动点，redraw是把记录的数据画出来。 (提一下，由于原作者使用了jquery，所以你也要把jquery引用进来。)

鼠标按下事件(Mouse Down Event)

当鼠标按下时，把paint设为true，表示正在画，鼠标没松开。把鼠标点记录下来。

$('#canvas').mousedown(function(e){
var mouseX = e.pageX - this.offsetLeft;
var mouseY = e.pageY - this.offsetTop;
paint = true;
addClick(e.pageX - this.offsetLeft, e.pageY - this.offsetTop);
redraw();
});

鼠标移动事件(Mouse Move Event)

当按下鼠标的时候，鼠标移动就把点记录下来并画出来。

$('#canvas').mousemove(function(e){
if(paint){//是不是按下了鼠标
addClick(e.pageX - this.offsetLeft, e.pageY - this.offsetTop, true);
redraw();
}
});

鼠标松开事件(Mouse Up Event)

$('#canvas').mouseup(function(e){
paint = false;
});

鼠标移开事件(Mouse Leave Event)

$('#canvas').mouseleave(function(e){
paint = false;
});

addClick方法

记录鼠标坐标点

var clickX = new Array();
var clickY = new Array();
var clickDrag = new Array();
var paint;
function addClick(x, y, dragging)
{
clickX.push(x);
clickY.push(y);
clickDrag.push(dragging);
}

redraw方法

目前这个redraw方法是每次都清空画板，然后重新把所有的点都画过，虽然效率不高，但是这样看起来还是挺简单的。

function redraw(){
canvas.width = canvas.width; // Clears the canvas
context.strokeStyle = "#df4b26";
context.lineJoin = "round";
context.lineWidth = 5;
for(var i=0; i < clickX.length; i++)
{
context.beginPath();
if(clickDrag[i] && i){//当是拖动而且i!=0时，从上一个点开始画线。
context.moveTo(clickX[i-1], clickY[i-1]);
}else{
context.moveTo(clickX[i]-1, clickY[i]);
}
context.lineTo(clickX[i], clickY[i]);
context.closePath();
context.stroke();
}
}

最终效果

点我看效果，赶紧点我

最后

这上面的只是个简单的例子啦。。。原作者还在上面代码的基础上加了颜色，大小，橡皮擦等功能呢~~想看的翻墙去看作者博客吧。。这年头不会翻墙还真不好意思见人。

SQL Server JDBC Driver 2.0编译失败

Thu, 27 Jan 2011 04:46:59 +0000

Exception in thread "main" java.lang.UnsupportedClassVersionError: Bad version number in .class file

这个错误是因为JDK的版本不对，请检查你的JDK版本。然后检查你的包是不是都用低版本JDK编译的。

如果你在使用JDK1.5的话，一定要使用sqljdbc.jar包，sqljdbc4.jar是在JDK1.6的环境下才能使用的。

改变CHM字体大小

Wed, 26 Jan 2011 05:53:16 +0000

看CHM文档太郁闷了，字体太小还调整不了o(╯□╰)o 还恨不得用放大镜看呢。。囧。。

解决方法

启动IE，单击“工具→Internet选项”，出现“Internet选项”对话框，在“常规”标签中单击右下方的“辅助功能”按钮，在出现的“辅助功能”对话框中把“不使用网页中指定的字体大小”(IE8中是忽略网页上指定的字号)选项选上，按“确定”退出就可以了！现在，你再试试点击CHM上面的字体按钮或IE Menu Bar上的“查看→文字大小”命令，改变字体大小后，Chm字体的大小也随之改变了。看完了文档最好改回来，嘿嘿。。。不然有些网页字体很大。。。

正则表达式-非捕获组

Sun, 23 Jan 2011 05:59:32 +0000

非捕获组 (?:xxx)

使用 (?: ) 包含其他表达式，可使被包含的表达式组成一个整体，在被修饰匹配次数时，可作为整体被修饰。

## 说明

与普通分组不同的是，非捕获组不记录所匹配的内容，比普通分组更节约内存资源。

通过格式 (?ismg-ismg:xxx) 可对匹配模式进行修改，修改后的模式只对当前非捕获组内部起作用。

## 举例

匹配一个URL链接,当中可以有端口或者没有端口号,如下

url1 = "http://fatkun.com:8080" url2 = "http://fatkun.com" 如果有端口号需要匹配端口号,如果没则忽略它正则表达式:/{0,2}([0-9.-A-Za-z]+)(?::(\d+))?$ url1匹配结果 $0 = //fatkun.com $1 = fatkun.com $2 = 8080 url2匹配的$2结果为空

解释

/{0,2} 匹配// ([0-9.-A-Za-z]+) 匹配fatkun.com (?::(\d+))? 注意这里的(?:),这里是非捕获分组,判断是不是有:开头的数字,把匹配的数字取出

JFreeChart核心类库介绍

Fri, 31 Dec 2010 05:54:44 +0000

以下内容包括了如何调整XY轴数值间隔原文来自：http://hi.baidu.com/baileyfu/blog/item/8e75b212b47fea54f819b808.html

jfreechart主要由两个大的包组成：org.jfree.chart,org.jfree.data。其中前者主要与图形

本身有关，后者与图形显示的数据有关。

## 核心类主要有：

org.jfree.chart.JFreeChart：图表对象，任何类型的图表的最终表现形式都是在该对象进行一些属性的定制。JFreeChart引擎本身提供了一个工厂类用于创建不同类型的图表对象

org.jfree.data.category.XXXDataSet:数据集对象，用于提供显示图表所用的数据。根据不同类型的图表对应着很多类型的数据集对象类

org.jfree.chart.plot.XXXPlot：图表区域对象，基本上这个对象决定着什么样式的图表，创建该对象的时候需要Axis、Renderer以及数据集对象的支持

org.jfree.chart.axis.XXXAxis：用于处理图表的两个轴：纵轴和横轴

org.jfree.chart.render.XXXRender：负责如何显示一个图表对象

org.jfree.chart.urls.XXXURLGenerator:用于生成Web图表中每个项目的鼠标点击链接

XXXXXToolTipGenerator:用于生成图象的帮助提示，不同类型图表对应不同类型的工具提示类

对于常用的饼图阖柱状图，比较简单而且网上有很多的文章介绍，在这里就不再一一复述了，

主要说明下另一种常见的报表，时序图，首先声明一个曲线数据集合对象和曲线对象

TimePeriodValuesCollection timeseriescollection = new TimePeriodValuesCollection();

//声明具体是曲线对象，(可根据实际情况在同一张图中显示多条曲线进行数据比对，根据实际应用情况当超过4条曲线时，就会有些乱。)

TimePeriodValues timeperiod1 = new TimePeriodValues("服务器A在线用户数量");

TimePeriodValues timeperiod2 = new TimePeriodValues("服务器B在线用户数量");

我在使用TimeSeriesCollection tsc = new TimeSeriesCollection();

TimeSeries ts = new TimeSeries();

在生成数据集时（ts.add(new Day(day, month, year),10))）只能生成最小单位为天的横轴所以改用了TimePeriodValuesCollection

//根据当前时间取得横轴坐标，时间间隔为1小时

Calendar cal = Calendar.getInstance();

int year = cal.get(Calendar.YEAR);

int month = cal.get(Calendar.MONTH) + 1;

int day = cal.get(Calendar.DAY_OF_MONTH);

//这里改为根据自己程序得到的需要显示的时间点和对应的数据的集合;

List objectList1 = dao.getList1();

List objectList2 = dao.getList2();

//使用循环，把x轴，y轴的值赋给timeseries1

for (int i =0;i

int hour = objecthash1[i].getHours();

int count = objecthash1[i].getCount();

//将每一对数据（时间，数值）添加到数据集合1(曲线对象1)中

timeseries1.add(new Hour(hour, day, month, year),count);

}

for (int i =0;i

int hour = objecthash2[i].getHours();

int count = objecthash2[i].getCount();

//将每一对数据（时间，数值）添加到数据集合2(曲线对象2)中

timeseries2.add(new Hour(hour, day, month, year),count);

}

//将曲线对象添加到曲线数据集合对象中

timeseriescollection.addSeries(timeseries1);

timeseriescollection.addSeries(timeseries2);

//绘制报表

String title = "日在线用户统计"; //报表标题

String domain = "时间"; //x轴

String range = "用户在线数量"; //y轴

//创建时间序列图对象

JFreeChart chart = ChartFactory.createTimeSeriesChart(

title, //报表标题

domain, //报表横轴标签

range, //报表纵轴标签

timeseriescollection, //数据集合

true, //是否显示图例,在这里如果为true则会在图表的下方显示各条数据曲线的名称和颜色

false, // 是否生成工具

false // 是否生成URL链接);

//将报表保存为jpg文件

ChartUtilities.saveChartAsJPEG(file, //文件保存物理路径包括路径和文件名

100, //图片质量

chart, //图表对象

1024, //图像宽度

768, //图像高度

null); //显示信息

//将报表直接在页面输出

ChartUtilities.writeChartAsJPEG(res.getOutputStream(),100,chart,1024,768,null);

String title="月在线用户统计"; //标题

String domain="时间(天)";//x轴

String range="用户在线数量";//y轴

TimePeriodValuesCollection timeseriescollection = new TimePeriodValuesCollection();

TimePeriodValues timeseries = new TimePeriodValues( "用户数量");

timeseries.add(new Minute(0, 1, 1, 1, 2006), 100);

timeseries.add(new Minute(10, 1, 1, 1, 2006), 500);

timeseries.add(new Minute(20, 1, 1, 1, 2006), 300);

timeseries.add(new Minute(30, 1, 1, 1, 2006), 800);

JFreeChart chart =ChartFactory.createTimeSeriesChart(title,domain,range,timeseriescollection,true,false,false);

当我们生成了一个报表对象时，可能需要根据实际情况来决定报表的横轴和纵轴的数值间隔，显示方式等。

可以用XYPlot xyplot = (XYPlot)chart.getPlot();来得到所有数据点的集合。（其它形状图表得到的数据集对象根据实际情况造型）

得到数据点集合后，我们就可以设置各条曲线的颜色，和坐标轴的距离，x轴、y轴的显示方式等等属性

xyplot.setBackgroundPaint(Color.lightGray); //设定图表数据显示部分背景色

xyplot.setAxisOffset(new RectangleInsets(5D, 5D, 5D, 5D)); //设定坐标轴与图表数据显示部分距离

xyplot.setDomainGridlinePaint(Color.white); //网格线纵向颜色

xyplot.setRangeGridlinePaint(Color.white); //网格线横向颜色

## 数据点的调整

XYLineAndShapeRenderer xylineandshaperenderer = (XYLineAndShapeRenderer)xyplot.getRenderer();

xylineandshaperenderer.setDefaultShapesVisible(true); //数据点可见

xylineandshaperenderer.setSeriesFillPaint(0, Color.red); //设置第一条曲线数据点填充为红色，如果一个图表有多条曲线可分别设置

xylineandshaperenderer.setUseFillPaint(true); //应用

使用xyplot.getRangeAxis()得到纵轴，xyplot.getDomainAxis()得到横轴，得到后可以根据实际情况造型为自己所需要的类型。

我的图表纵轴为数值类型，横轴为时间类型，使用如下方式

NumberAxis numAxis = (NumberAxis)xyplot.getRangeAxis();

DateAxis dateaxis = (DateAxis)xyplot.getDomainAxis();

//设置y显示方式

numAxis.setAutoTickUnitSelection(false);//数据轴的数据标签是否自动确定

double rangetick = 0.1D;

numAxis.setTickUnit(new NumberTickUnit(rangetick)); //y轴单位间隔为0.1

//设置x轴显示方式

dateaxis.setAutoTickUnitSelection(false);//数据轴的数据标签是否自动确定

dateaxis.setTickUnit(new DateTickUnit(DateTickUnit.DAY,1));//x轴单位间隔为1天

我们还可以是将数据格式化以后显示，比如y轴显示百分比（10%～100%）,x轴显示为×月×日

NumberFormat nf =NumberFormat.getPercentInstance();

numAxis.setNumberFormatOverride(nf);//设置y轴以百分比方式显示

SimpleDateFormat format = new SimpleDateFormat("MM月dd");

dateaxis.setDateFormatOverride(format);//设置x轴数据单位以×月×日方式显示

时序图中还有一个很重要的方法

timeseriescollection.setDomainIsPointsInTime(true); //x轴上的刻度点代表的是时间点而不是时间段

最开始我没有设置这个属性,结果画出来的图，老是差半格不能在这个刻度的时候准确显示，往后移了半格，就是因为JFreeChart默认这个刻度是

一个时间段，它把这个刻度和下个刻度的中间点认为是显示数据点最佳位置。

其他一些关于AXIS类的方法：

## Axis类：

void setVisible(boolean flag)坐标轴是否可见

void setAxisLinePaint(Paint paint)坐标轴线条颜色（3D轴无效）

void setAxisLineStroke(Stroke stroke)坐标轴线条笔触（3D轴无效）

void setAxisLineVisible(boolean visible)坐标轴线条是否可见（3D轴无效）

void setFixedDimension(double dimension)（用于复合表中对多坐标轴的设置）

void setLabel(String label)坐标轴标题

void setLabelFont(Font font)坐标轴标题字体

void setLabelPaint(Paint paint)坐标轴标题颜色

void setLabelAngle(double angle)`坐标轴标题旋转角度（纵坐标可以旋转）

void setTickLabelFont(Font font)坐标轴标尺值字体

void setTickLabelPaint(Paint paint)坐标轴标尺值颜色

void setTickLabelsVisible(boolean flag)坐标轴标尺值是否显示

void setTickMarkPaint(Paint paint)坐标轴标尺颜色

void setTickMarkStroke(Stroke stroke)坐标轴标尺笔触

void setTickMarksVisible(boolean flag)坐标轴标尺是否显示

ValueAxis(Axis)类：

void setAutoRange(boolean auto)自动设置数据轴数据范围

void setAutoRangeMinimumSize(double size)自动设置数据轴数据范围时数据范围的最小跨度

void setAutoTickUnitSelection(boolean flag)数据轴的数据标签是否自动确定（默认为true）

void setFixedAutoRange(double length)数据轴固定数据范围（设置100的话就是显示MAXVALUE到MAXVALUE-100那段数据范围）

void setInverted(boolean flag)数据轴是否反向（默认为false）

void setLowerMargin(double margin)数据轴下（左）边距

void setUpperMargin(double margin)数据轴上（右）边距

void setLowerBound(double min)数据轴上的显示最小值

void setUpperBound(double max)数据轴上的显示最大值

void setPositiveArrowVisible(boolean visible)是否显示正向箭头（3D轴无效）

void setNegativeArrowVisible(boolean visible)是否显示反向箭头（3D轴无效）

void setVerticalTickLabels(boolean flag)数据轴数据标签是否旋转到垂直

void setStandardTickUnits(TickUnitSource source)数据轴的数据标签（可以只显示整数标签，需要将AutoTickUnitSelection设false）

NumberAxis(ValueAxis)类：

void setAutoRangeIncludesZero(boolean flag)是否强制在自动选择的数据范围中包含0

void setAutoRangeStickyZero(boolean flag)是否强制在整个数据轴中包含0，即使0不在数据范围中

void setNumberFormatOverride(NumberFormat formatter)数据轴数据标签的显示格式

void setTickUnit(NumberTickUnit unit)数据轴的数据标签（需要将AutoTickUnitSelection设false）

DateAxis(ValueAxis)类：

void setMaximumDate(Date maximumDate)日期轴上的最小日期

void setMinimumDate(Date minimumDate)日期轴上的最大日期

void setRange(Date lower,Date upper)日期轴范围

void setDateFormatOverride(DateFormat formatter)日期轴日期标签的显示格式

void setTickUnit(DateTickUnit unit)日期轴的日期标签（需要将AutoTickUnitSelection设false）

void setTickMarkPosition(DateTickMarkPosition position)日期标签位置（参数常量在org.jfree.chart.axis.DateTickMarkPosition类中定义）

CategoryAxis(Axis)类：

void setCategoryMargin(double margin)分类轴边距

void setLowerMargin(double margin)分类轴下（左）边距

void setUpperMargin(double margin)分类轴上（右）边距

void setVerticalCategoryLabels(boolean flag)分类轴标题是否旋转到垂直

void setMaxCategoryLabelWidthRatio(float ratio)分类轴分类标签的最大宽度

JFreeChart使用方法(代码备忘)

Fri, 31 Dec 2010 05:50:31 +0000

以下文章介绍JFreeChart的使用方法。
文章来源：http://hi.baidu.com/baileyfu/blog/item/8e75b212b47fea54f819b808.html

一：jfreechart介绍
jfreechart是一个免费创建图片的java工具.可以创建如下图形：
饼图(pie charts;)
曲线图(line charts )
柱状图(horizontal/vertical bar charts)
甘特图(Gantt charts; )
XY plots and scatter plots;
time series, high/low/open/close charts and candle stick charts;
combination charts;
Pareto charts;
bubble charts;
wind plots, meter charts and symbol charts;
从以下地址可以看到jfreechart可以创建的图形类型
http://www.jfree.org/jfreechart/samples.html
sourceforge有一个基于jfreechart的项目Cewolf可以很方便的在jsp/servlet中创建图片
jfreechart目前(2003-05-08)版本为0.98
希望得到详细的信息或下载jfreechart请访问如下站点:
http://www.jfree.org/jfreechart/ 二：特别说明:
jfreechart是一个开源项目，但是文档是需要40美金去购买的。
还有一个很重要的问题,jfreechart如果使用中文，他使用的默认字体
显示出来的中文会很模糊，你可能需要修改源代码。
下面我就举几个简单的例子说明一下如何使用jfreechart创建图片
在开发中有可能会导入以下的类
import com.jrefinery.chart.ChartFactory;
import com.jrefinery.chart.ChartUtilities;
import com.jrefinery.chart.JFreeChart;
import com.jrefinery.chart.TextTitle;
import com.jrefinery.chart.axis.NumberAxis;
import com.jrefinery.chart.plot.CategoryPlot;
import com.jrefinery.chart.plot.PiePlot;
import com.jrefinery.data.Day;
import com.jrefinery.data.DefaultCategoryDataset;
import com.jrefinery.data.DefaultPieDataset;
import com.jrefinery.data.TimeSeries;
import com.jrefinery.data.TimeSeriesCollection;
import com.jrefinery.data.TimeSeriesDataPair;
在0.98以后包由com.jrefinery.*改变为:org.jfree 三：创建饼图

//图片标题
String title = "空调2002年市场占有率";
//设定数据源
DefaultPieDataset piedata = new DefaultPieDataset();
//第一个参数为名称，第二个参数是double数
piedata.setValue("联想", 27.3);
piedata.setValue("长城", 12.2);
piedata.setValue("海尔", 5.5);
piedata.setValue("美的", 17.1);
piedata.setValue("松下", 9.0);
piedata.setValue("科龙", 19.0);
//创建JFreeChart，都使用ChartFactory来创建JFreeChart,很标准的工厂设计模式
JFreeChart chart =
ChartFactory.createPieChart(title, piedata, true, true, true);
//设定图片标题
chart.setTitle(new TextTitle(title, new Font("隶书", Font.ITALIC, 15)));
//chart.addSubtitle(new TextTitle("2002财年分析", new Font("隶书", Font.ITALIC, 12)));
//设定背景
chart.setBackgroundPaint(Color.white);
//chart.s
//饼图使用一个PiePlot
PiePlot pie = (PiePlot)chart.getPlot();
//pie.setSectionLabelType(PiePlot.NAME_AND_PERCENT_LABELS);
pie.setSectionLabelType(PiePlot.NAME_AND_VALUE_LABELS);
//设定显示格式(名称加百分比或数值)
pie.setPercentFormatString("#,###0.0#%");
//设定百分比显示格式
pie.setBackgroundPaint(Color.white);
pie.setSectionLabelFont(new Font("黑体", Font.TRUETYPE_FONT, 12));
//设定背景透明度（0-1.0之间）
pie.setBackgroundAlpha(0.6f);
//设定前景透明度（0-1.0之间）
pie.setForegroundAlpha(0.90f);
//输出文件到指定目录
String rfname = MathUtil.getRoundCode(12) + ".jpeg";
String fileName = "d:/test/" + rfname;
try {
//可以保存文件为jpg或png格式。
ChartUtilities.saveChartAsJPEG(new File(fileName), 100, chart, 600, 600);
//第一个参数为文件名
//第二个参数质量
//第三个参数为哪个chart创建图片
//第四个宽度
//第五个高度
} catch (IOException exz) {
System.out.print("....Cant't Create image File");
}

其实使用JFreeChart创建图片很简单，不同的的图片类型区别在于设置数据集四：创建曲线图

// create a default chart based on some sample data...
//曲线图标题
String title = "趋势分析";
//曲线图X轴提示
String domain = "月份走势";
//曲线图Y轴提示
String range = "应收余额";
//曲线图自标题
String subtitleStr = "2003财年分析";
//创建时间数据源
//每一个TimeSeries在图上是一条曲线
TimeSeries ca = new TimeSeries("用友");
for (int i = 1999; i < 2005; i++) {
for (int mon = 0; mon < 12; mon++) {
//ca.add(new Month(mon + 1, i), new Double(500 + Math.random() * 100));
//TimeSeriesDataPair是一个时间点的数值体现
ca.add(
new TimeSeriesDataPair(
new Day(1, mon + 1, i),
new Double(500 + Math.random() * 100)));
}
}
TimeSeries ibm = new TimeSeries("金碟");
for (int i = 1999; i < 2005; i++) {
for (int mon = 0; mon < 12; mon++) {
//ibm.add(new Month(mon+1,i),new Double(400-Math.random()*100));
ibm.add(
new TimeSeriesDataPair(
new Day(1, mon + 1, i),
new Double(400 - Math.random() * 100)));
}
}
TimeSeries king = new TimeSeries("东软");
for (int i = 1999; i < 2005; i++) {
for (int mon = 0; mon < 12; mon++) {
//ibm.add(new Month(mon+1,i),new Double(400-Math.random()*100));
king.add(
new TimeSeriesDataPair(
new Day(1, mon + 1, i),
new Double(300 - Math.random() * 100)));
}
}
//时间曲线数据集合
TimeSeriesCollection dataset = new TimeSeriesCollection();
dataset.addSeries(ca);
dataset.addSeries(ibm);
dataset.addSeries(king);
//dataset.addSeries(jpy);
//dataset.addSeries(mav);
//时间曲线元素
JFreeChart chart =
ChartFactory.createTimeSeriesChart(
title,
domain,
range,
dataset,
true,
true,
false);
// then customise it a little...
TextTitle subtitle =
new TextTitle(subtitleStr, new Font("黑体", Font.BOLD, 12));
chart.addSubtitle(subtitle);
chart.setTitle(new TextTitle(title, new Font("隶书", Font.ITALIC, 15)));
//pie.setSeriesLabelFont(new Font("黑体", Font.BOLD, 15));
chart.setBackgroundPaint(
new GradientPaint(0, 0, Color.white, 0, 1000, Color.blue));
//sysout
//输出文件到指定目录
String rfname = MathUtil.getRoundCode(22) + ".jpeg";
String fileName = "d:/test/" + rfname;
try {
//for
//System.out.println();
ChartUtilities.saveChartAsJPEG(new File(fileName), 100, chart, 600, 600);
// log.info("....Create image File:" + fileName);
} catch (IOException exz) {
System.out.print("....Cant't Create image File");
}

五：创建柱状图

String title = "柱状图测试";
String domain = "单位比较";
String range = "数值";
//CategoryDataset data = DemoDatasetFactory.createCategoryDataset();
DefaultCategoryDataset data = new DefaultCategoryDataset();
for (int r = 0; r < 5; r++) {
String rowKey = "单位 [" + (r + 1)+"]" ;
//第一层循环：分析对象
for (int c = 0; c < 6; c++) {
//第二层循环：分析对象在时间点上的数据
String columnKey = "2001年" + (c + 1) + "月";
data.addValue(new Double(r * c + 5), rowKey, columnKey);
}
}
JFreeChart chart =
ChartFactory.createVerticalBarChart(
title,
domain,
range,
data,
true,
true,
false);
// then customise it a little...
chart.setBackgroundPaint(
new GradientPaint(0, 0, Color.white, 1000, 0, Color.red));
chart.setTitle(new TextTitle(title, new Font("隶书", Font.ITALIC, 15)));
CategoryPlot plot = (CategoryPlot)chart.getPlot();
plot.setForegroundAlpha(0.9f);
plot.setValueLabelFont(new Font("黑体", Font.TRUETYPE_FONT, 12));
//plot.setSectionLabelFont(new Font("黑体", Font.TRUETYPE_FONT, 12));
//注意以下代码
NumberAxis verticalAxis = (NumberAxis)plot.getRangeAxis();
verticalAxis.setStandardTickUnits(NumberAxis.createIntegerTickUnits());
// 输出文件到指定目录
String rfname = MathUtil.getRoundCode(22) + "b.jpeg";
String fileName = "d:/test/" + rfname;
try {
ChartUtilities.saveChartAsJPEG(new File(fileName), 100, chart, 600, 600);
// log.info("....Create image File:" + fileName);
} catch (IOException exz) {
System.out.print("....Cant't Create image File");
}

六：结束语
个人感觉JFreeChart可以满足大部分图片创建的需要，美中不足的是：对字体的设置做的
不够好，特别是使用中文的时候字体很不清晰。因为这个原因建议你自己去修改他的源代码,最好使用properties文件去设置字体.还有就是文档要钱所以要多花点时间去看源代码。或多上社区.因为时间等原因我只介绍了三种图片的创建，其他类型的图片可以参考jfreechart提供的例子。

盛大EverBox网盘邀请码（还有5个名额）

Thu, 30 Dec 2010 06:34:53 +0000

EverBox邀请码，盛大网盘邀请码

网址:http://www.everbox.com

这是盛大推出的网盘，刚开始有2G空间，完成一些简单的任务**至少可以有5G空间**！（在圣诞期间激活有2G送），类似于dropbox。如果需要邀请码，请在下面的评论上邮箱的输入位置**留下你的邮箱**并且明确你需要它：） update 2011-02-10:直接把邀请码贴出来好了。。有些人发了却没去激活o(╯□╰)o http://account.everbox.com/invite/N5R42ch4S7Md63rpVHZT30kYVyU1xzkiofF00UWf http://account.everbox.com/invite/cKNG46fmRQsSioFYTV6f5cSaLoe653Un2S2KDVGu http://account.everbox.com/invite/aHg9dvFo5kpscYcOFe0SNtouvLJ2CLOkH1e454jH http://account.everbox.com/invite/HtnFEjDOsgzemfhurMVkndxX0w6GoFoEUvEDJpR7 http://account.everbox.com/invite/RoFlin0P6OaJh7LV6nOjWgzKwrqhLxvLj1USsG0s http://account.everbox.com/invite/RtMtzntLxAbdFsM39DoACPU8ewMInkm76qwUFfbX ———————————————————– 以下是官方介绍内容

EverBox 功能特性

10GB 超大免费空间

成功注册 EverBox 即可获得 2GB 免费空间，完成指定任务可升级空间到 10GB！EverBox 在随后的版本中将会有更多的奖励措施，赠送活跃用户更多空间，敬请期待！
支持数据同步客户端

您是不是经常遇到以下的情况？“我喜欢在外出时用 iPhone 听歌，但是我需要从 PC 下载歌曲再用数据线将 MP3 导到 iPhone”；“我经常出差，但是程序和文件都在笨重的 PC 上，而我只带着笔记本”；“我到 XX 会议做演讲，但是保存 PPT 的 U 盘坏掉了”。

现在有了 EverBox，这些问题将迎刃而解！只需安装 EverBox，您所需的文件都将自动同步到设备上，您就可以随时、随地的使用手边的任意一款设备访问文件了。当然，使用浏览器一样可以访问到您需要的文件。
容灾备份服务

硬盘损坏？数据无法访问？笔记本电脑被盗？完了，重要的数据丢失了！

不用担心，有了 EverBox，这一切都不会再是问题。EverBox 会自动的、实时的备份文件数据到 EverBox 安全服务器，因此，当您本地的设备坏损或丢失时，不必担心由于数据丢失造成的损失，恢复数据易如反掌！
在线音乐播放

EverBox 支持在线音乐播放功能，几乎支持所有常用的音频格式，使用简单、便捷，无需操作即可连续播放 EverBox 当前目录中的歌曲，很适于一边使用电脑一边听歌时使用。
在线浏览图片

EverBox 支持在线浏览图片功能，几乎支持所有常用的图片格式，操作简单、便捷，并支持自动播放 EverBox 当前目录中的图片文件。

数据库并发问题

Sun, 26 Dec 2010 06:40:15 +0000

以下内容为在数据库并发中出现的各种问题。

脏读（dirty read）

A事务读到B事务刚修改的值，但是B事务撤销了，也A事务读到的值就是假的了。

时间	转账事务A	取款事务B
T1		开始事务
T2	开始事务
T3		查询账户余额为1000元
T4		取出500元把余额改为500元
T5	查询账户余额为500元（脏读）
T6		撤销事务余额恢复为1000元
T7	汇入100元把余额改为600元
T8	提交事务

## 不可重复读（unrepeatable read）

不可重复读是指A事务读取了B事务已经提交的更改数据。假设A在取款事务的过程中，B往该账户转账100元，A两次读取账户的余额发生不一致：

时间	取款事务A	转账事务B
T1		开始事务
T2	开始事务
T3		查询账户余额为1000元
T4	查询账户余额为1000元
T5		取出100元把余额改为900元
T6		提交事务
T7	查询账户余额为900元（和T4读取的不一致）

## 幻象读（phantom read）

幻象读与不可重复读的区分是，前者是新增时出现，后者是更改或删除出现。 A事务读取B事务提交的新增数据，这时A事务将出现幻象读的问题。幻象读一般发生在计算统计数据的事务中，举一个例子，假设银行系统在同一个事务中，两次统计存款账户的总金额，在两次统计过程中，刚好新增了一个存款账户，并存入100元，这时，两次统计的总金额将不一致：

时间	统计金额事务A	转账事务B
T1		开始事务
T2	开始事务
T3	统计总存款数为10000元
T4		新增一个存款账户，存款为100元
T5		提交事务
T6	再次统计总存款数为10100元（幻象读）

如果新增数据刚好满足事务的查询条件，这个新数据就进入了事务的视野，因而产生了两个统计不一致的情况。 **幻象读和不可重复读是两个容易混淆的概念**，前者是指读到了其它已经提交事务的新增数据，而后者是指读到了已经提交事务的更改数据（更改或删除），为了避免这两种情况，采取的对策是不同的，防止读取到更改数据，只需要对操作的数据添加行级锁，阻止操作中的数据发生变化，而防止读取到新增数据，则往往需要添加表级锁——将整个表锁定，防止新增数据（Oracle使用多版本数据的方式实现）。 ## 第一类丢失更新

A事务撤销时，把已经提交的B事务的更新数据覆盖了。这种错误可能造成很严重的问题，通过下面的账户取款转账就可以看出来：

时间	取款事务A	转账事务B
T1	开始事务
T2		开始事务
T3	查询账户余额为1000元
T4		查询账户余额为1000元
T5		汇入100元把余额改为1100元
T6		提交事务
T7	取出100元把余额改为900元
T8	撤销事务
T9	余额恢复为1000元（丢失更新）

A事务在撤销时，“不小心”将B事务已经转入账户的金额给抹去了。 ## 第二类丢失更新

A事务覆盖B事务已经提交的数据，造成B事务所做操作丢失：

时间	转账事务A	取款事务B
T1		开始事务
T2	开始事务
T3		查询账户余额为1000元
T4	查询账户余额为1000元
T5		取出100元把余额改为900元
T6		提交事务
T7	汇入100元
T8	提交事务
T9	把余额改为1100元（丢失更新）

上面的例子里由于支票转账事务覆盖了取款事务对存款余额所做的更新，导致银行最后损失了100元，相反如果转账事务先提交，那么用户账户将损失100元。 **第一类丢失更新和第二类丢失更新的差别**：前者是由于撤销事务导致丢失更新，后者是因为更新被覆盖。内容参考来源：

hibernate事务管理

Sat, 25 Dec 2010 10:16:03 +0000

1. 介绍数据库事务、事务隔离级别、悲观锁、乐观锁等概念。

2.数据库ACID特征：

Atomic（原子性）：指整个数据库事务是不可分割的工作单元。 Consistency（一致性）：指数据库事务不能破坏关系数据的完整性以及业务逻辑上的一致性。 Isolation（隔离性）：指的是在并发环境中，当不同的事务同时操纵相同的数据时，每个事务都有各自的完整数据空间。 Durability（持久性）：指的是只要事务成功结束，它对数据库所作的更新就必须永久保存下来。

3.数据库系统支持两种事务模式：

自动提交模式：每个SQL语句都是一个独立的事务，当数据库系统执行完一个SQL语句后，会自动提交事务。

手动提交模式：必须由数据库客户程序显示指定事务开始边界和结束边界。

## 4.MySQL中数据库表分为3种类型：

INNODB、BDB和MyISAM，其中MyISAM不支持数据库事务。MySQL中create table 语句默认为MyISAM类型。

## 5.并发问题

对于同时运行的多个事务，当这些事务访问数据库中相同的数据时，如果没有采取必要的隔离机制，就会导致各种并发问题，这些并发问题可归纳为以下几类：

A.第一类丢失更新：撤销一个事务时，把其他事务已提交的更新数据覆盖。 B.脏读：一个事务读到另一个事务为提交的更新数据。 C.幻读：一个事务读到另一个事务已提交的新插入的数据。 D.不可重复读：一个事务读到另一个事务已提交的更新数据。 E.第二类丢失更新：这是不可重复读中的特例，一个事务覆盖另一个事务已提交的更新数据。

6.数据库系统四种事务隔离级别

A.Serializable（串行化）：一个事务在执行过程中完全看不到其他事务对数据库所做的更新。

B.Repeatable Read（可重复读）：一个事务在执行过程中可以看到其他事务已经提交的新插入的记录，但是不能看到其他其他事务对已有记录的更新。

C.Read Commited（读已提交数据）：一个事务在执行过程中可以看到其他事务已经提交的新插入的记录，而且能看到其他事务已经提交的对已有记录的更新。

D.Read Uncommitted（读未提交数据）：一个事务在执行过程中可以拷打其他事务没有提交的新插入的记录，而且能看到其他事务没有提交的对已有记录的更新。

隔离级别	脏读	不可重复读	幻象读	第一类丢失更新	第二类丢失更新
READ UNCOMMITED	允许	允许	允许	不允许	允许
READ COMMITTED	不允许	允许	允许	不允许	允许
REPEATABLE READ	不允许	不允许	允许	不允许	不允许
SERIALIZABLE	不允许	不允许	不允许	不允许	不允许

隔离级别越高，越能保证数据的完整性和一致性，但是对并发性能的影响也越大。对于多数应用程序，可以有优先考虑把数据库系统的隔离级别设为Read Commited，它能够避免脏读，而且具有较好的并发性能。尽管它会导致不可重复读、幻读和第二类丢失更新这些并发问题，在可能出现这类问题的个别场合，可以由应用程序采用悲观锁或乐观锁来控制。

## 7.当数据库系统采用read Commited隔离级别时

会导致不可重复读喝第二类丢失更新的并发问题，可以在应用程序中采用悲观锁或乐观锁来避免这类问题。从应用程序的角度，锁可以分为以下几类：

A.悲观锁：指在应用程序中显示的为数据资源加锁。尽管能防止丢失更新和不可重复读这类并发问题，但是它会影响并发性能，因此应该谨慎地使用。

B.乐观锁：乐观锁假定当前事务操作数据资源时，不回有其他事务同时访问该数据资源，因此完全依靠数据库的隔离级别来自动管理锁的工作。应用程序采用版本控制手段来避免可能出现的并发问题。

## 8.悲观锁有两种实现方式：

A.在应用程序中显示指定采用数据库系统的独占所来锁定数据资源。SQL语句：select … for update，在Hibernate中使用get，load时如session.get(Account.class,new Long(1),LockMode,UPGRADE)

B.在数据库表中增加一个表明记录状态的LOCK字段，当它取值为“Y”时，表示该记录已经被某个事务锁定，如果为“N”，表明该记录处于空闲状态，事务可以访问它。增加锁标记字段就可以实现。

## 9.利用Hibernate的版本控制来实现乐观锁

乐观锁是由程序提供的一种机制，这种机制既能保证多个事务并发访问数据，又能防止第二类丢失更新问题。

在应用程序中可以利用Hibernate提供的版本控制功能来视线乐观锁，OR映射文件中的元素和都具有版本控制的功能，一般推荐采用

本文来源：

List中的remove使用注意

Tue, 21 Dec 2010 05:09:50 +0000

先来看API是怎样写的。

boolean remove(Object o)

从此列表中移除第一次出现的指定元素（如果存在）（可选操作）。如果列表不包含元素，则不更改列表。更确切地讲，移除满足 (o==null ? get(i)==null : o.equals(get(i))) 的最低索引 i 的元素（如果存在这样的元素）。如果此列表已包含指定元素（或者此列表由于调用而发生更改），则返回 true。

可以看到是用o.equals来判断是否删除的，在一般情况下使用都没有问题。但我有一次犯了一个错误。有一个List<子类> list，我用 list.remve(父类对象);这样很明显是不行的，equals不了，所以就删除不了。解决方法：1，是remove同一类对象 2，在父类覆盖equals方法，用instanceof来判断是不是子类，然后判断相等。方法2较为麻烦。还是建议方法1。

Beautyleg Jellyfish高清无码丝袜美腿无水印大图下载

Mon, 20 Dec 2010 05:04:37 +0000

最近不怎么学习，为了证明自己还没死，还是发一篇博客。
Beautyleg Jellyfish，一位美腿模特，图片是高清无码的，没有水印的，部分可以拿来做壁纸，上传到115U盘
下载地址：http://u.115.com/file/f9c1738591 部分预览图：

选择排序算法(JAVA版)

Sat, 04 Dec 2010 15:24:59 +0000

选择排序和插入排序差不多，交换的次数减少。平均/最好/最坏时间复杂度是O(n²)，是不稳定的排序算法。（插入排序是稳定排序算法） update:以前写错了一个地方，应该每次要把最小值找出来，记下来，每次和最小值去比较，目的就是为了从后面找到最小的值。

public class Test {
/*
* 选择排序：选择最小/大的放在前面，每一趟前几个按序排列
*/
static int[] selectSort(int[] arr) {
for (int i = 0; i < arr.length - 1; i++) {
int k = i;
int min = arr[i];
// 和i后面的每一个比较，如果有比i小的记下下标k
for (int j = i + 1; j < arr.length; j++) {
if (arr[j] < min) {
k = j;
min = arr[j];
}
}
if (k != i) {// 交换
int temp = arr[i];
arr[i] = arr[k];
arr[k] = temp;
}
}
return arr;
}
public static void main(String[] args) {
int arr[] = new int[] { 1, 5, 7, 2, 6, 0 };
int newarr[] = selectSort(arr);
System.out.println("----------------------");
for (int i : newarr) {
System.out.println(i);
}
}
}

快速排序算法(JAVA版)

Sat, 04 Dec 2010 02:57:47 +0000

快速排序是不稳定的排序方法，平均时间复杂度为O(nlogn)，空间复杂度为O(logn)，最差时是有序或基本有序时，算法退化为冒泡排序，时间复杂度是O(n²)

/*
* 快速排序：选一个值pivokey(一般是第一个),小于pivokey放在左边，大于pivokey放在右边，分成两个序列，递归直到low >= high
* 步骤：
* 1，设定两个指针low,high。初值是0和数组长度-1，指定关键字pivokey
* 2，从high所指的位置向前找，找到一个比pivokey小的，和关键字交换值(arr[low] = arr[high])
* 3，从low所指的位置向后找，找到一个比pivokey大的，和关键字交换值
* 4，直到low>=high，把关键字赋值arr[low]=pivokey
* 5，递归分出的两个序列[lowStart,low-1] [low+1,highEnd]
* */
int[] quickSort(int[] arr, int low, int high) {
//为后面的递归使用
int lowStart = low;
int highEnd = high;
if (low < high) {
int pivokey = arr[low];
while (low < high) {
//如果都是大于pivokey，high指针往前移
while (low < high && arr[high] > pivokey) {
high--;
}
//这里low++是先把arr[low]赋值为arr[high]，再low+=1，因为这个值是比pivokey小的，下一次不用比较了
if (low < high)
arr[low++] = arr[high];
//如果都是小于pivokey，low指针往后移
while (low < high && arr[low] < pivokey) {
low++;
}
//这里的high--和上面同理
if (low < high)
arr[high--] = arr[low];
}
arr[low] = pivokey;
quickSort(arr, lowStart, low - 1);
quickSort(arr, low + 1, highEnd);
}
return arr;
}

冒泡排序算法(JAVA)

Fri, 03 Dec 2010 16:00:18 +0000

冒泡排序：和每一个比较，如果比后面大则交换，最终每一趟结果是最大值会沉到后面。
时间复杂度O(n²)，最佳情况是已排好序只比较n-1次，不用交换。

int[] bubbleSort(int[] a) {
//每个都进行冒泡(一个一个来)
for (int i = 0; i < a.length; i++) {
//和前n-i个比较，把最大的数沉下去
int temp;
for (int j = 0; j < a.length - i - 1; j++) {
if (a[j] > a[j + 1]) {
//交换
temp = a[j];
a[j] = a[j + 1];
a[j + 1] = temp;
}
}
}
return a;
}

直接插入排序算法（JAVA版）

Fri, 03 Dec 2010 02:23:31 +0000

时间复杂度：O(n*n) 直接插入排序：遍历第二个到最后一个，找到每一个值的最佳位置，插进去：）
1.a[i]和前一个值a[i-1]比较，如果小于前一个值
2.设此值为temp，把a[i-1]向后移一位a[i]=a[i-1]
3.检查前面的a[<=i-2]是否有比temp大的，如果比temp大，后移一位
4.直到一个比temp小的或者j=-1，此时把temp赋值到j+1即可举例子：
原序列：8 4 5 3
第一次 4 8 5 3
第二次 5<8，所以temp = 5, 序列变成 4 8 8 3,然后和i-2=0前面的4比较大小，5>4，所以5应该在1的位置上，把temp赋值到1位置上，4 5 8 3
第三次 3<8，所以temp = 3, 序列变成 4 5 8 8,然后和i-2=2前面的5比较大小，3>5，序列变成 4 5 5 8,再比较3>4，序列变成 4 4 5 8，此时j=-1，那temp肯定在0位上，最终序列3 4 5 8

public class Paixu {
/**
* @param args
*/
public static void main(String[] args) {
int[] a = {8,4,5,3};
int[] insertSorta = new Paixu().insertSort(a);
pw(insertSorta);
}
/*
http://fatkun.com
直接插入排序：遍历第二个到最后一个，找到每一个值的最佳位置，插入进去
1.a[i]和前一个值a[i-1]比较，如果小于前一个值
2.设此值为temp，把a[i-1]向后移一位a[i]=a[i-1]
3.检查前面的a[<=i-2]是否有比temp大的，如果比temp大，后移一位
4.直到一个比temp小的或者j=-1，此时把temp赋值到j+1即可
初始序列：8 4 5 3
4 8 5 3
4 5 8 3
3 4 5 8
*/
int[] insertSort(int[] arr) {
int temp;
for (int i = 1; i < arr.length; i++) {
pw(arr);
if (arr[i] < arr[i - 1]) {//如果当前值小于前一个
temp = arr[i]; //设定岗哨
arr[i] = arr[i - 1]; //把前一个值移到后一位
//继续和前面的进行比较，如果比temp大，则后移一位
//这里j从前两个开始，因为前一个知道必定比temp大了，无需再比较
int j = i - 2;
while (j>=0 && temp < arr[j]){
arr[j + 1] = arr[j];
j--;
}
//上一个循环结束后，j在最后一个比temp小的位置或者-1，所以j+1，把当前值放在这里
arr[j + 1] = temp;
}
}
return arr;
}
//打印数组
private static void pw(int[] arr){
for (int i : arr)
System.out.print(i+" ");
System.out.println("");
}
}

简化一些，去掉一些注释，代码基本一样

int[] insertSort(int[] arr) {
int temp;
for (int i = 1; i < arr.length; i++) {
pw(arr);
if (arr[i] < arr[i - 1]) {
temp = arr[i];
//这里和前面不太一样，从i的前一个就开始比较，也就是判断前面所有元素（多判断了一次arr[i]和arr[i-1]）
int j = i - 1;
while (j>=0 && temp < arr[j]){
arr[j + 1] = arr[j];
j--;
}
arr[j + 1] = temp;
}
}
return arr;
}

Jquery的ajax在IE提交数据乱码解决方法

Thu, 02 Dec 2010 06:14:09 +0000

乱码是因为编码不同而造成的。在ajax post 或 get时都有可能出现乱码。为了避免乱码，可以做到以下几步

解决方法

1，保持编码的统一，包括文件编码，数据库编码，网页content-type编码

检查一下建议中文都是用UTF-8，使用gbk/gb2312有可能会出现乱码

2，使用post来发送而不是get

get方法是会通过链接来传递参数，而且会自动urlEncode(编码)，而各个浏览器编码的方式可能不太一样。使用post可以避免这种情况。

3，通过在js前端escape编码再发送，然后后台解码取得数据

这些可以在网上搜索

4，在全局设定contentType，指定编码

因为jquery ajax是使用utf-8来编码发送数据的，ie在发送时却没加上charset=utf-8，从而导致乱码(IE默认使用iso-8859-1编码)

$.ajaxSetup({
contentType: "application/x-www-form-urlencoded; charset=utf-8"
});

try finally中return的执行顺序

Fri, 26 Nov 2010 14:25:40 +0000

看代码吧，容易懂点。

public class Try {
public static void main(String[] args) {
System.out.println("最终结果:" + aa());
}
public static int aa() {
int a = 1;
try {
System.out.println("try:" + a);
throw new Exception();
//return a;
} catch (Exception e) {
a = 2;
System.out.println("catch:" + a);
return a;
} finally {
a = 3;
System.out.println("finally:" + a);
//return编辑器会提示finally block does not complete normally
return a;
}
}
}
//运行结果:
/*
try:1
catch:2
finally:3
最终结果:3
*/

可以把上面的代码注释一部分。试试注释掉抛出的错误。以及各个return。

结论

finally始终执行，如果在finally中有return，始终返回这个值
当不抛错和在try中return a ，finally中没有return语句时， try 的 return 方法会先执行，finally的方法最后执行，然后再返回到主方法。此时最终结果是1
finally中的return优先级最高，最终结果是3
return的值会保存下来，不受到后面finally的影响

二叉树遍历（先序，中序，后序）

Wed, 24 Nov 2010 11:31:08 +0000

先序遍历：根结点-》左节点-》右节点
中序遍历：左节点-》根结点-》右节点
后续遍历：左节点-》右节点-》根结点

上图的先序遍历为：ABDECF
中序遍历：DBEAFC
后序遍历：DEBFCA 原文来自百度百科代码可以看这里，结合代码看算法更容易理解。当你知道先序和中序时，要推出后序。还是这道题，可以根据先序序列知道根节点是A，则可以知道DBE在左子树，FC在右子树。

SQL的连接（JOIN，左连接，右连接，全连接，内连接）

Tue, 23 Nov 2010 06:33:25 +0000

下图中，有两个表，T1,T2 自然连接时的语句是 SELECT * FROM T1 JOIN T2，把表1,2的值全显示出来等值连接（内连接），按照某个条件，只返回符合条件的值左连接（LEFT JOIN）与左外连接一样，返回的结果包括左边的全部行，右边没有的用null填充，当右表有重复的key时，总行数会变多，比左表还要多。右连接（RIGHT JOIN）与右外连接一样，返回的结果包括右边的全部行，左边没有的用null填充全连接(FULL JOIN) 相当于左右连接的并集，包含左右表为空的数据

数据库存储过程的优缺点

Mon, 22 Nov 2010 05:37:54 +0000

优点

（1）存储过程允许标准组件式编程
存储过程在被创建以后可以在程序中被多次调用，而不必重新编写该存储过程的SQL语句。而且数据库专业人员可随时对存储过程进行修改，但对应用程序源代码毫无影响（因为应用程序源代码只包含存储过程的调用语句），从而极大地提高了程序的可移植性。
（2）存储过程能够实现较快的执行速度
如果某一操作包含大量的Transaction-SQL 代码或分别被多次执行，那么存储过程要比批处理的执行速度快很多。因为存储过程是预编译的，在首次运行一个存储过程时，查询优化器对其进行分析、优化，并给出最终被存在系统表中的执行计划。而批处理的Transaction-SQL 语句在每次运行时都要进行编译和优化，因此速度相对要慢一些。（3）存储过程能够减少网络流量
对于同一个针对数据数据库对象的操作（如查询、修改），如果这一操作所涉及到的Transaction-SQL 语句被组织成一存储过程，那么当在客户计算机上调用该存储过程时，网络中传送的只是该调用语句，否则将是多条SQL 语句，从而大大增加了网络流量，降低网络负载。（4）存储过程可被作为一种安全机制来充分利用
系统管理员通过对执行某一存储过程的权限进行限制，从而能够实现对相应的数据访问权限的限制，避免非授权用户对数据的访问，保证数据的安全

缺点:

1,依赖于数据库厂商,难以移植(当一个小系统发展到大系统时,对数据库的要求也会发生改变)
2,业务逻辑大的时候,封装性不够,难调试难以维护
3,复杂的应用用存储过程来实现，就把业务处理的负担压在数据库服务器上了。没有办法通过中间层来灵活分担负载和压力.均衡负载等参考： http://www.javaeye.com/topic/734702 http://blog.csdn.net/fsclc/archive/2007/01/16/1484264.aspx

数据库UNION和UNION ALL比较

Mon, 22 Nov 2010 05:22:08 +0000

UNION能够把结果集合并

select * from A union select * from B

如果能确定没有重复行，建议使用UNION ALL，不用排序。

order by子句必须写在最后一个结果集里，并且其排序规则将改变操作后的排序结果。对于Union、Union All、Intersect、Minus都有效。
Union可以对字段名不同但数据类型相同的结果集进行合并；
如果字段名不同的结果集进行Union，那么对此字段的Order by子句将失效。
Union，对两个结果集进行并集操作，不包括重复行，同时进行默认规则的排序；
Union All，对两个结果集进行并集操作，包括重复行，不进行排序；
Intersect，对两个结果集进行交集操作，不包括重复行，同时进行默认规则的排序；
Minus，对两个结果集进行差操作，不包括重复行，同时进行默认规则的排序。
可以在最后一个结果集中指定Order by子句改变排序方式。

JAVA的==与Equals

Sun, 21 Nov 2010 03:38:21 +0000

以下是我的理解，可能有误 Java中的“==”用来判断是否是同一个对象（对象的引用是不是一样），equals方法一般会被覆盖，主要是比较值，而且一般只和同一类对象比较。

String的比较

public class TestEqual {
public static void main(String[] args) {
String a = "abc";
String b = "abc";
String c = new String("abc");//新建了一个对象
String d = new String("abc");
String e = "ab"+"c";//使用常量池中的对象
String f = "ab";
String g = f + "c";//string是固定字符，需要新建对象
System.out.println(a == b);//true，第一次a把字符串放在常量池，那b继续用这个常量，e也一样
System.out.println(a.equals(b));//true
System.out.println("a == c?"+(a == c));//false
System.out.println(a.equals(c));//true
System.out.println(c==d);//false
System.out.println(a==e);//true
System.out.println(a==g);//false
}
}

还有个String.intern()不太理解
更多的信息可以看这里：http://developer.51cto.com/art/200602/21445.htm

数字的比较

需要理解autoBoxing的概念！

public class TestEqual {
public static void main(String[] args) {
Integer i1 = new Integer(9);
Integer i2 = new Integer(9);
int i3 = 9;
int i4 = 9;
Integer i5 = 9;//自动装箱(box)操作，基本类型int 9可以自动box成对象Integer
Integer i6 = 9;
Long long1 = new Long(9);
System.out.println(i1==i2);//false
System.out.println(i1==i3);//true
System.out.println("i3==i4?"+(i3==i4));//true，常量池
System.out.println("i1==i3?"+(i1==i3));//true
System.out.println("i5==i6?"+(i5==i6));//true，当-128<i5<127时为true，其他为false
//http://blog.csdn.net/newsonglin/archive/2008/10/15/3079865.aspx
// If the value p being boxed is true, false, a byte, a char in the range \u0000 to \u007f, or an int or short number between -128 and 127, then let r1 and r2 be the results of any two boxing conversions of p. It is always the case that r1 == r2.
System.out.println("i3==i5?"+(i3==i5));//false
System.out.println("i1==i5?"+(i1==i5));//false
System.out.println(i1.equals(i2));//true，同类型比较值
System.out.println(i1.equals(long1));//false，不同类型不进行比较
}
}

更多的信息可以参考这篇文章:http://blog.csdn.net/newsonglin/archive/2008/10/15/3079865.aspx

在IE下动态创建canvas使用excanvas时失效解决方法

Sat, 20 Nov 2010 15:21:17 +0000

excanvas用来支持ie6使用canvas画布。(现在叫explorercanvas) 引入excanvas.js以后，在ie下，文档中的canvas就可以用了，但是如果是通过createElement方法创建的就不行了

var canvas=document.createElement(”canvas”);
if(canvas.getContext){
alert(”support getContext()”);
}

因为加载并执行excanvas.js这个脚本代码的时候，G_vmlCanvasManager_.init();这句语句遍历了页面中所有的canvas元素，然后初始化这些元素。
由于js的函数中，如果一个变量不通过var来定义，那么就会把这个变量当作一个全局变量。

网上找到的方法一

这个方法单独对某个canvas初始化，注意是文档加载完成后才操作。

$(function(){
var canvas=document.createElement(”canvas”);
document.body.appendChild(canvas);
if($.browser.msie){
canvas=window.G_vmlCanvasManager.initElement(canvas);
}
if(canvas.getContext){alert(”support”);}
});

方法二

第二种方法对整个document再初始化一次。

var canvas=document.createElement(”canvas”);
document.body.appendChild(canvas);
if($.browser.msie){
G_vmlCanvasManager.init_(document);
}
if(canvas.getContext){alert(”support”);}
});

另外发现Canvas这玩意挺好玩的~~推荐一个中文教程：canvas中文教程

EL表达式

Fri, 19 Nov 2010 15:14:26 +0000

期待已久的日子即将到来: 最新版JavaServer Pages (JSP)2.0 规范即将和其他的J2EE 1.4一同发布。新的JSP版本有一个新的飞跃，采用了新的方式：由于新的语言表达式（Expression Language，以下简称为EL）和JSP标准标签库（JSP Standard Tag Library ,以下简称为JSTL）这两种新的方式，在页面中不需要用java,对于开发一般的应用来说，重用代码变得更加容易。更具体来说，JSP 2.0带来了以下的优点：

首次被JSTL 1.0引入的EL现在被合并到JSP规范中，就像应用template text一样地使用所有的标准的和定制的组件。
新的EL已经被扩展，具备一个函数调用机制，JSTL1.1整合了一系列经常需要使用的函数。
新增加的变量和servlet 规范定义的错误处理机制被更好地组织起来。通过新增加的变量，JSP error pages 现在可以提供更多的错误信息。
容器因为更加严格的语法检查可以更容易地找出发生的错误。
所有的J2EE 1.4规范（包括JSP 2.0 和 Servlet 2.4），为了声明部署的规则描述而应用了XML schema。这样的好处之一是你现在可以通过任何顺序列出web.xml文件中的描述。JSP 2.0也增加了一些新的配置选项用于部署描述，允许通过全局的配置来代替基于每页的配置。
由于更具伸缩性的规则和新的自定义action element，现在就像编写XML文件一样，编写JSP页面变得更加容易。
定制的标签库现在可以开发成一系列的标签文件（具有JSP元素的文本文件），标签处理器可以使用新的、简化的标签处理器的API。与此同时，新规范加入了一些新的特性，比如：支持在jsp页面上显示动态属性列表和可执行片断属性。在众多的书籍中，这是头一个讲解JSP 2.0新特性的文章。在这一部分，我们将看到和EL相关的信息，其他的新特性留到后面。在这里我假定读者已经熟悉JSP 1.2，而且至少听说过JSTL。你可能对这本第三版的《JavaServer Pages》感兴趣。这本书中，我尽可能在细节上讲述所有的内容，而且并不认为你对JSP或者JSTL了解一切。这本书预计在2003年12月出版，但是你现在可以在http://www.amazon.com、Barnes&Noble，或者其他在线书店预订。 EL(The Expression Language) 如果过去使用过JSTL，那么你可能已经熟悉了EL。EL在JSTL 1.0规范中被引入，用来在运行期间对Java表达式中action element属性赋值提供另一种选择。当JSTL EL已经非常迅速的流行起来情况下，还是存在一个问题： JSTL EL 表达式仅仅可以与JSTL和custom action一起使用，怎样才能使用非标准API对EL表达式求值？ JSP 2.0中,JSP容器自己可以理解EL表达式。这使你在所有过去只能应用Java表达式的地方应用EL表达式成为可能，比如：标准和定制action的属性值，模板文本。在我们看具体的例子前，让我们更进一步的看看什么是EL。EL是从JavaScript中获得启发的一种语言，XPath(一种用来访问XML文档的语言)，但是EL在对变量的null值和执行更多数据类型的自动类型转换的处理上更加宽松。这些新特性对于web应用非常重要，在这些应用中输入通常通过html表单的request parameter来得到。这些参数可能仅仅在某些请求下才能体现出来，而且浏览器经常将request parameter作为文本发送，然而应用程序经常需要把他们作为数字类型、布尔类型（true 或者 false）来使用。通过EL，你根本就很少需要关心缺少某些参数的值或者类型转换。一个EL表达式包含变量和操作符。任何存储在某个JSP作用范围(如：page、 request、session、application)的bean能被作为一个EL变量来使用。另外，EL支持以下预定义的变量：

变量名称	说明
pageScope	一个包含所有page scope范围的变量集合 (a java.util.Map)
requestScope	一个包含所有request scope范围的变量集合 (a java.util.Map)
sessionScope	一个包含所有session scope范围的变量集合 (a java.util.Map)
applicationScope	一个包含所有application scope范围的变量集合 (a java.util.Map)
param	一个包含所有请求参数的集合 (a java.util.Map)，通过每个参数对应一个String值的方式赋值
paramValues	一个包含所有请求参数的集合 (a java.util.Map)，通过每个参数对应一个String数组的方式赋值
header	一个包含所有请求的头信息的集合， (a java.util.Map) ,通过每个头信息对应一个String值的方式赋值
headerValues	一个包含所有请求的头信息的集合 (a java.util.Map) ，通过每个头信息的值都保存在一个String数组的方式赋值
cookie	一个包含所有请求的 cookie集合 (a java.util.Map)，通过每一个cookie（javax.servlet.http.Cookie）对应一个cookie值的方式赋值
initParam	一个包含所有应用程序初始化参数的集合(a java.util.Map) ，通过每个参数分别对应一个String值的方式赋值
pageContext	一个javax.servlet.jsp.PageContext类的实例, 用来提供访问不同的请求数据

操作符描述了你对变量所期望的操作。如果你之前曾经使用过任何编程语言的话，在EL表达式中所使用的操作符对你来说可能看起来很熟悉。因为它们和那些在大多数语言中所支持的操作符一样。

Operator	Description
.	访问一个bean属性或者 Map entry
[]	访问一个数组或者链表元素
()	对子表达式分组，用来改变赋值顺序
? :	条件语句，比如: 条件 ? ifTrue : ifFalse.如果条件为真，表达式值为前者，反之为后者
+	数学运算符，加操作
–	数学运算符，减操作或者对一个值取反
*	数学运算符，乘操作
/ or div	数学运算符，除操作
% or mod	数学运算符，模操作(取余)
== or eq	逻辑运算符，判断符号左右两端是否相等，如果相等返回true，否则返回false
!= or ne	逻辑运算符，判断符号左右两端是否不相等，如果不相等返回true，否则返回false
< or lt	逻辑运算符，判断符号左边是否小于右边，如果小于返回true，否则返回false
> or gt	逻辑运算符，判断符号左边是否大于右边，如果大于返回true，否则返回false
<= or le	逻辑运算符，判断符号左边是否小于或者等于右边，如果小于或者等于返回true，否则返回false
>= or ge	逻辑运算符，判断符号左边是否大于或者等于右边，如果大于或者等于返回true，否则返回false
&& or and	逻辑运算符，与操作赋。如果左右两边同为true返回true，否则返回false
\|\| or or	逻辑运算符，或操作赋。如果左右两边有任何一边为true返回true，否则返回false
! or not	逻辑运算符，非操作赋。如果对true取运算返回false，否则返回true
empty	用来对一个空变量值进行判断: null、一个空String、空数组、空Map、没有条目的Collection集合
func(args)	调用方法, func是方法名，args是参数，可以没有，或者有一个、多个参数.参数间用逗号隔开

一个EL表达式可以包含：数字、文本（在单引号或者双引号之间）、布尔值、null值。因为一个EL表达式可以出现在静态文本出现的地方，因此你必须告诉JSP容器它应该被当作一个EL表达式来处理。你可以通过使用定界符来做到这一点。一个EL表达式总是以”${ }”来标记（一个“$”符号和一个左花括号,右花括号）。这里有一个EL表达式，它将一个命名为amount的变量加5： ${amount + 5} 如果你想要将5加到一个bean的property上，可以使用property访问操作符： ${order.amount + 5} 在当前这个指定的bean或者collection集合中，Property访问操作符（一个“.“符号）告诉EL去寻找名字为amount的property。 ${order[‘amount’] + 5} 在[]之间的值必须是一个property的名字（就像上面的例子中那样）或者是一个保存property名字的变量（或者是一个完整的EL子表达式）。 EL表达式可以被用来赋值给任何标准的或者定制的JSP行为属性（action attribute），这些行为属性被标记为可以接受动态值（或者请求期间的属性值，就象它被正式调用一样）：在JSP 2.0之前，你不得不使用Java表达式去给一个属性动态赋值。在过去的很多年中，这已经成为语法混乱的一个普遍根源。最后，EL表达式可以在页面中和模板直接混合使用。当你生成HTML并且需要设置一个动态值给一个属性的时候，这非常方便： JSP 1.2中，你不得不使用JSTL的来实现同样的事情，最后把各种不同类型的元素混合起来，这导致程序理解起来非常的困难： ” > 新JSTL 1.1 Tag Library 标识符 JSTL1.1发布的是一个初级的版本，主要目的是用来整合JSTL和JSP2.0 。最明显的变化是JSTL1.0 “孪生函数库”（一组库用来接受EL表达式，另外一组用来接受JAVA表达式），而它们已经被一组既可以用于EL表达式也可以用于JAVA表达式的函数库所代替。在JSTL 1.1中使用以下标识符:

库	URI	前缀
Core	http://java.sun.com/jsp/jstl/core	c
XML processing	http://java.sun.com/jsp/jstl/xml	x
I18N formatting	http://java.sun.com/jsp/jstl/fmt	fmt
Database access	http://java.sun.com/jsp/jstl/sql	sql
Functions	http://java.sun.com/jsp/jstl/functions	fn

如果你曾经使用过JSTL1.0，你可能会注意到新的标识符和旧的EL库标试符一模一样，除了加入了“/jsp path” element。你也可能注意到在JSTL1.1中有一个库，包含了EL的函数。我们稍后就会看到。一个新的EL操作符在JSP页面中一个非常普遍的需求就是：当某个条件为真时，要在网页中包含一些文字。在JSP1.2和JSTL1.1中，用具有代表性的来实现，但是这样做非常繁琐。 JSP2.0增加了一个新的条件操作符用于EL，以更加优雅的方式来处理这样的情况。这个条件操作符存在于很多编程语言中（比如：Java,C,JavaScript）,因此你可能以前就见过它。它判断一个布尔的条件，当条件为真或者假时，分别取不同的结果。一个能清楚说明它如何工作的例子：在这里，我使用了EL表达式和条件操作符来选择是否包含 html 中的 “selected”属性，只有符合条件的 “option” 才被添加 “selected” 属性。如果条件（param.artist==1）为真时，前面的“selected” 才被添加到网页中；否则就添加后面的（在这里是空字符串 ‘’）到页面中。 EL函数当EL从JSTL规范中移到JSP规范中，它使用了一个如何进行函数调用的技巧。这个EL函数语法非常简单：方法名，紧接着在圆括号中有一组参数：<%@ taglib prefix=”fn” uri=”http://java.sun.com/jsp/jstl/functions” %> ${fn:length(myCollection)} 这是一个属于标签库中的函数,并且函数名字在页面中所包含的前缀要指定taglib库。在这个例子中，我使用了前缀fn,这是JSTL function库默认的前缀。标签库描述符（Tag Library Descriptor,TLD）将函数名称映射到一个由JAVA实现的静态方法中： Returns the number of items in a collection or the number of characters in a string. length

org.apache.taglibs.standard.functions.Functions

int length(java.lang.Object)

在这里最有趣的element 是。它包含一个函数返回类型的声明，静态的方法的名字，在圆括号中声明该方法所有参数的类型（可以没有参数或者有多个，参数间用逗号间隔开）。返回值类型和参数类型必须是java的原始类型（Object）或者是其他合法类型。这个静态方法 length()在Jakarta Taglibs标准库中用类似于下面的代码实现的：

public static int length(Object obj)
throws JspTagException {
if (obj == null)
return 0;
if (obj instanceof String)
return ((String)obj).length();
if (obj instanceof Collection)
return ((Collection)obj).size();
if (obj instanceof Map)
return ((Map)obj).size();
int count = 0;
if (obj instanceof Iterator) {
Iterator iter = (Iterator) obj;
count = 0;
while (iter.hasNext()) {
count++;
iter.next();
}
return count;
}
if (obj instanceof Enumeration) {
Enumeration enum = (Enumeration) obj;
count = 0;
while (enum.hasMoreElements()) {
count++;
enum.nextElement();
}
return count;
}
try {
count = Array.getLength(obj);
return count;
} catch (IllegalArgumentException ex) {}
throw new JspTagException("Unsupported type"));
}

就像你所看到的，在那里没有什么出奇的地方。它是一个常规的静态方法，这个函数中通过对运行期中的参数类别的判断，找出参数的长度。除了在这个方法中使用的length()方法，JSTL1.1标签库还包含了许多其它经常使用的函数：

函数	描述
fn:contains(string, substring)	如果参数string中包含参数substring，返回true
fn:containsIgnoreCase(string, substring)	如果参数string中包含参数substring（忽略大小写），返回true
fn:endsWith(string, suffix)	如果参数 string 以参数suffix结尾，返回true
fn:escapeXml(string)	将有特殊意义的XML (和HTML)转换为对应的XML character entity code，并返回
fn:indexOf(string, substring)	返回参数substring在参数string中第一次出现的位置
fn:join(array, separator)	将一个给定的数组array用给定的间隔符separator串在一起，组成一个新的字符串并返回。
fn:length(item)	返回参数item中包含元素的数量。参数Item类型是数组、collection或者String。如果是String类型,返回值是String中的字符数。
fn:replace(string, before, after)	返回一个String对象。用参数after字符串替换参数string中所有出现参数before字符串的地方，并返回替换后的结果
fn:split(string, separator)	返回一个数组，以参数separator 为分割符分割参数string，分割后的每一部分就是数组的一个元素
fn:startsWith(string, prefix)	如果参数string以参数prefix开头，返回true
fn:substring(string, begin, end)	返回参数string部分字符串, 从参数begin开始到参数end位置，包括end位置的字符
fn:substringAfter(string, substring)	返回参数substring在参数string中后面的那一部分字符串
fn:substringBefore(string, substring)	返回参数substring在参数string中前面的那一部分字符串
fn:toLowerCase(string)	将参数string所有的字符变为小写，并将其返回
fn:toUpperCase(string)	将参数string所有的字符变为大写，并将其返回
fn:trim(string)	去除参数string 首尾的空格，并将其返回

结束语：在这篇文章中，我从EL讲到JSTL1.1规范、EL新特色和JSTL 1.1函数库。接下来的部分我将要告诉你：关于JSP error-page的改进和增强； jsp:id 属性带来的益处；新的配置属性描述符；JSP2.0如何使JSP操作XML变得更加容易；自定义标签库的新特性。如果你想要尝试JSP2.0的新特性，我建议你使用Apache Tomcat 5。它是最早实现了JSP新规范的容器之一。在公布最终版本的JSP 2.0规范之前，一个被标记为“stable”版本的Tomcat是不能被发布的。但是最新的beta版已经被证实是非常稳定的，不要理会beta版的标记。Tomcat 5在[the Jakarta Project site][3]可以下载。 [Hans Bergsten][4] is the founder of Gefion Software and author of O’Reilly’s [JavaServer Pages, 3rd Edition][5]. Return to [ONJava.com][6]. 原文来自：

在Dreamweaver使用正则表达式替换

Mon, 15 Nov 2010 13:12:18 +0000

有时我们需要比较复杂的替换文本，这时要用到正则表达式来进行替换。你可以使用其他可以使用正则表达式的替换工具，这里以Dreamweaver为例子。

应用场景

例如有个场景，这里有一段html

<body>
<td style=" background:#ccc;"></td>
<td class="td" style=" background:#ccc; color:#ccc;"></td>
<td style=" width:100%;"></td>
</body>

需要在style属性内加入一个值height:20px;
（当然这个例子有点奇怪，暂时不过，我只是想说明要在某个属性加入某值）

实现方法

记得勾上“使用正则表达式”查找在查找框输入**<td([\s\S]*?)style=”([\s\S]*?)”** 在替换框输入**<td$1style=”$2height:20px;”** 试试查找看看，能否正常匹配？如果能匹配，一个个替换\全部替换即可。

查找框中的()括号，和替换框中的$1，$2一一对应，表示引用括号匹配的内容
[\s\S]*?表示任意字符，？问号是指匹配模式是非贪婪的，尽量少的匹配字符更多的正则表达式内容你可以搜索一下，相信聪明的你很容易就能找到的！

Fatkun图片批量下载谷歌浏览器扩展0.3版已更新

Sun, 14 Nov 2010 11:18:13 +0000

图片批量下载，可以找出当前页面的所有图片（Img标签）,提供按分辨率筛选图片，用另存为页面就可以把所有图片下载下来。 0.3版update:2010-11-14

添加过滤链接
保存输入的分辨率（在点“应用”按钮时自动保存，也可以在选项中保存）
在筛选的输入框中按回车相当于点“应用”按钮 0.3版插件地址：http://bath-image-download.googlecode.com/files/batch.crx 最新版可以留意此页面：http://fatkun.com/2010/09/batch-image-download.html

FreeMarker简单入门

Tue, 09 Nov 2010 16:48:30 +0000

freemarker是用来根据模板生成代码的，有强大的模板语言。项目地址：http://freemarker.sourceforge.net TestFM.java 文件，放在com.fatkun目录下

package com.fatkun;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.io.Writer;
import java.util.HashMap;
import java.util.Map;
import freemarker.cache.ClassTemplateLoader;
import freemarker.template.Configuration;
import freemarker.template.DefaultObjectWrapper;
import freemarker.template.Template;
import freemarker.template.TemplateException;
import freemarker.template.TemplateExceptionHandler;
public class TestFM {
/**
* @param args
*/
public static void main(String[] args) {
try {
Configuration cfg = new Configuration();
//相对于TestFM类目录下的templates目录，
cfg.setTemplateLoader(new ClassTemplateLoader(TestFM.class,"templates"));
//cfg.setDirectoryForTemplateLoading(new File("绝对路径"));
cfg.setObjectWrapper(new DefaultObjectWrapper());
//设置异常处理器
cfg.setTemplateExceptionHandler(TemplateExceptionHandler.IGNORE_HANDLER);
Template temp = cfg.getTemplate("test.ftl");
/* Create a data-model */
Map root = new HashMap();
root.put("user", "Fatkun");
Map latest = new HashMap();
latest.put("url", "products/greenmouse.html");
latest.put("name", "green mouse");
root.put("latestProduct", latest);
/* Merge data-model with template */
Writer out = new OutputStreamWriter(System.out);
temp.process(root, out);
out.flush();
} catch (IOException e) {
e.printStackTrace();
} catch (TemplateException e) {
e.printStackTrace();
}
}
}

模板文件，放在com.fatkun.templates目录下

<html>
<head>
<title>欢迎!</title>
</head>
<body>
<h1>
欢迎 ${user}<#if user == "Fatkun">, 你是肥坤啊！</#if>!
</h1>
<p>我们的最新产品：
<a href="${latestProduct.url}">${latestProduct.name}</a>!
</body>
</html>

Comparator和Comparable的区别使用

Sat, 06 Nov 2010 15:47:58 +0000

Camparable与Comparator的区别

简单说：

实现Camparable接口可以直接使用sort方法Collections.sort(List list)排序
实现Comparator接口的可以用Collections.sort(List list, Comparator c)排序一个类实现了Camparable接口则表明这个类的对象之间是可以相互比较的，这个类对象组成的集合就可以直接使用sort方法排序。
Comparator可以看成一种算法的实现，将算法和数据分离，Comparator也可以在下面两种环境下使用：
1、类的设计师没有考虑到比较问题而没有实现Comparable，可以通过Comparator来实现排序而不必改变对象本身
2、可以使用多种排序标准，比如升序、降序等

Camparable实例

import java.util.Arrays;
public class User implements Comparable {
private String id;
private int age;
public User(String id, int age) {
this.id = id;
this.age = age;
}
public int getAge() {
return age;
}
public void setAge(int age) {
this.age = age;
}
public String getId() {
return id;
}
public void setId(String id) {
this.id = id;
}
public int compareTo(Object o) {
return this.age - ((User) o).getAge();
}
/**
* 测试方法
*/
public static void main(String[] args) {
User[] users = new User[] { new User("a", 30), new User("b", 20) };
Arrays.sort(users);
for (int i = 0; i < users.length; i++) {
User user = users[i];
System.out.println(user.getId() + " " + user.getAge());
}
}
}

Comparator实例

import java.util.Arrays;
import java.util.Comparator;
public class SampleComparator implements Comparator {
public int compare(Object o1, Object o2) {
return toInt(o1) - toInt(o2);
}
private int toInt(Object o) {
String str = (String) o;
str = str.replaceAll("一", "1");
str = str.replaceAll("二", "2");
str = str.replaceAll("三", "3");
//
return Integer.parseInt(str);
}
/**
* 测试方法
*/
public static void main(String[] args) {
String[] array = new String[] { "一二", "三", "二" };
Arrays.sort(array, new SampleComparator());
for (int i = 0; i < array.length; i++) {
System.out.println(array[i]);
}
}
}

原文来自：Comparator和Comparable的区别

宣传一下小邪的博客

Sun, 24 Oct 2010 06:37:36 +0000

最近都挺忙的，博客也没怎么更新了，也没学到什么东西·~ 一直想做个图片帮小邪的博客宣传一下（虽然我的博客也没有多少人看：）），他免费提供空间给我搭建这个博客~~人也很好的说~~ 今天终于把图弄好了，把它放在侧栏的最上方：）
http://evlos.org 小邪的博客博客内容最多的是一些PHP的东西，包括一些Wordpress插件哦，另外还有一些荷兰生活的照片：）嗯，就这样子~最主要的是小邪人很好= =！上图背景图片来源http://www.zcool.com.cn/work/ZNDI3NjM2/1.html，没找到好的背景，找个美女好了：）

Mercurial(HG)版本控制服务用户名验证

Sun, 17 Oct 2010 03:22:18 +0000

在之前的文章中，在Windows使用apache搭建Mercurial版本控制服务，并没有说到如何验证用户，而是允许所有人都提交。当时还不会怎么配置。 以下就是配置方法：

1，用htpasswd.exe建立用户密码文件

htpasswd.exe在apache的bin目录可以找到，使用方法主要有 htpasswd -c 文件名用户名 //参数-c创建密码文件，输入后会提示你输入密码 htpasswd 文件名用户名 //如果用户名一样会更新密码举个例子，我现在要建两个用户

htpasswd -c hguser fatkun.com
htpasswd hguser aaaa

这时会得到一个hguser的文件，把它拷贝到conf目录下

2,修改httpd.conf配置

在httpd.conf配置最末尾加入，注意路径改为你的

<Location /hg>
AuthType Basic
AuthName "Mercurial repositories"
AuthUserFile "D:/Program Files/Apache2.2/conf/hguser"
<LimitExcept GET>
Require valid-user
</LimitExcept>
</Location>

这样就可以了，重启apache服务以后，试试从浏览器访问hg的网页？会提示你输入用户名和密码。

3，针对某些项目的权限设置

在服务器存放项目的文件中，在.hg目录新建一个hgrc文件，里面可以配置为
这里是配置单个项目的，如果需要对所有项目配置，可以修改hgweb.config文件

[web]
allowpull = false //不允许所有人下载该项目
allow_read = "John Doe, PhD", fatkun//允许哪些人可以下载，如果有空格或特殊字符用引号""括起来
//还有deny_read，allow_push 等等

更多的配置可以查看这里http://www.selenic.com/mercurial/hgrc.5.html

删除Lucene索引

Sat, 09 Oct 2010 08:35:19 +0000

若需要从索引中删除某一个或者某一类文档，IndexReader提供了两种方法： reader.DeleteDocument(int docNum) reader.DeleteDocuments(Term term)。前者是根据文档的编号来删除该文档，docNum是该文档进入索引时Lucene的编号，是按照顺序编的；后者是删除满足某一个条件的多个文档。在执行了DeleteDocument或者DeleteDocuments方法后，系统会生成一个*.del的文件，该文件中记录了删除的文档，但并未从物理上删除这些文档。indexWriter.Optimize();才会真正的删除。

String indexDirStr = "d:\\index";
Directory indexDir = FSDirectory.getDirectory(new File(indexDirStr));
IndexReader reader = IndexReader.open(indexDir);
reader.deleteDocuments(new Term("id", String.valueOf(id)));
reader.flush();
reader.close();

注意new Term()中的id必须是Field.Index.TOKENIZED，不然无法搜索到就删除不了了。另外注意一个问题是，我的lucene2.2版本删除后会在IndexReader.open时会出错！！换用新版的lucene2.9问题解决！

关机时提示“正在关闭网络连接”解决方法

Sun, 03 Oct 2010 02:53:19 +0000

症状

关机时提示“正在关闭网络连接”，有点慢

解决方法

设置workstation服务为“自动”运行并启用该服务。如果你是因为workstation启动慢才关闭次服务，可以看这篇文章：XP下系统服务workstation启动很慢解决方法 PS:设置关机时的声效为空，也可以加快关机速度（因为关机时要等关机声播完= =!）

XP下系统服务workstation启动很慢解决方法

Sat, 02 Oct 2010 02:51:18 +0000

症状

系统进入桌面之后，要等上1-2分钟才能完全操作，在这期间，发现很多自动运行的服务依然没有启动。设置workstation服务为手动或者禁止则开机正常。

解决方法

设置workstation服务为手动或禁止运行。（不过有个后遗症是关机时会提示“正在关闭网络连接”）
检查网卡自动获取IP是不是很慢，把网卡的IP设置为固定IP（我的电脑是因为这个原因，通过宽带拨号，本地连接可以设置为任何一个ip：如192.168.1.33，没影响的）

其他解决方法

由于安装各种插件(雅虎助手等)导致网络服务出问题或EXPLORER负载过大,同时还会引起WORKSTATION服务启动慢,有时候要20分钟左右才能启动机器.建议使用360安全卫士处理下流氓软件.这样情况会有好转
在本地连接的网络组件里,多余的组件会给WORKSTATION很大负荷,XP专业版的情况下基本只有4个是必需的,那就是MICROSOFT网络客户端,MICROSOFT网络文件和打印机的共享,QOS数据包计划程序和TIP/IP,其他的一律删掉.
因为安装VMware变慢，可以把VMware的三个服务(VMware Authorization Service,VMware NAT Service,VMware DHCP Service)设为手动，有需要再开启

额外知识

Workstation(即lanmanworkstation)服务，如果启动慢，将导致：
在该服务启动后启动的各类服务组的服务延迟启动，包括
RemoteValidation（包含NetLogon服务）
NetDDEGroup（包含NetDDE服务）
Parallel arbitrator（包含Parport并口服务）
Extended Base（各类硬件管理服务如USB、串口等，音视频解码等）
PCI Configuration（包含PCIDump服务）
MS Transactions（包含MSDTC服务）
　　而这些启动延迟，将导致网络登录延迟、网络管理功能延迟加载、音频启动延迟（开机声音延迟播出）、USB设备延迟加载等问题，直接导致系统的可用性。

PSD:折角橙色标题栏

Wed, 22 Sep 2010 11:59:58 +0000

上图是我自己做的。比较简单，主要注意的是黄条阴影的方向是向上的，那个折角的三角形我是用钢笔画的，一样是同样的渐变颜色。有这个折角感觉立体化多了，不过我做的这个貌似不太漂亮？原文是英文的，我就不翻译不转载了，也不算太难。照着图做即可。教程地址：http://psdvibe.com/2008/12/03/content-box-with-orange-banner-heading/ PSD下载地址：http://psdvibe.com/tutorials/dark_box_banner_head/psd.zip

CSS中的部分缩写

Wed, 22 Sep 2010 03:21:23 +0000

对于想学习好CSS的话，缩写的顺序必须是正确的（虽然有些不正确的浏览器能自动修正），既能看懂别人的缩写，也能省点敲键盘的时间~~

边距（margin与padding）

margin和padding的缩写方法相同

/*按“上右下左”顺时针的方向填写*/
margin:1px 1px 1px 1px;
margin:1px;/*四个方向的边距相同，等同于margin:1px 1px 1px 1px;*/
margin:1px 2px;/*上下边距都为1px，左右边距均为2px，等同于margin:1px 2px 1px 2px*/
margin:1px 2px 3px;/*右边距和左边距相同，等同于margin:1px 2px 3px 2px;*/
margin:1px 2px 1px 3px;/*注意，这里虽然上下边距都为1px，但是这里不能缩写。*/

边框(border与outline)

/*宽度 样式 样色*/
border:5px solid #369;
/*border的缩写中border-style是必须的。*/

背景(background)

background是最常用的简写之一，它包含以下属性：

background-color: color || #hex || RGB(% || 0-255) || RGBa;
background-image:url();
background-repeat: repeat || repeat-x || repeat-y || no-repeat;
background-attachment: scroll || fixed;
background-position: X Y || (top||bottom||center) (left||right||center);

/*按照上面的顺序写即可，各个属性都可以省略*/
background:#ccc url("xxx.png") repeat scroll top left ;
/*默认值是*/
background:transparent none repeat scroll top left ;

字体（font）

很多人并不赞成使用font缩写
包含的属性有

font-style: normal || italic || oblique;
font-variant:normal || small-caps;
font-weight: normal || bold || bolder || || lighter || (100-900);
font-size: (number+unit) || (xx-small - xx-large);
line-height: normal || (number+unit);
font-family:name,"more names";

## 列表样式

list-style:disc outside none
/*如果list-tyle中定义了图片，那么图片的优先级要比list-style-type高*/
list-style:circle inside url(../img.gif)

圆角（border-radius）

/*按 左上 右上 右下 左下 顺时针方向*/
border-radius:10px 20px 30px 40px;
/*大致与边距的缩写相同，也可以省略某个值*/

文章来自CSS简写指南，部分有删改，更多内容可以看原文

用一个Tomcat建立多个Server

Thu, 16 Sep 2010 12:41:37 +0000

1.通过配置多个元素（不同目录）

(fatkun:这个和直接放在webapps不用配置差不多) 在下配置多个元素

<Context path="app1" docBase="E:/workspace/app1/WebRoot" debug="0" reloadable="true"></Context>
<Context path="app2" docBase="E:/workspace/app2/WebRoot" debug="0" reloadable="true"></Context>

然后通过主机名:端口/应用名访问,如: http://localhost:8080/app1 或 http://localhost:8080/app2

2.通过配置多个元素（不同域名）

<Host appBase="webapps" name="192.168.1.110">
<Context path="" docBase="E:/workspace/app1/WebRoot" debug="0" reloadable="true"></Context>
</Host>
<Host appBase="webapps" name="192.168.1.114">
<Context path="" docBase="E:/workspace/app2/WebRoot" debug="0" reloadable="true"></Context>
</Host>

然后通过主机名:端口访问,如: http://192.168.1.110:8080 或 http://192.168.1.114:8080
name中的192.168.1.110可以是你的域名或者需要绑定的IP

3.通过配置多个元素(不同端口)

在下配置多个元素

<Service name="Catalina1">
<Connector port="90" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" URIEncoding="gbk" />
<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />
<Engine name="Catalina2" defaultHost="localhost">
<Realm className="org.apache.catalina.realm.UserDatabaseRealm" resourceName="UserDatabase"/>
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
<Context path="" docBase="F:/workspace/app1/WebRoot" debug="0" reloadable="true"></Context>
</Host>
</Engine>
</Service>
<Service name="Catalina2">
<Connector port="91" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" URIEncoding="gbk" />
<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />
<Engine name="Catalina2" defaultHost="localhost">
<Realm className="org.apache.catalina.realm.UserDatabaseRealm" resourceName="UserDatabase"/>
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
<Context path="" docBase="F:/workspace/app2/WebRoot" debug="0" reloadable="true"></Context>
</Host>
</Engine>
</Service>

定义了两个Service分别是Catalina和Catalina2,侦听的端口分别是90和91
然后通过主机名:端口访问,如: http://localhost:90 或 http://localhost:91 原文来自：http://www.blogjava.net/siyn/archive/2008/07/07/213133.html

Hibernate状态transient、persistent、detached的转换

Wed, 15 Sep 2010 13:48:25 +0000

transient、persistent、detached状态关系图如下： 1、transient状态的特征：

在数据库中没有与之匹配的数据
没有纳入session的管理 2、persistent状态的特征：
persistent状态的对象在数据库中有与之匹配的数据
纳入了session的管理
在清理缓存（脏数据检查）的时候,会和数据库同步 3、detached状态的特征：
在数据库中有与之匹配的数据
没有纳入session的管理 PS：了解这几种状态对深入使用hibernate有比较大的意义，开发过程中减少很多不必要的错误。来源：系统学习hibernate之三：transient、persistent、detached状态{#ctl04_TitleUrl}

XDoclet – discriminator标签（子类，同一个表）

Mon, 13 Sep 2010 12:11:29 +0000

使用XDoclet生成子类映射配置，简单说一下，只当自己记录了。
这是一个“每棵继承树映射成一张表”的方法，也就是在这个表里加一个字段来区分子类
在父类加入

@hibernate.class
@hibernate.discriminator column="ftype" type="string" length="50"

在子类中加入

@hibernate.subclass discriminator-value = "AAA"

更多的你可以参考以下网址：

XDoclet – discriminator标签

XDoclet –hibernate标签简单介绍

Fatkun图片批量下载谷歌浏览器扩展（Chrome Extensions）(1.8版)（已不再维护）

Sun, 12 Sep 2010 03:29:53 +0000

已卖给其他人，之后我不再维护。

图片批量下载，可以找出当前页面的所有图片,提供按分辨率筛选图片，用另存为页面就可以把所有图片下载下来。只为做一个**简单好用的**批量下图扩展。 ## 推荐

新写了一个安卓手机应用，如果你爱美女，可以试试这个应用：爱美女

声明

在参考和借鉴小乐图客源代码过程中，未严格按照相关源代码协议，擅自恶意抄袭部分核心源代码，给原创作者小乐zzllrr造成伤害和不必要的损失，属于个人行为，与其他组织或个人无关。在此本人表示对小乐图客诚挚的正式道歉。 Fatkun图片批量下载（下称本软件）使用了基于MIT协议的《小乐图客》源码，《小乐图客》的作者是zzllrr(http://weibo.com/zzllrr)，在此声明。本软件不继承MIT协议发布。隐私声明：本扩展会获取域名（非完整URL）等信息用于分析用户使用情况改进扩展，不会传输个人隐私信息。

下载

chrome store下载（推荐）：点我下载，赶紧的

我用不了这个扩展

目前此扩展只保证谷歌浏览器稳定版本能正常使用，其他浏览器可能有问题。
如果有其他问题，可以用你的浏览器打开这个网页 https://aboutmybrowser.com获取你的浏览器版本信息，把地址栏拷贝出来+问题留言给我。

更新说明

1.8版 update：2014-04-13

图片可以保存到文件夹内了（仅限于下载目录内的子目录）
修正QQ空间的大图识别，增加thumbr,printrest大图识别

使用方法：

最好等页面加载完成后再点击批量下载图片 在有图片的网页点击扩展的图标，然后可以输入扩展条件，可以点击图片删除单张图片。
Q：点击“保存图片”时，为什么弹出很多个保存框？ A：要在浏览器的设置中，把下载前询问每个文件的保存位置的勾_去掉_！ Q：可以点击“保存图片”选择目录保存吗？ A：不可以，受限于保存文件的方法，目前只能保存在下载目录中。可以用Ctrl+S保存网页的方式指定目录。 Q：如何同时下载多页的图片？ A：在点击图标后，有个“打开多个页面？”，可以输入多个页面的链接地址；可以用[1-5]表示1到5页，[001-010]表示001到010页；可以用逗号分隔，如[1-5,8-9] Q: 为什么顺序不对？ A:目前是按图片下载完成后，才会对所有图片作一次排序。

捐赠：

感谢所有捐赠的朋友，谢谢你们的鼓励！这是我人生中第一次收到的捐赠，非常感谢你们！ 点此查看捐赠名单做这个扩展，刚开始是因为当时的扩展并不好用，自己写了一个简单的自己用着爽。现在还花时间更新这个扩展，一是想通过做学习多一点js，二是这个扩展也还不算完善。如果你喜欢这个扩展并愿意捐赠作者，给一点点鼓励也好。。。点此给我买瓶汽水（支付宝）。删除网页会把文件夹也一起删除解决方法：在WIN7：在文件管理器上面的工具栏- 组织》文件夹和搜索选项》查看》在管理网页和文件夹对那里选择 “显示两部分并分别进行管理” XP也有类似的选项，在菜单栏有一个“文件夹选项”的菜单。如果找不到这个选项，请看找不到管理网页和文件夹对处理方法 ~~之前在官方页面找到一个图片批量下载的扩展，居然是要一个一个点的，不知道作者是怎样想的= =！~~ 再PS：这么久都不出一个版本，主要原因是我懒，而且最近刚开始进入工作的生活，还不是很适应。还有一个原因是直接点击保存我尝试过，我的实现方法很烂，而且很慢，所以不在0.4版加入。也没有什么好的方法，也许这个插件也不会有很多的更新了。

更新信息

1.7.5版 update:2013-09-14

加入反选功能
修正大图规则的一些问题
简化界面 1.6版 update:2012-11-27
国际化，加上英文
取大图规则加入迅雷方舟、google+、flickr
添加了新的权限webRequest，用于获取百度相册图片（实验性，只能在图片墙页面使用）
导出链接 1.5版 update:2012-09-16
支持打开多个页面
兼容chrome v17版本（会导致在chrome21扩展界面上有个错误提示，但不会影响功能）
支持排序（在下载完成后会排序一次）
可以点击页面按钮保存图片，当然还可以继续使用Ctrl+S保存网页的方式保存
支持图片重命名 1.4.2版update:2012-07-22
尝试修复某些版本使用的问题，请通过评论反馈给我
允许每次把图片汇集到一个输出页面（在【选项】可以关闭）
增加花瓣网取大图（所有支持的网站可以在【选项】看到）
增加了一个改扩展名的脚本，在输出页面可以下载下来放到图片文件夹双击运行这次支持了多个相册取图，QQ空间也可以取图了，快去试试吧！ 1.4版update:2012-07-08****
支持多标签获取图片
支持快捷键Alt + Z
增加特定网站获取大图片：QQ空间、QQ相册、百度相册、豆瓣相册
修正新浪微博相册取不了大图的问题
改了脚本加载方式，可能要重启浏览器才生效
Ctrl + S保存网页的时候要注意保存类型是：网页/全部 1.3版update:2012-05-01****

支持特定网站取大图，添加新浪微博和新浪轻博客的支持
支持input图片
添加视图切换 1.2版update:2012-03-04****
支持特定网站取大图，目前支持topit.me和mmfuli.com，可以去试试
图片分批次获取图片大小，避免多个图片同时下载导致的失败
添加新浪微博分享，向朋友分享你的美图吧！ 1.0版update:2012-02-03****
完全重构了一次代码，以前的代码写的很乱，趁春节在家重写一遍代码
支持框架网页获取图片（例如猫扑）
支持直接链接是图片的文本链接图片 0.5版update:2011-12-15****
修复CHROMEV15点击图片不删除的问题
图片居中显示 0.4版update:2011-03-06****
添加选项选择使用标题保存还是固定名字目录 0.3版update:2010-11-14****
添加过滤链接
保存输入的分辨率（在点“应用”按钮时自动保存，也可以在选项中保存）
在筛选的输入框中按回车相当于点“应用”按钮

0.2版 update:2010-09-18

1. 添加删除单张图片 2. 修正图片分辨率

0.1版

0.1版完成了基本功能。还存在的问题 1.当图片太多时，筛选的速度有点慢。 2.缺少根据链接筛选 3.缺少去掉单个图片 ————————- PS:由于放在官方插件页面现在第一次居然要收5$的注册费！严重打击我写扩展的欲望！！！尽管Google有指导如何在自己打包自行在自己服务器上发布，但还是狠狠的鄙视一下Google!! ~~Google已经严重打击我的热情了~至于这个扩展更新与否看心情了。。~~

Javascript正则表达式在线验证工具

Sat, 11 Sep 2010 06:21:48 +0000

regexpal用起来感觉还不错，可以高亮匹配的文字出来。想弄一个Chrome的扩展出来批量下载图片，感觉Chrome扩展还是蛮好学的，一个早上基本明白流程，如果你有点js基础~~
网址:http://regexpal.com/ 附送一个简单的教程：http://www.w3school.com.cn/js/jsref_obj_regexp.asp

在MyEclipse Tomcat配置JNDI(mysql)

Sun, 05 Sep 2010 14:16:36 +0000

在<workspace目录>.metadata.me_tcat\conf目录下找到context.xml文件
加入以下内容，按照需要进行更改

<Resource name="jdbc/xxxx" auth="Container" type="javax.sql.DataSource"
maxActive="100" maxIdle="30" maxWait="1000" username="root" password="123"
driverClassName="com.mysql.jdbc.Driver" url="jdbc:mysql://127.0.0.1:3306/xxxxxxxxxx"
removeAbandoned="true" removeAbandonedTimeout="60" logAbandoned="true"/>

在Myeclipse安装目录找到类似下面的路径，可能你的和我不太一样
<Myeclipse安装目录>\Common\plugins\com.genuitec.eclipse.easie.tomcat.myeclipse_8.5.0.me201003121946\tomcat\lib 复制mysql的驱动包进这个目录

Photoshop的自由变换（Ctrl+T）使用方法

Sat, 04 Sep 2010 09:05:58 +0000

感觉还是挺容易使用的。变换一下可以让上图中的字母贴近那里原来这么简单。
当图像处于自由变换的状态时（快捷键Ctrl+T），我们仅仅拖动鼠标可以改变图像形状。
可以用Ctrl或Shift或Alt+鼠标有其他效果试试就知道了，文字上不好说~不用注意到下面的文字这么麻烦，自己试试其实很简单的。

————-摘录一篇文章—————– 来源：http://photoshop.abang.com/od/gongju/a/ziyoubianhuan.htm 一、按下Ctrl键加鼠标左键 1、拖动变形框四角任一角点时，图像为其它三点不动自由扭曲四边形； 2、拖动变形框四边任一中间点时，图像为对边不变的自由平行四边形。 二、按下Shift键加鼠标左键 1、拖动变形框四角任一角点时，对角点位置不变，图像等比例放大或缩小，也可翻转图形； 2、鼠标左键在变形框外弧形拖动时，图像可作15°增量旋转角度，可作90°、180°顺逆旋转。 三、按下Alt键加鼠标左键 1、拖动变形框四角任一角点时，图像中心位置不变，放大或缩小自由矩形，也可翻转图形； 2、拖动变形框四边任一中间点时，图像中心位置不变，等高或等宽自由矩形。 四、按下Ctrl + Shift键加鼠标左键 1、拖动变形框四角任一角点时，图像可变为直角梯形，角点只可在坐标轴方向上移动； 2、拖动变形框四边任一中间点时，图像可变为等高或等宽的自由平行四边形，中间点只可在坐标轴方向上移动。 五、按下Ctrl + Alt键加鼠标左键 1、拖动变形框四角任一角点时，图像相邻两角位置不变的菱形； 2、拖动变形框四边任一中间点时，图像相邻两边中间点位置不变的菱形。 六、按下Shift + Alt键加鼠标左键 1、拖动变形框四角任一角点时，图像中心位置不变，等比例放大或缩小的矩形； 2、拖动变形框四边任一中间点时，图像中心位置不变，等高或等宽自由矩形。（作用同Alt键的第2点） 七、按下Ctrl + Shift + Alt键加鼠标左键 1、拖动变形框四角任一角点时，图像可变为等腰梯形、三角形或相对等腰三角形； 2、拖动变形框四边任一中间点时，图像可变为中心位置不变，等高或等宽的自由平行四边形。

在Windows使用apache搭建Mercurial版本控制服务

Sun, 29 Aug 2010 07:40:28 +0000

最近工作需要，建立一个本地版本控制服务，用来共享代码。搭建简单的SVN服务可以使用VisualSVN，但Mercurial有没有类似的工具呢？权限控制可以看这篇文章 Mercurial(HG)版本控制服务用户名验证

使用Serve

如果你需要简单的共享代码，可以直接使用TortoiseHG的Serve，可以push，pull，clone，不过没有什么验证。安全性不高，当然在内部网络这就可以了，但是同时只能提供一个项目的使用。
使用serve时push默认是不启用的，需要把Push require SSL设为False和Allow Push设为*

使用Apache搭建

如果你英文不错，可以到官方wiki这里看看~ 俺英文太菜了。。http://mercurial.selenic.com/wiki/PublishingRepositories ，搜索了一下，再找到一篇文章，跟着这里做 http://makinggames.ca/dev/version-control-mercurial-apache-tortoisehg/（依然是英文）

1.准备工作

下载TortoiseHG，Mercurial v1.6，Python v2.6(建议使用此版本),XAMPP v1.7.3(比较简单的apache服务)，把上面的软件都安装了。

2.注意事项

最好是使用没有空格的路径！例如c:\Program Files这样的路径最好不要用，不然可能出现乱七八糟的错误。
在配置文件中路径使用“/” 或者使用”\”，例如 “D:\xampp\htdocs”

3.创建repositories

使用TortoiseHG在某个目录创建repositorie，我的目录是F:\workspace\hg

4.配置

从Mercurial中找到library.zip(注意是Mercurial里的，不是TortoiseHG的library.zip，不然会出错！！)，解压到一个目录，我这里是解压到D:\xampplite\mlib目录，把Mercurial中templates目录同样复制到此目录下。在xampp安装目录htdocs下，建立一个hg文件夹
\htdocs\hg
在hg目录下，建立一个hgwebdir.cgi文件，把下面的内容拷贝进去

#!C:/Python26/python.exe
#
# An example CGI script to export multiple hgweb repos, edit as necessary
# 配置为你的library.zip解压的目录:
import sys
sys.path.insert(0, "D:\\xampplite\\mlib")
from mercurial import demandimport;
demandimport.enable()
import cgitb
cgitb.enable()
#import os
#os.environ["HGENCODING"] = "UTF-8"
from mercurial.hgweb.hgwebdir_mod import hgwebdir
import mercurial.hgweb.wsgicgi as wsgicgi
application = hgwebdir('hgweb.config')
wsgicgi.launch(application)

注意第一行中的#!C:/Python26/python.exe改为你python.exe所在的路径
sys.path.insert(0, “D:\xampplite\mlib”)这句中的D:\xampplite\mlib是上面把library.zip解压的目录
再建立一个hgweb.config文件

[collections]
F:/workspace/hg = F:/workspace/hg
[web]
allow_push =*
push_ssl = false
style = gitweb

上面的F:/workspace/hg请换为你自己的项目的存放目录最后一步打开ampp/apache/conf/httpd.conf文件，在最末尾加入

# 版本管理
ScriptAliasMatch ^/hg(.*) D:/xampplite/htdocs/hg/hgwebdir.cgi$1
<Directory "D:/xampplite/htdocs/hg">
Options ExecCGI FollowSymLinks
#去掉SSLRequireSSL的#号就强迫使用ssl来访问
#SSLRequireSSL
</Directory>

现在试试重启你的apache服务吧，重启后，通过_https://localhost/hg/访问_

错误处理

Premature end of script headers: hgwebdir.cgi 如果遇到这个问题，建议把它改为hgwebdir.py，用python运行检查一下出现什么错误，注意路径中有空格要用双引号括起来，路径用”/”来隔开。最终会有个SCRIPT的错误，没关系，把它改回hgwebdir.cgi就可以从网页上浏览了。

Windows平台Apache2.x配置SSL

Sat, 28 Aug 2010 06:32:39 +0000

需要在apache配置SSL，所以找了几篇文章，摘录如下：
参考网址：
Windows平台下Apache2.2.4的SSL配置过程(及错误整理)
Windows环境下配置Apache 2.2.x + SSL ——————-摘录部分By fatkun，部分有删改简化————————

安装Apache

下载带有SSL的Apache，http://httpd.apache.org/download.cgi（Win32 Binary including OpenSSL 0.9.8o (MSI Installer)）
安装以后，需要配置SSL。打开conf/httpd.conf文件
默认目录为：C:\Program Files\Apache Software Foundation\Apache2.2\conf 将下面两行前面的#号去掉：
LoadModule ssl_module modules/mod_ssl.so
Include conf/extra/httpd-ssl.conf

生成SSL证书

到这一步，剩下的就是如何生成SSL配置所需要的两个文件了：
server.crt
server.key 打开CMD，cd切换到C:\Program Files\Apache Software Foundation\Apache2.2\bin目录下运行以下命令
首先需要建立证书签名请求和私钥文件：

openssl req -config ..\conf\openssl.cnf -new -out server.csr

它会问一系列的问题，第一个是密码，要记住，下一步要用到
然后RSA签名：

openssl rsa -in privkey.pem -out server.key

最后创建自签证书：

openssl x509 -in server.csr -out server.crt -req -signkey server.key -days 4000

完成之后，将生成的server.crt和server.key这两个文件拷贝到apache的conf目录下。现在使用https://www.yourdomain.com，应该就可以看到It works了。

纯粹试试SkyDriver图床

Mon, 16 Aug 2010 16:16:37 +0000

微软提供的25G空间，听说图片的地址是可以外链的，测试一下。
除了上面那张MM，fatkun还附带壁纸一张，绝对有惊喜，嘿嘿，你懂的，点进来看看预览图吧~~

点我下载

美国保镖面试，逗死了，老大

Mon, 09 Aug 2010 16:41:00 +0000

挺搞笑的。。

韩国动画《闹钟》

Sat, 07 Aug 2010 10:47:59 +0000

画面很有质感，中国的动画比较少做到这么细致的。。

国外wordpress主题-alltuts

Thu, 05 Aug 2010 16:56:48 +0000

一个不错的Wordpress主题
Demo:http://wordpress.site5.net/alltuts/ 点此下载 – 》官方下载由于主题集成了twitter，国内使用需打开sidebar.php，删除下面的代码，否则会一直显示加载中．

首页缩略图设置：编辑文章页面，右下特色图片－＞设置特色图片，上传图片，然后选择＂用作特色图片＂。 {.flickr-image.alignnone}

暑期大学生博客分享大赛 – 2010 Android 篇

Thu, 05 Aug 2010 03:44:10 +0000

很久之前就有看到这个了，直到今天才提交~~为了混一件android T-shirt，决定还是提交上去了。。喔呵呵。。。如果你也有同样的意愿，不如写篇文章，也许能拿大奖~android手机一台啊~~ —————————– http://www.google.com/intl/zh-CN/daxue/blog2010/index.html

2010 年，首届 Google 暑期大学生博客分享大赛开赛啦——今年的主题是 Android！

立即报名

Android 是 Google 2007 年推出的基于 Linux 的开源手机操作系统。我们相信 Android 的未来关键取决于能为手机用户带来惊喜而有趣的各种应用。无论你在尝试 Android应用开发，有 Android 应用的好创意、好点子，或者有使用 Android 手机的精彩故事，即使没有亲自用过 Android 手机，也可以畅想一下你心目中的 Android 手机。赶快来参加我们首届博客分享大赛。以博客形式分享，就有机会赢得 Android 智能手机！我们期待大家的参与！ ## 参赛对象

全日制在校大学生，包括大专生、本科生、硕士生、博士生。

博客要求

主题明确

请围绕Android手机应用分享你自己的精彩故事或者创意点子，请围绕以下主题，动手写博文分享吧！
- 主题 1：分享开发 Android 手机应用的开发经验。比如晒一下你是如何在 Android 平台上一步一步开发应用程序的；比如分享一下你开发过程中，有哪些捷径或者又走过哪些弯路等等。
- 主题 2：分享 Android 手机应用创意或点子。如果你不具备开发能力也不要紧，只需要创意的点子也可以。比如秀一下您心目中在 Android 手机上应该有哪些实用的或者好玩的小应用；比如说一说你觉得大学生都喜欢什么样的 Android 手机应用等等。
- 主题 3：体验 Android 手机的精彩小故事或者憧憬一下你心目中的 Android 手机。讲一下你在生活中使用 Android 手机一些不同寻常的小故事；没用过 Android 手机也没关系，可以畅想一下您心目中的 Android 手机应该是个什么样子。:)
注意：请大家在博文中加入“首届 Google 暑期大学生博客分享大赛——2010 Andriod 篇”作为本次大赛的参赛标识，谢谢！

 <li id="requirement-2"> <h3> 形式多样 </h3>
<p> 文字、图片或视频形式均可，我们鼓励大家采用多种形式</li>
<li id="requirement-3"> <h3> 篇幅适当 </h3> </li>
<li id="requirement-4"> <h3> 博文能够被其他同学们正常访问 </h3> </li>
<li id="requirement-5"> <h3> 若能记录访问量、浏览量等信息，请设置此功能 </h3> </li></ol>
<h2> 大赛日程 </h2>
<table id="keydates"> <tr> <th> 7月5日 </th>
<td> 大赛启动 </td> </tr>
<tr> <th> 7月5日～8月15日 </th>
<td> 参赛者提交参赛作品 </td> </tr>
<tr> <th> 8月16日～8月30日 </th>
<td> 大赛评委评选优秀参赛作品 </td> </tr>
<tr> <th> 9月1日～9月15日 </th>
<td> 优秀参赛作品的网络公投 </td> </tr>
<tr> <th> 9月20日 </th>
<td> 公布获奖名单 </td> </tr>
<tr> <th> 9月21日 </th>
<td> 开始派发奖品 </td> </tr> </table>
<h2> 奖项设置 </h2>
<ul> <li> 一等奖（3个）： <ul> <li> Android应用最佳开发经验分享奖（1个）：Android高端智能手机1部 </li>
<li> Android应用最佳创意点子分享奖（1个）：Android高端智能手机1部 </li>
<li> Android最佳体验或憧憬分享奖（1个）：Android高端智能手机1部 </li> </ul> </li>
<li> 优胜奖（100个）：Android双肩背包1个 </li>
<li> 参与奖（按参赛要求成功提交参赛博客链接 ）：Android T-shirt </li> </ul>
<h2> 评审标准 </h2>
<ul> <li> 切合主题明确 </li>
<li> 流览次数 </li>
<li> 原创性 </li>
<li> 创造性、新颖性 </li> </ul>
<h2> 如何参赛 </h2>
<p> 你可以将博文发表在自己的网站上或者任何一家博客网站，你只要提交该博文的固定引用链接，并做到你的博文自提交日起一年内可以被正常访问，即可参赛。请<a href="https://www.google.com/appserve/fb/forms/cndaxueblog2010/">点击这里</a>参赛，加油！ </p>

更换新的免费空间

Sun, 01 Aug 2010 16:00:05 +0000

000webhost.com实在是忍受不了了，老是不能访问。。这次换一个新的空间，x10hosting.com的。不知道效果怎样，依然是免费空间~~初步发现不支持gzip，其他一切还好。顺便把博客升级到3.01，使用了非官方的中文版wordpress，不知道官方中文版的人是不是还没过完年呢。。 update(2010-08-05):使用cos-html-cache插件变成文章静态化了，这样应该不会那么容易断线了吧。。不用读数据库。。。

Java的访问控制

Fri, 30 Jul 2010 09:00:55 +0000

包（Package）

创建自己的包时，要求 package语句必须是文件中的第一个“非注释”代码。
如果类名冲突时，可这样写java.util.Vector v = new java.util.Vector();
可能（但并常见）有一个编译单元根本没有任何公共类。此时，可按自己的意愿任意指定文件名。

访问控制

修饰符	类内部	同一个包	子类	任何地方
private	√
default	√	√
protected	√	√	√
public	√	√	√	√

类的修饰符只有public 和 default，默认时只能被同一个文件或包内访问。

下面是代码解释

//PackageClass.java
package com.fatkun.util;
/**
* 在包com.fatkun.util内，分别有a,b,c,d四个变量，它们的修饰符都不一样。
* @author fatkun
*
*/
public class PackageClass {
private int a;
int b;
protected int c;
public int d;
public static void main(String[] args) {
PackageClass p = new PackageClass();
System.out.println(p.a);
System.out.println(p.b);
System.out.println(p.c);
System.out.println(p.d);
new InsideClass();
}
}
class InsideClass {
}

//AnotherPackageClass.java
package com.fatkun.util;
/**
* 同一个包内的类，private的不能访问
* @author fatkun
*
*/
public class AnotherPackageClass {
public static void main(String[] args){
PackageClass p = new PackageClass();
System.out.println(p.a);//private只能在类内部访问
System.out.println(p.b);
System.out.println(p.c);
System.out.println(p.d);
//内部类在同一个包内可以访问
new InsideClass();
}
}

//ExtendClass.java
import com.fatkun.util.*;
/**
* PackageClass的子类
* @author fatkun
*
*/
public class ExtendClass extends PackageClass {
public static void main(String[] args) {
ExtendClass e = new ExtendClass();
System.out.println(e.a);//private只能在类内部访问
System.out.println(e.b);//default只能在类内部和同一个包内访问
System.out.println(e.c);//protect能在子类访问
System.out.println(e.d);
//内部类在子类不可以访问
new InsideClass();
}
}

//DefaultClass.java
import com.fatkun.util.*;
/**
* 不同包内
* @author fatkun
*
*/
public class DefaultClass {
public static void main(String[] args) {
PackageClass p = new PackageClass();
System.out.println(p.a);//private只能在类内部访问
System.out.println(p.b);//default只能在类内部和同一个包内访问
System.out.println(p.c);//protect只能在类内部、同一个包、子类访问
System.out.println(p.d);//public能在任何地方访问
//内部类在不同包内不可以访问
new InsideClass();
}
}

Java运算符优先级(表格)

Wed, 28 Jul 2010 14:45:18 +0000

Java运算符优先级参考图表本文来源 http://blog.csdn.net/xiaoli_feng/archive/2009/09/18/4567184.aspx

优先级	运算符	结合性
1	() [] .	从左到右
2	! +(正) -(负) ~ ++ —	从右向左
3	* / %	从左向右
4	+(加) -(减)	从左向右
5	<< >> >>>	从左向右
6	< <= > >= instanceof	从左向右
7	== !=	从左向右
8	&(按位与)	从左向右
9	^	从左向右
10	\|	从左向右
11	&&	从左向右
12	\|\|	从左向右
13	?:	从右向左
14	= += -= *= /= %= &= \|= ^= ~= <<= >>= >>>=	从右向左

说明： 1、该表中优先级按照从高到低的顺序书写，也就是优先级为1的优先级最高，优先级14的优先级最低。 2、结合性是指运算符结合的顺序，通常都是从左到右。从右向左的运算符最典型的就是负号，例如3+-4，则意义为3加-4，符号首先和运算符右侧的内容结合。 3、 instanceof作用是判断对象是否为某个类或接口类型。 4、注意区分正负号和加减号，以及按位与和逻辑与的区别其实在实际的开发中，不需要去记忆运算符的优先级别，也不要刻意的使用运算符的优先级别，对于不清楚优先级的地方使用小括号去进行替代，示例代码： int m = 12; int n = m << 1 + 2; int n = m << (1 + 2); //这样更直观这样书写代码，更方便编写代码，也便于代码的阅读和维护。

Java的重载(Overload)与重写(Override)

Wed, 28 Jul 2010 14:10:25 +0000

重载与重写之间的差别

区别点	重载方法	重写方法
参数列表	必须修改	一定不能修改
返回类型	可以修改	一定不能修改
异常	可以修改	可以减少或删除，一定不能抛出新的或者更广的异常
访问	可以修改	一定不能做更严格的限制（可以降低限制）

## 重载（Overload）

每个重载的方法（或者构造函数）都必须有一个独一无二的参数类型列表。
只能重载构造函数
规则

* 被重载的方法**必须**改变参数列表； * 被重载的方法**可以**改变返回类型； * 被重载的方法**可以**改变访问修饰符； * 被重载的方法**可以**声明新的或更广的检查异常； * 方法能够在同一个类中或者在一个子类中被重载。

package com.fatkun;
/**

Overloading（重载，过载）
方法名相同，参数类型不同或者参数类型顺序不同
返回值，访问修饰符，异常可以不一样
@author fatkun


*/
public class Overloading {
public int test(){
System.out.println("test1");
return 1;
}
public void test(int a){
System.out.println("test2");
}
//以下两个参数类型顺序不同
public String test(int a,String s){
System.out.println("test3");
return "returntest3";
}
public String test(String s,int a){
System.out.println("test4");
return "returntest4";
}
public static void main(String[] args){
Overloading o = new Overloading();
System.out.println(o.test());
o.test(1);
System.out.println(o.test(1,"test3"));
System.out.println(o.test("test4",1));
}</pre>

重写（Override）
 能够在需要新的子类特有行为时重新在子类中定义方法。
 规则
* 参数列表**必须完全**与被重写方法的相同；
* 返回类型**必须完全**与被重写方法的返回类型相同；
* 访问级别的限制性**一定不能**比被重写方法的强；
* 访问级别的限制性可以比被重写方法的弱；
* 重写方法**一定不能抛出新的检查异常或比被重写的方法声明的检查异常更广泛**的检查异常
* 重写的方法能够抛出更少或更有限的异常（也就是说，被重写的方法声明了异常，但重写的方法可以什么也不声明）
* **不能重写被标示为****final****的方法**；
* 如果不能继承一个方法，则不能重写这个方法。
package com.fatkun;
/**

Overriding(重写，覆盖)
重写是子类继承父类对父类的方法进行修改。方法名，参数，返回值必须一样。
访问级别的限制性和异常不能比被重写的方法强
@author fatkun


*/
class TestClass {
public void test(){
System.out.println("这是TestClass的test方法");
}
}
public class Overriding extends TestClass {
public static void main(String[] args) {
new Overriding().test();
}
@Override
public void test() {
System.out.println("这是Overriding的test方法，重写了TestClass中的方法");
}

}

调用
重载方法：

参数类型决定选择哪个重载版本（根据声明的参数类型），这发生在编译时。被调用的实际方法仍是发生在运行时期的虚拟方法调用。但是编译器已经知道所调用的方法的签名。因此，在运行时期，参数匹配已经明确，只是还不知道该方法所在的实际类。

重写方法：

对象类型（即：堆上实际实例的类型决定调用选择哪个方法，这发生在运行时期）
文章来源:http://chen1984.javaeye.com/blog/353342 代码来源:fatkun

Java数据类型转换

Wed, 28 Jul 2010 13:39:04 +0000

1.在Java中看到象“1.39e-47f”这样的表达式时，它真正的含义是“1.39×10 的-47次方”。 2.注意如果编译器能够正确地识别类型，就不必使用尾随字符。对于下述语句： long n3 = 200; 它并不存在含混不清的地方，所以 200后面的一个 L大可省去。然而，对于下述语句： float f4 = 1e-47f; //10的幂数编译器通常会将指数作为双精度数（double）处理，所以假如没有这个尾随的 f，就会收到一条出错提示，告诉我们须用一个“造型”将double 转换成 float。 3.通常，表达式中最大的数据类型是决定了表达式最终结果大小的那个类型。若将一个float 值与一个double值相乘，结果就是 double；如将一个 int和一个 long 值相加，则结果为long。 4.将一个 float或double 值造型成整数值后，总是将小数部分“砍掉”，不作任何进位处理。 5.Math.random()的输出值范围是[0,1) 返回带正号的 double 值，该值大于等于 0.0 且小于 1.0。 6.小数据类型转换成大数据类型可以自动转换，不会丢失精度。大数据类型转换为小数据类型必须显式的转换，可能丢失精度。

Java的运算符号（逻辑与、或、非、移位运算）

Wed, 28 Jul 2010 03:45:53 +0000

1.只可将AND，OR 或NOT 应用于布尔值。与在C 及C++中不同，不可将一个非布尔值当作布尔值在逻辑表达式中使用。
2.在AND（&&）运算中a()&&b()&&c()，当a为false时，b与c都不再执行，因为整个表达式都是false了，没必要再执行下去，OR（||）也是一样，当有一个为true时就结束。

public class CalClass {
static Boolean test(int num){
System.out.println(num+">2"+(num>2));
return num>2;
}
public static void main(String[] args){
int i = 1, j =3 , k = 4;
System.out.println(test(i)||test(j)||test(k));
System.out.println("end");
}
}

3.对于布尔值，按位运算符（如&）具有与逻辑运算符(如&&)相同的效果，只是它们不会中途“短路”。

移位运算符

左移位运算符（<<）能将运算符左边的运算对象向左移动运算符右侧指定的位数（在低位补 0）。“有符号”右移位运算符（>>）则将运算符左边的运算对象向右移动运算符右侧指定的位数。“有符号”右移位运算符使用了“符号扩展”：若值为正，则在高位插入0；若值为负，则在高位插入1。Java 也添加了一种“无符号”右移位运算符（>>>），它使用了“零扩展”：无论正负，都在高位插入0。
若对char，byte 或者short 进行移位处理，那么在移位进行之前，它们会自动转换成一个int。只有右侧的5个低位才会用到。这样可防止我们在一个 int数里移动不切实际的位数。若对一个long 值进行处理，最后得到的结果也是long。此时只会用到右侧的 6个低位，防止移动超过 long 值里现成的位数。但在进行“无符号”右移位时，也可能遇到一个问题。若对 byte 或short 值进行右移位运算，得到的可能不是正确的结果（Java 1.0 和Java 1.1 特别突出）。它们会自动转换成int 类型，并进行右移位。但“零扩展”不会发生。
http://www.blogjava.net/rosen/archive/2005/08/12/9955.html
“>> 右移”；“<< 左移”；“>>> 无符号右移”
例子：例子：
-5>>3=-1
1111 1111 1111 1111 1111 1111 1111 1011
1111 1111 1111 1111 1111 1111 1111 1111
其结果与 Math.floor((double)-5/(2*2*2)) 完全相同。 -5<<3=-40
1111 1111 1111 1111 1111 1111 1111 1011
1111 1111 1111 1111 1111 1111 1101 1000
其结果与 -5*2*2*2 完全相同。 -5>>>3=536870911
1111 1111 1111 1111 1111 1111 1111 1011
0001 1111 1111 1111 1111 1111 1111 1111

java变量的作用域

Tue, 27 Jul 2010 06:37:38 +0000

public class OneClass {
static int x;//会赋值默认值0
public static void main(String[] args){
//int x = 2;
//不能在同一个方法内定义同一个变量，不然会报错 Duplicate local variable x
System.out.println("第一个x:"+x);
{
int x = 5;//在方法内的变量必须初始化，否则x会是随机值而不是0
//如果不赋值会报错The local variable x may not have been initialized
System.out.println("第二个x:"+x);
}
}
}

Java的主要类型及它们的取值范围

Mon, 26 Jul 2010 17:11:29 +0000

Java的主要类型

主类型	默认值	大小（位）	最小值	最大值	封装器类型
boolean	false	1	–	–	Boolean
char	‘\u0000′(null)	16	Unicode 0	Unicode 2^16-1	Character
byte	(byte)0	8	-128	127	Byte
short	(short)0	16	-2^15	+2^15-1	Short
int		32	-2^31	+2^31-1	Integer
long	0L	64	-2^63	-2^63-1	Long
float	0.0f	32	IEEE754	IEEE754	Float
double	0.0d	64	IEEE754	IEEE754	Double

对于float:共32个bits，Bit 31是MSB（Most Significant Bit），Bit 0是LSB（Least Significant Bit），则 Bit 31是符号位，接下来的8位是指数位，指数位被视为一个无符号的数，它与127的差就是以2为底的指数的部分。最后的23位是小数部分。 ## 在byte(8位)中的取值范围为-128 到 127的问题

在电脑用是使用补码来存储数字的，我搜索了很多，还不是很明白。以前的反码之类的没认真学习。。。因为 -0 和 +0 在补码中是不一样的，把 1000 0000 作为-128(补) ，127(补)=0111 1111，0(补) = 0000 0000， -127(补) = 1111 1111， -128在9位中表示应该为 1 1000 0000，取低八位就变成了 1000 0000 摘录一篇文章如下，更详细可以点链接查看 http://topic.csdn.net/t/20050828/10/4235813.html 在机器中
负数的补码是这样算的:
先将该负数取绝对值,再用二进制表示出这个绝对值
对该二进制数进行取反加一操作就得到负数的补码了
-128 绝对值是 128
128的二进制表示为:
1000 0000
取反
0111 1111
加1
1000 0000
这就是-128的补码

重新学习Java基础

Mon, 26 Jul 2010 03:18:18 +0000

想要重新学习Java基础，因为基础实在是太差了，很多概念都搞不清楚，而笔试题中大部分是基础题，加强基础还是很有必要的，苦于没有学习的条目，所以上网搜索到下面的文章，吓死我了，这位同学看了N本书，应该还写了N多的读书笔记~哎，学习没有捷径，唯有苦功夫。大概按照这来看着，看来我要买本《Thinking in Java》，看电子书不太舒服。以下原文地址：学习java的步骤和一些必看的书籍

—————转载原文————

**1.**Java语言基础 谈到Java语言基础学习的书籍，大家肯定会推荐Bruce Eckel的《Thinking in Java》。它是一本写的相当深刻的技术书籍，Java语言基础部分基本没有其它任何一本书可以超越它。该书的作者BruceEckel在网络上被称为天才的投机者，作者的《Thinking in C++》在1995年曾获SoftwareDevelopmentJoltAward最佳书籍大奖，《Thinking inJava》被评为1999年JavaWorld“最爱读者欢迎图书”，并且赢得了编辑首选图书奖。作者从1986年至今，已经发表了超过150篇计算机技术文章，出版了6本书（其中4本是关于C++的），并且在全世界做了数百次演讲。他是《Thinking in Java》、《Thinking inC++》、《C++ Inside& Out》《Using C++》和《Thinking inPatterns》的作者，同时还是《BlackBeltC++》文集的编辑。他的书被读者称为“最好的Java参考书……绝对让人震惊”；“购买Java参考书最明智的选择”；“我见过的最棒的编程指南”。作者的非凡才华，极其跨越语言的能力，使作者被选为Java发展10年间与Java关系最密切的10个人物之一。《Thinking in Java》讲述了Java语言的方方面面，很多Java语言的老手都评价“这是一本将Java语言讲得相当丑陋的书”。该书谈及了java语言的很多细节，每一个方面都是相当深刻的。通过本书你可以看到“丑陋的”java语言。网络上关于java语言讲解的视频很多很多，其中不凡有垃圾。《翁恺—JAVA语言》可能是你学习java语言基础的唯一选择，该讲座基本按照《ThinkinginJava》这本书讲解，其中不凡有翁老师的很多有意思的笑话。我很幸运学习就是从此视频开始的。内容包括30讲，我总共看了3遍。不过，对于初学者我不太推荐使用《Thinking in Java》，我比较推荐Prentice Hall PTR 的《CoreJava2》国内称为《Java 2 核心技术》，目前是第七版。网络上大家都可以下载到电子版。Oreilly的《Java inanutshell》也是一个不错的选择。读完以上两本后，你可以看看翁恺老师的视频，接着可以研究《Thinking in Java》了。 2. Java数据结构
市面上关于Java数据结构的书本身就很少很少。大致有APress 的《Java Collections》，Jones和Bartlett的《Data Structures in Java》、《Object-oriented Data StructuresUsingJava》以及Prentice Hall 出版的《Data Structures and Algorithms in Java》(Dec19, 2005)还有一本就是《Data Structures And Algorithms WithObject-orientedDesign Patterns In Java》。很幸运我的第一本英文书就是APress的《JavaCollections》（本书在国内可能根本就没有中文版――只能下载英文版了），很不错，讲得很有条例、很简单，是一本完完全全JavaCollectionsAPI介绍的书籍，其中不凡有扩展API的例子。这是我推荐你学习java数据结构的唯一一本好书。其它的Jones和Bartlett的那两本国内好像有一本中文版，想看你也可以看看。在学习完API后，你可以看看java.util包中对应的类了。不过只有在学习过设计模式后你才有可能完全理解整个Java CollectionsFramework。JavaCollectionsFramework使用了很多著名的设计模式如：迭代器（Iterator）模式，工厂方法模式、装饰器模式、适配器模式等等。通过研究java.util包中数据结构的源代码，你可以知道臭名昭著的Properties类的设计了，同时可能基本具备设计简单的数据结构的能力了。所谓学习无止境，学习完Sun提供了Java Collections Framework后，你可以研究Apche的另一个Java Collections Framework，很有意思哦。互为补充的两个Framework。在大家学习、研究Java Collections之前，我提示一下Java Collections主要包括以下三部分：接口（Interface）、实现（Implemention）和算法（Algorithm）。

接口主要有List、Set、Queue和 Map。List 、Se t和Queue是 Collection接口的子接口。 2.实现主要是实现这些接口的具体类。如实现List接口的ArrayList、LinkedList、Stack和Vector；实现Set接口的HashSet、TreeSet和LinkedHashSet；实现Queue接口的PriorityQueue、SynchronousQueue等等；实现Map接口的HashMap、TreeMap、Hashtable、Properties、WeakHashMap等等。
算法主要是由Arrays类和Collections类提供的，它是整个Java Collection Framework算法的核心。支持各种类型的排序，查找等常用操作。 Java Collections中包含两个版本的数据结构，主要是原先的支持同步的数据结构和后来不支持同步的数据结构。 Java Collection Framework在使用Comparator和Comparable接口支持排序。同时提供新旧两个版本的迭代器Iterator和Enumeraton，以及它们如何转换等等。在java.util包中的Obserable接口和Observer类是考察者模式的核心。 …… 3. Java IO
市面上关于IO的书籍也仅仅只有Oreilly出版社的两本，都是ElliotteRustyHarold的著作。两本书的风格基本一致，推荐阅读是第一版的《JvavaI/O》，讲得比较浅显，内容相对比较集中，实例也很多。第二版今年5月国外才出版，很有幸我在网络上下载了第二版，讲得极其详细――726页的大块头（我化了两个星期），这次将NIO和IO和在一起，还包括J2ME部分的，不过串口、并口通信部分好像类库支持不够，自己不能实际操作。与第一版的《Jvava I/O》一起的Oreilly还有一本《Jvava NIO》，也是很不错的哦。大家在依次阅读完《Jvava I/O》以及《Jvava NIO》后，可以研究java.io包中的源代码了。在大家研究源代码前我给点提示： Java的io包主要包括：
两种流：字节流（byte Stream）和字符流（character stream），这两种流不存在所谓的谁代替谁、谁比谁高级之说，它们互为补充，只是侧重点不同而已。
两种对称：1.字节流、字符流的对称；2.输入、输出的对称。
一个桥梁：将字节流转变为字符流的InputStreamReader和OutputStreamWriter。其中必须注意：
PipedInputStream和PipedOutputStrem是两个比较有趣的类。
支持Buffered的流是我们经常使用的类。
装饰器（Decorator）模式在java最著名的应用就是用于io的设计。仔细研究各个Filter流与具体流的关系，多看设计模式的书籍。相信你会有所所获。
学习好io包，是研究net包，rmi包……的基础哦！ 4 . Java数据库
数据库的书籍太多太多了，也是太烂太烂了！这方面的书我基本都研究过，推荐的你就看看Apress的《JDBC Recipes AProblemSolutionApproach》很不错，国外2005年底才出版，（国内好像没有中文版，不过出了中文版也不一定值得看――国内经常将国外的书翻译得一塌糊涂、不堪入目）不过我们真的很幸运，网络上有电子版的。值得一看。推荐我看的第一本比较满意的――Wiley出版的《JavaDatabaseBible》，讲得很不错！Sun公司自己的关于JDBC API介绍的那一本《JDBC APITutorialandRefernece》也不错。我第二本JDBC的就是研究的这套API。不过目前这些书都是一些相对比较浮浅的API应用的书籍。有机会我会给大家带来介绍JDBC API以及JDBC实现内部细节的书！我尽快努力，同时希望得到大家的支持！顺便给学习JDBC的朋友一点提示： JDBC的学习和使用主要是这套API，其使用过程也是极其简单，下面是使用JDBC的一般流程：
加载某个数据库的驱动（Driver类），通常使用Class.forName(“驱动的类名“);
连接数据库―― Connection con = DriverManager.getConnection(url,username,password)；
得到会话――Statement stmt = con.createStatement();
执行操作――Result rs = stmt.executeQuery(“SQL查询语句”)；
处理结果―― while(rs.next()){ String col1 = rs.getString(1); …… } 简单吧！整个JDBC中可以变化的一般是：
可以由Connection对象创建Statement、PreparedStatement和CallableStatement创建三种类型的Statement。
可以创建多种类型的ResultSet：支持单向移动和个自由移动；可更新的和不可更新的；支持不同等级的交易的…..
数据输入的批处理。
结果集中特殊类型（Blob、Clob、Arrary和Ref、Struct）列的操作。
这些特殊类型的录入数据库。
javax.sql包中特殊结果集（CachedRowSet、JdbcRowSet、WebRowSet）的操作。
其它的就是一个DataSource了，也很简单！一个J2EE中的被管理对象简单吧！相信大家很快就会征服JDBC。 5. Java 网络编程
网络编程――一个神秘的、充满挑战的方向。不过在谈Java网络编程之前首先感谢Sun公司的开发人员，因为它们天才的设想，充满智慧的架构，使广大java程序员学习java网络编程变得异常简单。 Java网络编程方面的书，我推荐O’Reilly的《JavaNetworkProgramming》，目前已经第三版了，以前的版本市面上肯定有！网络上早有第三版的电子版，国外2004年出版，706页哦！讲得很全，比较深入，太深入的可能由于Sun有些东西没有完全公开，所以也就不好讲了，有兴趣的可以下载看看！第二本还是O’Reilly1998年出版的《Javadistributed computing 》，基础部分写得比较详细，后面的实例还是值得研究的。在大家阅读这些书之前，给大家一点提示： java网络编程其实相对比较简单，入门也很快很快。java网络编程主要包括两个部分：1.Socket；2.URL部分。不过第二部分也完全建立在第一部分的基础上。
Socket包括客户端的Socket和服务器端的ServerSocket。还有就是DatagramSocket和DatagramPacket，它对应于UDP通信协议。总之，Socket部分是建立其它高级协议的基础。 2.URL类是一个网络资源定位器，通常和具体的网络协议如HTTP，FTP，Telnet……相关。通过该类可以连接网络上的资源，通过其openStream可以以io包中的流（InputStream）的形式读取网络资源；通过其OpenConnection方法，可以打开一个连接，在此连接上可以不仅可以完成读的操作，还可以完成写的操作。 Java的网络编程大体包括以上两部分。网络编程和IO以及多线程部分非常密切，在学习此部分前大家一定对这两部分了解比较透彻。学习了以上部分你可以研究java.net包中的与此相关的源代码了！研究所有的源代码还为时尚早。在整个net包中包含：ContentHandlerFactory、URLStreamHandlerFactory、URLStreamHandler、URLClassLoader等辅助类，它们构成了java.net网络编程的框架，通过研究其源代码，你不仅可以快速理解java.net包，还可以为以后扩展该包打下基础，甚至可以将此思维方式运用到自己的项目中。到此为止你对java.net包应该才了解60％，还有一部分你可以使用JDecompiler之类的反编译软件打开你JDK安装目录下\jdkxxx\jre\lib目录中的rt.jar，用WinRAR之类的软件打开它的sun.net包，反编译所有的文件，它是URL类工作的细节。当研究完该sun.net包，你就会对整个网络编程很熟悉很熟悉了。一切看起来我们已经对网络编程很精通了。其实不然，刚刚开始而已，要想深入，请继续吧！网络上很多优秀的网络编程库甚至软件可以为我们“添加功力”。如Apache的HttpCore和HTTPConnection是两个和HTTP协议相关库；JGroups是研究分布式通信、群组通信的必读库；接着我们可以研究P2P的软件包，如Sun公司的JXTA，它可能是java平台点对点通信未来的标准哦！接着你可以研究成熟得不得了，使用极其广泛得P2P软件Azureus！www.sourceforge.net可以下载到！千里之行始于足下！Just doit！（目前我也只研究了net包，其它的会在不久的将来继续深入。Sun公司因为某些原因没有公开net的其它实现细节，在其允许将其源代码以文字的形式加以研究，以及允许将其没有公开的实现写入书中时，我很希望能出一本java网络编程的书籍，以飧广大读者！！） 6. Servlet和JSP
Servlet、JSP的书也是满地都是！值得推荐的也仅仅两三本。实推Addison Wiley的《Servlets andJavaServer pages：The J2EE TechnologyWebTier》，又是一本很厚的哦！国外2003年出版、784页，讲得比较全，例子也很多，特别是第八章Filter，举了几个不错的例子。其它所有我看到的关于Servlet和JSP的书都没有如此深入的！（可能有我没有看到而已）。O’reilly的《JavaServletProgramming》和《Java Server Pages》相对比较好懂一些，可以读读！在大家学习Servlet和Jsp之前我还是要提醒一下：本质上说Servlet就是一个实现Servlet接口的、部署于服务器端的服务器端的程序罢了！它可以象写其它任何java应用程序一样编写，它可以操作数据库、可以操作本地文件、可以连接本地EJB……编写Servlet程序的一般流程为：
继承一个HttpServlet类；
覆盖其doGet、doPost方法；
在覆盖方法的内部操作方法参数HttpServletRequest和HttpServletResponse。 4.读取请求利用HttpServletRequest。利用HttpServletRequest你可以操作Http协议的协议头、可以得到请求的操作方法、可以得到请求的路径、可以得到请求的字符串、以及和请求客户相关的信息，更主要的你可以得到Cookie和HttpSession这两个对象。
利用Cookie你可以操作“甜心”对象或者将其写入HttpServletResponse中。
向客户输出信息可以使用HttpServletResponse。使用HttpServletResponse可以写入各种类型的协议头、可以增加Cookie、可以重定向其它URL、可以向客户发送Http协议的状态码。
利用HttpSession在会话内完成你想实现的任何功能。同时Servlet还提供了一些事件和事件**（简单的观察者模式而已）。还有就是过滤器（Filter）和包装器（ServletRequestWrapper、ServletResponseWrapper）――简单的流的使用和装饰器模式的使用。学习Sevlet、JSP必然要部署到服务器中，记住通常文件部署的步骤和参数的设置以及在程序中如何使用就可以了。完全理解Servlet后，学习jsp相对比较容易了！Jsp完全建立在Servlet的基础上，它是为了迎合那些喜欢在Html文档中嵌入脚本（如：PHP之类的网页编程语言）的程序员的需要罢了！学起来也相当的容易！一切看起来似乎那么的风平浪静，简单好学！简单的表象背后有其复杂的机理。要想对Servlet和Jsp彻底研究，你得研究Tomcat等开源软件的具体实现。它无非就是一个服务器，在客户利用网页通过HTTP协议向服务器发送请求后，服务器将此HTTP请求转化为相应的HttpServletRequest对象，调用你编写的Servlet罢了，在你的Servlet中你肯定操作了此HttpServletRequest了吧，同时操作了HttpServletResponse了吧，服务器就将此HttpServletResponse按照HTTP协议的要求利用HTTP协议发送给你的浏览器了！在服务器端的Jsp网页在被客户请求后，Tomcat会利用编译软件，使用javax.servlet.jsp包中的模板，编译此jsp文件，编译后就是一个Servlet！以后的操作和Servlet完全一样哦！在Servlet和Jsp的基础上出现了，所谓的高级技术：JSTL，Struts……无非就是一些标签和MVC模式的使用。继续前进吧！胜利就在前方！！ 7. 多线程
一个看起来很神秘，却很容易上手、很难精通的方向！我推荐两本我感觉很好的书籍。首先是我第一本能上手看的这方面的书，Sams 1998年出版的《JavaThreadProgramming》，写得暴好，很容易读懂，我有空还时常看当时的笔记！要知道怎么好你自己看吧！第二本OReilly三次出版的《JavaThreads》，最新是2004版，国内好像有中文版，推荐你还是看英文版的吧！书中谈到了与多线程相关的N个方向，如IO、Swing、Collection等等。给大家一点提示吧！java类库中与多线程相关的类不是很多，主要有：Thread、ThreadGroup以及ThreadLocal和InheritableThreadLocal四个类和一个Runnable接口；关键字synchronize、volatile；以及Object对象的wait、notify、notifyAll方法！ 1 Thread是多线程的核心类，提供了一系列创建和操作多线程的方法。 2 ThreadGroup是一个管理Thread的工具类。 3 ThreadLocal和InheritableThreadLocal为Thread提供了一个类似保险箱功能的存储线程对象的类！ 4 Runnable不用说了吧！ 5synchronize是同步方法和同步块的核心哦！多个线程调用此方法时，只有一个线程可以使用此方法，其它方法阻塞，从而保证被操作对象内部状态完整性。某个线程调用带有synchronize的方法或块时会得到该对象的对象锁，完成块中的操作后释放此对象锁，从而其它对象可以继续操作。 6wait、notify、notifyAll提供了有效的等待/通知机制。Java语言中每一个对象都有一个休息室，任何线程在其操作的对象的状态不满足的情况下，在该对象的休息室中休息，释放对象锁；当其它线程操作该对象后，唤醒休息室中的线程，它们再检查条件，当条件满足后，执行相应的操作。多线程大致就这么多基础的！简单吗！这对于一个真正的程序员应该是不够的，真正对多线程要有所掌握，请您研究java.util.concurrent包吧！大师DougLea的作品，原先是一个开源的一致性编程的库，后来被Sun公司并入java类库。作者的网站上也有另外一个版本的该类库！值得研究的好东西!Hibernation、OpenJMS等开源软件都使用了此包！ 8. 设计模式
谈到设计模式很多人多会推荐GOF的那本，该书在Amzon上是五星级的推荐书籍。不过对于学习java没多久的、特别是java初学者，我很不推荐这本书。主要是该书的例子基本都是C++的，很多细节没有讲述得足够清楚。我给大家推荐的第一本是阎宏博士的《Java 与模式》，它是第一本中国人自己写的关于设计模式的书籍，写的比较有趣，融合了很多中华民族的文化和观念，例子、类图都比较多，且相对简单！非常不错的入门书籍――又是大块头哦！其次我推荐Wiley出版社出版的《Pattern In Java》一套三本，我才看了第一本，好像第二本不怎么样，第三本还不错！第三本是中文翻译版的关于多线程模式的（很难得的中文翻译版）中国铁道出版社2003年出版的《Java多线程设计模式》，将多线程模式讲得非常浅显，配有大量的图例，每章都有习题，最后有答案！我研究多线程模式就是由它开始的！第四本，今年出版的Head First系列的《Head First Design Pattern》，秉承Head First系列图书的优点，大量的类图、丰富的实例、有趣的注解，值得购买！其次在J2EE方向你可以研究阅读Addison Wesley 2002年出版的《Patterns ofEnterpriseApplication Architecture》，众多大腕的作品，讲企业消息集成的！Sun提供的《J2EEPATTERNSSL500》也很好！晚了推荐那一本Amzon 4星半的《Holubonpatterns》，大师的作品，提供了，很值得研究的例子，不过对上面四本不是很熟悉的读者，最好不要读它！可能会让你比较累！我学习设计模式经过一段很曲折的路线，前前后后大约看了20本，阎宏博士的《Java与模式》我看了4遍，还排除我第一次基本没看懂的看！记得研一时老师给我们讲了GOF的那本，作为选修课，我和它们计算机系的硕士、博士们一起，到最后一个班40－50个人，不超过3个人明白，我也没有明白任何一点（基础差吧――主要我对C++语言一点都不了解），凭我不伏输的性格，我认为我对java语言理解还可以，我就借了《Java与模式》，结果还是基本没看懂。很有幸的是读研三时，听过了上交大饶若楠老师关于JavaOOP语言的讲座，我懂了组合书籍模式等三种设计模式后，对其它模式有了强烈的兴趣和要征服它的愿望！工作后我买的第一本就是《Java与模式》，第一遍花了2个月研究了这个1000多页的大块头，后来第三遍15天左右就可以搞定，笔记记了一大本！从此一发不可收拾。选对书、埋头研究。相信很快就会入门的！学习Java语言8个简单的部分，这只是我们研究Java语言的开始！这些都懂了充其量一个java程序员而已，后面的路很长很长！我们可以继续研究数据库实现的源代码、Servlet服务器的源代码、RMI、EJB、JNDI、面向方面编程、重构、ANT工具、Eclipse工具、Spring工具、JBoss、JOnAS、ApacheGeronimo等J2EE服务器！研究了这些你可能会成为一个出色的J2EEArchitecture！你可以继续研究剖析器、编译器、JNODE（java写的操作系统）……

使用json-lib遍历数组与对象（JSONArray与JSONObject）

Sun, 18 Jul 2010 06:55:31 +0000

使用json-lib遍历数组与对象

//遍历json数组
String json1 = "{data:[{name:'Wallace'},{name:'Grommit'}]}";
jsonObjSplit = new JSONObject(json1);
JSONArray ja = jsonObjSplit.getJSONArray("data");
for (int i = 0; i < ja.length(); i++) {
JSONObject jo = (JSONObject) ja.get(i);
System.out.println(jo.get("name"));
}
//JSONObject遍历json对象
String json2 = "{name:'Wallace',age:15}";
jsonObj = new JSONObject(json2);
for (Iterator iter = jsonObj.keys(); iter.hasNext();) {
String key = (String)iter.next();
System.out.println(jsonObj .getString(Key));
｝

30个优秀的网站导航例子

Sat, 17 Jul 2010 11:04:16 +0000

一个网站的导航能使访问者一页一页的找到内容。所以把它弄漂亮点是非常重要滴~~然而，一些设计者想要把导航设计得更好一点，但是当一个网站变成一个迷题时，访问者一般会带着挫败离去的。一个网站导航或菜单应该看起来像一个导航。它应该突出并且符合整体风格，并且出现在用户期望出现的地方（译者注：通常在头部右上角）。这里有30个优秀的网站导航例子，希望能给你带来灵感。

原文：30 Examples of Excellent Website Navigation

翻译：http://fatkun.com/2010/07/30-examples-of-excellent-website-navigation/

The Idea Lists

Collision

Tobias Ahlin

Carbonmade

dConstruct 2010

Jeroen Homan

Brizk Design

Dribbble

Buffalo

TedxToronto

David A. Molanphy

Fully Illustrated

Live Books

Rich Brown

I Love Dust

Blue Sky Resumes

Soh Tanaka

Kyle Myer

Yaron Schoen

Unconventional Guides

HAUS

Christopher Meeks

Dan Wiersema

Williamson County Casa

Marie Catrib’s

The Design Cubicle

Exclusive Reels

AFD Folio

Veerle’s Blog

Drexler

使用cookie获取QQ头像（JSP版）

Sun, 11 Jul 2010 16:21:00 +0000

由于腾讯现在QQ头像必须要登录才能看到原头像，所以以前直接获取头像已经失效了（如这篇文章获取QQ头像地址），既然直接获取不行，那来个曲线救国吧~ PS:写完代码后才发现腾讯的头像隐私保护得挺好的，只有自己的好友或群友能获取全头像，非好友只能获取QQ内置头像。悲剧啊。。。直接贴代码,以下代码是通过带cookie访问头像的链接，其实其他PHP等也可以实现的：

<%@ page language="java" contentType="image/bmp" pageEncoding="UTF-8"%><%@ page import="java.net.*,java.util.*,java.io.*"%><%
String qqnum = request.getParameter("qq");
URL url = new URL("http://face6.qun.qq.com/cgi/svr/face/getface?type=1&uin="+qqnum);
HttpURLConnection http = (HttpURLConnection) url.openConnection();
//设置Header
http.setRequestProperty("User-Agent", "Mozilla/5.0 (compatible; MSIE 6.0; Windows NT)");
http.setRequestProperty("Content-Type", "application/x-www-form-urlencoded");
//设置Cookie，登陆WebQQ或者QQ空间可以查看cookie得到下面的值，请替换过来
//还不知道skey这个值会不会定期变化,QQ号码不够10位前面补0
http.setRequestProperty("Cookie", "uin=oQQ号码; skey=@安全码;");
http.setRequestMethod("GET");
http.setDoInput(true);
InputStream is = http.getInputStream();
//得到输出流，注意out是Writer类的对象，这里要用字节流
OutputStream os = response.getOutputStream();
//输出头像
while (is.available() > 0) {
os.write(is.read());
}
//在后台打印Header信息,不是必须
System.out.println(http.getResponseCode());
Map<String, List<String>> header = new HashMap<String, List<String>>();
header = http.getHeaderFields();
for (String str : header.keySet()) {
System.out.println(str + "" + header.get(str));
}
%>

可是只能获取自己好友的自定义头像，其他非好友只能获取QQ内置头像（一般不是那只企鹅），所以就懒得上传到服务器了，JSP可以上传到Google app engine^_^

免费JSP空间-JHost邀请码(2011更新)

Fri, 09 Jul 2010 04:28:15 +0000

最新JHOST邀请码：20110228120512_459048，有效期至2011-02-28 12:05:12。 无论在国内和国外，免费的JSP空间是很少的，因为运行JSP的环境需要消耗很多资源，不像PHP那样一个服务器可以承载很多很多人。当然，作为免费空间，特别是国内的免费空间，大家都明白的，不会永久免费，有可能因为不可抗拒的因素或者无力继续下去而停止。这个空间我用了两个月,用来玩玩就好，当然也不是很稳定，有过几次的维护（用户实在太多），感觉还好吧，这个不是软文~~(不要把免费空间当收费空间用就行~╮(╯_╰)╭) 示例：http://co.jhost.cn/fly/showcase.action 网站：http://www.jhost.cn

jhost的配置

100MB的存储空间，数据库不知道多大（反正用来测试的够用了），支持JSP和PHP，可以用FTP管理，用phpmyadmin管理数据库，想要用PHP的不要申请这个了，还有很多比这个好的空间。

jhost邀请码

jhost需要在后台用邀请码激活，**而且需要手机短信认证! 需要每3天续期一次，相比国内外免费JSP空间需要每天某个时间停止几次tomcat来说还是挺好的！**

JHOST邀请码：20110228120512_459048，有效期至2011-02-28 12:05:12。

## jhost.cn的关于说明

本站是一个专门提供网络存储及动态网站空间的服务型网站，主要目地是为广大网络用户提供一个学习与交流的平台。在本站注册的用户可以将常用的数据资料存放在本站提供的网络空间，并可将文件共享以方便与其它用户进行交流。也可以将PHP或JSP编写的网页程序放在本站提供的空间上，并通过本站提供的二级域名进行访问。为了方便大家开发自己的网站，本站还提供MYSQL数据，用户也可以使用FTP方式对网站空间的文件进行管理。

因为网上无法找到其它免费JSP空间，本站也是首次尝试，所以很多事情都是在不断的摸索与改进，争取为大家提供更加适合的空间服务。

由于JSP服务器的维护成本，以及系统资源的占用都很高，这也是JSP空间价格高，免费少的原因。为了保证本站服务器的运行效率，以及用户空间的稳定使用，本站将限制网站空间用户的注册数量，当本站的有效用户达到600时，将停止新空间的申请，直到有用户空间过期后不再续期。

为了保证空间的充分利用，本站将采取邀请码及身份认证的方式开通免费空间。免费空间默认有效期为3天，用户可在有效期内登录后台延长空间有效期，同时可以使用本站积分自动延长空间的有效期。年用户（网站空间有效期超过一年）可使用积分开通域名绑定等高级功能

Struts2校验框架(validation)

Wed, 07 Jul 2010 07:16:39 +0000

Struts2的校验方法也是挺常用的，找到了一篇挺全面的文章,主要包括以下内容：

使用Annotation（注解）进行校验
使用xml配置校验
使用覆盖validate方法校验文章出处：http://blog.csdn.net/struts2/archive/2007/08/02/1721989.aspx 作者:马召

5.1节：校验类型和配置方法说明

从Struts2 校验框架在验证的场所上可以分为：客户端校验和服务端校验。
客户端校验是指，在HTML画面上自动生成JavaScript校验代码，在用户提交到服务器之前在客户端浏览器中进行校验。默认位客户端校验。
服务端校验是指，在数据提交到服务器上之后，在Action处理之前，对客户但提交的数据进行校验。从Struts2校验框架的配置上可以分为：Java Annotation配置和XML配置文件配置
Java Annotation配置是指，使用Java Annotation语法，在Java源代码上标记需要校验的内容，和校验的方式。
XML配置文件配置是指，使用XML配置文件配置需要校验的内容和校验方式。

5.2节：Validator与Validation

Validation指校验，Validator指谁来校验。
在Struts2框架中Validator必须在系统中注册，如果没有注册，系统使用默认的注册，这些validator注册文件在xwork的jar文件中，内容如下：

<validators>
<validator name="required" class="com.opensymphony.xwork2.validator.validators.RequiredFieldValidator"/>
<validator name="requiredstring" class="com.opensymphony.xwork2.validator.validators.RequiredStringValidator"/>
<validator name="int" class="com.opensymphony.xwork2.validator.validators.IntRangeFieldValidator"/>
<validator name="double" class="com.opensymphony.xwork2.validator.validators.DoubleRangeFieldValidator"/>
<validator name="date" class="com.opensymphony.xwork2.validator.validators.DateRangeFieldValidator"/>
<validator name="expression" class="com.opensymphony.xwork2.validator.validators.ExpressionValidator"/>
<validator name="fieldexpression" class="com.opensymphony.xwork2.validator.validators.FieldExpressionValidator"/>
<validator name="email" class="com.opensymphony.xwork2.validator.validators.EmailValidator"/>
<validator name="url" class="com.opensymphony.xwork2.validator.validators.URLValidator"/>
<validator name="visitor" class="com.opensymphony.xwork2.validator.validators.VisitorFieldValidator"/>
<validator name="conversion" class="com.opensymphony.xwork2.validator.validators.ConversionErrorFieldValidator"/>
<validator name="stringlength" class="com.opensymphony.xwork2.validator.validators.StringLengthFieldValidator"/>
<validator name="regex" class="com.opensymphony.xwork2.validator.validators.RegexFieldValidator"/>
</validators>

自己需要注册自己的Validator时，可以使用上述相似的内容，这个文件需要放在WEB-INF/classes目录下，文件的名字叫validators.xml。一旦自己定义了validators.xml文件，系统就不会在加载默认的Validators文件，所以在Validators.xml中需要拷贝默认的内容。

5.3节：Validation与Intercepter

Validation使用名字叫做validator的Intercepter，在默认情况下，struts2已经定义了这个Intercepter，我们在不加声明的情况下就可以使用Validation了。

5.4节：使用Java Annotation配置校验

import com.opensymphony.xwork2.validator.annotations包提供了一些必要的Annotation用来配置校验信息。
这些内容包括：
枚举类型
ValidatorType
Field 校验字段
Simple 校验其他
Annotation（标注）类型
Validation
用来标记一个类需要被校验
ConversionErrorFieldValidator
字段转换出错
DateRangeFieldValidator
日期范围校验
DoubleRangeFieldValidator
Double类型范围校验
EmailValidator
Email地址校验
ExpressionValidator
使用一个OGNL表达式的校验，功能非常强大
FieldExpressionValidator
针对一个字段的使用OGNL表达式的校验
IntRangeFieldValidator
Int类型范围校验
RegexFieldValidator
正则表达式校验
RequiredFieldValidator
必填字段校验
RequiredStringValidator
必填String校验，
StringLengthFieldValidator
字符串长度校验
UrlValidator
URL校验
Validations
可以组合上述的各种校验类型以满足更多的需求。
VisitorFieldValidator
可以将Action中的对象的属性的校验方法定位到已经定义的对象原有的校验方法 CustomValidator
ValidationParameter
两个类一起完成自定义的校验

示例

package com.jpleasure;
import com.opensymphony.xwork2.ActionSupport;
import com.opensymphony.xwork2.validator.annotations.FieldExpressionValidator;
import com.opensymphony.xwork2.validator.annotations.RequiredFieldValidator;
import com.opensymphony.xwork2.validator.annotations.StringLengthFieldValidator;
import com.opensymphony.xwork2.validator.annotations.Validation;
import com.opensymphony.xwork2.validator.annotations.ValidatorType;
@Validation()
public class RegisterAction extends ActionSupport {
private String name;
private String password;
private String rePassword;
private String mail;
private String description;
public String getName() {
return name;
}
@RequiredFieldValidator(type = ValidatorType.FIELD,
shortCircuit = true, message = "name is required")
public void setName(String name) {
this.name = name;
}
public String getPassword() {
return password;
}
@RequiredFieldValidator(type = ValidatorType.FIELD,
shortCircuit = true, message = "password is required")
@StringLengthFieldValidator(type = ValidatorType.FIELD,
shortCircuit = true, message = "password must has proper legnth",
minLength = "5", maxLength = "12")
public void setPassword(String password) {
this.password = password;
}
public String getRePassword() {
return rePassword;
}
@RequiredFieldValidator(type = ValidatorType.FIELD,
shortCircuit = true,
message = "input password again please!")
@StringLengthFieldValidator(type = ValidatorType.FIELD,
shortCircuit = true, message = "password must has proper legnth",
minLength = "5", maxLength = "12")
@FieldExpressionValidator(expression = "password eq rePassword",
message = "two password must match")
public void setRePassword(String rePassword) {
this.rePassword = rePassword;
}
public String getMail() {
return mail;
}
@RequiredFieldValidator(type = ValidatorType.FIELD,
shortCircuit = true, message = "mail is required")
public void setMail(String mail) {
this.mail = mail;
}
public String getDescription() {
return description;
}
@RequiredFieldValidator(type = ValidatorType.FIELD,
shortCircuit = true, message = "description is required")
public void setDescription(String description) {
this.description = description;
}
public String execute() throws Exception {
return SUCCESS;
}
}

5.5节：使用XML配置Validation

Xml配置文件与Action的关系为：
SomeAction.java – SomeAction-validation.xml
且与SomeAction.class处在相同的目录中。
SimpleAction-validation.xml文件示例：

<!DOCTYPE validators PUBLIC "-//OpenSymphony Group//XWork Validator 1.0.2//EN"
"http://www.opensymphony.com/xwork/xwork-validator-1.0.2.dtd">
<validators>
<field name="bar">
<field-validator type="required">
<message>You must enter a value for bar.</message>
</field-validator>
<field-validator type="int">
<param name="min">6</param>
<param name="max">10</param>
<message>
bar must be between ${min} and ${max}, current value is ${bar}.
</message>
</field-validator>
</field>
<field name="bar2">
<field-validator type="regex">
<param name="regex">[0-9],[0-9]</param>
<message>
The value of bar2 must be in the format "x, y", where x and y are between 0 and 9
</message>
</field-validator>
</field>
<field name="date">
<field-validator type="date">
<param name="min">12/22/2002</param>
<param name="max">12/25/2002</param>
<message>The date must be between 12-22-2002 and 12-25-2002.</message>
</field-validator>
</field>
<field name="foo">
<field-validator type="int">
<param name="min">0</param>
<param name="max">100</param>
<message key="foo.range">Could not find foo.range!</message>
</field-validator>
</field>
<validator type="expression">
<param name="expression">foo lt bar </param>
<message>Foo must be greater than Bar. Foo = ${foo}, Bar = ${bar}.</message>
</validator>
</validators>

我们看看上面的配置文件，首先每一个validatior都必须有一个type属性，type属性的值为我们前面定义的validator的name。
Message提供了校验出错的信息，message有一个属性key，通过可以可以找到i18n文件定义的内容，但是key并不是必须的。Message体内部的消息为默认消息，当i18n文件中不存在时表示该消息。消息中可以使用${}来引用被校验的对象例如：${foo}，${bar}

5.6节：Validator和Field Validator

Field Validator用来校验一个字段，例如：

<field name="email_address">
<field-validator type="required">
<message>You cannot leave the email address field empty.</message>
</field-validator>
<field-validator type="email">
<message>The email address you entered is not valid.</message>
</field-validator>
</field>

Filed validator可以从filed集成字段名字，这样可以将摸个Field的所有的校验局限在一定的范围内。使用Validator可以校验多个字段之间的关系，例如：

<validator type="expression>
<param name="expression">foo gt bar</param>
<message>foo must be great than bar.</message>
</validator>

Validator也可以校验一个字段，例如：

<validator type="required">
<param name="fieldName">bar</param>
<message>You must enter a value for bar.</message>
</validator>

但是为了将一个字段的所有校验放在一起，我们倾向于尽量使用field validator

5.7节：短路（Short-Circuiting）

参看如下例子：

<!DOCTYPE validators PUBLIC
"-//OpenSymphony Group//XWork Validator 1.0.2//EN"
"http://www.opensymphony.com/xwork/xwork-validator-1.0.2.dtd">
<validators>
<!-- Field Validators for email field -->
<field name="email">
<field-validator type="required" short-circuit="true">
<message>You must enter a value for email.</message>
</field-validator>
<field-validator type="email" short-circuit="true">
<message>Not a valid e-mail.</message>
</field-validator>
</field>
<!-- Field Validators for email2 field -->
<field name="email2">
<field-validator type="required">
<message>You must enter a value for email2.</message>
</field-validator>
<field-validator type="email">
<message>Not a valid e-mail2.</message>
</field-validator>
</field>
<!-- Plain Validator 1 -->
<validator type="expression">
<param name="expression">email.equals(email2)</param>
<message>Email not the same as email2</message>
</validator>
<!-- Plain Validator 2 -->
<validator type="expression" short-circuit="true">
<param name="expression">email.startsWith('mark')</param>
<message>Email does not start with mark</message>
</validator>
</validators>

校验的顺序：首先Validator，其次Field Validator，但是在Validator或者Field Validator执行的过程中，顺序按照xml文件中的定义。短路的意思是，一旦一个短路的校验出错，其余后续的校验将不再进行。例如上述的顺序是： 1）Plain Validator 1
2）Plain Validator 2
3）Field Validators for email field
4）Field Validators for email2 field 由于Validator 2是短路的，一旦Validator 2校验出错，则email和email2都不会进入校验过程。

5.8节：validate方法

ActionSupport实现了Validatable接口，这个接口中定义了一个validate方法，通过重写validate方法可以完成更详细的校验，例如：

public void validate() {
User user = getUser();
if (StringUtils.isBlank(user.getName())) {
addActionError(getText("user.name.empty"));
}
if (StringUtils.isBlank(user.getAddress())) {
addActionError(getText("user.address.empty"));
}
}

ActionSupport同时也实现了ValidationAware接口，该接口提供了addActionError等输出错误消息的方法。

win7放着音乐，QQ来消息声音变小解决方法

Tue, 06 Jul 2010 11:33:37 +0000

QQ来消息声音就减低了，很不爽，一首歌都被打扰。。按图中的方法设置即可。
在控制面板或鼠标右键单击系统托盘上的喇叭图标，弹出菜单中选择“ 声音(Sound)”，打开“声音”窗口，切换到“通信”标签，将“当Windows检测到通信活动时”设置为“不执行任何操作”。 {.flickr-image.alignnone}

000webhost开启gzip压缩(使用htaccess开启gzip)

Tue, 06 Jul 2010 04:35:17 +0000

对于000webhost空间，开启Gzip压缩功能会有网页打不开的现象，不管是通过插件开启还是其他方法，网页打不开，后台打不开始终是个大问题。

首先，看看你的根目录下有没有.htaccess文件，如果没有请在本地建立x.htaccess然后上传到你的根目录下，重命名为.htaccess。请注意，.htaccess文件的位置是在根目录下，比如我的是public_html/.htaccess。

其次，打开.htaccess文件，添加以下语句

php_flag zlib.output_compression On
php_value zlib.output_compression_level 8

检测你的博客，看看是否开启了Gzip压缩功能。 http://tool.chinaz.com/Gzips/ http://gzip.zzbaike.com/ 上文来源： —————————————————- 我的首页压缩后的大小

检测结果
是否压缩？	是
压缩类型：	gzip
源文件大小：	40.64KB
压缩后大小：	9.98KB
压缩率：	75.4%

压缩得还不小吧，以前一直以为装了WP Super Cache，并且启用了gzip就可以了，发现根本没有启用到，可能是000webhost本身的缘故吧，使用上文所写的方法就可以启用了。开启后super cache会提示 > PHP 正在压缩发送给您网站访客的数据。建议停用此功能，因为插件会压缩一遍页面，而不是一遍又一遍压缩相同的页面。应该是说它已经一次性帮你压缩缓存成文件了，不需要每次都压缩页面（在htaccess改每访问一次都会压缩），可是插件根本没压缩啊。。没办法，只能这样了，反正效率差不了多少。

最难的《超级马里奥》关卡

Sat, 03 Jul 2010 14:29:57 +0000

真牛B啊。。

如何在SQL中先排序后分组

Sat, 03 Jul 2010 13:50:44 +0000

标题说的有点奇怪，换句话说是让order by比group by先执行。还不明白对吧？
举个例子：实现场景，要实现QQ空间的动态消息，首先要按最新的消息查到QQ好友排序，然后再按好友分别查询他们的动态消息有如下的Feed表

id userid type msg who time
1 2 add_twitter hahah 1 2010-04-27 19:12:38
2 2 add_twitter 怎么啦 2 2010-04-27 19:12:44
3 4 add_twitter asddas 3 2010-04-27 19:20:26
4 2 reply_twitter 放大法 4 2010-04-27 19:24:09
5 5 reply_twitter 噶 5 2010-04-27 19:24:13
6 3 add_twitter saf 6 2010-04-27 19:35:48
7 2 add_twitter 先谢谢谢谢谢谢 7 2010-04-27 19:54:44

现在想要，按时间先后，把用户的id查询出来，每个id只出现一次。当然，第一时间就想到用group by语句来分组嘛

select * from feed group by userid order by time

可是，得到的结果并不是自己想要的，group by比order by先解析了，结果就是得到最旧的那一条。

正确的方法

使用子查询

select * from
(select * from feed order by time) as T
group by T.userid order by T.time

上面这句在mysql可以正常取值，但是在hibernate不能使用from 后面的子查询，杯具。。
换个折中的方法，以下方法只是为了取得userid而已

select * from feed group by userid order by max(time)

使用JavaBean操作数据库的例子(JSP)

Sat, 03 Jul 2010 06:58:23 +0000

这个只是一个登陆的页面，只做了查询和增加。非常简洁，适合新手。
1.使用前先创建一个数据库，然后用“查询”，用记事本打开user.sql内容，复制到SQL查询窗口运行，就会帮你建立一个user表和插入几条数据。
2.Eclipse 中导入该项目即可，(菜单File->Import->General->Existing Projects into Workspace)
3.src\DB\Conn.java为数据库连接代码，请修改为你本机对应的参数
private String db = “test”; // 数据库名
private String user = “root”; // 数据库用户名
private String pass = “”; // 数据库密码

package DB;
import java.sql.*;
public class Conn {
private String db = "test"; // 数据库名
private String user = "root"; // 数据库用户名
private String pass = ""; // 数据库密码
private String drivername = "com.mysql.jdbc.Driver"; // mysql driver
private String URL = "jdbc:mysql://localhost:3306/" + db
+ "?useUnicode=true&characterEncoding=UTF8&user=" + user
+ "&password=" + pass;
private Connection conn = null;
public Conn(){
conn = this.getConn();
}
public Connection getConn() { // get database connection
Connection aconn = null;
try {
Class.forName(drivername).newInstance(); // 载入驱动器
aconn = DriverManager.getConnection(URL); // 连接到数据库
} catch (Exception e) {
e.printStackTrace();
}
return aconn;
}
public ResultSet executeQuery(String str) {
ResultSet rs = null;
try {
Statement stmt = conn.createStatement(); // 语句接口
rs = stmt.executeQuery(str); // 获得结果集
} catch (Exception e) {
e.printStackTrace();
}
return rs;
}
public int executeUpdate(String str) {
int ret = 0;
try {
Statement stmt = conn.createStatement();
ret = stmt.executeUpdate(str);//执行sql语句，返回影响行数
} catch (SQLException e) {
e.printStackTrace();
}
return ret;
}
}

下载地址:http://cid-48ca6ece8e801d64.office.live.com/self.aspx/.Public/Demo%5E_JavaBean.rar

卖火柴的小女孩1-16【超扯童話血多】

Fri, 02 Jul 2010 04:38:18 +0000

我是卖火柴的小女孩这样。本来很悲剧的一个童话居然。。。自己看吧。。

WIN7的菜单栏无法隐藏解决方法（QtTabBar）

Tue, 29 Jun 2010 07:10:59 +0000

问题

不能隐藏菜单栏
已经不选菜单栏了，可它还是显示“File，Edit….”这一列，在文件夹选项里设置也无效。今天装了个QTTabBar之后，就一直这样菜单栏隐藏不了了，把QTTabBar卸了也还是这样。
按照网上说的修改组策略的方法依然不可以隐藏

解决方法

按“WIN+R”（也就是键盘左下角的徽标键+R），输入gpedit.msg 打开组策略编辑器（也可以在控制面板中搜索“策略”找到），依次展开“用户配置→管理模版→Windows组件→Windows资源管理器”，然后在右侧窗口中双击“在Windows资源管理器中显示菜单栏”，设置为“已禁用”。 {.flickr-image.alignnone} {.flickr-image.alignnone}然后现在试试能不能把菜单隐藏掉？如果不行，再看下面。 {.flickr-image.alignnone} 如果依然不行，把下面的内容保存为1.bat，然后双击它运行。

reg delete "HKCU\Software\Microsoft\Internet Explorer\Toolbar\WebBrowser" /v ITBar7Layout /f
reg delete "HKCU\Software\Microsoft\Internet Explorer\Toolbar\WebBrowser" /v ITBar7Height /f
reg delete "HKCU\Software\Microsoft\Internet Explorer\Toolbar\ShellBrowser" /v ITBar7Layout /f
reg delete "HKCU\Software\Microsoft\Internet Explorer\Toolbar\ShellBrowser" /v ITBar7Height /f

《小胖妞》- 广美学生何伟锋毕业作品

Mon, 28 Jun 2010 11:09:58 +0000

这种实景加漫画的方式挺好看的·~真的很牛B~~牙签筒当武器~~小胖妞，当她的样子变丑了，你还会爱她吗？

Eclipse3.6正式版的下载地址

Thu, 24 Jun 2010 05:27:50 +0000

Eclipse3.6正式版官方的下载地址还没有放出，不过捐赠Eclipse就可以成为Friends，可以提前从官网下载到3.6正式版。。。其实Eclipse也挺好用的~ 官方的下载地址是(今天还不可以下载):

http://www.eclipse.org/helios/

 <p> 网上流传的下载地址是在这里：<a href="http://mirror.cc.vt.edu/pub/eclipse/technology/epp/downloads/release/helios/R/">http://mirror.cc.vt.edu/pub/eclipse/technology/epp/downloads/release/helios/R/</a> </p>
<p> 有兴趣尝新的试试~~ </p>
<p> <span style="line-height: normal; white-space: nowrap;"><a class="flickr-image alignnone" title="eclipse3.6" href="http://www.flickr.com/photos/fatkun/4729007575/"><img src="http://farm2.static.flickr.com/1253/4729007575_b9af417d4e_b.jpg" alt="eclipse3.6" /></a></span></td> </tr> </tbody> </table>

橡皮泥象棋变形金刚

Thu, 24 Jun 2010 05:10:36 +0000

那象棋变形得还不错~~依然是个花费时间拍的东西~~

Mysql指定编码创建数据库

Mon, 21 Jun 2010 06:42:23 +0000

mysql 创建数据库时指定编码很重要，一般都指定为统一的UTF-8编码，如果不指定编码，默认编码为lan1，插入中文时是会提示错误的，类似”\x22\x34″

CREATE DATABASE `test2` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci

蜡烛表演-蜡烛版俄罗斯方块

Fri, 18 Jun 2010 17:05:34 +0000

蜡烛表演-蜡烛版俄罗斯方块，挺牛B的。。要拍挺久吧。。。

Flash游戏-叠叠乐（Super stacker2），挺好玩的

Thu, 17 Jun 2010 16:04:04 +0000

叠叠乐，我自己起的名字= =！非常之好玩，很奇特。用你自己的方法。每个人玩的结果都不同。

好过瘾啊.哇哈哈哈哈哈!!!!!

要有耐心先嘚噶.

Android选项卡(TabWidget)例子

Thu, 17 Jun 2010 02:10:52 +0000

首届Google暑期大学生博客分享大赛——2010 Andriod篇 Android选项卡的一个例子，这个例子是照着SDK 文档做的（resources/tutorials/views/hello-tabwidget.html），为了省事少做了一些图标类的东西。 {.flickr-image.alignnone}

步骤

1.建立两个Activity，作为tab内容（我这里是OneActivity、TestActivity)

public class OneActivity extends Activity {
public void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
TextView textview = new TextView(this);
textview.setText("This is the Artists tab");
setContentView(textview);
}
}

2.在layout文件夹中建立tab.xml用于怎样显示tab页面

注意：TabHost ，TabWidget ，FrameLayout的ID必须分别为@android:id/tabhost，@android:id/tabs，@android:id/tabcontent
另外还要注意一下android:layout_width宽度和android:layout_height高度的取值，还要LinearLayout的android:orientation=”vertical”（LinearLayout默认是横向的）当你看到布局和我不一样时你就要考虑一下这里是不是错了。（= =！因为我错过）

<?xml version="1.0" encoding="utf-8"?>
<TabHost android:id="@android:id/tabhost" android:layout_width="fill_parent"
android:layout_height="fill_parent" xmlns:android="http://schemas.android.com/apk/res/android">
<LinearLayout
android:orientation="vertical"
android:layout_width="fill_parent"
android:layout_height="fill_parent"
>
<TabWidget android:id="@android:id/tabs"
android:layout_width="fill_parent" android:layout_height="wrap_content"></TabWidget>
<FrameLayout
android:id="@android:id/tabcontent"
android:layout_width="fill_parent"
android:layout_height="fill_parent"
android:padding="5dp" />
</LinearLayout>
</TabHost>

3.新建一个类TabWidget.java，继承TabActivity类

package com.fatkun;
import android.app.TabActivity;
import android.content.Intent;
import android.content.res.Resources;
import android.os.Bundle;
import android.widget.TabHost;
import android.widget.TabHost.TabSpec;
public class TabWidget extends TabActivity {
/** Called when the activity is first created. */
@Override
public void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.tab);//这里使用了上面创建的xml文件（Tab页面的布局）
Resources res = getResources(); // Resource object to get Drawables
TabHost tabHost = getTabHost(); // The activity TabHost
TabSpec spec;
Intent intent; // Reusable Intent for each tab
//第一个TAB
intent = new Intent(this,OneActivity.class);//新建一个Intent用作Tab1显示的内容
spec = tabHost.newTabSpec("tab1")//新建一个 Tab
.setIndicator("Tab1", res.getDrawable(android.R.drawable.ic_media_play))//设置名称以及图标
.setContent(intent);//设置显示的intent，这里的参数也可以是R.id.xxx
tabHost.addTab(spec);//添加进tabHost
//第二个TAB
intent = new Intent(this,TestActivity.class);//第二个Intent用作Tab1显示的内容
spec = tabHost.newTabSpec("tab2")//新建一个 Tab
.setIndicator("Tab2", res.getDrawable(android.R.drawable.ic_menu_camera))//设置名称以及图标
.setContent(intent);//设置显示的intent，这里的参数也可以是R.id.xxx
tabHost.addTab(spec);//添加进tabHost
tabHost.setCurrentTab(1);
}
}

4.最后一步，在AndroidManifest.xml加入你的Activity

android:theme=”@android:style/Theme.NoTitleBar”是可以使得TabWidget窗口没有标题，多点空间显示

<activity android:name="TabWidget" android:theme="@android:style/Theme.NoTitleBar"></activity>
<activity android:name="OneActivity"></activity>
<activity android:name="TestActivity"></activity>

flash游戏-射断绳子救人

Wed, 16 Jun 2010 16:01:38 +0000

玩法：射断绳子，救下这些上吊的人，千万小心，别射中他们了.会很惨的啊。。 /yy

Android下拉列表(Spinner)例子

Tue, 15 Jun 2010 11:32:06 +0000

下拉列表(Spinner)的例子，首先要在layout中拖放一个Spinner，例子中的ID为Spinner01

<Spinner android:layout_height="wrap_content" android:layout_width="wrap_content" android:layout_y="132dip" android:layout_x="97dip" android:id="@+id/Spinner01"></Spinner>

代码：

/*
ArrayAdapter.createFromResource参数解析：
第一个是Context，
第二个(R.array.colors)是数据来源，在values.xml，内容为
<?xml version="1.0" encoding="utf-8"?>
<resources>
<string-array name="colors">
<item>red</item>
<item>blue</item>
<item>green</item>
<item>yellow</item>
<item>black</item>
</string-array>
</resources>
第三个（android.R.layout.simple_spinner_item）为显示的样式
*/
Spinner spinner = (Spinner) findViewById(R.id.Spinner01);
//建立方法有两种
//方法一,从xml读取
//ArrayAdapter<CharSequence> adapter = ArrayAdapter.createFromResource(this, R.array.colors, android.R.layout.simple_spinner_item);
//方法二,使用数组
CharSequence[] seq = {"test11","test12","test13","test14","test15"};
ArrayAdapter<CharSequence> adapter = new ArrayAdapter<CharSequence>(this, android.R.layout.simple_spinner_item, seq);
adapter.setDropDownViewResource(android.R.layout.simple_spinner_dropdown_item);
spinner.setAdapter(adapter);
spinner.setOnItemSelectedListener(new OnItemSelectedListener() {
public void onItemSelected(AdapterView<?> parent, View view, int position, long id) {
//showToast("Spinner1: position=" + position + " id=" + id);
//选择后
}
public void onNothingSelected(AdapterView<?> arg0) {
//showToast("没有选择");
//没有选择
}
});

Android-AlertDialog(警告窗口)例子

Tue, 15 Jun 2010 11:14:29 +0000

Android-AlertDialog(警告窗口)的一个例子
{.flickr-image.alignnone}

new AlertDialog.Builder(TestActivity.this)//Context
.setTitle("标题啊")
.setIcon(android.R.drawable.ic_dialog_alert)//图标
.setMessage("内容")
.setNegativeButton("取消",new DialogInterface.OnClickListener() {//按钮1
public void onClick(DialogInterface arg0, int arg1) {
}
})
.setPositiveButton("确定", new DialogInterface.OnClickListener() {//按钮2
public void onClick(DialogInterface arg0, int arg1) {
finish();
}
}).show();//显示

联想乐Phone，你想拥有吗？

Thu, 10 Jun 2010 09:46:23 +0000

联想乐phone虽然不能给人耳目一新的感觉，但是它的成功在于细节，它的手机正面没有任何按钮，甚至比苹果iPhone做得还过火。它的月牙形外放喇叭体现了“乐”的内涵；磁吸式的数据线接口没有一个老牌的硬件厂商的技术底蕴支撑也不敢贸然采用；哪怕连手机电池盖背面也加上马赛克贴片来美化一番，这些都说明了联想乐phone的优秀工业设计。感觉上配置还是挺不错的，相对于HTC的G3来说。。价格也算符合国内国情~你想要这么一部Android手机乐phone吗？ **{.flickr-image.alignnone}{.flickr-image.alignnone}**

基本参数

手机类型	智能手机,轻薄手机,GPS手机
上市时间	2010年05月
手机频段	GSM 850/900/1800/1900Mhz，支持 WCDMA，支持 GPRS/EDGE
手机外形	直板
外壳颜色	黑色，珍珠红
体积	120×61×12mm,体积：87cm³
重量	165g
主屏参数	AMOLED彩色屏幕；480×800像素(WVGA)，3.7英寸；
操作系统	Andriod Android 1.6
处理器类型	高通 snapdragon QSD8250，CPU频率 1024MHz
内存	512MB RAM,512MB ROM
标准配置	锂电池（1500mAh），电源适配器，座充，耳机，数据线，光盘，手机保护套，用户手册，保修卡，服务指南，合格证，宣传彩页，MicroSD卡

Willin Kan的小牆与WordPress Thread Comment有冲突

Fri, 04 Jun 2010 16:55:20 +0000

还是先把它撤下来。。。刚写了一段，居然不小心按了个Ctrl+Z撤销了。。悲剧啊。。。

刚看到一个SPAM，感觉不是SPAM…搜索一下。。都是这句话。。。汗啊。。附内容：

非常喜欢博主的博客theme，很PL，回去模仿一个去，不建议吧！呵呵

wordpress flickr manager修改版下载（兼容2.8.x）

Tue, 01 Jun 2010 07:34:51 +0000

wordpress flickr manager可以很方便的在WP写文章插入图片，可以官方的插件搜索出来的已经没更新了。。只能找到别人的修改版了。修改版下载地址：WordPress flickr manager 兼容2.8.x {.flickr-image.alignnone} 附图一张：{.flickr-image.alignnone}

C#遍历DataSet

Mon, 31 May 2010 12:12:49 +0000

C#中的Dataset就像一个数据库，有多个表(Table)，一般只有一个表，然后每个表中有行(DataRow)和列(DataColumn)，DataRow[DataColumn]可以得到某行某列数据。

foreach (DataTable dt in YourDataset.Tables)
{
foreach (DataRow dr in dt.Rows)
foreach (DataColumn dc in dt.Columns)
Console.WriteLine("{0}, {1}, {2} ", dt.TableName, dc.ColumnName, dr[dc]);
}

心理学家教你谈恋爱

Mon, 31 May 2010 03:52:55 +0000

**第一式：小危险激发“心动”感觉。**人从事某些激烈或冒险活动时的身心反应，与恋爱时“过电”的感觉极其相似。除了玩玩过山车、看看惊悚片等办法，爱泼斯坦还教大家一个小游戏：两人交替着向后仰倒，由对方在身后接住。 **第二式：一点点靠近。**近水楼台有助于人们之间产生好感。如果两个人有意识地接近对方，故意地让对方进入自己的个人空间，很快他们之间就会变得亲密起来。练习法：两人相隔约1米站定，然后每隔10秒将距离拉近一点点，一直到双方快要碰到为止。 **第三式：模仿对方。**人们更容易同与自己相似的人———不论是智力水平、出身背景还是个人魅力方面———成为情侣，有时仅仅是模仿对方也能够增进相互之间的感情。练习法：两人靠近站着或坐下，随意地挪动自己的手脚，但是同时要模仿对方的动作，要做到两人都感到自己是自由而双方又是一致的。 **第四式：准备一些笑话。**在持久而幸福的婚恋关系中，爱侣们总能让对方开怀大笑。还有研究则表明，女性更容易倾心于能够让自己笑的男伴。 **第五式：一起做没做过的事情。**人的记忆都是分类储放，如果你在对方的每类记忆中都是第一个想起的人，那么也就真正做到“我中有你，你中有我”了。 **第六式：放松心理防线。**放松警戒才有助于感情的培养，但用酒精麻痹神经却不是好办法。可以两人轻轻地拥抱在一起，试着感觉对方的呼吸，逐渐使自己的呼吸与之同步。几分钟后，两人就会觉得合为一体。 **第七式：适当迁就对方。**为了对方特意做一些好的改变，比如戒烟、戒酒等，会让你的地位急速飙升。 **第八式：经常轻轻触碰。**简单的触碰能让人产生温暖、舒服的感觉，轻抚对方的后背功效神奇，对女性尤为如此。 **第九式：分享秘密。**将自己正在想的事物写在纸上，然后用几分钟的时间通过语言以外的方式向对方传达自己的思想，让对方来猜。 **第十式：全心全意。**自己三心二意的人往往会对伴侣的行为也疑神疑鬼，缺乏信任，长此以往，会对双方的关系造成致命的破坏。

MSSQL多个外键对应同一个表时查询外键的内容

Sat, 29 May 2010 04:11:05 +0000

当有一个表同时有多个外键同时指向某一个表时，需要通过外键来查询到相应的信息。举个例子：这是一个订车票的城市表

CityID CityName
1 广州
2 湛江
3 江门
4 肇庆
5 惠州
6 汕头

车次表

CarID CarName StartCityID EndCityID
1 G001 1 2
2 G002 1 3

这里的StartCityID和EndCityID分别是城市表的外键

解决方法

现在要把对应的始发城市和终点城市的名称取到，mssql语句可以这样
方法一：

SELECT 始发站=c1.CityName,终点站=c2.CityName
FROM car,City c1,City c2
WHERE StartCityID = c1.CityID AND EndCityID = c2.CityID

方法二：

SELECT 始发站=c1.CityName,终点站=c2.CityName
FROM car
join City c1 on StartCityID = c1.CityID
join City c2 on EndCityID = c2.CityID

JQuery无限联动的下拉框插件（选城市）

Fri, 28 May 2010 08:34:38 +0000

经常可能会用到一些需要联动的下拉框，包括选择城市之类的。可能是二级联动，三级联动等等~ JQuery中有个双联动的doubleselect，不过有时我们需要很多个下拉框一起关联。发现一个国内的jquery插件，感觉不错，中国地名压缩后最小可以达到29KB。以后很有可能会用到，记录下来先博客介绍：http://shawphy.com/2008/12/json2select.html 例子：http://shawphy.googlecode.com/svn/javascript/json2select/json2select.html 全国城市数据：http://shawphy.com/2009/07/json2select-data-of-city.html 压缩后全国城市数据：http://www.cnweb.org/down/areajson/

利用.htaccess解决000webhost免费主机Google Adsense验证问题(adsense.txt)

Fri, 28 May 2010 02:41:27 +0000

最近在申请Google Adsense，提示要验证域名的所有者，所以上网找到了这个方法。我使用的是wordpress，用super-cache时加了一些规则，注意要把下面的规则放到最前面。 原创文章，转载请注明： 转载自利用rewrite规则解决000webhost免费主机Google Adsense验证问题

解决方法：

最近长脚在生气Google Adsense的广告申请，可是在申请过程中遇到了瓶颈。Google Adsense需要在网站根目录放置一个adsense.txt的文件，来证明这个网站的所有权。长脚在放了好几次，都无法正常的通过浏览器访问到这个txt文件，网上查找了一下，好像是000webhost主机做过设置还是怎么的，反正就是不行。不过长脚还是找来一个偏门的解决办法,利用.htaccess中添加rewrite语句。具体请看下例： RewriteRule ^a.txt$ a.html 其中要上传的文件为a.html，访问的为a.txt 如果你的.htaccess文件中是空的，那就要写全下列语句了 RewriteEngine on
RewriteBase /
RewriteRule ^a.txt$ a.html 有以上问题的朋友不妨试试看这个方法

四川省成都市都江堰市、彭州市交界发生5级地震

Tue, 25 May 2010 08:57:18 +0000

据中国地震台网测定，2010-05-25 14:11:52(北京时间)，在四川省成都市都江堰市、彭州市交界(北纬31.10度，东经103.70度)，发生(M)5.0级地震，震源深度10.0公里。

额。。地球太危险~~

市民声称感觉到地震晃动成都等城市没有出现混乱

成都、绵阳部分市民声称感觉到地震的晃动，甚至有市民还从家中跑道大街上。但成都等城市没有出现混乱。

14:11分左右，记者在成都红星路6层的高楼上，感觉到一阵晃动，有明显的震感。部分成都市民说，明显看到家中的电灯来回晃动。不过地震持续时间不长，大约10多秒后基本恢复正常。[详细]

来源：http://news.sohu.com/20100525/n272336738.shtml

把腾讯微博邀请码都丢出来

Sat, 22 May 2010 15:59:33 +0000

QQ微博里还有挺多邀请码，还是丢在这里好了。。。最近QQ微博更新了一下，包括同城广播等等一些小细节的东西，还不错。。
邀请码如下,如果拿了哪个最好在下面回复一下吧

http://t.qq.com/invite/a9b163371c27e11d6283
http://t.qq.com/invite/3d41bc7a0d8e98d902b5
http://t.qq.com/invite/f3da9f33678c5a67cb3d
http://t.qq.com/invite/7c988a6d54f472cc065d
http://t.qq.com/invite/e523e61c82ba62671b3d
http://t.qq.com/invite/9d5cd95462e3ffb8d15b
http://t.qq.com/invite/252272ff47c2cb8d4665

GAE-使用cron计划任务(java)时无法上传cron.xml，500错误

Tue, 11 May 2010 11:50:22 +0000

错误信息

com.google.appengine.tools.admin.AdminException: Unable to update app: Error posting to URL: https://appengine.google.com/api/datastore/cron/update?app_id=fatkuns&version=4&
500 Internal Server Error Server Error (500)
A server error has occurred. at com.google.appengine.tools.admin.AppAdminImpl.update(AppAdminImpl.java:62) at com.google.appengine.eclipse.core.proxy.AppEngineBridgeImpl.deploy(AppEngineBridgeImpl.java:271) at com.google.appengine.eclipse.core.deploy.DeployProjectJob.runInWorkspace(DeployProjectJob.java:145) at org.eclipse.core.internal.resources.InternalWorkspaceJob.run(InternalWorkspaceJob.java:38) at org.eclipse.core.internal.jobs.Worker.run(Worker.java:55) Caused by: java.io.IOException: Error posting to URL: https://appengine.google.com/api/datastore/cron/update?app_id=fatkuns&version=4&
500 Internal Server Error Server Error (500)
A server error has occurred. at com.google.appengine.tools.admin.ServerConnection.send(ServerConnection.java:149) at com.google.appengine.tools.admin.ServerConnection.post(ServerConnection.java:82) at com.google.appengine.tools.admin.AppVersionUpload.send(AppVersionUpload.java:559) at com.google.appengine.tools.admin.AppVersionUpload.updateCron(AppVersionUpload.java:260) at com.google.appengine.tools.admin.AppVersionUpload.doUpload(AppVersionUpload.java:133) at com.google.appengine.tools.admin.AppAdminImpl.update(AppAdminImpl.java:56) … 4 more

原因：

cron.xml文件书写不正确 记得Asia/Shanghai这个是必须写的，不然无法上传，官方的例子居然有一个没写

/cron 描述 every 2 minutes Asia/Shanghai

/cron

描述

every 2 minutes

Asia/Shanghai

**更新：**发现如果 url填写错误也会上传失败，正确的方式是写“/xxxx”这样的路径，不能写全路径..

使用JQuery的ajax方法造成浏览器假死

Tue, 04 May 2010 16:07:31 +0000

问题

最近做项目时使用JQuery的load等方法时会造成浏览器假死，在本地测试到不是很明显，上传到服务器后，浏览器居然能卡个10多秒。。（假死）
因为我用jquery加载了整个页面，而不是少量的数据，听说用jquery加载大量的数据是会假死的，可能需要创建一个DOM树比较消耗时间吧。

解决方法

发现把jquery加载页面中引入的JS放在主页面上，假死情况就不会发生了。假死时间大大缩短。主页面的脚本如果不是马上要用到，可以放到底部让它慢慢下载，这样就不会影响到页面的显示。另外还遇到了IE6的一个图像缓存的BUG~My god！·

QQ腾讯微博邀请码发送【仅有两个】

Tue, 27 Apr 2010 04:52:32 +0000

http://t.qq.com/invite/

这么久才得到邀请码，估计我不怎么活跃~~
只有3个。。。留一个给朋友~然后2个给大家。。估计这东西也快烂大街上了。。要的在下面填邮箱地址写上你的邮箱，以及在回复中表示你想要这东西就可以了··我会发邮件给你的。
只有两个邀请码，先来先得~送完即止~

jsp getOutputStream() has already been called for this response异常解决方法

Sun, 25 Apr 2010 13:01:06 +0000

添加以下两段代码即可，我是在用jsp输出图像的时候出现这个问题

out.clear();
out = pageContext.pushBody();

附上我的输出图像的JSP代码

<%@ page info="Random Image Show" pageEncoding="UTF-8" contentType="image/jpg" autoFlush="true" buffer="16kb" session="false"
import="java.io.FileInputStream"%>
<%
ServletOutputStream sos = null;
if (sos == null) sos = response.getOutputStream();
FileInputStream fis = new FileInputStream((String) request.getAttribute("filename"));
byte[] buf = new byte[1024]; //缓冲区大小
int len = 0;
while ((len = fis.read(buf)) != -1) {
sos.write(buf, 0, len);
}
sos.flush();
sos.close();
fis.close();
out.clear();
out = pageContext.pushBody();
%>

“菊花文”与反屏蔽

Fri, 16 Apr 2010 12:10:17 +0000

菊花文（菊花文转换工具）貌似很久就出现了，到现在也没有多流行起来，不太容易反屏蔽，也不能代表非主流，始终不能流行起来。菊花文的原理在于每个字加上一个“菊花样的字符”，其实这结果在反屏蔽上是和在每个字加上一个空格一样的。像cnbeta把单字都屏蔽的是完全无效的（如：他妈妈的-》他文明用语文明用语的），在形式上不如火星文多变化，“屏蔽掉一个火星文，还有千千万万个火星文”。说道屏蔽，当然会想到WALL，不少媒体都公布某国人民翻墙出去为看某著名动作爱情片女星，追随者达到了25000+，大部分是某国人民~ 话说这媒体不怕被和谐么~敢公开墙的存在？！

菊花文转换工具

Sun, 11 Apr 2010 11:27:46 +0000

网上流传的菊花文（菊҉花҉文҉）转换工具~真强大，感觉在可识别上比火星文强多了，但是还是挺容易被屏蔽的。菊花文的原理搜索了下都没有介绍，看了下源码，是把原来的字符码（CharCode）加上某个值转换过来的，至于为什么成这样。。。我也不清楚。。
附上转换工具，中国人民是非常有智慧的。

转换工具

Design & Code by @darasion. Upload by @guxiaoqiang

TortoiseHg 1.0.1 与 Mercurial 1.5.1 版本控制软件

Sat, 10 Apr 2010 15:12:11 +0000

Mercurial 是一款跨平台的快速、轻量级的分布式源代码管理软件，使用python开发，免费开源。高效的实现、简易的学习曲线使得它既适合于大规模项目，也适用于小项目的代码管理。目前很多著名项目都已经开始使用 Mercurial来管理代码，如 Mozilla、OpenOffice、Python等。Google Code在09年早期也已经提供了对Mercurial的支持。（在后台source设置一下即可） TortoiseHg为Mercurial集成了一系列图形化工具和Shell扩展，类似于TortoiseSVN为SVN提供的功能。

TortoiseHg还是那只龟~如果用惯了TortoiseSVN，这个也是很容易上手的。暂时感觉hg 相对于 svn的好处是： 1，不像svn那样在每个目录都建一个.svn文件夹 2，有一个完整的本地库，所以浏览历史版本是很快的，不用联网。 3，如果不能联网可以先提交到本地的版本库，有网络再提交上服务器官方网站：http://tortoisehg.bitbucket.org/ win_x86版下载地址：http://bitbucket.org/tortoisehg/stable/downloads/tortoisehg-1.0.1-hg-1.5.1-x86.msi This is a bug fix release. We recommend all users upgrade to this release.

Packaged Versions

Mercurial 1.5.1
GTK has been downgraded from 2.18.7 to 2.16.6
dulwich has been upgraded to 0.5.1
See extension-versions.txt in the install directory for the complete list of bundled extensions and modules and their versions

java.lang.IllegalArgumentException: Cannot convert value of type [$Proxy0[解决方法]

Sat, 27 Mar 2010 16:35:20 +0000

Caused by: java.lang.IllegalArgumentException: Cannot convert value of type [$Proxy0 implementing com.mysoft.applications.database.interfaces.MyInterface,org.springframework.aop.SpringProxy,org.springframework.aop.framework.Advised] to required type [ibatis.ibator.services.TestService] for property ‘service’: no matching editors or conversion strategy found
at org.springframework.beans.TypeConverterDelegate.convertIfNecessary(TypeConverterDelegate.java:231)
at org.springframework.beans.TypeConverterDelegate.convertIfNecessary(TypeConverterDelegate.java:138)
at org.springframework.beans.BeanWrapperImpl.convertForProperty(BeanWrapperImpl.java:386)
… 42 more 在配置事务时加入了aspectjweaver.jar这个包后出现了这个问题。本文来源：http://blog.csdn.net/taochenpfj/archive/2009/07/29/4390158.aspx

如果在Spring配置文件中配置的事务是通过AOP标签实现的，那就在<aop:config />中增加proxy-target-class=”true”属性。就异常显示的信息可以看到，Spring在转换时，主要是将代理类转换成接口，反而不能转换成实际类。如果是通过bean方式增加事务控制，则在配置文件中增加

<bean class="org.springframework.aop.framework.autoproxy.BeanNameAutoProxyCreator">
<property name="proxyTargetClass">
<value>true</value>
</property>
</bean>

上面这段配置信息只是一部分。其他的各位再摸索吧！这里有个兄弟也是这样的问题，他的是bean控制事务的http://longterm.javaeye.com/blog/394395

win7“我的电脑”右键”管理”菜单失效的解决办法

Mon, 22 Mar 2010 08:41:27 +0000

不知道装了什么WIN7右键的管理菜单不能用了，提示Explorer.exe出错。上网搜索下，测试可用。记录下来。
————–
本文来源：http://hi.baidu.com/xlshuang/blog/item/6d1ca7cdfad74a590eb34529.html

将下面的文本复制到记事本，然后保存为xxx.reg的文件，双击导入即可
Windows Registry Editor Version 5.00 [HKEY_CLASSES_ROOT\CLSID\{20D04FE0-3AEA-1069-A2D8-08002B30309D}\shell\Manage] @=hex(2):40,00,25,00,73,00,79,00,73,00,74,00,65,00,6d,00,72,00,6f,00,6f,00,74,\ 00,25,00,5c,00,73,00,79,00,73,00,74,00,65,00,6d,00,33,00,32,00,5c,00,6d,00,\ 79,00,63,00,6f,00,6d,00,70,00,75,00,74,00,2e,00,64,00,6c,00,6c,00,2c,00,2d,\ 00,34,00,30,00,30,00,00,00 "MUIVerb"=hex(2):40,00,25,00,73,00,79,00,73,00,74,00,65,00,6d,00,72,00,6f,00,\ 6f,00,74,00,25,00,5c,00,73,00,79,00,73,00,74,00,65,00,6d,00,33,00,32,00,5c,\ 00,6d,00,79,00,63,00,6f,00,6d,00,70,00,75,00,74,00,2e,00,64,00,6c,00,6c,00,\ 2c,00,2d,00,34,00,30,00,30,00,00,00 "SuppressionPolicy"=dword:4000003c "HasLUAShield"="" [HKEY_CLASSES_ROOT\CLSID\{20D04FE0-3AEA-1069-A2D8-08002B30309D}\shell\Manage\command] @=hex(2):25,00,77,00,69,00,6e,00,64,00,69,00,72,00,25,00,5c,00,73,00,79,00,73,\ 00,74,00,65,00,6d,00,33,00,32,00,5c,00,6d,00,6d,00,63,00,2e,00,65,00,78,00,\ 65,00,20,00,2f,00,73,00,20,00,25,00,77,00,69,00,6e,00,64,00,69,00,72,00,25,\ 00,5c,00,73,00,79,00,73,00,74,00,65,00,6d,00,33,00,32,00,5c,00,63,00,6f,00,\ 6d,00,70,00,6d,00,67,00,6d,00,74,00,2e,00,6d,00,73,00,63,00,00,00

错误:The type javax.servlet.ServletContext cannot be resolved

Fri, 19 Mar 2010 12:08:56 +0000

碰到这个错误，原来是tomcat里的包没有加入Build Path，我把servlet-api.jar加入jdk1.6.0\jre\lib\ext 目录就解决了。
——————— 来源：http://blog.csdn.net/cnrefresh/archive/2009/03/10/3977242.aspx
软件包 javax.servlet 不存在原来这个包在web服务器才有，j2se中并没有，所以导致了错误。
解决方法：
方法(1) 找到%tomcat%\common\lib目录下的servlet-api.jar，把这个路径添加到环境变量classpath当中，就可以了。（这个好像不是很管用，我重装了tomcat之后，再重新配置好像就不行了）
方法(2) 找到%tomcat%\common\lib目录下的servlet-api.jar，把这个jar添加到%java_home%\jdk1.6.0\jre\lib\ext目录下面，不同的jdk版本都一样。

Rational Rose 2003 下载及破解方法

Sun, 14 Mar 2010 06:18:52 +0000

这学期要学UML，做实验要用到这个软件。所以找到了这个破解版的破解方法。。还挺烦的。。不过测试破解成功。。本文来源：http://blog.csdn.net/fenglibing/archive/2007/08/17/1747693.aspx ————————- 下载地址（没测试过是否可用） Flashget://W0ZMQVNIR0VUXWZsYXNoZ2V0eDovL3xtaHRzfGNtRjBhVzl1WVd3Z2NtOXpaVEl3TURNdWNtRnl8MzYxMDMxMTIxfDJBOTdFNkVBN0Q4QTQ5ODhBODBDQTVGMjFCRjQ5NkRDfC9bRkxBU0hHRVRd

操作：

１、安装Rational Rose2003时，在需选择安装项的时候，只选择Rational Rose EnterPrise Edition即可，不需选择其他项。２、安装好Rational Rose Enterprise Editon后，打开rose2003crack.rar压缩包，里面有四个文件，分别为flexlm.cpl、license.dat、lmgrd.exe、rational.exe。３、用记事本或者是EditPlus打开license.dat文件，大约在文件的中间位置有：SERVER Microsoft ANY DAEMON rational “C:\Program Files\Rational\common\rational.exe”　　将其修改为：SERVER 计算机名　ANY DAEMON rational “自己安装的目录\rational.exe”后，保存注：若是按默认目录安装，则只需修改计算机名即可。４、将license.dat、 lmgrd.exe 、rational.exe三个文件一起拷贝到：安装目录\rational\common\ 下面。如：若为默认则为：C:\Program Files\Rational\common\目录。５、将flexlm.cpl拷贝到system32目录下。如win2000系统中为C:\WINNT\system32目录。６、进入控制面板，则在控制面板的上方会增加了一个图标，即FLEXlm License Manager，将其打开，在Setup页中lmgrd.exe右侧目录写为：C:\Program Files\Rational\Common\lmgrd.exe（若为默认安装目录） License File右侧目录写为：C:\Program Files\Rational\Common\license.dat ７、回到Control页，点击Start，若出现”Server Started”，则表示已经成功，可以点击Status,若状态为：计算机名：license server UP(MASTER)则成功。８、这时可打开安装的Rational Rose Enterprise Edition，若还是出现Error，则打开Rational License Key Administrator ，点击工具栏中的第一个工具（Start WIzard）,点击下一步，在Server Name中的名字改为自己的计算机名即可。因现在的学习需在使用Rational Rose，所以进行了安装，但确实花了不少工夫，所以特把自己安装的经验来跟大家一起分享，希望能对大家有所帮助。

如何制作好的PPT（演示幻灯片）？提高用户体验

Mon, 01 Mar 2010 11:51:18 +0000

首先，在以下的讨论中必须明确一点：PPT主要是提供给你希望传播的对象观看的，用于辅助或增强你言语上的不足（例如一些语句不如一幅图片表达得生动形象）。以下内容是我Fatkun随意YY，欢迎探讨。
插播：旧的台式电脑丢在家里了，新的电脑还没买。。所以依然是上网困难~今天已经开学了~~更新一篇文章先，怕搜索引擎忘了我咯~~

1，错误点一：把PPT当成自己的演讲词，照着PPT上的语句念下去。根据上面我提到PPT的目的可知，PPT主要面向的是你的听众，而不是你。PPT可以作为提醒你的演讲流程的记忆，但切记不要“照板宣科”，一般用小标题的形式然后用自己的话解释某个问题！
2，错误点二：在一页PPT内显示大段文字。现在很少人有耐心去读大段文字了，相对于文字，大家更喜欢看图。配上一张贴近内容搞笑的图片通常会得到听众“配图传神”的肯定。容易吸引听众的注意。
除了上面的几个错误点，还有以下这几个方面要注意的。
1，尽量使用大的字号，颜色尽量和背景色为对比色。通常投影仪用久了投影效果比较差，和你在电脑前看到的效果不一样，保守做法是白底黑字加粗。如果用到非系统自带的字体需要把字体文件一起打包出来。
2，如果和我一样不会设计PPT，可以上网下载PPT模板。尽量不使用背景图片颜色复杂的模板，因为可能影响文字的显示效果。
3，使用简洁生动有趣的语句。
4，使用数字编号将观点分点列出。
5，给PPT留一些空白让听众想入菲菲，独立思考，不要全屏都是文字或图片。
以上，就是我认为比较重要的地方，好的PPT能够吸引听众的注意力，给你的演讲锦上添花。当然，最最主要的PPT还是内容本身！本文只是阐述在好的内容下锦上添花~~

1月28日（明天）回家去

Wed, 27 Jan 2010 13:10:41 +0000

回家基本与网络脱离~所以在这段时间是不会更新博客了，并且也没什么内容可写。
所以还是回家继续深造学习，回来再写博客，暂停博客更新一个月，回来再写~现在才发现做一个博主是那么的不容易~更新内容不是件简单的事情。
在此祝各位新年快乐，在2010年里顺风顺水，万事如意！博客访问人数翻倍~~

测试用手机写博客

Mon, 25 Jan 2010 09:01:15 +0000

使用了WP-T-WAP插件，用Opera5.0beta看看效果如何。换行？
再试试

GAE-Google App Engine网址抓取(java.net.UrlConnection)

Sat, 23 Jan 2010 08:17:12 +0000

Google App Engine 的网址抓取挺方便的，可以使用java.net.UrlConnection这个类。有了这个我们可以干什么？例如可以从某处获取天气信息等等~

(提醒一下，上面的是图片。。不要误点了啊。。。)
看看例子：http://2.latest.fatkuns.appspot.com/

GAE网址抓取是什么？

App Engine 应用程序可以抓取资源，并通过互联网使用 HTTP 和 HTTPS 请求与其他主机通信。应用程序使用网址抓取服务来进行请求。我觉得其实就是可以通过它抓取别人网页的源代码。

使用URL获取源码

package com.fatkun;
/**
* 在GAE上抓取网址
* @author Fatkun
* @site http://fatkun.com
*/
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;
import javax.servlet.http.*;
@SuppressWarnings("serial")
public class URL2Servlet extends HttpServlet {
public void doGet(HttpServletRequest req, HttpServletResponse resp) throws IOException {
resp.setContentType("text/plain; charset=utf-8");//显示编码
URL url = new URL("http://fatkun.com");
// 读取源码
//读取中文时，使用Reader类是每次读出两个字节的，不会出现中文乱码
InputStreamReader in = new InputStreamReader(url.openStream(), "UTF-8");
char[] buf = new char[2048];//缓存
StringBuffer sb = new StringBuffer();
int len = 0;
while ((len = in.read(buf)) != -1) {//当没到文档尽头继续读取
sb.append(buf, 0, len);
}
// 输出在网页上
resp.getWriter().println(sb.toString());
}
}

使用HttpURLConnection 来POST内容

// 此处的地址请换成你的，在本地测试时可以填入http://localhost:8888/request.jsp
URL url = new URL("http://2.latest.fatkuns.appspot.com/request.jsp");
HttpURLConnection connection = (HttpURLConnection) url.openConnection();
connection.setDoOutput(true);// 使用 URL 连接进行输出
connection.setRequestMethod("POST");
// 取得输出流
OutputStreamWriter writer = new OutputStreamWriter(connection.getOutputStream());
// 用UTF-8编码，保证中文传递正常
String message = URLEncoder.encode("你好，I'm Fatkun!", "UTF-8");
// 写入发送的内容
writer.write("msg=" + message);
writer.close();

上面是主要的代码，看注释好了，都很清楚。

Google App Engine中文乱码问题

注意在读取中文的网页时，由于编码是使用UTF或者GBK,GB2312等编码，使用InputStream类不太方便，另外有可以出现错误。
试过使用InputStream类，然后用new String(bytes[],”utf-8″)来转换编码，不过出现一点问题，不知道是我不会用还是怎么的。
不过使用这样的写法就方便多了。
InputStreamReader in = new InputStreamReader(url.openStream(), “UTF-8”);
编码都不用转换了~指定它的编码就行。
注意这里要加上“UTF-8”，虽然不加在本地测试时没问题，不过上传到GAE上就不能显示中文了。
PS2:这里的UTF-8是代表你抓取网页的编码。如果你抓取的网页是gb2312的需要根据实质需求改变。附上我做的例子：http://2.latest.fatkuns.appspot.com/
源码在这里：http://2.latest.fatkuns.appspot.com/source.rar,里面的lib目录下的我删除了，请自行添加。

谷歌宣布谷歌中国业务恢复正常

Tue, 19 Jan 2010 04:12:58 +0000

谷歌中国不走了！网上的评论由“谷歌真汉子”变为“谷歌真怂”。作为一个商业的公司，网友们把“不作恶”炒得太热了，好像google就一定不能“作恶”。而谷歌的这次行为被网友们视为“炒作”，我并不赞同或者否认，或者说我不关心。我只关心G`F`W今天又把哪几个网站OOXX了，政府又出了几条“利国利民”的政策。

从谷歌刚开始想要和政府谈判时我就打包票说了：“你丫傻B，和流氓讲道理，他只会和你耍流氓！”，这种行为是“不得人心”的，终究是要失败的！

我承认我比较喜欢Google，google的很多产品我都有用到！Google搜索，Gmail，日历，Chrome，Rss Reader，还有将来会考虑的手机系统Android。这些都是免费的，发现越来越难离开它们，好用！简单！google的开源精神也许也发挥了不少作用！喜欢google的创新，喜欢google的工作环境（我也想去Google工作啊，可是我水平还需要提高）。。

“Google涉黄论”：OK，你确实是能从google上搜索到这些，但是你想想要屏蔽这些东西是多么困难？！又要保证快速的索引所有网页保证质量，又要过滤这部分东西，不少简单的关键词“一刀切”（绿霸），或者把所有黄色的图片都屏蔽了的！！

而且看到 “可能吧” 说到CCAV的那些专家们刷关键字我就觉得恶心！中国的造假能力确实了不起！~

以下新闻来源：http://www.cnbeta.com/articles/102445.htm

据法新社消息，当地时间18日下午，在宣布退出中国市场、员工停止工作一周后，美国网络巨头谷歌再次表示在中国的业务恢复正常运转。
“在发表声明之后，我们给公司职员放了一段长假，以便运行测试和扫描，保证网络的安全可靠” ，谷歌在回复法新社的询问中说，“谷歌中国的职员现在都已经回到工作岗位，一切业务正常运行。”

上周，新京报报道称谷歌中国的工程师不再能进入公司的全球数据库，不能正常工作。

美国国务院发言人克劳利15日宣布，最早可能在下周初将就谷歌事件向中国发出外交照会。这位发言人说，“它将表达我们对这一事件的关注，并要求中国提供信息，解释这一事件是如何发生的，以及他们准备怎么处理这一问题。”

对此，中国表示谷歌事件不会影响中美关系，但是谷歌必须遵守中国的法律。商务部发言人上周五说，外国公司应该“尊重东道国的法律、公共利益、文化和传统，并为此承担社会责任”。

《仙剑奇侠传五》官方博客地址

Mon, 18 Jan 2010 14:26:03 +0000

仙剑奇侠传5的官方博客

官方博客地址在此：http://blog.sina.com.cn/softstarpal5 那个博客目前有少量的图片。。仙剑系列曾是很多人喜爱的游戏~~期待中~~

下面这篇日志是官方博客2009-12-06发的，开发进度才是27%，所以说想要玩还得等很久很久，http://blog.sina.com.cn/s/blog_62d8c9d90100fzxj.html

> 自上周5博客开放到现在，博客访问量已达14868，非常感谢大家的支持，我们真的有些受宠若惊，同时也感到自身背负责任的重大，此时的心情可谓是压力与欣喜并存，我们会继续努力！>

> 目前项目的完成度约为27%，基本的游戏框架、剧情故事、人物设定已经完成，如无意外，2010年内游戏将开发完成，届时希望能让大家满意~>

> 留言中很多玩家希望放图，下周内我会满足大家的要求，不过图量不会太多，我们会阶段更新，再次感谢大家的支持~>

获取QQ头像地址

Thu, 14 Jan 2010 16:19:59 +0000

由于QQ通过判断cookies是否登陆，所以获取QQ头像已经失效了。期待新的解决方法。(新方法：使用cookie获取QQ头像（JSP版）)
最近期末了~要考试，所以博客基本没怎么更新了~放假回家后可能都没什么机会上网咯~所以可能博客会停止更新一段时间~ 今晚突然想得到某人的QQ头像，找找是否有一样的头像（纯蛋疼得无聊~）。这个网站可以通过上传图片搜索相同的图片 http://www.tineye.com/，传说Google以后会支持这个功能~

说到Google，就不得不说Google可能要退出中国市场，可是真要说些什么，却什么都不敢说。杯具都是瓷器造的，Ma de in china! F*ck G..F.W! 好吧，说完了，于事无补。身在天朝只好笑而不语。说正题，主要说说我的搜索方法的思路~

如何找到QQ头像地址？

首先想到的是通过搜索引擎搜索是否有现成的。不过第一次使用的关键词是“QQ头像地址”，结果找到的都失效了（如Myqq以及Vipqq的）
查看myqq以及Vipqq的代码。失望啊，它头像获取的地址是http://my.qq.com/qq_face.php，可惜，没有参数给我们调用，估计是通过Cookies传值的或者其他
想想还有没有同类的网站显示QQ头像的。对，WebQQ，里面有QQ头像地址，果然，就给我找到了。
找到之后，觉得我第一次的搜索关键字好像不太好，换一个“获取QQ头像”，丫的，搜索出来了。

QQ头像地址在此

QQ10000号的qq头像：
任意QQ头像地址： http://face4.qun.qq.com/cgi/svr/face/getface?uin=529403452 点此看看效果 QQ会员动态头像（仅会员的头像可查看）： http://58.60.9.59/HISFACE/getfacefile?from=qqclub&usertype=1&dstuin=529403452 注：把上面红色加粗的QQ号换为其他人的QQ号就行了，任何人的都可以。注2：上面的QQ号非本人QQ号，在网上搜索到的，如有侵权，请联系我修改。

用Jquery显示头像（纯蛋疼）

输入你的qq号试试：

中国网民使用浏览器，分辨率，操作系统份额（09年12月）

Thu, 07 Jan 2010 05:58:48 +0000

做网页前端的都会关注用户都在使用什么浏览器~因为不同的浏览器之间有些差异（大家都有各自的标准，特别是IE），不过近几年来好一些了，微软也意识到自己走抛开大众的路线是会被咒骂的~IE系列将向W3C标准靠拢，IE7,IE8对标准支持也好一点了~将要出来的IE9听说还会支持HTML5。希望以后看到各个浏览器都坚决维护标准~只要在任何一个浏览器测试，其他浏览器浏览的效果都一样~·这样就省了不少的时间。
以下数据来源CNZZ.COM，2009年12月数据

浏览器的份额

从图上看到，在中国，IE还是占主流~IE包括那些以IE为内核的浏览器（遨游，360浏览器，腾讯TT，世界之窗）加起来接近96%，IE6占有率63.8%。火狐在中国只有可怜的1.5%，要知道火狐在全世界的份额已经有24%多了~~
IE6可能是中国用户使用XP系统多，而且不升级或由于某些原因不能升级。**IE6已经非常老了，性能不够好，强烈建议升级。**有次和别人在QQ群上讨论为什么要升级IE6，普通用户觉得用IE6就能上网，何必瞎折腾升级呢。看来想IE6灭亡的最主要还是那些做网页前端的了。。

操作系统的份额

可以看出XP在中国仍然是最多人用的，占了93.4%。而XP默认的浏览器就是IE6，这是IE6这么多人使用的一个原因。其次，得益于中国的盗版事业~XP在中国快速扩张~期望几年后网民的电脑硬件升级了都装上WIN7吧，WIN7的内置浏览器是IE8，至少比IE6好~~

分辨率

46.5%的人使用的分辨率是1024*768（17寸显示器的标准分辨率），然后1440*900（19寸宽屏标准分辨率）占了15.2%。值得一提的是800*600的已经很少了（1.9%），所以做网页按1024*768的分辨率做就可以适应大多数人。而且在大分辨率的显示也不会很小气。

搜索引擎

以下数据来源北京正望咨询，日期：2009年

且不论数据是否正确。从图上可以看到在中国，百度占了主要的搜索量（69.9%），Google的搜索份额并没有提高很多。
谷歌音乐也没有为谷歌带来很多流量，虽然都是正版音乐，音质都是不错的，但是收录的歌曲还不够完整。而百度MP3可以随意的搜索很多歌曲，尽管质量参差。不知道会不会有人告百度侵犯版权呢，工信部在干嘛呢？版署局在干嘛呢？
另外一个我比较喜欢用百度知道，而不是天涯问答。
不过，我的首选搜索引擎是GOOGLE，其次才是百度。GOOGLE索引的效率更快更高，我前面那篇文章才发布不久就被收录了，而百度还没收录~而且百度会有封锁博客的，会把某个博客的搜索结果全部删除！（例如：用百度搜索卢松松的博客site:lusongsong.com）可恶！在中国，还是老老实实的做人吧。老老实实的在IE6下测试。。。

添加了几个我常去的博客链接

Tue, 05 Jan 2010 10:20:53 +0000

在上一次的GOOGLE PR更新的时候~~我的博客终于也有PR了下面是我的博客收录情况（截至：2010-01-05 18:00）不过由于中途换了一次博客程序~现在的百度收录的还是旧数据谷歌的已经更新了欢呼~ 还有一个不得不说的是，在中国~~~百度超多人使用~~不过我使用的优先级是Google（是英文的,非中国的谷歌）->百度

另外为了能加快一些网页打开的速度~~除了打开WP-Super-Cache之外~~我把google的统计代码去掉了~~以前加的时候，老喜欢上去看看~现在倒省了这事情~ 其实我写博客的目的有

把我所学的东西都记录下来（当然这也给我自己找了个借口，逼着我学习~不然没东西写，是吧？）
收藏一些喜欢的文章，包括技术啊，等等~（天朝不稳定~还是自己藏一份好）
分享给大家，共同学习，进步~（我也经常使用搜索网站Google等，深知搜索到一个好的博客给出一个好的解答是多么爽的事情~）
有个自己说话的地方 关于友情链接 另外友情链接方面~~我的博客才刚起步~~不敢向别人提出链接要求，当然，友情链接是建立友情的基础上的~我希望有链接，但不希望只为了链接而链接。所以在这个原因上~我私自添加了几位牛人的博客~~哇咔咔，都是我常去的博客（还没征求过他们意见呢~~不知道有没有问题·~~） 排名不分先后啊

DDD的一亩三分地技术方面的
Kangzj Linux都懂~~
mg12’s Blog 这个大牛~做博客主题，和JS很牛
大踏步走的学习课堂网页前端
木木木木木 WordPress改的很好~~Jquery
邪罗刹的菠萝阁 Php很不错~~另外小邪很好人的~~nice`~

欢迎大家去围观~~~我私自添加的链接，希望上面各位博主不要介意啊~~ **GOOGLE~~** 刚发完文章~到谷歌一搜~发现就有了~~靠，这也太快了吧。。时间不超过10分钟~ ![][2]

让别人心悦诚服听你的

Tue, 05 Jan 2010 00:00:02 +0000

在人际交往中，用灵活多变的劝说方法能够让别人心悦诚服听你的。

颠倒黑白

一旦常规性逻辑被弄混，人的思维就会产生错误，失去判断能力，这是人们普遍的心理特点。以打破对方逻辑思维结构为目的的诡辩不应该受到常规逻辑的约束。

利用正当名义

名义总是具有给予希望、刺激功名欲并诱发对新生活的向往的魔力。它对后悔的人和寻找奋斗目标的人都能起到激励作用。

利用数字提高可信度

即使是令人难以信服的内容，只要列出”以调查和客观事实为基础的”具体统计数据，就可以大大提高可信度，因为很多人都十分迷信数据。记住，最好精确到小数点以后，如”99.9%”。

用事实进行反驳理论

对方提出某种理论时，用具体事实进行反驳。因为越是强调理论的人越缺乏具体素材，对此应坚持用事实反驳。

不要贪小失大

有句谚语说”捡了芝麻丢了西瓜”，比喻为贪小利而失大益。有时必须临机应变、主动丢掉芝麻。如果只顾着避免眼前的损失，可能会导致日后无法弥补的大损失。只顾眼前利益就可能丢掉全局，即所谓的贪小失大。所以要具备丢掉芝麻的勇气。

揭其短处

虽然是讨论，可一旦升级为近似口角的争论，就难以找出解决的办法。这时与其使用正当的语言进行理论，不如直接攻击对方身体、能力、地位上的缺陷。这种方法虽然有些卑鄙，但在争论中不进则退，取胜才是最重要的。

来源：

[http://www.53773.com/][1]

男女同学交往的好处

Mon, 04 Jan 2010 04:33:35 +0000

我们都有过这种体验：有异性参加的活动，较之只有同性参加的活动，我们一般会感到更愉快，活动的积极性会更高，往往玩得更起劲，干得更出色。这就是心理学上的“异性效应“。当有异性参加活动时，异性间心理接近的需要就得到了满足，于是，彼此间就获得了不同程度的愉悦感，激发起内在的积极性和创造力。尽管健康的两性交往对我们的成长有诸多的好处，我们要把握好两性交往的尺度，防止“过“与“不及“。

男女同学之间交往的好处至少可以表现为以下几个方面：

首先，个性方面。只在同性范围内交往，我们的心理发展往往会狭隘，远不如既与同性又与异性的多项交往更能丰富我们的个性。多项的人际交往，可以使差异较大的个性相互渗透，个性互补，使性格更为豁达开朗，情感体验更为丰富，意志也更为坚强。保加利亚的一位心理学家说过：男人真正的力量是带一点女性温柔色彩的刚毅。

其次，智力方面。男、女生在智力类型是有差异的。男女生经常在一起互相学习、互相影响，就可以取长补短，差异互补，提高自己的智力活动水平和学习效率。

最后，情感方面。人际交往间的情感是丰富而微妙的，在异性交往中获得的情感交流和感受，往往是在同性朋友身上寻不到的。这是因为两性在情感特点是有差异，女生的情感比较细腻温和，富于同情心，情感中富有使人宁静的力量。这样，男生的苦恼、挫折感可以在女生平和的心绪与同情的目光中找到安慰；而男生情感外露、粗扩、热烈而有力，可以消除女生的愁苦与疑惑。

不过，该如何与异性正常交往呢？

首先，要端正态度，培养健康的交往意识，淡化对对方性别的意识。思无邪，交往时自然就会落落大方。

其次，交往关系要疏而不远，若即若离，把握两人交往的心理距离，排斥让彼此感到过于亲密和引起心绪波动的接触。如果我们在交往中发现对方的苗头不对，要调整自己的态度，使交往回复到波澜不惊、心静如水的状态。这样更有利于我们的成长。

再次，要广泛交往，避免个别接触，交往程度宜浅不宜深。广泛接触，利于我们认识、了解更多的异性，对异性有一个基本的总体把握，并学会辨别异性。有的人外表像个迷人的小帅哥，但交往中会发现他华而不实，有的人学习成绩顶呱呱，却恃才傲物、颐指气使。如果只进行有限的小范围个别交往，难免会“只见树木，不见森林“，对异性的了解不但有限，可能还失之偏颇。所以，利用每一次集体活动的机会，有意识地在更广阔的人际范围内进行交往，是我们十分需要的。

来源：http://www.53773.com/

JQUERY实现背景图渐显（淡入淡出）

Fri, 01 Jan 2010 16:31:29 +0000

普通的CSS Hover最多就换一下背景图，不是很好看~我们利用jquery给它加上一些淡入的效果~ 在这里看到这个例子，我想我还是自己练习一下吧·~效果可以看http://dragoninteractive.com/网站~，挺帅的~

实现原理

通过一个两张不同的图片，两个不同的层重叠在一起，顶层暂时透明，当鼠标移上去时，顶层由透明变成不透明，鼠标离开反之。

准备工作

用PS做一张图~如下图，注意记下高度是多少。我这张图的高度是两个40px的图下面写代码
html结构：

fatkun.com

css代码：

#logo{
margin:0 auto;
position:relative;/*相对定位,为了下面hover的绝对定位*/
background:url(fatkun.png) left top no-repeat;/*设置背景图*/
width:150px;
height:40px;/*注意这里高度*/
display:block;
text-indent:-9999px;
}
#logo .hover{/*为JQ准备*/
background:url(fatkun.png) left bottom no-repeat;/*background-position和上面不同*/
position:absolute;/*为了使两张图片重叠在一起*/
top:0;
left:0;
height:40px;
width:150px;
}

最后最重要的JQuery代码出现了

我做的例子在这里：http://fatkun.com/demo/jquery-animate-background/ 到学期末了~~考试就要来了~更新减缓·~2010，祝各位朋友新年快乐。