
Log-Cutter 是JessMA開(kāi)源組織開(kāi)發(fā)的一個(gè)簡(jiǎn)單實(shí)用的日志切割清理工具。對(duì)于服務(wù)器的日常維護(hù)來(lái)說(shuō),日志清理是非常重要的事情,如果殘留日志過(guò)多則嚴(yán)重浪費(fèi)磁盤(pán)空間同時(shí)影響服務(wù)的性能。如果用手工方式進(jìn)行清理,會(huì)花費(fèi)太多時(shí)間,并且很多時(shí)候難以滿足實(shí)際要求。例如:如何在每個(gè)星期六凌晨3點(diǎn)把超過(guò) 2G 大的日志文件進(jìn)行切割,保留最新的 100M 日志記錄? 網(wǎng)上沒(méi)有發(fā)現(xiàn)能滿足本座要求的日志切割工具,因此花了一些閑暇時(shí)間自己寫(xiě)了一個(gè)。由于要在多個(gè)平臺(tái)上使用,為了方便采用 Java 實(shí)現(xiàn)。本工具命名為 Log-Cutter,主要有以下特點(diǎn):
- 支持 Linux、Mac 和 Windows 等所有常見(jiàn)操作系統(tǒng)平臺(tái)
- 支持命令行交互式運(yùn)行
- 支持后臺(tái)非交互式運(yùn)行(Linux/MAC 下使用 daemon 進(jìn)程實(shí)現(xiàn),Windows 用系統(tǒng) Service 實(shí)現(xiàn))
- 支持三種日志清理方式(刪除日志文件、切割日志文件或歸檔日志文件)
- 支持對(duì) GB18030、UTF-8、UTF-16LE、UTF-16BE 等常用日志文件類型進(jìn)行切割
- 高度可配置(程序執(zhí)行周期、要?jiǎng)h除的日志文件過(guò)期時(shí)間、要切割的日志文件閥值和保留大小等均可配置
- 使用方法:
**************************************************************
**** LogCutter - JessMA Open Source, all rights reserved. ****
**************************************************************

一、啟動(dòng)方式
--------------------------------------------------
1) Windows
A) 前臺(tái)運(yùn)行: > ./run.bat [ -f config-file ]
*** 注 ***
@ 啟動(dòng)前先配置好 run.bat 中的 ‘JAVA_HOME’ 和 ‘APP_PATH’ 環(huán)境變量
B) 后臺(tái)運(yùn)行: > LogCutter.exe {
-install-demand (安裝手動(dòng)啟動(dòng)服務(wù))
-install-auto (安裝自動(dòng)啟動(dòng)服務(wù))
-uninstall (刪除服務(wù))
-start (啟動(dòng)服務(wù))
-stop (停止服務(wù))
-status (查看服務(wù)狀態(tài))
}

*** 注 ***
@ LogCutter.exe 以 Windows 系統(tǒng)服務(wù)的方式運(yùn)行,安裝好后也可以通過(guò) Windows 服務(wù)管理器進(jìn)行管理
@ LogCutter.exe 是 32 位程序,LogCutter_x64.exe 是 64 位程序,根據(jù)需要使用其中之一
@ LogCutter.exe 依賴 JRE 1.6+, 因此必須在注冊(cè)表或環(huán)境變量中設(shè)置 %JAVA_HOME%

2) Linux / Unix
A) 前臺(tái)運(yùn)行: $ ./run.sh [ -f config-file ]
B) 后臺(tái)運(yùn)行: $ ./run.sh [ -f config-file ] -d

*** 注 ***
@ 啟動(dòng)前先配置好 run.sh 中的 ‘JAVA_HOME’ 和 ‘APP_PATH’ 環(huán)境變量
@ 可以把后臺(tái)運(yùn)行命令加入 /etc/rc.d/rc.local 文件中,從而設(shè)置為開(kāi)機(jī)時(shí)自動(dòng)運(yùn)行
--------------------------------------------------

二、配置文件
--------------------------------------------------
1) 程序配置文件: ./conf/config.xml (默認(rèn))
(示例參考:./conf/config-template.xml)
2) 日志配置文件: ./conf/log4j.properties (默認(rèn))
(示例請(qǐng)參考:./conf/log4j.properties)
--------------------------------------------------

三、環(huán)境要求
--------------------------------------------------
1) Java 版 本: JRE 1.6 以上
2) 依賴程序包: dom4j、log4j、ant、juniversalchardet
--------------------------------------------------
詳細(xì)說(shuō)明與使用方法參考:《操作指南》
- 配置文件
<?xml version="1.0" encoding="UTF-8"?>
<CONFIG xmlns="http://www.jessma.org"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.jessma.org http://www.jessma.org/schema/log-cutter-cfg-2.0.xsd">
<global>
<!-- 開(kāi)始日志檢查延時(shí) (小時(shí)), 默認(rèn): 0 (立刻開(kāi)始)
1) 當(dāng)指定為一個(gè)整數(shù)值時(shí),執(zhí)行器首次啟動(dòng)延時(shí)時(shí)間為該值設(shè)定的小時(shí)數(shù)
(例如:12 小時(shí)后首次啟動(dòng)執(zhí)行器)
<start-check-delay>12</start-check-delay>
2) 當(dāng)指定為一個(gè) ‘hh:mm’ 格式的值時(shí),執(zhí)行器首次啟動(dòng)時(shí)間為該時(shí)分值
(例如:12 點(diǎn) 34 分首次啟動(dòng)執(zhí)行器,如果當(dāng)前時(shí)間超過(guò) 12 點(diǎn) 34 分則在明天的 12 點(diǎn) 34 分首次啟動(dòng)執(zhí)行器)
<start-check-delay>12:34</start-check-delay>
-->
<!-- 02 點(diǎn) 30 分首次啟動(dòng)執(zhí)行器 -->
<start-check-delay>02:30</start-check-delay>
<!-- 日志檢查間隔 (小時(shí)), 默認(rèn): 72 -->
<check-interval></check-interval>
<!-- Log4J 配置文件, 默認(rèn): ${CLASS_ROOT}/../conf/log4j.properties -->
<log4j-config-file></log4j-config-file>
<!-- 進(jìn)程鎖文件, 默認(rèn): ${CLASS_ROOT}/../${APP_NAME}.lock -->
<lock-file></lock-file>
</global>
<!-- 要?jiǎng)h除的日志文件列表(可配置多個(gè),由 DelFileRunner 執(zhí)行)
1) DelFileRunner 會(huì)遞歸刪除符合條件的文件夾及其中的所有文件
2) 注意:在判斷是否刪除文件夾時(shí),檢測(cè)的是文件夾的最后修改時(shí)間,而不是其中文件的最后修改時(shí)間
3) DelFileRunner 適用于清理 “定期產(chǎn)生新日志文件” 的應(yīng)用程序日志
-->
<!-- delete-files.expire: 日志文件過(guò)期時(shí)間(天), 默認(rèn): 90 -->
<delete-files expire="30">
<!-- file.path: 文件所在目錄, 必須填寫(xiě), 不能包含通配符 -->
<!-- file: 文件或文件夾名稱, 必須填寫(xiě), 可包含通配符 -->
<file path="D:\LogCutter\logs">LogCutter.log*</file>
<file path="D:\hMailServer\Logs">*.log</file>
<file path="D:\Tomcat 6.0\logs">*.log</file>
</delete-files>
<delete-files expire="365">
<file path="E:\backup">*</file>
</delete-files>
<!-- 要截?cái)嗟娜罩疚募斜恚膳渲枚鄠€(gè),由 CutFileRunner 執(zhí)行)
1) CutFileRunner 只會(huì)掃描符合條件的文件,不會(huì)掃描文件夾
2) CutFileRunner 會(huì)截?cái)辔募那安績(jī)?nèi)容,保留后部?jī)?nèi)容
3) CutFileRunner 適用于清理 “日志文件不斷追加增長(zhǎng)” 的應(yīng)用程序日志
-->
<!-- cut-files.threshold: 日志文件截?cái)嚅y值(KB), 默認(rèn): 10240 -->
<!-- cut-files.reserve: 日志文件保留內(nèi)容(KB), 默認(rèn): 1024 -->
<!--
<!注!> 'cut-files.reserve' 是保留內(nèi)容的近似值, 實(shí)際內(nèi)容按行取整保留
如下列日志文件內(nèi)容:




line1: xxxxxxxxxxxxxxxxxxxxx
line2: xxxxxxxxxxPyyyyyyyyyy
line3: zzzzzzzzzzzzzzzzzzzzz
line4: zzzzzzzzzzzzzzzzzzzzz



(EOF)
'P'為定位得到的保留起點(diǎn), 程序?qū)嶋H會(huì)在'P'點(diǎn)開(kāi)始查找下一個(gè)換行符,
從該換行符的后一個(gè)字符開(kāi)始保留, 也就是從第三行開(kāi)始保留到文件末尾
-->
<cut-files threshold="10240" reserve="512">
<file path="D:\Apache-2.2\logs">*.log</file>
<file path="D:\MySQL Server 5.1\data">*.err</file>
</cut-files>
<!-- 要?dú)w檔的日志文件列表(可配置多個(gè),由 ArcFileRunner 執(zhí)行)
1) ArchiveFileRunner 把符合條件的文件或文件夾壓縮歸檔到指定目錄,并刪除原文件或文件夾
2) 歸檔文件格式:{原文件/文件夾名稱}_{系統(tǒng)時(shí)間}.zip
3) 注意:在判斷是否歸檔文件夾時(shí),檢測(cè)的是文件夾的最后修改時(shí)間,而不是其中文件的最后修改時(shí)間
4) ArchiveFileRunner 適用于清理 “定期產(chǎn)生新日志文件或日志目錄” 的應(yīng)用程序日志
-->
<!-- archive-files.expire: 日志文件過(guò)期時(shí)間(天), 默認(rèn): 90 -->
<!-- archive-files.archive-path: 日志文件歸檔目錄 -->
<archive-files expire="120" archive-path="E:\backup">
<file path="D:\MySQL Server 5.1\data">mysql-bin.*</file>
</archive-files>
</CONFIG>
1、增加文件歸檔執(zhí)行器 ArcFileRunner
1) ArcFileRunner 把符合條件的文件或文件夾壓縮歸檔到指定目錄,并刪除原文件或文件夾
2) 屬性 expire 指定歸檔到期時(shí)間,屬性 archive-path 指定歸檔目錄
3) 歸檔文件格式:{原文件/文件夾名稱}_{系統(tǒng)時(shí)間}.zip
(例如:下面的配置把最后修改時(shí)間超過(guò) 90 天的文件或文件夾歸檔到 ‘E:\backup’ 目錄)
<archive-files archive-path="E:\backup" expire=90>
<file path="X:\MyApp\logs">*</file>
<file path="X:\nginx-1.4.1\logs">*.log</file>
</archive-files>
2、支持多組文件清理策略
1) config.xml 可以配置多項(xiàng) <delete-files>、<cut-files> 或 <archive-files>
2) 不同的配置項(xiàng)可以使用不同的清理策略參數(shù)
(例如:下面配置的兩組歸檔清理策略中,分別指定不同的歸檔到期時(shí)間和歸檔目錄)
<archive-files archive-path="E:\backup" expire=90>
<file path="X:\MyApp\logs">*</file>
<file path="X:\nginx-1.4.1\logs">*.log</file>
</archive-files>
<archive-files archive-path="E:\backup2" expire=300>
<file path="X:\MyApp2\logs">*</file>
<file path="X:\Tomcat-6\logs">*.log</file>
</archive-files>
3、文件刪除執(zhí)行器 DelFileRunner 支持遞歸刪除文件夾
1) DelFileRunner 會(huì)遞歸刪除符合條件的文件夾及其中的所有文件
2) 注意:在判斷是否刪除文件夾時(shí),檢測(cè)的是文件夾的最后修改時(shí)間,而不是其中文件的最后修改時(shí)間
(例如:下面的配置會(huì)刪除 logs 目錄下所有最后修改時(shí)間超過(guò) 90 天的文件或文件夾)
<delete-files expire=90>
<file path="X:\MyApp\logs">*</file>
</delete-files>
4、執(zhí)行器首次啟動(dòng)延時(shí)配置 ‘<start-check-delay>’ 支持指定絕對(duì)時(shí)間
1) 當(dāng)指定為一個(gè)整數(shù)值時(shí),執(zhí)行器首次啟動(dòng)延時(shí)時(shí)間為該值設(shè)定的小時(shí)數(shù)
2) 當(dāng)指定為一個(gè) ‘hh:mm’ 格式的值時(shí),執(zhí)行器首次啟動(dòng)時(shí)間為該時(shí)分值
(例如)
<!-- 12 小時(shí)后首次啟動(dòng)執(zhí)行器 -->
<start-check-delay>12</start-check-delay>
<!-- 12 點(diǎn) 34 分首次啟動(dòng)執(zhí)行器,如果當(dāng)前時(shí)間超過(guò) 12 點(diǎn) 34 分則在明天的 12 點(diǎn) 34 分首次啟動(dòng)執(zhí)行器 -->
<start-check-delay>12:34</start-check-delay>
原文出處:怪獸的博客 怪獸的微博 怪獸樂(lè)園Q群