求 Web Log 文件分析工具

yysun

我自己下了一个 Mach5 FastStats Analyzer, 功能相当好, 分析速度也很快.
但是它只能分析 MM-DD-YY, DD-MM-YY 的日期格式,
偏偏我的 Log 生成了 YY-MM-DD 的格式. 所以没招了.

请教各路大侠.

老土

具体情况不清楚,随便乱说.写个小程序预先处理一下log文件,把顺序调整.

yysun

自己写程序是可以, 既然自己读了文件, 分析不难, 干脆自己分析算了.

可是我只想要个现成工具.

老土

Maybe your right.

The Mach5 FastStats Analyzer has size of 1.1M, worth $100.

My Apache log file like this:

132.251.10.97 - - [07/Sep/2001:10:40:48 -0400] "GET /547c/logout.gif HTTP/1.1" 200 641
132.251.10.97 - - [07/Sep/2001:10:40:48 -0400] "GET /547c/pmimages/pmoff.gif HTTP/1.1" 200 132
....

I took 20 minutes write a small c in DOS, size only 8k.

Change the log as follows:

132.251.10.97 - - [2001/Sep/07:10:40:48 -0400] "GET /547c/logout.gif HTTP/1.1" 200 641
132.251.10.97 - - [2001/Sep/07:10:40:48 -0400] "GET /547c/pmimages/pmoff.gif HTTP/1.1" 200 132
...

From my point of view, it is worth.

yysun

I just can't believe that such a good tool (Mach5 FastStats Analyzer) could not handle the simplest date format YY-MM-DD.

my IIS's log format is:

2. 61.129.7.142, -, 01-8-1, 0:00:09, W3SVC1, NT4, 202.120.85.61, 0, 389, 209, 304, 0, GET, /delphibbs/listroom_1.xsl, -,
3. 210.117.67.216, -, 01-8-1, 0:00:18, W3SVC1, NT4, 202.120.85.61, 235, 457, 2790, 200, 0, GET, /delphibbs/dispq.asp, lid=586474,
4. ...

复制代码

ps. I didn't see any change above.

老土

--------------------------------------------
>ps. I didn't see any change above
--------------------------------------------
是说我上面的? 不是从 dd/mm/yyyy 变成 yyyy/mm/dd 了吗?(反过来也是一样可以啊).

Ok, Ok, I think you could try this:

Have a look in Winnt/System32, find a Convlog.exe, maybe help.

yysun

非常感谢您！老土。

我试了其他几个分析软件，感觉还是 Mach5 最好。看来只能用 convlog.exe 了。
可怜我每天的 log 大于 10M，要分析 1个多月。总数超过 300 M。

加国无忧

这个 Mach5 FastStats Analyzer 还真不错，有没有什么地方有详细介绍？自己研究帮助太累了点。

这样的话，还有没有必要使用流量统计系统？:confused:

加国无忧

不知为什么，这个日志分析得出的 average users per day 比我的流量统计（日唯一IP）高出4倍，不太可信，难道它的统计值不是唯一IP？

我不敢乐观，宁愿相信原来的统计。

yysun

可能 Mach5 的统计值不是唯一IP。
请问斑主使用的是哪个流量统计系统？

加国无忧

但用它的总计唯一IP地址除天数得到的值也是这个级别，为什么？


流量统计我用的是 Les Visiteurs - v2.0，一个PHP的小系统，不过很好用。如果不使用自己的，我觉得hitbox不错。

yysun

我感觉还是分析 log 比较好，log 文件真实记录了 web server 的输入输出。

用 Les Visiteurs 是否要在每个需要想统计的页面加上一句对 Les Visiteurs 函数的调用？

我觉得用 Les Visiteurs 之类的东西的弊端，一是增加服务器额外的负担(它得把每次访问的信息写入数据库)，二是信息可能不完整，有没有纪录静态文件，如图像的访问？有没有纪录黑客的试探活动？

hitbox 更不可靠，如果客户与 hitbox 之间的连接不通，就无法纪录这个客户的访问情况。

加国无忧

是呀，如果能很好的分析log文件，就不要那些流量统计为好，但为什么它的唯一IP就不对呢？

加国无忧

yysun，为什么不回答我？:confused:

yysun

您没有回答我的问题：
最初由[yysun]发布
用 Les Visiteurs 是否要在每个需要想统计的页面加上一句对 Les Visiteurs 函数的调用？

......有没有纪录静态文件，如图像的访问？有没有纪录黑客的试探活动？


如果，我猜的答案 -“是的，没有，没有”是正确的话，我可以解释您的唯一IP问题如下：

Les Visiteurs 可能没有记录这些：
/default.ida
/winnt/system32/cmd.exe
/msadc/..../..../..../winnt/system32/cmd.exe
/scripts/..../winnt/system32/cmd.exe
/msadc/..%5c../..%5c../..%5c../winnt/system32/cmd.exe

我的 log 显示，这些坏蛋勾当平均每天各两次以上。
还有显示 /robots.txt 平均每天 30 次。