爬虫抓取问题

2013年6月05日 13:59

前几天把我经常看的一些视频和小说用Nokogiri抓了下，感觉Nokogiri还挺好用。不过刚放上去了一天，服务器的CPU和内存以及IO全部报警，最开始以为是代码写的有问题。逐行查了一遍，发现没问题。后来意识到可能是Whenever的抓取间隔时间太短了，初始设置为2分钟一次，当时写的时候，只抓一个网站，2分钟内完全能抓完，后来又加了几个网站，2分钟就抓不完了，结果就一直堵塞了。后来只能重启服务器，把时间间隔改为1小时抓一次，现在运行OK。

附三张VPS截图：

CPU

Network

Disk IO