| visor's profile寒江雪PhotosBlogLists | Help |
|
August 19 php的fsockopen 的问题 php的fsockopen 如果频繁打开关闭,而且量比较大的时候,会有问题, 这个比较罕见,因为这个量的起步价是10万次,一般来说,到了5,6万次左右的时候,linux会出现问题,症状是什么都打不开,感觉是句柄用完了,不过你即使添加了linux的最大句柄数,还是打不开,问了几个哥们,都说没碰见过,然后奇怪,你怎么用php写spider, 不亏是哥们,很是了解俺,也了解互联网,这种频繁的使用fsocketopen除了spider确实没有其他的应用,内行啊 俺当时实在是不好意思解释原因,俺开始用c写,发现很是麻烦,所有的事情,都要自己做,内存控制,进程控制,分拆页面,俺又是一个很懒的人,写了一半,放弃了。
还是php好,价格便宜,量又足,只是这个问题,估计是写php的人也没想,会有像俺这种人这么用吧,问题是怎么办,句柄加到了12万,可还是会有问题,据说是缓冲的问题,可能php没有释放缓冲,也可能是我没写好,懒的再查了。不能总抓了一半,然后重启服务器,查了一下,发现这个世界上,还是有很多像俺一样BT的人,而且他们有了很成熟的解决方案,CURL, 这个外挂模块
很高兴的下载了这个模块编译,怎么也编译不过去,俺ft, 俺再查,结果发现,CURL和俺这个4.3.1是编译不过的,有bug,要换一个高一点的版本就行了,又重新下php4.4.X,编译通过,开始抓东西,确实不错,很好用,高效,稳定,只是到了一定的时候,也就不能抓了,但等一会,还可以继续抓,于是在一个哥们的建议下,找了几个代理,轮流上,这个不行,换一个,总算是抓完了
但对被封的方式,很是感兴趣,不知道是怎么做到的,他只是封你这一台机器,公司其他的机器都属于一个ip上这个服务,按道理来说,要封了,其他的都上不了,可他就能做到,只封一个机器,这个实在是厉害。 |
|
|