PHP采集利器-Snoopy

8

Snoopy是什么? (下载snoopy
Snoopy是一个php类,用来模仿web浏览器的功能,它能完成获取网页内容和发送表单的任务。
Snoopy的一些特点:
* 方便抓取网页的内容
* 方便抓取网页的文本内容 (去除HTML标签)
* 方便抓取网页的链接
* 支持代理主机
* 支持基本的用户名/密码验证
* 支持设置 user_agent, referer(来路), cookies 和 header content(头文件)
* 支持浏览器转向,并能控制转向深度
* 能把网页中的链接扩展成高质量的url(默认)
* 方便提交数据并且获取返回值
* 支持跟踪HTML框架(v0.92增加)
* 支持再转向的时候传递cookies (v0.92增加)

获取指定url内容

1
2
3
4
5
6
7
8
$url = "https://xiumu.org";    
include("snoopy.php");
$snoopy = new Snoopy;
$snoopy->fetch($url); //获取所有内容
echo $snoopy->results; //显示结果
$snoopy->fetchtext //获取文本内容(去掉html代码)
$snoopy->fetchlinks //获取链接
$snoopy->fetchform //获取表单

表单提交

1
2
3
4
5
6
7
$formvars["username"] = "admin";
$formvars["pwd"] = "admin";
$action = "https://xiumu.org";//表单提交地址
$snoopy->submit($action,$formvars);//$formvars为提交的数组 
echo $snoopy->results; //获取表单提交后的 返回的结果  
$snoopy->submittext; //提交后只返回 去除html的 文本
$snoopy->submitlinks;//提交后只返回 链接

伪装

1
2
3
4
5
6
7
8
9
10
11
12
$formvars["username"] = "admin";    
$formvars["pwd"] = "admin";    
$action = "https://xiumu.org";    
include "snoopy.php";    
$snoopy = new Snoopy;    
$snoopy->cookies["PHPSESSID"] = 'fc106b1918bd522cc863f36890e6fff7'; //伪装sessionid    
$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)"; //伪装浏览器    
$snoopy->referer = "https://xiumu.org"; //伪装来源页地址 http_referer    
$snoopy->rawheaders["Pragma"] = "no-cache"; //cache 的http头信息    
$snoopy->rawheaders["X_FORWARDED_FOR"] = "127.0.0.101"; //伪装ip    
$snoopy->submit($action,$formvars);    
echo $snoopy->results;

原文来源:博客园

共 8 条评论

  1. 回复

    这个如何使用?

    • 回复

      文章不是写了

  2. 回复

    不错的文章,介绍得很详细!

  3. 回复

    来关注一下,好棒的文章,支持了…

  4. 回复

    明天又要上班了,晚上来博主博客看看~!

  5. 回复

    可以模拟登陆吗?

    • 回复

      可以的,一般的验证都可以过。

  6. 回复

    采集比较适合新闻

回复 AVENT X

您的邮箱不会公开,当您的评论有新的回复时,会通过您填写的邮箱向您发送评论内容。 必填字段 *

为何看不到我发布的评论?

正在提交, 请稍候...