Python标准库urllib2伪装http_referer和user-agent访问

发表时间:2015-11-30 14:55 | 分类:Python | 浏览:634 次

前面博客介绍了python标准库urllib2的基本使用和linux系统curl命令伪装http_referer和user-agent访问,不懂的可以点击链接再看下。这篇文章继续以伪装为目的,不过完全使用urllib2来实现。步骤如下,先创建request对象,然后修改request对象以增加header信息,最后把request对象传递给urllib2的urlopen方法。

代码如下:

#coding:utf-8

import urllib2

def visitWebsite(url,timeout=60):
    req=urllib2.Request(url)
    req.add_header('Referer', 'http://www.sijitao.net/')
    req.add_header('User-Agent',"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36")
    
    try:
        response=urllib2.urlopen(req,timeout=timeout)
        print "Url: %s\t%s" % (url,response.getcode())
    except urllib2.URLError as e:
        if hasattr(e, 'code'):
            print "Url: %s\t%s" % (url,e.code)
        elif hasattr(e, 'reason'):
            print "Url: %s\t%s" % (url,'error')
    except:
        pass
    finally:
        if response:
            response.close()

if __name__ == '__main__':
    urls=[
        'http://www.baidu.com/',
        'http://www.qq.com/',
    ]
    for url in urls:
        visitWebsite(url)

这个伪装一般做网站采集可能会用到。好了,就是那么简单。

参考网址:http://www.sijitao.net/2249.html

本文标签:

本文链接:http://www.sijitao.net/2289.html

本文版权虫虫开源所有,欢迎您在本博客中留下评论,如需转载原创文章请注明出处,谢谢!

已经有2个回复
Comment (2)
Trackbacks (0)
  1. 大学问社区  ( 2015.12.2 15:25 ) : #-9

    :grin: 学习下!

    回复
  2. 工业铝型材  ( 2015.12.2 16:39 ) : #-8

    非常不错哦 耶? 大学问?怎么又看到你了。。。

    回复
  1. 还没有Trackbacks
icon_wink.gif icon_neutral.gif icon_mad.gif icon_twisted.gif icon_smile.gif icon_eek.gif icon_sad.gif icon_rolleyes.gif icon_razz.gif icon_redface.gif icon_surprised.gif icon_mrgreen.gif icon_lol.gif icon_idea.gif icon_biggrin.gif icon_evil.gif icon_cry.gif icon_cool.gif icon_arrow.gif icon_confused.gif icon_question.gif icon_exclaim.gif 

一键脚本 SSH攻击 IP查询 博客历程 留言本 文章归档 网站地图 谷歌地图
托管于阿里云&七牛云. 已加入博客联盟. 浙ICP备13025236号.
Copyright © 2010-2016 虫虫开源 All Rights Reserved.