爬虫面试题

一.项目问题:

    一般面试官的第一个问题八成都是问一下以前做过的项目,所以最好准备两个自己最近写的有些技术

含量的项目,当然一定要自己亲手写过的,在别的地方看的源码,就算看的再清楚,总归没有自己敲的

了解的多。以下是抽出的几点

1.你写爬虫的时候都遇到过什么反爬虫措施,你是怎么解决的?

  • 通过headers反爬虫:解决策略,伪造headers

  • 基于用户行为反爬虫:动态变化去爬取数据,模拟普通用户的行为

  • 通过动态更改代理ip来反爬虫

  • 基于动态页面的反爬虫:跟踪服务器发送的ajax请求,模拟ajax请求,selnium 和phtamjs

2.用的什么框架,为什么选择这个框架(我用的是scrapy框架,所以下面的问题也是针对scrapy)

   scrapy

  • 基于twisted异步io框架,是纯python实现的爬虫框架,性能是最大的优势
  • 可以加入request和beautifulsoup
  • 方便扩展,提供了很多内置功能
  • 内置的cssselector和xpath非常方便
  • 默认深度优先

   pyspider: 爬虫框架,基于PyQuery实现的 

   优势:  1. 可以实现高并发的爬取数据, 注意使用代理; 

             2. 提供了一个爬虫任务管理界面, 可以实现爬虫的停止,启动,调试,支持定时爬取任务;

             3. 代码简洁

   劣势: 1.可扩展性不强;

            2.整体上来说: 一些结构性很强的, 定制性不高, 不需要太多自定义功能时用pyspider即可, 一些定制性高的,需要自定义一   些  功能时则使用Scrapy

 

二.框架问题(scrapy)可能会根据你说的框架问不同的问题,但是scrapy还是比较多的

1.scrapy的基本结构(五个部分都是什么,请求发出去的整个流程)

 

 流程

1.引擎打开一个域名,蜘蛛处理这个域名,并让蜘蛛获取第一个爬取的URL。

2.引擎从蜘蛛那获取第一个需要爬取的URL,然后作为请求在调度中进行调度。

3.引擎从调度那获取接下来进行爬取的页面。

4.调度将下一个爬取的URL返回给引擎,引擎将他们通过下载中间件发送到下载器。

5.当网页被下载器下载完成以后,响应内容通过下载中间件被发送到引擎。

6.引擎收到下载器的响应并将它通过蜘蛛中间件发送到蜘蛛进行处理。

7.蜘蛛处理响应并返回爬取到的项目,然后给引擎发送新的请求。

8.引擎将抓取到的项目项目管道,并向调度发送请求。

系统重复第二步后面的操作,直到调度中没有请求,然后断开引擎与域之间的联系

2.scrapy的去重原理 (指纹去重到底是什么原理)

  • 需要将dont_filter设置为False开启去重,默认是False;
  • 对于每一个url的请求,调度器都会根据请求的相关信息加密得到一个指纹信息,并且将指纹信息和set()集合中得指纹信息进行比对,如果set()集合中已经存在这个数据,就不在将这个Request放入队列中。如果set()集合中没有,就将这个Request对象放入队列中,等待被调度。

3.scrapy中间件有几种类,你用过那些中间件,

scrapy的中间件理论上有三种(Schduler Middleware,Spider Middleware,Downloader Middleware),在应用上一般有以下两种

       1.爬虫中间件Spider Middleware

         主要功能是在爬虫运行过程中进行一些处理.

  2.下载器中间件Downloader Middleware

         主要功能在请求到网页后,页面被下载时进行一些处理.

4.scrapy中间件再哪里起的作用(面向切面编程)

 

 

三.代理问题

1.为什么会用到代理

一些网站会有相应的反爬虫措施,例如很多网站会检测某一段时间某个IP的访问次数,如果访问频率太快以至于看起来不像正常访客,它可能就会会禁止这个IP的访问。所以我们需要设置一些代理服务器,每隔一段时间换一个代理,就算IP被禁止,依然可以换个IP继续爬取。
 

2.代理怎么使用(具体代码,请求在什么时候添加的代理)

 

3.代理失效了怎么处理

 

四.验证码处理

1.登陆验证码处理

2.爬取速度过快出现的验证码处理

3.如何用机器识别验证码

五.模拟登陆问题

1.模拟登陆流程

2.cookie如何处理

3.如何处理网站传参加密的情况

六.分布式

1.什么是分布式

需要计算的数据量大,任务多,一台机器搞不定或者效率极低,需要多台机器共同协作(而不是孤立地各做各的,所以需要通信),最后所有机器完成的任务汇总在一起,完成大量任务.

将一个项目拷贝到多台电脑上,同时爬取数据

分布式爬虫则是将多台主机组合起来,共同完成一个爬取任务,这将大大提高爬取的效率。

记住爬虫的本质是网络请求和数据处理,如何稳定地访问网页拿到数据,如何精准地提取出高质量的数据才是核心问题。

 

2.分布式原理

 

 

3.分布式如何判断爬虫已经停止了

 

4.分布式去重原理

对于每一个url的请求,调度器都会根据请求得相关信息加密得到一个指纹信息,并且将指纹信息和set()集合中的指纹信息进行比对,如果set()集合中已经存在这个数据,就不在将这个Request放入队列中。如果set()集合中没有存在这个加密后的数据,就将这个Request对象放入队列中,等待被调度。

 

七.数据存储和数据库问题

1.关系型数据库和非关系型数据库的区别

2.爬下来数据你会选择什么存储方式,为什么

 

3.各种数据库支持的数据类型,和特点,比如:redis如何实现持久化,mongodb

是否支持事物等。。

八.python基础问题

# 基础问题非常多,但是因为爬虫性质,还是有些问的比较多的,下面是总结

1.python2和python3的区别,如何实现python2代码迁移到python3环境

2.python2和python3的编码方式有什么差别(工作中发现编码问题还是挺让人不爽的)

3.迭代器,生成器,装饰器

4.python的数据类型

  1. Number(数字)                  包括int,long,float,complex   
  2. String(字符串)                例如:hello,"hello",hello   
  3. List(列表)                    例如:[1,2,3],[1,2,3,[1,2,3],4]   
  4. Dictionary(字典)              例如:{1:"nihao",2:"hello"}   
  5. Tuple(元组)                   例如:(1,2,3,abc)  
  6. Bool(布尔)                    包括True、False 

九.协议问题

# 爬虫从网页上拿数据肯定需要模拟网络通信的协议

 1.http协议,请求由什么组成,每个字段分别有什么用,https和http有什么差距

2.证书问题

3.TCP,UDP各种相关问题

十.数据提取问题

1.主要使用什么样的结构化数据提取方式,可能会写一两个例子

2.正则的使用

3.动态加载的数据如何提取

    爬取动态页面目前来说有两种方法

  •     分析请求页面
  •     通过Selenium模拟浏览器获取(不推荐这种,太慢)

     分析很简单,我们只需要打开了浏览器F12开发者模式,获取它的js请求文件(除JS选项卡还有可能在XHR选项卡中,当然    也可以通过其它抓包工具

     我们打开第一财经网看看,发现无法获取元素的内容

    打开Network,看下它的请求,这里我们只看它的 j s 请求就够了, 找到json接口

    将它的url放到浏览器看下,发现是我们要的数据,就可以获取了

    一些网站所有的接口都进行了加密操作,我们无法解析js,就必须采用selenium+phantomjs进行获取

 

 

4.json数据如何提取

  • 使用eval解析
  • json.loads() 是把 Json格式字符串解码转换成Python对象,如果在json.loads的时候出错,要注意被解码的Json字符的编码
  • json.dumps() 是把json_obj 转换为json_str

十二.算法问题