IT培训网 - IT职场人学IT技术上IT培训网
Python爬虫工程师面试常见题
时间:2018-06-25 14:08:00 来源:电脑培训网 作者:IT培训网 已有:名学员访问该课程
Python语言风声水起,python爬虫的重视引起了广泛关注,成为时下热议话题,在Python工程师面试中时常会被问及到此类的问题,那么Python爬虫工程师面试题怎么样呢?如何才能成在面试中对答如流呢?这是很多面试者经常问到的问题。下面小编给大家分享一些有关Python爬虫的面试题,希望对大家有所帮助。
Python爬虫工程师面试题有哪些?
一.项目问题:
一般面试官的第一个问题八成都是问一下以前做过的项目,所以最好准备两个自己最近写的有些技术含量的项目,当然一定要自己亲手写过的,在别的地方看的源码,就算看的再清楚,总归没有自己敲的了解的多。以下是抽出的几点:
1.你写爬虫的时候都遇到过什么反爬虫措施,你是怎么解决的
2.用的什么框架,为什么选择这个框架(我用的是scrapy框架,所以下面的问题也是针对scrapy)
二.框架问题(scrapy)可能会根据你说的框架问不同的问题,但是scrapy还是比较多的
1.scrapy的基本结构(五个部分都是什么,请求发出去的整个流程)
2.scrapy的去重原理 (指纹去重到底是什么原理)
3.scrapy中间件有几种类,你用过那些中间件,
4.scrapy中间件再哪里起的作用(面向切面编程)
三.代理问题
1.为什么会用到代理
2.代理怎么使用(具体代码,请求在什么时候添加的代理)
3.代理失效了怎么处理
四.验证码处理
1.登陆验证码处理
2.爬取速度过快出现的验证码处理
3.如何用机器识别验证码
五.模拟登陆问题
1.模拟登陆流程
2.cookie如何处理
3.如何处理网站传参加密的情况
六.分布式
1.分布式原理
2.分布式如何判断爬虫已经停止了
3.分布式去重原理
七.数据存储和数据库问题
1.关系型数据库和非关系型数据库的区别
2.爬下来数据你会选择什么存储方式,为什么
3.各种数据库支持的数据类型,和特点,比如:redis如何实现持久化,mongodb
是否支持事物等。。
八.python基础问题
基础问题非常多,但是因为爬虫性质,还是有些问的比较多的,下面是总结
1.python2和python3的区别,如何实现python2代码迁移到python3环境
2.python2和python3的编码方式有什么差别(工作中发现编码问题还是挺让人不爽的)
3.迭代器,生成器,装饰器
4.python的数据类型
九.协议问题
爬虫从网页上拿数据肯定需要模拟网络通信的协议
1.http协议,请求由什么组成,每个字段分别有什么用,https和http有什么差距
2.证书问题
3.TCP,UDP各种相关问题
十.数据提取问题
1.主要使用什么样的结构化数据提取方式,可能会写一两个例子
2.正则的使用
3.动态加载的数据如何提取
4.json数据如何提取
十二.算法问题
这个比较考验代码功力,大部分会让你写出时间复杂度比较低的算法。小伙伴们要善用python的数据类型,对python的数据结构深入了解。
以上十二项问题,是有关Python爬虫工程师面试题的最有效的总结与汇总,希望对大家有所帮助,对此感兴趣的小朋友们,赶快收藏吧!
每期开班座位有限.0元试听抢座开始!
温馨提示 : 请保持手机畅通,咨询老师为您
提供专属一对一报名服务。