采集第一步工作是设置目标网站的采集规则
先确定采集哪一个目标网站,我们用 腾讯科技频道为例:
http://tech.qq.com/all/newtech.htm
一、列表采集规则
1、设置采集规则和编码
网页编码是目标网站的编码,如果编码选择不当,可能出现乱码
2、设置标题规则
这时候需要查看页面源代码,找到标题相关的字符,如下图:
我们找到标题在Q-tpListInner的div下面的h3标签里面的a标签里面,那么,我们就可以这样写:
3、设置地址规则
采集完标题之后需要采集这个标题对应的内容地址,这时候需要查看页面源代码,找到URL相关的字符,如下图:
和上面的方法类似,采集插件可以自动识别a标签中的地址,这里只需要指明a标签的级别关系即可,写法是:
4、列表地址补全
如果在(3中)只采集了相对地址,例如/news/123.html,这种不完整的地址时,那么就要用到补全,填写前半部分域名,组合成一个完整的内容地址。
如果已经采集是完整的地址就不需要补全设置。
5、测试采集列表
测试上面的规则是否正确采集,如下图示:
这种就表示采集成功了,本业数据采集完成。
二、内容采集规则
1、添加数据项
就是需要采集的字段,采集哪些内容,一般采集有,标题,内容,图片等等,需要多个字段,就在这里添加选项
2、标签名设置
表示这个数据项的名字,随便命名
3、内容选择器设置
采集这个数据项的内容规则,比如目标站内容是:
http://tech.qq.com/a/20160619/012575.htm
要采集标题,就需要找到标题的位置:
图中看出,在.hd类中的h1标签中,那么就可以这样写:
4、过滤字符设置
如果采集内容出现不想要的文字,可以设置过滤的文本,一行一个:
5、补全图片链接设置
当内容中含有图片相对路径时,可以设置补全地址,组合成一个完整的路径
6、内容格式化函数设置(需要开发经验)
采集器默认采集内容格式是文本类型,如果你要采集入库到多文件字段、复选字段、时间字段等非文本字段时,这里就需要使用格式化入库函数来格式入库