原标题:网站抓取精灵火车采集器9最全术语解释
火车采集器是目前功能最全面的采集软件使用者只需稍加学习即可快速上手,这里是的操作术语解释
采集任务是火车采集器中对于数据采集和数据发布任务的完整配置,包含采集规则和发布模块
即我们对如何采集和采集什么的问题给出一些设置让采集器按照设置的规则来执行,这个设置可以从火车采集器里面导出保存为.ljobx文件 也可以再次导入火车采集器。
在火车采集器中发布模块是對“将已经采集到的数据发布到哪里”进行的设置。包括WEB在线发布模块和数据库发布模块其设置分别可以导出保存为.wpm文件 和.dbm文件,并可鉯再次导入火车采集器多次使用。
发布接口是一个小型的页面程序通常和WEB在线发布模块配合使用来满足用户的特定需求。即采集器将采集的数据发送到发布接口文件中接口文件得到数据,
并按照用户特定需求灵活地处理数据
是指用来提取某项内容信息的一个字段名芓,由用户在编辑规则的时候指定比如标题、手机号、邮件、作者,内容标签采集到的信息在发布模块中就可以通过
该标签名对应获取箌格式为[标签:标签名]如[标签:标题]。标签在火车采集器里面有分为两种:分别为列表页标签和内容页标签顾名思义列表页标签就是茬获取列表页时(即采网址时)就获取到内容信息,内容页标签是在获取内容页或多页内容时(采内容)才获取内容信息
注:通常还有┅种说法为 html标签,这里的标签是指一些html代码里面的属性标识符如:<a href里面的a标签,里面的font标签为html标签该术语在内容处理的html标签排除项出現。
在使用火车采集器时经常会遇到这个符号它是变量的通用符号,如果我们只需要知道这个变量的变化规律而不需要关心这个变量箌底是什么,这时就可使用这个 符号代替
用来匹配某项准备提取信息的标记标签,如想要在代码中提取组合出某种格式以从代码"mClk(this,'108484','134217', '168475','1');"中提取组合出新 的地址格式为例。"mClk(this,'[参数]','[参数]', '[参数]','1'); ",按照次序108484参数就是参数1,依次类推实际需要的地址为以下的地址格式:
用来获取下级链接哋址的入口网址,可以为一条或多条可以通过添加起始网址向导添加同格式多条网址或导入文本网址。如果没有定义多级网址的获取方法 这些地址即作为内容页网址进行内容采集。
依次根据列表里面的多级网址顺序采集分析地址通过依次采集分析到最后一级得到内容頁地址。多级网址的获取可以使用页面自动分析和手动获取的方法采集 下级网址在采集的过程中,可以同时采集列表分页及提取列表页附加参数
是在Http请求访问中记录您的用户信息即登录信息的一段用于与服务器进行交互的字符串。在浏览器中使用时通常还会以文本形式記录到您的IE缓存目录中, 以便下次在有效期内不用输入用户信息即可继续访问验证权限的网页
浏览器标识,是用来向服务器通知您使用的愙户端类型在某些需要登录的网页可能需要同时验证Cookie和User-Agent,所以需要您将其设置为与本机浏览器 同样的格式
列表或内容页面较长,分成哆个页面显示采集时需要将所有子页的内容组合起来,这样的子页面就是分页(列表分页或内容分页)
有些情况下,需要采集一个页媔对应的网址图片等内容时,需要另外打开一个新的页面才能采集到这些信息这些另外打开的页面则称为多页。
这样的字句指示此网頁的字符集编码是GB2312火车采集器对一般的网页可以做到自动识别,也罗列出了大部分的网页编码格式,可以直接在采集器中手动选择指定
是指网络中的代理服务器可以代理网络用户去取得所需要的网络信息。代理的功能有可以突破自身ip的访问限制访问国外站点访问一些单位或团体内部资源, 突破电信的ip封锁和隐藏真实的ip等
在火车采集器,插件是指可以对采集到的数据进行特定处理的一个外部程序编写恏插件后,采集器可以把数据传递给插件然后对数据进行处理, 再把数据传给采集器(可自行开发,也可联系客服定制)
在火车采集器计划任务管理器的设置中,可以设置完整的cron表达式来表示对任务的计划执行它是一个由6或7个子表达式组成的字符串。每一个表达 式玳表一个域每个域描述了一个单独的日程细节且每个域之间使用空格分隔,它由两种格式组成
(允许值为1-7或者SUN-SAT,允许的特殊符号- * / ? L C #)7.Year (optional field) 年(鈳选的域,允许值为留空或者允许的特殊符号,- * /)特殊字符含义:(1) * 表示该域的任意值如在Minutes域使用,即表示每分钟都会触发事件(2) ? 只能鼡在DayofMonth和DayofWeek两个域。实际上不会匹配域的任意值因为DayofMonth和DayofWeek会相互影响。如想在 每月的20日触发调度
不管20日是周几,则只能使用如下写法:13 13 15 20 * ?其Φ最后一位只能用?,而不能用如果使用*表示每月的20号15时13分13秒不管是周几都会触发,实际上不是的(3) – 表示范围,如在Minutes域中使用5-20表示5到20汾钟每分钟触发一次(4) / 表示起始时间开始触发,然后每隔固定时间触发一次如在Minutes域中使用5/20,表示从分钟数5开始每隔20分钟触发一次结果25,45,05等汾别触发一次。(5) 表示列出枚举值。如在Minutes域中使用5,20则表示5分钟和20分钟每分钟触发一次。(6) L 表示最后只能出现在DayofMonth和DayofWeek域。(7) W 表示有效工作日(周一到周五)只能出现在DayofMonth域中,系统将在离指定日期最近的有效工作日触发事件另外,W的最近寻找不会跨过月份(8) # 用于确定每个月第幾个星期几,只能出现在DayofMonth域中如4#2表示某月的第二个星期四。 完整的corn表达式如0 15 08 ? * MON-FRI 表示每周一到周五的早上8点15分开始定时更新数据
采集器在攵件夹DataLocoySpiderPageUrl下,该站点下的每一个任务都会生成一个独立或公用的网址库用来对比网址重复之用
浏览器打开网页时实际就是发送一个又一个Http請求,火车采集器也一样从指定的地址获取内容的过程就是发送Http请求,然后对根据请求得到的内容进行处理当浏览器向web服务器发送请求时,它向服务器传递了一个数据块也就是请求信息。Http请求信息由3部分组成:请求方法URI协议/版本请求头(Request Header)和请求正文。如下图:
而愙户就可以从请求的信息中得到有用的数据
初学者掌握以上术语后,搭配教程进行学习很快就可以灵活使用火车采集器9来实现网站的高效抓取。