000_实时采集爬虫.jpg
debug-封面.jpg
invoke_log-封面.jpg
message-封面.jpg

微信号:smartcrawler_net

商品价格

0.01/每次

聚划算-实时采集API-版本:2021-07-01_01

多节点并发请求、超时熔断、多站点数据聚合,1秒内响应、定制开发

  • 位置:

    首页 > 实时采集爬虫 > 购物网站 > 聚划算-实时采集API

  • 发货说明:

    注册帐户充值后直接调用,每个爬虫可免费调用10次用于调试

  • 调试说明:

    请在下方选择相应的功能进行调试,使用HTTP协议调用

  • 功能名称:

  • 执行/数据价格/免费数据条数:

    ¥0.01/¥0.01/1

商品详情

聚划算-实时采集API

多节点并发请求、超时熔断、多站点数据聚合,1秒内响应、定制开发
作者:灵智爬虫 时间:2021-07-29 20:56:10

聚划算-实时采集API支持定制化开发,如果我们提供的现有服务无法满足您的需求,可以联系我们的客服,灵智爬虫将为您提供量身定制的产品。在与我们确认需求后,我们一般三个工作日内完成相应的产品开发与上线,最大限度的满足你的需求。

基本功能介绍

聚划算-实时采集API是在收到用户请求后,爬虫系统创建相应的采集任务,向相应的采集节点推送相应的任务,数据采集节点收到爬虫任务后;从资源池中获取相应的系统资源立即发起请求,向目标网站采集相应的数据,同时并发的启动数据清洗器,并依据相应的数据清洗规则清洗数据。在数据完成采集之后,向服务端返回相应的结果。为了保证能以最快的速度采集数据,系统将把采集任务向各个运营商的采集网络节点推送任务,同步发起网络请求。保证始终能使用到最优的网络节点,以最快的速度采集到相应的数据。

聚划算-实时采集API支持对html,json,pdf,xml,图片,csv,excel,word等各类数据进行提取、清洗操作。灵智爬虫将借助第三方的OCR服务,完成图片中文本数据的识别;并且为了提高识别的准确率,可以对图片进行相应的切割操作,根据不同的文本类型进行相应的识别。

计费规则说明

聚划算-实时采集API赠送10次免费调试次数,帮助用户完成爬虫的调试。实时采集爬虫调用之前,用户必须保证帐户有足够的余额,如果余额不足,接口调用无法成功。用户可以在用户中心,为自已的帐户进行相应的充值。

聚划算-实时采集API单次调用费用由以下部分组成:执行费用(包含免费的数据条数)+ 单条数据费用x数据条数(超出免费数据条数的数据量)。

产品特点说明

聚划算-实时采集API支持超时熔断,用户在请求接口时,可以指定超时熔断的时间,如果在指定时间内未返回结果的话,请求将会中断,将相应的错误码返回用户。防止用户长时间等待请求。

聚划算-实时采集API支持相应的数据缓存,用户在请求时,可以指定是否使用缓存与缓存的超时时间。

聚划算-实时采集API支持多网站的数据聚合,一次请求,可以将多个网站的结果聚合到一起,合并成更全面、完整的数据。

聚划算-实时采集API支持多种数据状态的采集,包括查询(表示数据未发生任何更改)、新增、删除、修改;修改状态支持字段值变化、新增字段、删除字段、字段数据类型变化(Schema变化)。以上的监控类型,仅支持JSON格式,目前爬虫返回的数据格式基本都是JSON。

聚划算-实时采集API请求参数说明

参数名 说明
userRisInvoke.userId 用户Id
userRisInvoke.risWpsId 爬虫编号
userRisInvoke.risRecordItemId 爬虫功能编号
userRisInvoke.timestamp 请求的时间戳
userRisInvoke.token HmacSha256算法,使用字段:userId,risWpsId,timestamp,traceId相拼接成的字符串,通过用户的key加密生成
userRisInvoke.traceId 请求的追踪编号,用于跟踪数据,使用uuid,不能重复,并去掉中杠【-】,所有的字母转换为大写。
userRisInvoke.extractTypes 提取的数据类型,支持:create(新数数据),query(查询数据),update(更新数据),delete(删除数据)
userRisInvoke.executeParameter 执行的参数,用户输入要查询数据的网址,多个网址之间用分号分隔
实时采集爬虫请求参数字段说明
在线DEBUG
在线调试
请求日志
请求日志
响应报文
响应报文
  • 微信客服

  • QQ客服

  • 微信客服

2020-2030 上海智殊商务咨询有限公司 版权所有

备案号 :沪ICP备16039378