如题,蓝天采集器要采集多层级的网页时,例如一些常见的模板站。模板站除了有列表页,详情介绍页,然后还有一个展示演示地址的DEMO页面,而DEMO页面里面又是框架调用了外部的链接。这种情况下如何使用蓝天集体器来采集呢?
其他的设置照常如采集普通网站一样设置,然后到内容起始页的时候我们这样来设置。如图:
首先,加多一个层级:

然后点开这个层级进行设置他的抓取列表内容。这里抓取的就是我们平时采集时的列表页,抓取有多少篇文章。

设置好之后,第二步:设置详情页中点击打开的DEMO网址获取地址。也就是详情页中的跳转地址。

列表设置就设置完了。现在是设置内容页。选择你想要获取的字段,可以从刚才的列表中获取,也可以说跳转后的内容页中获取。

设置完成,并保存,就可以进入采集发布了。是不是很简单呢?希望对您有所帮助。
第一步:robots.txt 配置User-agent:GPTBotDisallow:/User-agent:ClaudeBotDisallow:/User-agent:anthropic...
起因是客户的网站在产品详情页有很多图片,比淘宝详情页还多。然后PC端和手机端又是独立分开的,单PC端或者...
给一个客户做的网站,详情页中七八十张图片。所以需要处理加载过慢的问题。现在使用懒加载的方式来处理。&l...
最近发现一些网站在复制别的文章的时候,远程本地化图片的时候不能本地化。下面来说一下如何处理这个问题:...