当列表有分页时,启用分页后就可以采集到所有的分页列表数据。
网页分页有两种
普通分页:存在分页条,并显示有“下一页”按钮,点击后可以进入下一页,如之前的新浪新闻列表里的分页
瀑布流分页:网页滚动条拉到底部时会自动加载下一页内容
如果是普通分页,我们选择尝试自动设置或手动设置
自动设置分页
新建任务时默认是没有启用分页的,点击“不启用分页”,会弹出一个菜单,选择“自动识别分页”,如果识别成功,会弹出对话框提示“成功识别并设置了分页元素!”,并在网页“下一页”按钮上出现高亮的红色虚线框(部分网页按钮可能不会显示虚线框),至此成功启用自动分页
如果自动识别识别,会出现如下绿色提示框
手动设置分页
在菜单中选择“手动设置分页”
然后会自动出现“查找分页”按钮,点击后弹出菜单,选择“标记分页”
按提示向导点击“下一页”按钮
点击后会在网页“下一页”按钮上出现高亮的红色虚线框(部分网页按钮可能不会显示虚线框),至此成功标记了分页,如果要查看刚才设置的分页xpath,可以选择菜单中的“分页XPath”,即可看到该分页xpath,在这里也可以手动输入xpath进行设置。
瀑布流分页
有些网页需要将滚动条拉到底部才能进入下一页,例如今日头条、知乎等网站,在菜单中选择瀑布流分页即可启用该分页。使用瀑布流分页采集时,页面会自动滚动到底部,直到分页完成或达到指定的分页次数。
最大分页
指定最大分页次数,也就是切换分页的次数不会超过此数值。