javascript - scrapy javascript分页href =＃

我正在使用scrapy＆splash从启用JavaScript的银行页面抓取促销优惠。

https://www.dbs.com.sg/personal/product-promotion-list.page?pct=Cards#

我面临的问题是其中的分页是使用javascript完成的，因此链接采用以下格式:

<a href="#">1</a>
<a href="#">2</a>
<a href="#">3</a>

href链接都隐藏在＃内。

当我进一步挖掘时，html代码中的分页功能是:

<script type="text/javascript">

    $(document).ready(function(){
    productList();
    });
    $('.pagination').on("click","a",checkClass);
    $('#filterSearch').on("click",searchTextChange);
    $('form').submit(function(e){
         e.preventDefault();
    });
    $("#Search").keyup(function(event){
        if(event.keyCode == 13){
            $("#filterSearch").click();
        }
    });

</script>

谁能帮我这个？任何帮助表示赞赏!谢谢。

最佳答案

通过单击每个分页(1、2或3)，使用POST从服务器请求以下URL:

https://www.dbs.com.sg/personal/product-promotion-list-child.page

具有以下已过帐的表单数据:
promotype=&start=1&pageNum=1&search=&type=promotion&pct=Cards(第1页)promotype=&start=2&pageNum=1&search=&type=promotion&pct=Cards(第2页)promotype=&start=3&pageNum=1&search=&type=promotion&pct=Cards(第3页)

如果您直接通过正确的页码访问此URL，该怎么办？该请求将返回带有所需促销列表的HTML。

Promotion

javascript - scrapy javascript分页href =＃