如何擷取 執行完後的網頁(爬蟲)

町風
我用curl擷取網頁資料,但只能是網頁原始檔,而不是像瀏覽器解析完後(如js)的網頁,有辦法擷取像瀏覽器解析後的網頁嗎?
迷路
不了解你的意思
解析後的網頁?是要直接顯示該網頁嗎?
那就用iframe?
町風
就是用curl所讀到的網頁是類似vue.js塞值
<div>{title}</div>

想要爬到的是塞完值後的內容
<div>標題</div>

迷路
如果要擷取的目標頁是同網域的網頁,或至少是你能寫js的頁面
或許、可能、Maybe還有方法可想
如果是外部頁面,基本上我不知道有簡單直接的方式可以達成
真的要做,我能想到的就是在PHP中完成瀏覽器對網頁原始碼的編譯功能
除非有寫好的函式庫可以直接引用,不然工程浩大到完全不敢想像
町風
所以是外部網頁用iframe嵌入進來,用js抓是不可行的囉
迷路
js在跨網域的情況下有安全性的限制
除非你能直接在外部網頁加上對應的js語法
不然是不可能,或是說這樣的行為在目前被視為安全風險
會被瀏覽器和防毒軟體一起妨礙
浩瀚星空
基本來說用curl很難,可以說是不可能做到。

只能用生成檔的方式來處理居多,工程非常的大。
原理是用一個可動作的類瀏覽器之類的來取得運行完成的頁面。
說很簡單,實際做起來並不太容易。
回到頂部