日誌2020-08-22 20:38

Dcard API 2.0版本 爬蟲說明

前言

目前網路上能查詢到 Dcard 爬蟲的文章，幾乎都是使用 www.dcard.tw/_api/ 這個 API 來抓取。最近透過開發者工具到發現好像還有 2.0 版本的 API，不知是否近期才出來的。

整理

API 網址：https://www.dcard.tw/service/api/v2

說明	請求方法	路徑
全部文章	GET	/posts
看板資訊	GET	/forums
看板內文章列表	GET	/forums/{看板名稱}/posts
文章內文	GET	/posts/{文章ID}
文章內引用連結	GET	/posts/{文章ID}/links
文章內留言	GET	/posts/{文章ID}/comments

全部皆回傳 JSON 格式資料。

* 舊版的只有在 API 網址上不同，其餘的路徑、方法、回傳資料目前觀察起來都一模一樣。

舊版 API 網址：https://www.dcard.tw/_api

API 說明

完整的 API 說明請至我的部落格閱覽，

會有較佳的閱讀體驗~~~

<<< 爬蟲 Dcard API 2.0 版本？！ >>>

3

4

LINE 分享

相關創作

Yahoo 搜尋結果 API — DataForSEO 教學

如何使用 Gemini API？(附上 Python 範例程式)

如何使用 ChatGPT API？(附上 Python 範例程式)

留言

• 2021-01-15 10:56妖師：
  請問Dcard的api已經不能進行爬蟲了嗎?
  一般的網頁爬取好像也不行呢(https://www.dcard.tw/f)
  都會出現403error Q_Q
  https://github.com/DIYgod/RSSHub/issues/6697

  2021-01-15 20:28Jia：剛剛試過...確實一般的方式會被擋掉>< (回傳403)
  你可以將 r.text 儲存成 html 網頁檔查看。
  
  後來我是用 cloudscraper 套件解決(https://pypi.org/project/cloudscraper/)，
  雖然有時還是會沒辦法，不過重試幾次就行了
  (如果你有找到更好的辦法，一定要告訴我~

• 2021-01-19 14:32幹哥：
  我剛剛有試過樓主提供的cloudscraper確實可行
  想問問是Dcard做了怎樣的限制
  讓一般的requests無法順利爬蟲呢?
  P.S. 我有用selenium也可以順利爬到，不過比較慢QQ

  2021-01-19 22:57Jia：我將 requests 的結果存成 html 打開來看：
  https://imgur.com/a/e7qUOPB
  
  Dcard 應該是使用 Cloudflare 的服務(CDN)，
  可能最近有設定什麼、有發生什麼事，不知道
  然後它會擋掉我們 requests 的請求[e36]
  
  但用瀏覽器(包括Selenium)就可以順利顯示

• 2023-03-05 12:08markyu：
  樓主及各位大大好，我試過cloudscraper也還是會被403擋下
  請問大家是有帶什麼參數嗎？ 感謝QQ

  2023-03-05 13:58Jia：我寫 Dcard 爬蟲已經是 3 年前了XD 現在的情狀我也不太清楚，希望有遇到的人可以分享~

• 2023-10-02 15:59嗨呦噢：
  請問有人是用playwright去處理的嗎？
  或是selenium是怎麼通過cloudflare 人類測試的

  2023-10-03 22:11Jia：這我沒有試過，可能只能在網路上搜尋看看

• 送出