什麼語言都可以做爬蟲嗎 ?

日誌2020-05-24 17:45

什麼語言都可以做爬蟲嗎 ?

作者：Yotsuba

如同標題，什麼語言都可以做爬蟲嗎 ?

Yes，什麼語言都可以 !

既上一篇文章爬蟲需要知道的網路協定 HTTP 和 HTTPS 有提到

HTTP 是基於 TCP 之上，而 socket 又是 TCP / IP 的 API

也就是說你可以直接撰寫 HTTP 或 HTTPS 封包，這是沒有問題的

而 socket API 又是由作業系統提供，所以每個程式語言也都有對應的語法能用

既然每個語言都可以做爬蟲，那為何選 Python ?

要知道 Python 是一個套件很多的語言，而且語法親切

從處理最基本的 HTTP Request，就有 requests 可以處理

處理 HTML 和 CSS 的時候有 bs4

處理 JSON 的時候有 json

而且字串處理很輕鬆，不用像 C 語言那樣時時刻刻思考記憶體的管理

小弟我最近在學習 PHP，為了練習 PHP Coding 有做了一點爬蟲專案

詳細可以參考我的小屋創作 PHP Coding 練習

對於長期下來被 Python 寵壞的我，改寫 PHP 爬蟲的時候只思考一個問題 :

「PHP 要怎麼處理 HTTP Request 啊 ?」

於是就上 Packgist 網站上看哪個套件星星多就載哪個

然後默默的在終端機下達了指令 composer require rmccue/requests

我的爬蟲專案就順利靠這個套件寫完了

大家不要把爬蟲想得太難

我認為爬蟲只是「把你在意的資料爬取下來」而已

至於資料要存在資料庫還是檔案，或者資料要拿來幹嘛都是另一回事了

也就是說只要「該語言有套件能幫你處理 HTTP Request」就可以輕鬆寫爬蟲

~~真的沒有 HTTP Library 就直接用 socket 寫封包~~

最近邦邦免費抽到好幾張4~5星w

2020-05-24 18:16Ctrl+Shift+W：
真的什麼語言都可以？
2020-05-24 18:39Yotsuba：以目前熱門的高階語言來說都 ok，都有提供 HTTP 的方法

目前我想不到有什麼例外 ?

不過我還是鼓勵大家用 Python 做爬蟲
2020-05-24 18:54Ανια「阿緯」：
推推撰文辛苦了
2020-05-24 20:50Yotsuba：謝謝ㄋ
2020-05-24 21:21憂鬱肥宅：
沒錯什麼語言都可

以前沒python他們都用java 或是其他語言來撰寫

只是會隨著時間進行改變

說不定之後沒人用python寫爬蟲了
2020-05-24 21:27Yotsuba：是有這麼一個可能性

不過就以現階段，Python 還是挺適合做爬蟲的

加上我寫爬蟲選起手的時候也是 Python，就拿這語言來創作ㄌ !
2020-08-05 13:31專業邊緣人：
sql也是語言sql可以爬蟲嗎((
2020-08-05 13:44Yotsuba：Programming Language 可以

Structured Query Language 的話 ...
2021-08-18 17:04♙♲⚙＼~O_O~／⚙♲♙：
我本來想說haskell，結果他好像也有socket可以用

開啟 APP