前往
大廳
主題

【Web / Python / Git】寫個Python爬蟲爬自己小屋的創作,然後自動更新到Github page (下)

%%鼠 拒收病婿 | 2021-07-26 17:17:01 | 巴幣 248 | 人氣 929

前言:
上一篇爬蟲文章中有講到github page來免費Host網站與巴哈阻擋ajax要求的問題。
因為我真ㄉ很懶得在github page另外寫文章,又希望有個自己的網頁,為了填充內容就乾脆寫個爬蟲把自己巴哈的文章搬過去,偏偏github page不能run後台腳本,不然就寫個定時執行就好了
退而求其次,至少把功能簡化到想到就點一下更新。

(爬蟲程式碼:連結)  還沒優化,應該判斷已抓過的就不抓了。


自動commit腳本 (連結):

其實只是把打在bash的指令改成字串陣列。
以下是可以改成自己的:
第3行 -
subprocess.run(["python","爬蟲腳本.py"], cwd="腳本所在的位址").stdout
stdout:查看輸出。

第4行 -
subprocess.run(["git","add","."], cwd=" (在.git的資料夾那層)執行的位址 ")
同在該位址開啟git bash輸入:git add .

語法:
git add <檔案名稱>
git add .                         (代表全部)

git init的時候會幫你創建.git的隱藏資料夾,沒找到的可以去"檢視"打開。


第5行 -
subprocess.run(["git","commit","-m","commit訊息"], cwd="(在.git的資料夾那層)執行的位址 ")
同在該位址執行 git commit -m "commit訊息"

第6行 -
subprocess.run(["git","push"], cwd=" (在.git的資料夾那層)執行的位址 ")
同在該位址執行 git push

之後點這個腳本 就會自動執行了

備註:
請選Python 3.8執行該腳本



後記:
我的github page還是醜醜的啦 ((純手刻ㄉ
之前研究過wordpress,不過要用自動爬蟲抓文章的話,大概要做個處理讓資料自動對應wordpress資料庫。
也有想過wordpress做個專門寫比較詳細的網站或未來當遊戲官網也不錯吼

github page就專門塞自己web研究的東西
送禮物贊助創作者 !
0
留言

創作回應

Ctrl+Shift+W
大佬
2021-07-26 17:21:41
%%鼠 拒收病婿
不佬[e15]
2021-07-26 18:20:07
蜥智(CizaHuang)
酷東西
2021-07-26 17:30:21
%%鼠 拒收病婿
cool~
2021-07-26 18:19:55
樂小呈
是說 github page 不會被 google 搜索到,你知道怎麼解決嗎[e15]
2021-07-26 18:03:48
%%鼠 拒收病婿
SEO,加上meta tag
https://gist.github.com/denzildoyle/31fe294065f606b4f612
http://zyzhang.github.io/blog/2012/09/03/blog-with-github-pages-and-jekyll-seo/
github有個jekyll插件好像在做這ㄍ
https://docs.github.com/en/pages/setting-up-a-github-pages-site-with-jekyll/about-github-pages-and-jekyll
2021-07-26 18:19:47
多古尼爾拉布拉布拉格
窩以前想過這件事情 但我一直沒做XDD
2021-07-26 18:17:29
%%鼠 拒收病婿
懶人想的都一樣 XD
2021-07-26 18:21:57
追蹤 創作集

作者相關創作

更多創作