第1章 Python環境配置
Python語言使用範圍很廣,。尤其是對網路的大力支援,使得Python用於網路程式設計具有很大的優勢,這也是為什麼要用Python寫網路爬蟲的原因之一。
第2章 Python基礎
本章簡略講解Python的基礎,介紹Python與其他程式設計語言的不同之處。
第3章 簡單的Python腳本
本章的幾個Python小程式都比較簡單。學習Python最快的方法就是多寫程式,用程式解決實際問題。Python並不複雜,多寫、多做、多練,很快就能掌握。
第4章 Python爬蟲常用模組
Python最強大的方面就展現在它那近乎無限的模組庫上。本章將只講解與網路爬蟲有關的常用模組。
第5章 Scrapy爬蟲框架
本章詳細介紹Scrapy爬蟲框架的使用,由易到難示範了Scrapy爬蟲爬取網頁的過程,並透過爬蟲與反爬蟲的攻守過程,讓讀者一窺Scrapy中介軟體的使用方法。
第6章 Beautiful Soup爬蟲
上一章節講解了Python的爬蟲框架Scrapy。本章將詳細講解另一個Python爬蟲Beautiful Soup。與Scrapy不同的是Beautiful Soup並不是一個框架,而是一個模組。因此,Beautiful Soup不能再做填空題了,只能從頭到尾的寫作文了。
第7章 Mechanize模擬瀏覽器
Mechanize不是爬蟲,它不是得到爬蟲結果的充要條件,但在某些時候比爬蟲更加重要。畢竟爬蟲過濾的來源資料要靠Mechanize來取得。大多數時候的確可以用別的模組來替代Mechanize,這樣一來過程就未免有些複雜了。雖然爬蟲程式追求的只是結果,過程是否繁雜對結果沒有影響,但能用簡單的模組解決問題就沒必要用複雜的方法。
第8章 Selenium模擬瀏覽器
Python網路爬蟲中最麻煩的不是那些需要登錄才能取得資料的網站,而是那些透過JavaScript取得資料的網站。Python對JavaScript的支援不太好。想用Python取得網站中JavaScript返回的資料,唯一的方法就是模擬瀏覽器了。所以這裡需要一款可以模擬真實瀏覽器的模組—Selenium模組。