Python 進階範例集：網際網路篇

http.server

Python 自帶 HTTP 通訊協定的網站伺服器能力，只要切換到想當網站的資料夾，執行1：

python -m http.server --bind 0.0.0.0 80

該資料夾就會掛載成網站伺服器，可在網頁瀏覽器輸入 127.0.0.1 或 192.168.x.x 之類的區域位址，以 HTTP 存取資料夾裡面的網頁和檔案。

若想指定資料夾為網站伺服器，可用 --directory 參數，隨後輸入完整路徑的資料夾名稱。

想寫 CGI 的話，可添加 --cgi 參數，並把 Python 原始碼放在 cgi-bin 或 htbin 資料夾裡面即可。

通常會將上述指令寫在批次檔，然後放在想當網站的資料夾裡面，直接雙擊滑鼠執行即可，比較方便。

要結束伺服系統，關閉該 python 處理程序即可。

有時候會發生啟動了 http.server，網頁卻連很久還連不進去的情況，請關閉 python 處理程序，重新啟動一次看看。

範例

假設我臨時想在 Windows 10 架個能執行 CGI 的網頁伺服器，為了方便還把網頁放在桌面。

[USER]\Desktop\index.html

<html> <body> <a href='cgi-bin/hello.py'>Say hello</a> </body> </html>

[USER]\Desktop\cgi-bin\hello.py

print('Content-type:text/html') print() print('<html>') print(' <body>') print(' <p>Hello, CGI!</p>') print(' </body>') print('</html>')

命令提示字元

Microsoft Windows [版本 10.0.17763.914]
(c) 2018 Microsoft Corporation. 著作權所有，並保留一切權利。

C:\Users\User>CD Desktop

C:\Users\User\Desktop>python -m http.server --bind 0.0.0.0 80 --cgi
Serving HTTP on 0.0.0.0 port 80 (http://0.0.0.0:80/) ...

網頁瀏覽器

index.html

hello.py

cgitb

載入 cgitb 模組，執行 cgitb.enable() 的話，會追蹤程式錯誤訊息，在發生錯誤時以網頁顯示追蹤結果，方便開發人員除錯。

不想直接顯示錯誤訊息，可以改為 cgitb.enable(display=0, logdir='../logs')，將錯誤訊息保存在伺服器的 logs 資料夾中。

cgi

cgi 模組提供剖析連線狀態和網頁內容的功能，方便 Python 程式設計師開發 CGI 程式。

接收 GET 或 POST 資料

form.html

cgi-bin/request.py

import cgi form = cgi.FieldStorage() print() print(form.getvalue('field'))

urllib.urlparse, urllib.urlunparse

設計 CGI 時，有些資訊就在網址裡，能快速有效的剖析出資料會很有幫助。

反過來，如何將資料組成網址，將資訊傳出去，也是很有用的技巧。

urllib.urlparse

from urllib.parse import urlparse parser = urlparse('http://serv.loc/chap/sect.htm?p=123#article') print(parser) print(parser.query)
ParseResult(scheme='http', netloc='serv.loc', path='/chap/sect.html', params='', query='p=123', fragment='article')
p=123

urllib.urlunparse

from urllib.parse import ParseResult, urlunparse url = urlunparse(ParseResult('scheme', 'netloc', 'path', 'params', 'query', 'fragment')) print(url)
scheme://netloc/path;params?query#fragment

http.cookies

cookie 是在 HTTP 的 header fields 傳輸，所以儲存資料要寫在 header fields 的部分，再透過 os 取得環境變數中的 HTTP_COOKIE，然後寫在 message body：

import os print('Set-Cookie:user=Twideem Civs') print('Set-Cookie:email=twideem@outlook.com') print() print(os.environ['HTTP_COOKIE'])
重新整理網頁，會顯示 email=twideem@outlook.com; user=Twideem Civs，對它進行剖析就能獲取資料。

不過上述工作可用 http.cookies 模組代勞，降低複雜度。

儲存 cookie

from http import cookies cookie = cookies.SimpleCookie() cookie['user'] = 'Twideem Civs' cookie['email'] = 'twideem@outlook.com' print(cookie) print()

讀取 cookie

from http import cookies import os cookie = cookies.SimpleCookie() cookie.load(os.environ['HTTP_COOKIE']) print() print(cookie['user'].value) print(cookie['email'].value)

codecs

在預設使用 ASCII 編碼系統的 Windows，Python 3 傳輸資料會用 Big5 字元編碼，所以在設定為 UTF-8 字元編碼的網頁會顯示亂碼。

寫上 #-*- coding: UTF-8 -*- 或 print('Content-Type: text/html; charset=utf-8') 是沒用的，因為並不是網頁沒使用 UTF-8 編碼，正是網頁使用 UTF-8 字元編碼，去顯示 Big5 字元編碼，所以才亂碼。問題出在程式未以 UTF-8 傳送資料，不是網頁的問題。

在網路上找到的解決方式是：

import codecs import sys sys.stdout = codecs.getwriter('utf8')(sys.stdout.buffer) print() print('<html>') print(' <head>') print(' <meta charset="utf-8">') print(' </head>') print(' <body>') print(' <p>哈囉！</p>') print(' </body>') print('</html>')
寫在另一個 *.py 檔，每次寫 CGI 再 import 就好。反正寫 CGI 一定會自己把功能重新打包成函式庫，放在裡面就好，並不麻煩。

smtplib, smtpd

smtplib 可以在客戶端寄發電子郵件，不過必須透過電子郵件服務供應商、或者電腦架為 SMTP 伺服器，否則程式跑起來正常，實際上電腦並未能把資料送出去。

smtpd 套件可以架設 SMTP 伺服器，其中模組 SMPTServer 需要實作 process_message() 才能動作，而模組 DebuggingServer 已實作好可直接調用，但不會寄發郵件，純粹測試客戶端的動作用。

透過服務供應商寄發電子郵件

根據服務供應商對資料傳輸安全的規定，各有不同做法，但大致上有 SMTP、TLS、SSL 三種。

底下示範的是 Gmail，必須在「具有帳戶存取權的應用程式」開啟「允許安全性較低的應用程式」，才能透過 Python 用 Gmail 寄發電子郵件。

SMTP

from email.mime.text import MIMEText from email.header import Header from smtplib import SMTP message = MIMEText('Hello!') message['Subject'] = Header('To Twideem Civs') message['To'] = Header('twideem@outlook.com') try: smtp = SMTP('smtp.gmail.com', 587) smtp.login('帳號@gmail.com', '密碼') # 請輸入自己 Gmail 的帳號密碼 smtp.sendmail('你的信箱', ['twideem@outlook.com'], message.as_string()) finally: smtp.quit() # 這個範例無法登入，因為 Google 規定至少要搭配 TLS，請看下一個範例。

TLS

from email.mime.text import MIMEText from email.header import Header from smtplib import SMTP message = MIMEText('Hello!') message['Subject'] = Header('To Twideem Civs') message['To'] = Header('twideem@outlook.com') try: smtp = SMTP('smtp.gmail.com', 587) smtp.starttls() smtp.login('帳號@gmail.com', '密碼') smtp.sendmail('你的信箱', ['twideem@outlook.com'], message.as_string()) finally: smtp.quit()

SSL

from email.mime.text import MIMEText from email.header import Header from smtplib import SMTP_SSL message = MIMEText('Hello!') message['Subject'] = Header('To Twideem Civs') message['To'] = Header('twideem@outlook.com') try: smtp = SMTP_SSL() smtp.connect('smtp.gmail.com', 465) smtp.login('帳號@gmail.com', '密碼') smtp.sendmail('你的信箱', ['twideem@outlook.com'], message.as_string()) finally: smtp.quit()

從本機端寄發電子郵件

如果你的作業系統已裝載電子郵件伺服器，可以更簡單寄發出去。沒有的話，Python 內建的 DebuggingServer，是一個測試用電子郵件伺服器，雖然沒辦法把郵件寄發出去，但能單機模擬郵件收發的動作。

server.py

from smtpd import DebuggingServer import asyncore server = DebuggingServer(('127.0.0.1', 25), None) asyncore.loop()

client.py

from email.mime.text import MIMEText from email.header import Header from smtplib import SMTP message = MIMEText('Hello!') message['Subject'] = Header('To Twideem Civs') message['To'] = Header('twideem@outlook.com') smtp = SMTP('localhost', 25) try: smtp.sendmail('', ['twideem@outlook.com'], message.as_string()) finally: smtp.quit()

output

---------- MESSAGE FOLLOWS ----------
mail options: ['SIZE=157']
b'Content-Type: text/plain; charset="us-ascii"'
b'MIME-Version: 1.0'
b'Content-Transfer-Encoding: 7bit'
b'Subject: To Twideem Civs'
b'To: twideem@outlook.com'
b'X-Peer: 127.0.0.1'
b''
b'Hello!'
------------ END MESSAGE ------------

webbrowser

import webbrowser # 呼叫網頁瀏覽器開啟網站 webbrowser.open('http://www.python.org')

urllib.request

直接透過網址取得網頁內容

Python 程式可以直接透過網址請求資料，讓你不用透過網頁瀏覽器，也能取得網頁內容。

http://127.0.0.1/homepage.html

<html> <head> <title>HOME PAGE</title> </head> <body> <p>WELCOME</p> </body> </html>

sample1.py

from urllib import request response = request.urlopen('http://127.0.0.1/homepage.html') print(response.getheaders()) # 取得 HTTP 的 header 資訊 print(response.read()) # 取得 HTTP 的 content 內容 print(response.status) # 取得 HTTP 的連線狀態
[('Server', 'SimpleHTTP/0.6 Python/3.6.5'), ('Date', 'Tue, 28 Mar 2018 12:34:56 GMT'), ('Content-type', 'text/html'), ('Content-Length', '164'), ('Last-Modified', 'Tue, 28 Mar 2018 12:34:56 GMT')]

b"<html>\n <head>\n <title>HOME PAGE</title>\n </head>\n <body>\n <p>WELCOME</p>\n </body>\n</html>"

200

sample2.py

from urllib import request response = request.urlopen('http://127.0.0.1/homepage.html') print(response.getheader('Content-type')) # 只取出指定 header 訊息 print(response.read().decode('utf-8')) # 將 content 轉為 UTF-8 字串
text/html

<html>
<head>
<title>HOME PAGE</title>
</head>
<body>
<p>WELCOM</p>
</body>
</html>

向 Web Service 送出 SOAP 請求

urllib.request 甚至可以送出 SOAP 向 Web Service 請求服務：

from urllib import request # 向 localhost 請求執行 getString('ABC', 123) soap = """<?xml version="1.0" encoding="utf-8"?> <soap:Envelope xmlns:soap="http://www.w3.org/2003/05/soap-envelope"> <soap:Body> <getString> <x>ABC</x> <y>123</y> </getString> </soap:Body> </soap:Envelope> """ result = request.Request('http://localhost', data=soap.encode('utf-8'), headers={'Content-Type':'text/xml'}) response = request.urlopen(result) print(response.read().decode('utf-8'))
得到的資料當然也是 SOAP，也就是一份 XML，可以自己再用 ElementTree 剖析出資料，在沒能安裝第三方模組時應急一下。

再看一個例子，這次向 http://fhy.wra.gov.tw 線上請求調出「氣象局雨量站基本資料」，然後剖析出所有雨量站的縣市：

# 請求調出氣象局雨量站基本資料 from urllib import request url = 'http://fhy.wra.gov.tw/dmchy/wra/webciacomponent/webservice/wraformalws.asmx?op=wsCwbRainStations' soap = """<?xml version="1.0" encoding="utf-8"?> <soap12:Envelope xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:soap12="http://www.w3.org/2003/05/soap-envelope"> <soap12:Body> <wsCwbRainStations xmlns="http://tempuri.org/" /> </soap12:Body> </soap12:Envelope> """ result = request.Request(url, data=soap.encode('utf-8'), headers={'Content-Type':'text/xml'}) # 列出這些雨量站的縣市 from xml.etree import ElementTree xml = ElementTree.parse(request.urlopen(result)) root = xml.getroot() for n in root[0][0][0][1].iter('ADDR_C'): print(n.text, end=' ')
臺中市和平區南投縣水里鄉南投縣集集鎮南投縣仁愛鄉雲林縣北港鎮高雄市旗山區屏東縣屏東市臺東縣鹿野鄉新北市石碇區新北市林口區新北市坪林區（……省略）

xmlrpc.server, xmlrpc.client

使用 XML 資料格式以及 HTTP 傳輸資料的遠端程式呼叫。

server.py

from xmlrpc.server import SimpleXMLRPCServer def procedure(x, y): return x + y server = SimpleXMLRPCServer(('localhost', 80)) server.register_function(procedure, 'procedure') server.serve_forever()

client.py

import xmlrpc.client server = xmlrpc.client.ServerProxy('http://localhost') print(server.procedure(123, 456))
579