0 && $edn < $lmax ) ? $edn: $lmax; $fmt = '%0'.strlen($edn).'d: '; for (; $stn<=$edn; $stn++ ) { $tstr = htmlspecialchars(mb_convert_encoding($lines[$stn-1],SOURCE_ENCODING,"auto")); $res .= ( $args[2] ? sprintf($fmt,$stn):'').refpre_replace_tab($tstr); } return '
'.$res.'
'; } ?> Python:URLLIBでプロキシ経由でページを取得 - HiiHahWIKI - making some notes for... -
トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS

Python:URLLIBでプロキシ経由でページを取得

Last-modified: 2013-08-24 (土) 02:14:21 (2281d)
Top / Python:URLLIBでプロキシ経由でページを取得

Python:URLLIBでプロキシ経由でページを取得

urllibをつかってプロキシ経由でページを取得します。

具体的には、ファイルリストよりキーワードを取得して、国立国会図書館サーチより検索結果のRSSを取得します。

サンプル実装

サンプルのソースは以下の通り。

filegetRss.py

#refpre(getRss.py,,1)

ループしてデータファイルよりデータを読み込み、RSSを取得するような実装です。

12行目
プロキシを設定したopenerを生成
14行目~
ループしてデータファイルよりデータを読み込み
15行目
1カラム目と2カラム目を分解
16行目
検索キーワードをurlエンコード
17,18行目、20,21行目
レスポンスタイム計測用の時間出力
19行目
openerのretrieveメソッドにより、実際にRSSを取得。
22行目
0.1秒スリープ

データファイルは、タブ区切りで1カラム目がキーワード、2カラム目がRSSを出力する際のファイル名です。

こんな感じです。

蟹工船    kanikousen
デザインパターン  designpattern
走れメロス  hashire

リンク


添付ファイル: filegetRss.py 935件 [詳細]