![Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド](https://images-fe.ssl-images-amazon.com/images/I/81vnBYz+aSL._AC_UL160_SR160,160_.jpg)
私はWebサイトがどのように作られ、それがどのような仕組みで運営されているかもわからない初心者です。そのような初心者にとって、禁止されているクローリングがあり、相手のWebサーバーに負荷をかけないように礼儀をもってダウンロードするという記述には大変好感が持てました。
第一章：
URLのバラメータは末尾に「？」を書き、「(key)=(value)」の形式で、複数のパラメータは「&」でつなぐ。
PythonのパッケージはPython Package Index(PyPI)にまとめられ、pip3でインストールする。pip3はpipのpython3版である。
データのダウンロードにはurllibを使う。urlretrieve, lrlopen,urlencode等
BeautifulSoupはHTMLやXMLを解析するライブラリで、それ自体にダウンロードの機能はない。
DOM（Document Object Model)はXML,HTMLのもつ要素を取得するメカニズムのこと
について学ぶことができる。
第2章
HTTP通信とクッキーについての話から始まる。HTTP通信はWEBブラウザーとサーバーの要求と返答で構成される。これにクッキーを追加すると会員制サイトなどが可能となる。1つのクッキーのデータの大きさは4096バイトに制限されている。さらにセッションという仕組みを通してパスワードなどが管理される。
クッキーを利用してログインする方法、Webブラウザーを使ってログインする方法(JavaScriptを多用したWebサイトの場合)、APIを利用してデータをダウンロードする方法が紹介されている。また、APIを用いたデータのダウンロードがいくつか紹介されているが、日本は海外に比べて遅れているというイメージを受けた。
3章ではデータのフォマットの違いについて学ぶ。データのフォマットは「テキスト」と「バイナリー」形式に大きく分けられる。テキスト形式ではエディットができる代わりに容量が大きくなるという欠点がある。一方バイナリーデータはテキストエディターでの編集はできないが、容量が小さいというメリットがある。XML、JSON、YAML、CSV/TSVなどのWebフォマットはテキスト形式をベースにしている。画像データではバイナリー形式が主流であり、圧縮率の違いにより、JPEG、GIF、PNGというフォマットに分類される。次に得られたデータの保存方法について説明している。ここではオープンソースのMySQ、,MarinaDB。SQLite、NoSQL(TinyDB)について紹介している。これらのデータベースはテーブルからなり、それはさらに行と列からなるので、どれでも使い方は似ているので学びやすいと書かれている。特に本書ではSQLiteを勧めている。
4章以下では得られたデータの解析手法について説明している。4章は機械学習である。Scikit-learnライブラリを用いている。機械学習の応用分野としてはクラス分類、クラスタリング、推薦、回帰、次元削減などがある。XORを用いた分類、SVM(support vector machine)の仕組みとそれを用いた分類、ランダムフォレストの仕組みと使用、グリッドサーチ、クロスバリデーションによるデータ検証について説明している。
5章では深層学習をTensorFlowを用いて説明している。TensorFlowを触るのも怖いという人にとっては最適な説明である。
6章はテキスト解析を一通り説明した後にチャットポッドを作成している。形態素解析、ベイジアンフィルター、多層パーセプトロン(MPL)、n-gram、マルコフ連鎖、LSTM/RNNなどの手法を用いている。
無料のKindleアプリをダウンロードして、スマートフォン、タブレット、またはコンピューターで今すぐKindle本を読むことができます。Kindleデバイスは必要ありません。
ウェブ版Kindleなら、お使いのブラウザですぐにお読みいただけます。
携帯電話のカメラを使用する - 以下のコードをスキャンし、Kindleアプリをダウンロードしてください。
何か問題が発生しました。後で再度リクエストしてください。
よく一緒に購入されている商品
+
総額:
当社の価格を見るには、これら商品をカートに追加してください。
ポイントの合計:
pt
一緒に購入する商品を選択してください。
この商品をチェックした人はこんな商品もチェックしています
ページ 1 以下のうち 1 最初から観るページ 1 以下のうち 1
著者について
著者をフォローして、新作のアップデートや改善されたおすすめを入手してください。
