読者です 読者をやめる 読者になる 読者になる

Code Lab

CakePHP/Python/Swiftを勉強中... 好きなことで生きて行く!

クローリング、スクレイピングとは

f:id:natuta:20170208000121p:plain
クローリングをスクレイピング、会社で得意な人がいるので僕はその辺の仕事は来ません。
なので、「クローリングってなに?」「スクレイピングってなに?」っていわれても答えることができませんでした。
ただ、機会学習を勉強する時に必要になったので、備忘録としてまとめておきます。

クローリングとスクレイピング

クローリング (Crawling)

プログラムが定期的にサイトを巡回して情報をダウンロードすること。
Googleクローラーって言われるのがこれですね!
定期的に巡回することで、最新のデータを取得できているということですね。

スクレイピング

スクレイピングとはネット上から任意の情報を取得する技術のことを指す。
web上には広告など不要な情報もたくさんあるので、スクレイピングには構造の解析することも含まれている。

これで、簡単な違いは把握できたと思う。