【Python3】icrawlerを使って簡単に画像をスクレイピングする方法

2022年7月6日2022年7月27日

おはこんばんにちは、せなです。

今回は画像集めの際に便利なライブラリ、icrawlerを使用した画像のスクレイピング方法を説明したいと思います。

Contents

1. インストール
2. 基本的な使い方
3. 検索オプション付きの使い方
4. 最後に

インストール

pipとcondaどちらでもインストール可能です。
今回はpipでインストールしたいと思います。

pip install icrawler
or
conda install -c hellock icrawler

基本的な使い方

使い方はとても簡単です。
以下のコードを実行してみてください。

from icrawler.builtin import GoogleImageCrawler

google_crawler = GoogleImageCrawler(storage={'root_dir': '出力先ディレクトリパス'})
google_crawler.crawl(keyword='cat', max_num=10)

実行するとGoogle画像検索で「cat」と検索した際に出てくる画像をダウンロードしてくれます。
※下のイメージのようにダウンロードできた画像とできなかった画像も分かります。

取得された画像は以下のように保存されています。

本記はGoogle画像検索からスクレイピングを行なっていますが、

Baidu
Bing
Flickr

↑3つのサイトからも画像のスクレイピングを行うこともできます。

検索オプション付きの使い方

詳細な条件をつけてスクレイピングを行うこともできます。

下記は2022年1月1日から2022年6月30日までの期間で
商用利用可能な白い犬の画像をスクレイピングしています。

from icrawler.builtin import GoogleImageCrawler

google_crawler = GoogleImageCrawler(
    storage={'root_dir':'出力先ディレクトリパス'})
    filters = dict(
    type='photo',
    size='large',
    color='white',
    license='commercial,modify',
    date=((2022, 1, 1), (2022, 6, 30)))
google_crawler.crawl(keyword='dog', filters=filters, max_num=10)

オプションについては以下を参照してください。

type: 属性を指定
- “photo”: 写真
- “face”: 顔
- “clipart”: クリップアート
- “linedrawing”: 線画
- “animated”: アニメーション
color: 色を指定
- “color”: カラー
- “blackandwhite”: モノクロ
- “transparent”: 無色
- “red”: 赤
- “orange”: オレンジ
- “yellow”:黄色
- “green”: 緑
- “teal”: 青緑
- “blue”: 青
- “purple”: 紫
- “pink”ピンク
- “white”白
- “gray”: グレー
- “black”: 黒
- “brown”茶色
size: サイズ指定
- “large”
- “medium”
- “icon”
- “>640×480”: 任意のサイズ以上
- “=1024×768”: 指定サイズと等しい
license: 権利指定
- “noncommercial”: 商用利用不可
- “commercial”: 商用利用可
- “noncommercial,modify”: 変更を伴う商用利用不可
- “commercial,modify”: 変更を伴う商用利用可
date: 期間指定
- “pastday”: 過去1日
- “pastweek”: 過去1週間
- ((2022, 1, 1), (2022, 6, 1)): 任意期間の間
- ((2022, 1, 1), None): 任意期間から現在