スクレイピング– scraping –

営業・テレアポ用リストやWebサイトデータなど、多くの業務でデータ収集が基本になります。 ただ、データ収集といっても様々な手段があるため、業務で多用するアプリケーションやシステムを利用したいです。 本記事では、ビジネスで最も身近に利用されるGo...

Seleniumは、ChromeやEdgeなどのブラウザを自動的に操作するライブラリです。 利用用途として、WebサイトやWebアプリケーションの単体テスト、Webスクレイピングによるデータ収集に使われます。 また、Seleniumライブラリで制御するのがWebdriverになりま...

BeautifulSoup4（bs4）は、Pythonによるスクレイピング技術で多用されるHTML/XML解析用ライブラリです。 ネット上で様々なデータが存在しますが、基本的にサイト内で表示される情報はHTML構造を持つデータになります。 上記のデータを解析することで特定デ...

Pythonで利用されるHTTPライブラリのrequestsに関する解説になります。 以下の内容をまとめています。 本記事のまとめ requestsモジュールとは何か requestsとSeleniumの違い requestsのインストール requestsの使い方 requests.get()の引数の使い方 respo...

Webスクレイピングを実施する中で、画像データに関する収集・保存するケースがあります。 本記事では、画像データ収集・保存を実施するWebスクレイピングについて解説します。 本記事のまとめ Webスクレイピングとは requests&BeautifulSoupによる画像...

Webスクレイピングを実施する中で、利用するべきライブラリの選定が必要になります。 また、サイトごとに使い分けの必要性があり、どれを使うべきか悩むケースも少なくありません。 本記事では、サイトの特徴に合わせてスクレイピングに利用するライブラリ...

Webスクレイピングを実施する中で、データ収集可能か不可能か判断する場面があります。 また、スクレイピング実施がOKなサイトなのか、禁止されているサイトなのかも含めて解説します。 本記事のまとめ Webスクレイピングとは Webスクレイピングとクローリ...

ランサーズ等のクラウドソーシングサイトでExcelファイルを利用したデータ操作関連の案件があります。 Excel内の各シートに記載されたデータをもとに、重複削除やシート結合を実施するものです。 本記事では、以下の内容を徹底解説します。 本記事のまとめ...

ランサーズ等のクラウドソーシングサイトでよく見かけるスクレイピング案件があります。 スクレイピング案件と言っても、膨大なサイト数であるため、適宜対象サイトに沿ったスクレイピングプログラムを作成する必要があります。 本記事では、以下の内容を...

Googleマップを利用して企業・店舗情報を取得したい場面が案件によって発生します。 本記事では、ランサーズ案件にてGoogleマップ検索結果の情報収集を依頼されたため備忘録として記載します。 本記事のまとめ Googleマップのスクレイピング方法 Selenium...