クローリング・スクレイピングシステム

IP分散や並列クローリングに対応し、今後のリクエスト増にも対応できる拡張性と高可用性を実現した。
また、参照先のサイトに過大な負荷をかけないようにするためのインターバル設定等にも対応。取得したデータは前回データと比較し、差異（更新）を検出できるようにした。
インフラにはAWSを使用し、今後のスケールアップ・スケールアウトも容易な構成とした。