ミラクシード株式会社は、企業リスト提供サービス「うちの新規開拓係 リスト担当」のために、企業の公式サイトを巡回しています。アクセスの記録の User-Agent に kigyodb-crawler が入っているものが、この巡回です。
巡回の目的
公開されている企業の情報を集め、企業を探す方が条件で絞り込めるようにするためです。集めた情報の扱いは、プライバシーポリシー に書いています。
取得するページ
- 企業の公式サイトのうち、会社の情報が載っているいくつかのページを取得します。
- 公式サイトかどうかを確かめる段階では、同じサイトに続けて十数回取りに行くことがあります。
- 画像や PDF は取得しません。フォームの送信やログインはしません。
頻度
- 同じサイトへは、ふつう数か月に1回取得します。確かめの途中や、取得に一時的に失敗した後は、1日〜数日おきに取り直すことがあります。
- 同じサイトへは一度に1つずつ、2秒以上の間をあけて取得します。
robots.txt の扱い
- robots.txt に従い、取得を断られているページは取得しません。
Crawl-delayの指定にも、60秒を上限として従います。60秒を超える指定のサイトでは、トップページだけを取得します。 - ただし、公式サイトかどうかを確かめるため、トップページは取得します。robots.txt が読めないときも、トップページだけを取得します。
- トップページも含めて巡回を止めたいときは、下の窓口からお知らせください。
巡回を止めてほしいとき
次のお問い合わせフォームから、サイトの URL を添えてお知らせください。確かめた後、そのサイトは巡回しません。
- お問い合わせフォーム
- https://miraqceed.com/contact/
- 運営者
- ミラクシード株式会社