crwlr/robots-txt
最新稳定版本：v1.1.2
Composer 安装命令：
composer require crwlr/robots-txt
包简介
Robots Exclusion Standard/Protocol Parser for Web Crawling/Scraping
关键字：
README 文档
README
Robots Exclusion Standard/Protocol Parser
for Web Crawling/Scraping
Use this library within crawler/scraper programs to parse robots.txt files and check if your crawler user-agent is allowed to load certain paths.
Documentation
You can find the documentation at crwlr.software.
Contributing
If you consider contributing something to this package, read the contribution guide (CONTRIBUTING.md).
统计信息
- 总下载量： 20.98k
- 月度下载量： 0
- 日度下载量： 0
- 收藏数： 10
- 点击次数： 1
- 依赖项目数： 1
- 推荐数： 0
其他信息
- 授权协议： MIT
- 更新时间： 2021-11-07