grobotstxt:grobotstxt是Google robots.txt解析器和匹配器库的本地Go端口 源码

grobotstxt grobotstxt是Matcher 的本地Go端口。 直接功能转换/端口 保留原始库的所有行为 全部100%的原始测试套件功能 特定于语言的次要清理 添加了一个帮助程序来提取站点地图URI 超级简单的API 根据Google的原始库,我们为网站管理员提供了一个小型的独立二进制可执行文件,该文件允许针对robots.txt测试单个URL和用户代理。 我们的称为icanhasrobot ,其输入和输出与原始工具兼容。 关于 从Google的robots.txt解析器和匹配器存储库中引用自述文件: 机器人排除协议(REP)是一种标准,使网站所有者可以通过具有特定语法的简单文本文件来控制自动客户端(即搜寻器)可以访问哪些URL。 它是众所周知的互联网的基本组成部分之一,也是使搜索引擎能够运行的基础。 由于REP在过去25年中只是事实上的标准,因此不同的实现者对r