Google 开源 robots.txt 解析器

Google 称过去 25 年 Robots Exclusion Protocol (REP)协议一直是一种约定的标准，给网站管理员人员和爬虫工具开发者带来了很多不确定性。Google 现在宣布它将率先致力于让 REP 成为一个行业标准，作为这个努力的一部分，它开源了自己使用的 robots.txt 解析器，源代码托管在 GitHub 上，采用 Apache License 2.0 许可证。robots.txt 解析器是一个 C++ 库，用于解析和匹配 robots.txt 文件中的规则，它已经有约 20 年历史了，包含了 1990 年代写的代码。

【编辑推荐】

1. 美创企演示新存储技术：16GB维基百科数据写入DNA
2. MongoDB：有人敢像我一样说出开源的真实用意吗？
3. 技术老鸟不能错过6月的这十篇热门文章
4. 揭秘程序员在「外包」、「技术导向型」和「业务驱动型」公司的日常生活
5. 技术无罪？AI直接“脱掉”女性的衣服_技术栈微信半月刊第44期

【责任编辑：张燕妮 TEL：（010）68476606】
点赞 0