如何限制爬虫的访问

[aspnmy]

只设置rebot文件，和设置访问密码，就可以限制了吗，还需要做其他限制，基于v4.1.0-aio的docker搭建

[jyxjjj]

目前全球没有任何优秀方案可以在限制爬虫的同时保留正常访客。
即使是拉黑所有已知IP地址也会存在遗漏。建议使用白名单机制，客户端IP地址限定在局域网或指定IP地址。（通过云安全组、防火墙、Nginx GEOIP Module）
或使用CloudFlare Zero Trust。（其实爬虫只要有账户可以登录CFZT则也可以正常爬取。）

[aspnmy]

能不能对游客限制下载速度

[jyxjjj]

能不能对游客限制下载速度

暂请自行通过Cookie等信息走Nginx设置。
由于OpenResty LUA模块的滞后性和不稳定性，建议使用NJS实现该功能。