<h3 class="header-vfC6AV auto-hide-last-sibling-br">一、请求频率控制</h3>
<ul class="auto-hide-last-sibling-br">
<li><strong>原理</strong>：
<ul class="auto-hide-last-sibling-br">
<li>正常用户的访问行为通常具有一定的时间间隔和频率，而非法爬虫为了快速抓取大量数据，会在短时间内频繁发起请求，这与正常用户的行为有显著差异。WAF 通过监控请求的频率，可以识别出这种异常行为。</li>
</ul>
</li>
<li><strong>防范效果</strong>：
<ul class="auto-hide-last-sibling-br">
<li><strong>速率限制</strong>：
<ul class="auto-hide-last-sibling-br">
<li>WAF 可以设置基于时间和 IP 地址的请求频率阈值。例如，规定单个 IP 地址在一分钟内只能发起 30 次请求。对于超过此限制的 IP，WAF 可以将其标记为可疑，进行拦截或采取其他限制措施，如暂时封禁该 IP 或要求进行验证码验证。这样能有效防止爬虫的大规模数据抓取行为，确保网站资源不被过度消耗。</li>
</ul>
</li>
<li><strong>动态频率调整</strong>：
<ul class="auto-hide-last-sibling-br">
<li>某些高级的 WAF 可以根据网站的流量模式动态调整频率限制。在流量高峰时段，适当放宽限制；在低峰时段，收紧限制，以更好地适应正常用户行为，同时防止爬虫利用流量低谷进行攻击。例如，在夜间流量较低时，对每个 IP 的请求频率限制可以更严格，避免爬虫趁此时机大肆爬取数据。</li>
</ul>
</li>
</ul>
</li>
</ul>
<h3 class="header-vfC6AV auto-hide-last-sibling-br">二、用户代理（User Agent）检查</h3>
<ul class="auto-hide-last-sibling-br">
<li><strong>原理</strong>：
<ul class="auto-hide-last-sibling-br">
<li>用户代理（User Agent）是客户端在发送请求时的标识，正常用户的浏览器有其标准的 User Agent，而非法爬虫可能使用自定义或伪造的 User Agent。</li>
</ul>
</li>
<li><strong>防范效果</strong>：
<ul class="auto-hide-last-sibling-br">
<li><strong>白名单与黑名单机制</strong>：
<ul class="auto-hide-last-sibling-br">
<li><strong>白名单</strong>：WAF 可以维护一个包含合法用户代理（如常见的浏览器 User Agent）的白名单。只有在白名单内的 User Agent 允许正常访问。这对于确保搜索引擎爬虫（如 Googlebot、Baiduspider 等）等合法爬虫正常工作，同时排除其他未经授权的爬虫非常有效。</li>
<li><strong>黑名单</strong>：对于已知的非法爬虫的 User Agent，WAF 可以将其列入黑名单，一旦检测到请求来自这些 User Agent，直接拦截。例如，对于一些专门用于恶意爬取的工具，其 User Agent 是可识别的，将其加入黑名单可以快速阻止其访问。</li>
</ul>
</li>
<li><strong>User Agent 验证</strong>：
<ul class="auto-hide-last-sibling-br">
<li>对于不在白名单中的 User Agent，WAF 可以进一步验证其是否符合正常的 User Agent 格式和规范。一些爬虫的 User Agent 可能不符合标准，或者包含可疑的关键词，通过对其进行检查可以排除一些伪装成正常 User Agent 的非法爬虫。</li>
</ul>
</li>
</ul>
</li>
</ul>
<h3 class="header-vfC6AV auto-hide-last-sibling-br">三、请求路径和资源分析</h3>
<ul class="auto-hide-last-sibling-br">
<li><strong>原理</strong>：
<ul class="auto-hide-last-sibling-br">
<li>正常用户的请求路径通常具有多样性和随机性，而非法爬虫的请求路径可能会呈现出一定的规律性，比如按照一定顺序访问页面、集中访问特定类型的资源或页面。</li>
</ul>
</li>
<li><strong>防范效果</strong>：
<ul class="auto-hide-last-sibling-br">
<li><strong>路径模式识别</strong>：
<ul class="auto-hide-last-sibling-br">
<li>WAF 可以分析请求的路径，发现异常的访问模式。例如，如果大量请求集中在包含敏感信息的页面（如用户信息页面），且呈现出一定的数字或字母顺序（如<code>/user/1</code>、<code>/user/2</code>等），这可能是爬虫在系统性地抓取用户信息，WAF 可以将这些请求拦截。</li>
</ul>
</li>
<li><strong>资源访问分析</strong>：
<ul class="auto-hide-last-sibling-br">
<li>正常用户访问网站时会请求多种资源，如图片、CSS 文件、JavaScript 文件等，而非法爬虫可能只关注文本内容，对其他资源请求较少。WAF 可以根据请求的资源类型和比例来判断是否为非法爬虫。如果一个请求源几乎只请求 HTML 页面而不请求其他资源，可能是爬虫，WAF 可以采取相应的防范措施，如限制其访问或标记为可疑。</li>
</ul>
</li>
</ul>
</li>
</ul>
<h3 class="header-vfC6AV auto-hide-last-sibling-br">四、验证码和挑战机制</h3>
<ul class="auto-hide-last-sibling-br">
<li><strong>原理</strong>：
<ul class="auto-hide-last-sibling-br">
<li>验证码和挑战机制可以区分人类用户和机器爬虫，因为爬虫难以像人类一样完成验证码或通过挑战。</li>
</ul>
</li>
<li><strong>防范效果</strong>：
<ul class="auto-hide-last-sibling-br">
<li><strong>传统验证码</strong>：
<ul class="auto-hide-last-sibling-br">
<li>当 WAF 检测到可疑的请求（如超过频率限制或使用异常的 User Agent）时，可向请求者显示验证码，如图片验证码、文字验证码等。非法爬虫通常无法自动识别和填写正确的验证码，从而无法继续访问，有效阻止了爬虫的进一步操作。</li>
</ul>
</li>
<li><strong>JavaScript 挑战</strong>：
<ul class="auto-hide-last-sibling-br">
<li>对于支持 JavaScript 的网站，WAF 可以部署 JavaScript 挑战，要求请求者执行一段 JavaScript 代码。合法用户的浏览器会正常执行，而非法爬虫可能无法执行或执行异常。例如，通过要求请求者计算一个简单的 JavaScript 函数结果，WAF 可以根据执行结果判断请求者是否为人类，对于未通过挑战的请求予以拦截。</li>
</ul>
</li>
</ul>
</li>
</ul>
<h3 class="header-vfC6AV auto-hide-last-sibling-br">五、请求头和参数检查</h3>
<ul class="auto-hide-last-sibling-br">
<li><strong>原理</strong>：
<ul class="auto-hide-last-sibling-br">
<li>非法爬虫的请求头和参数可能与正常用户的请求有所不同，例如缺少必要的信息或使用异常参数。</li>
</ul>
</li>
<li><strong>防范效果</strong>：
<ul class="auto-hide-last-sibling-br">
<li><strong>请求头完整性检查</strong>：
<ul class="auto-hide-last-sibling-br">
<li>WAF 可以检查请求头是否包含必要的信息，如<code>Accept</code>、<code>Referer</code>等。正常用户的请求头通常包含这些信息，而非法爬虫可能会省略或使用不完整的请求头。对于不完整的请求头，WAF 可以将其标记为可疑，进行拦截或进一步检查。</li>
</ul>
</li>
<li><strong>参数合理性检查</strong>：
<ul class="auto-hide-last-sibling-br">
<li>对于包含参数的请求，如分页参数、搜索参数等，WAF 可以检查其是否在合理范围。例如，在分页请求中，正常用户使用的分页参数一般在合理范围内，而爬虫可能会使用过大的分页参数。WAF 可以对超出正常范围的参数进行拦截，防止爬虫抓取大量数据。</li>
</ul>
</li>
</ul>
</li>
</ul>
<h3 class="header-vfC6AV auto-hide-last-sibling-br">六、会话管理和行为分析</h3>
<ul class="auto-hide-last-sibling-br">
<li><strong>原理</strong>：
<ul class="auto-hide-last-sibling-br">
<li>通过对用户会话进行管理和行为分析，可以发现不符合正常用户行为逻辑的爬虫行为。</li>
</ul>
</li>
<li><strong>防范效果</strong>：
<ul class="auto-hide-last-sibling-br">
<li><strong>会话时长和操作分析</strong>：
<ul class="auto-hide-last-sibling-br">
<li>正常用户的会话会有一定的时长，且操作具有连贯性和逻辑性，如登录、浏览、操作等。WAF 可以监测会话的时长和操作序列，对于异常短的会话或不连贯的操作序列，可能是爬虫行为。例如，一个会话在短时间内进行了大量无逻辑的操作，WAF 可以判断为非法爬虫行为，予以拦截。</li>
</ul>
</li>
<li><strong>行为关联分析</strong>：
<ul class="auto-hide-last-sibling-br">
<li>分析用户在不同页面或操作之间的关联，正常用户的行为是有一定关联的，而爬虫可能会出现不合逻辑的操作，如跳过登录直接访问内部页面。WAF 可以根据行为关联分析，发现并阻止这种异常行为。</li>
</ul>
</li>
</ul>
</li>
</ul>
<h3 class="header-vfC6AV auto-hide-last-sibling-br">七、数据混淆和动态加载</h3>
<ul class="auto-hide-last-sibling-br">
<li><strong>原理</strong>：
<ul class="auto-hide-last-sibling-br">
<li>为了防止爬虫抓取有用数据，WAF 可以协助进行数据混淆和动态加载，使非法爬虫难以获取有效数据。</li>
</ul>
</li>
<li><strong>防范效果</strong>：
<ul class="auto-hide-last-sibling-br">
<li><strong>数据混淆</strong>：
<ul class="auto-hide-last-sibling-br">
<li>对于爬虫可能访问的敏感数据，WAF 可以协助对数据进行混淆处理，如对文本进行加密、添加噪声等。例如，对价格信息进行加密，使爬虫获取的数据无法直接使用，降低其爬取的价值。</li>
</ul>
</li>
<li><strong>动态加载内容</strong>：
<ul class="auto-hide-last-sibling-br">
<li>采用动态加载内容的方式，将数据分成多部分，通过 JavaScript 等方式分多次加载。非法爬虫难以抓取完整的数据，因为它可能无法处理这种动态加载机制，而正常用户可以正常浏览。</li>
</ul>
</li>
</ul>
</li>
</ul>
<p>&nbsp;</p>
<div class="auto-hide-last-sibling-br paragraph-JOTKXA paragraph-element br-paragraph-space">通过以上多种手段的综合运用，WAF 可以对非法爬虫攻击产生显著的防范效果，保护网站的内容和资源不被非法爬虫肆意抓取和滥用，同时确保正常用户的访问体验不受影响。</div>


一、请求频率控制 原理： 正常用户的访问行为通常具有一定的时间间隔和频率，而非法爬虫为了快速抓取大量数据，会在 [&#8230;]

waf 对非法爬虫攻击的防范效果

<p>&nbsp;</p>
<ul>
<li><strong>理论基础</strong>
<ul class="auto-hide-last-sibling-br">
<li>SSL 证书用于在客户端和服务器之间建立安全的加密连接。当网站启用 SSL 证书时（通过 https:// 访问），数据传输过程中的加密和解密操作会消耗一定的计算资源。这主要涉及到非对称加密算法（如 RSA）在握手阶段交换密钥，以及对称加密算法（如 AES）在后续数据传输阶段的加密和解密。</li>
<li>从网络层面看，使用 https 协议可能会增加额外的 TCP 连接建立的时间开销。因为在传统的 http 连接基础上，https 还需要进行 SSL/TLS 握手过程。这个握手过程包括客户端向服务器发送支持的加密算法列表、服务器选择加密算法并返回数字证书、客户端验证证书合法性、双方协商生成会话密钥等步骤。</li>
</ul>
</li>
<li><strong>实际影响因素</strong>
<ul class="auto-hide-last-sibling-br">
<li><strong>服务器性能</strong>：
<ul class="auto-hide-last-sibling-br">
<li>如果服务器的硬件配置较低，例如 CPU 性能差、内存不足，那么处理 SSL 证书相关的加密和解密操作会比较吃力。例如，在老旧的单核服务器上，启用 SSL 后，处理加密任务可能会使 CPU 使用率大幅上升，导致网站响应时间明显增加。</li>
<li>高性能的服务器能够更高效地处理加密和解密工作。像配备多核高性能 CPU 和充足内存的服务器，可以利用多核心并行处理加密任务，减少 SSL 证书对加载速度的影响。</li>
</ul>
</li>
<li><strong>证书类型和质量</strong>：
<ul class="auto-hide-last-sibling-br">
<li>不同类型的 SSL 证书（如 DV &#8211; 域名验证型、OV &#8211; 组织验证型、EV &#8211; 扩展验证型）在验证过程中的复杂程度不同。DV 证书验证相对简单，主要验证域名所有权，其对加载速度的影响相对较小。而 EV 证书除了验证域名所有权外，还对企业的合法性等进行严格验证，这个过程可能会稍微复杂一些，在一定程度上影响加载速度。</li>
<li>证书的质量也很重要。一些由知名权威机构颁发的高质量证书，其算法优化较好，在加密和解密过程中效率较高。相反，质量差的证书可能会导致兼容性问题或者加密效率低下，从而影响网站加载速度。</li>
</ul>
</li>
<li><strong>网站内容大小和复杂度</strong>：
<ul class="auto-hide-last-sibling-br">
<li>对于内容简单、页面较小的网站，如只有少量文本的静态页面，SSL 证书对加载速度的影响相对较小。因为加密和解密的数据量少，即使有额外的 SSL 开销，在整体加载时间中所占比例也不大。</li>
<li>然而，对于内容丰富、包含大量图片、视频等多媒体元素的复杂网站，SSL 证书的影响可能会更明显。因为有更多的数据需要加密和解密，而且这些多媒体元素本身加载就需要一定的时间，SSL 加密操作会在这个基础上进一步增加加载时间。</li>
</ul>
</li>
</ul>
</li>
<li><strong>具体的影响程度</strong>
<ul class="auto-hide-last-sibling-br">
<li>在理想情况下，对于配置良好的服务器和简单的网站，启用 SSL 证书可能只会使网站加载速度降低 5 &#8211; 10% 左右。例如，一个原本加载时间为 1 秒的简单网站，启用 SSL 后可能会增加到 1.05 &#8211; 1.1 秒。</li>
<li>但如果服务器性能差且网站内容复杂，加载速度可能会降低 30 &#8211; 50% 甚至更多。比如一个复杂的电商网站，原本加载时间为 5 秒，启用 SSL 后可能会增加到 7.5 &#8211; 10 秒。不过，随着技术的不断进步，如 HTTP/2 协议的应用（它在 https 下也能高效工作）、服务器端优化（如硬件加速卡用于加密运算）等，可以在很大程度上减少 SSL 证书对加载速度的不利影响。</li>
</ul>
</li>
</ul>
<p>&nbsp;</p>


&#160; 理论基础 SSL 证书用于在客户端和服务器之间建立安全的加密连接。当网站启用 SSL 证书时（通 [&#8230;]

如何查看网站是否正确安装了 SSL 证书

<p>根据中国《非经营性互联网信息服务备案管理办法》、《互联网信息服务管理办法》等法律法规要求，未备案等不符合中国大陆相关法律法规的网站不得在大陆境内开展业务。</p><p>知道创宇目前仅针对大陆境内合法合规的网站可提供免费服务，针对大陆境内未备案的网站，无法提供服务（如DNS解析、CDN、网站服务器抗D、网站防黑客入侵）；由于法律法规差异，针对海外客户，我们在海外建立了数个数据中心，可支持海外网站加速防护，若有相关需求请联系在线客服咨询。</p><p style="text-align:left;text-indent:2em;"></p>

根据中国《非经营性互联网信息服务备案管理办法》、《互联网信息服务管理办法》等法律法规要求，未备案等不符合中国大陆相关法律法规的网站不得在大陆境内开展业务。

没有ICP备案的网站/域名能使用云安全吗？

<p>知道创宇云防御会对长时间没有将DNS解析接入云防御的域名做清理（包含DNS解析），因此您需要重新激活域名并完成域名归属验证。</p><p> </p><p></p><div class="media-wrap image-wrap"><img src="http://help.yunaq.com/wp-content/uploads/2021/01/1.png" alt="" srcset="http://help.yunaq.com/wp-content/uploads/2021/01/1.png 1522w, http://help.yunaq.com/wp-content/uploads/2021/01/1-300x37.png 300w, http://help.yunaq.com/wp-content/uploads/2021/01/1-768x96.png 768w, http://help.yunaq.com/wp-content/uploads/2021/01/1-1024x128.png 1024w, http://help.yunaq.com/wp-content/uploads/2021/01/1-60x7.png 60w, http://help.yunaq.com/wp-content/uploads/2021/01/1-150x19.png 150w" sizes="(max-width: 1522px) 100vw, 1522px" class="alignnone size-full wp-image-2623"/></div><p></p><p></p><div class="media-wrap image-wrap"><img src="http://help.yunaq.com/wp-content/uploads/2021/01/2.png" alt="" srcset="http://help.yunaq.com/wp-content/uploads/2021/01/2.png 1543w, http://help.yunaq.com/wp-content/uploads/2021/01/2-300x167.png 300w, http://help.yunaq.com/wp-content/uploads/2021/01/2-768x427.png 768w, http://help.yunaq.com/wp-content/uploads/2021/01/2-1024x569.png 1024w, http://help.yunaq.com/wp-content/uploads/2021/01/2-60x33.png 60w, http://help.yunaq.com/wp-content/uploads/2021/01/2-150x83.png 150w" sizes="(max-width: 1543px) 100vw, 1543px" class="alignnone size-full wp-image-2624"/></div><div class="media-wrap image-wrap"><img src="http://help.yunaq.com/wp-content/uploads/2021/01/3.png" alt="" srcset="http://help.yunaq.com/wp-content/uploads/2021/01/3.png 1531w, http://help.yunaq.com/wp-content/uploads/2021/01/3-300x133.png 300w, http://help.yunaq.com/wp-content/uploads/2021/01/3-768x341.png 768w, http://help.yunaq.com/wp-content/uploads/2021/01/3-1024x454.png 1024w, http://help.yunaq.com/wp-content/uploads/2021/01/3-60x27.png 60w, http://help.yunaq.com/wp-content/uploads/2021/01/3-150x67.png 150w" sizes="(max-width: 1531px) 100vw, 1531px" class="alignnone size-full wp-image-2625"/></div><p></p><p> 若激活域名时提示“已存在相同的激活域名”，请联系在线客服。</p>

知道创宇云防御会对长时间没有将DNS解析接入云防御的域名做清理，因此您需要重新激活域名并完成域名归属验证。 &#038; [&#8230;]

热门搜索词

热门文章

如何查看网站是否正确安装了 SSL 证书

没有ICP备案的网站/域名能使用云安全吗？

为什么以前添加过的域名需要重新激活？

关注知道创宇云安全

完善信息下载白皮书

热门搜索词

热门文章

如何查看网站是否正确安装了 SSL 证书

没有ICP备案的网站/域名能使用云安全吗？

为什么以前添加过的域名需要重新激活？

关注知道创宇云安全