下载鸥 > 网站下载 > 网站运营 > 网站优化

petalbot是什么蜘蛛?

1561 2021-04-25 21:20:29

收藏
经常查看网站日志的站长会发现有个蜘蛛叫petalbot,看不懂,不知道是不是垃圾蜘蛛。但其实,PetalBot 是Petal搜索引擎(华为花瓣搜索引擎)的自动程序。

petalbot是什么蜘蛛?
PetalBot的功能是访问PC网站和移动网站,并建立索引数据库,使用户可以在 Petal 搜索引擎中搜索您网站的内容。
 

PetalBot UA信息

可以通过分析 User-agent 字段来识别 Petal 的爬虫蜘蛛:

Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://aspiegel.com/petalbot)
 

阻止PetalBot访问

PetalBot 符合 Internet 机器人协议。您可以使用 robots.txt 文件完全阻止 PetalBot 访问您的网站,或阻止 PetalBot 访问您网站上的某些文件。

注意:禁止PetalBot访问您的网站将使您网站上的页面以及 Petal 提供的所有搜索引擎服务在 Petal 搜索引擎中无法搜索。
 

PetalBot带给Web服务器多少压力

为了获得对目标资源更好的检索结果,PetalBot 需要保持一定程度的网站爬网。我们力求不给网站带来不合理的负担,我们将根据服务器容量,网站质量和网站更新等综合因素进行调整。如果 PetalBot 的访问有任何不合理的行为,请将您的疑虑发送至 search@aspiegel.com。
 

如何判断PetalBot爬行

您可以验证访问您的服务器的 Web 爬网程序是否真的是PetalBot。

验证 PetalBot 为呼叫者
1.使用 host 命令在日志访问 IP 地址上运行反向 DNS 查找。
2.验证域名在 aspiegel.com 中。
3.使用在检索到的域名上的主机命令,对在步骤 1 中检索到的域名运行正向 DNS 查找。验证它是否与日志中的原始访问 IP 地址相同。
 

统计petalbot及其他蜘蛛访问频次

使用下载鸥的网站日志在线分析工具进行蜘蛛抓取频次分析汇总。该工具还支持被访问页面访问频次汇总、ip汇总、404错误页访问频次汇总,是建站利器。

petalbot是什么蜘蛛?
网站日志在线分析工具截图
 

提交到petalbot站长平台

petalbot站长平台地址为https://webmaster.petalsearch.com/,目前似乎只有英文版本。如果担心看不懂,可以使用浏览器的右键翻译为中文。其提交网站认证、提交sitemap的方式与其他站长平台没有什么区别。

本文地址:https://xzo.com.cn/operation/seo/128.html

有帮助,很赞!

信息来源:下载鸥
导出教程 下载word版教程
发表评论 共有条评论
关于网站优化


SEO(Search Engine Optimization)就是我们常说的网站优化、搜索引擎优化。是一种利用搜索引擎的规则提高网站在有关搜索引擎内的自然排名的方式,目的是让公司网站在互联网上占据领先地位,获得品牌收益。

SEO不是采集,不是拼凑,也不是数据的堆积,其核心的思路其实还是在于更好的用户体验。当你的网站用户体验极佳时,也一定是SEO极好的。反过来说SEO做得很好的站点,用户体验也一定不差。

能否做好SEO,决定了网上获客的流量,也从一定程度上决定了公司的网上业务能够走多远。

推荐网站优化网站运营
SEO新人怎样做网站优化?
SEO新人怎样做网站优化?

一个网站不是做好了就可以,如果不做优化,网站没有流量就无法发挥出网站的价值...

1 399
网站怎样做百度霸屏优化?
网站怎样做百度霸屏优化?

百度霸屏的概念大家都多多少少听过,很多人以为百度霸屏是一种黑帽优化手法,其...

1 324
做低指数的长尾词优化是网站优化的捷径
做低指数的长尾词优化是网站优化的捷径

很多SEO眼里只有权重,只有排名,却看不上没有指数的长尾词,这是犯了大忌讳 -- ...

0 368
网站进入沙盒期怎么办?
网站进入沙盒期怎么办?

新站上线必不可少的一个环节就是进入沙盒期。有人做得好,沙盒期很快;还有人在...

1 366
常见的服务器状态码(200/301/404等)介绍
常见的服务器状态码(200/301/404等)介绍

对于seo初学者而言,掌握常见的浏览器状态码有利于及时查漏补缺,下面这些常见...

0 767
10个1000指数的短尾词和1000个10指数的长尾词哪个流量更高?
10个1000指数的短尾词和1000个10指数的长尾词哪个流量更高?

百度指数是我们日常优化参考的一个重要指标,指数越高往往代表着流量越高。许...

0 768
什么是百度token?
什么是百度token?

站长们或早或晚,都会接触到百度token这个数据。那么什么是百度token呢?...

1 1164
什么是百度快照?
什么是百度快照?

很多新手站长一直都没明白百度快照是什么?怎么形成的?百度快照和SEO排名有没...

0 621
推荐插件
帝国cms百度AI图像去雾api接口对接插件
帝国cms百度AI图像去雾api接口对接插件

通过本插件,可以实现帝国cms网站对接百度云api实现图像去雾的功能。经过实际...

0 437
帝国cms批量添加后台用户插件
帝国cms批量添加后台用户插件

使用帝国cms的企业用户、新闻资讯类站点的用户很多,此类站点很多时候需要有...

0 698
帝国cms自动生成文章新闻目录插件下载
帝国cms自动生成文章新闻目录插件下载

用户体验是我们的需求,百度蜘蛛的认可更是我们的需求。毕竟,没有收录排名,何来...

0 1080
帝国cms自动给正文关键词添加tag内链
帝国cms自动给正文关键词添加tag内链

帝国cms有自带的给关键词添加内链功能,但需要手动添加关键词,容易出现疏漏和...

0 799
帝国cms百度文字识别ocr接口对接插件
帝国cms百度文字识别ocr接口对接插件

许多网站会做一些小功能小插件给客户使用以增强用户黏性,比如图片转文字,这种...

0 436
帝国cms百度AI图像清晰度增强api接口对接插件
帝国cms百度AI图像清晰度增强api接口对接插件

通过本插件,可以实现帝国cms网站对接百度云api实现图像清晰度增强的功能。经...

0 497
帝国cms联想词搜索高级搜索插件下载
帝国cms联想词搜索高级搜索插件下载

帝国CMS自带的搜索功能虽然强大,但也有很强的局限性 -- 必须关键词完全匹配...

0 696
帝国cms纳米数据接口(足球比赛中最新数据)
帝国cms纳米数据接口(足球比赛中最新数据)

帝国cms 对接纳米数据(www.nami.com)接口,本接口主要接收、整理足球比赛实时数...

0 332
客服QQ:341553759
扫码咨询 常见问题 >
官方交流群:90432500
点击加入