下载鸥 > 网站下载 > 网站运营 > 网站优化

petalbot是什么蜘蛛?

1539 2021-04-25 21:20:29

收藏
经常查看网站日志的站长会发现有个蜘蛛叫petalbot,看不懂,不知道是不是垃圾蜘蛛。但其实,PetalBot 是Petal搜索引擎(华为花瓣搜索引擎)的自动程序。

petalbot是什么蜘蛛?
PetalBot的功能是访问PC网站和移动网站,并建立索引数据库,使用户可以在 Petal 搜索引擎中搜索您网站的内容。
 

PetalBot UA信息

可以通过分析 User-agent 字段来识别 Petal 的爬虫蜘蛛:

Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://aspiegel.com/petalbot)
 

阻止PetalBot访问

PetalBot 符合 Internet 机器人协议。您可以使用 robots.txt 文件完全阻止 PetalBot 访问您的网站,或阻止 PetalBot 访问您网站上的某些文件。

注意:禁止PetalBot访问您的网站将使您网站上的页面以及 Petal 提供的所有搜索引擎服务在 Petal 搜索引擎中无法搜索。
 

PetalBot带给Web服务器多少压力

为了获得对目标资源更好的检索结果,PetalBot 需要保持一定程度的网站爬网。我们力求不给网站带来不合理的负担,我们将根据服务器容量,网站质量和网站更新等综合因素进行调整。如果 PetalBot 的访问有任何不合理的行为,请将您的疑虑发送至 search@aspiegel.com。
 

如何判断PetalBot爬行

您可以验证访问您的服务器的 Web 爬网程序是否真的是PetalBot。

验证 PetalBot 为呼叫者
1.使用 host 命令在日志访问 IP 地址上运行反向 DNS 查找。
2.验证域名在 aspiegel.com 中。
3.使用在检索到的域名上的主机命令,对在步骤 1 中检索到的域名运行正向 DNS 查找。验证它是否与日志中的原始访问 IP 地址相同。
 

统计petalbot及其他蜘蛛访问频次

使用下载鸥的网站日志在线分析工具进行蜘蛛抓取频次分析汇总。该工具还支持被访问页面访问频次汇总、ip汇总、404错误页访问频次汇总,是建站利器。

petalbot是什么蜘蛛?
网站日志在线分析工具截图
 

提交到petalbot站长平台

petalbot站长平台地址为https://webmaster.petalsearch.com/,目前似乎只有英文版本。如果担心看不懂,可以使用浏览器的右键翻译为中文。其提交网站认证、提交sitemap的方式与其他站长平台没有什么区别。

本文地址:https://xzo.com.cn/operation/seo/128.html

有帮助,很赞!

信息来源:下载鸥
导出教程 下载word版教程
发表评论 共有条评论
关于网站优化


SEO(Search Engine Optimization)就是我们常说的网站优化、搜索引擎优化。是一种利用搜索引擎的规则提高网站在有关搜索引擎内的自然排名的方式,目的是让公司网站在互联网上占据领先地位,获得品牌收益。

SEO不是采集,不是拼凑,也不是数据的堆积,其核心的思路其实还是在于更好的用户体验。当你的网站用户体验极佳时,也一定是SEO极好的。反过来说SEO做得很好的站点,用户体验也一定不差。

能否做好SEO,决定了网上获客的流量,也从一定程度上决定了公司的网上业务能够走多远。

推荐网站优化网站运营
【百度专家专栏】什么内容容易被百度判断为优质内容?
【百度专家专栏】什么内容容易被百度判断为优质内容?

怎样做好百度的SEO优化,是许多人没日没夜琢磨的问题。但其实别人的经验都是...

1 378
养站是什么意思?怎样养出一个当天收录的好网站?
养站是什么意思?怎样养出一个当天收录的好网站?

只要接触seo长一点的人,基本都听说过养站的说法,但却未必都会养。养好一个网...

1 367
网站被黑了怎么办?
网站被黑了怎么办?

没有任何一个站长愿意被黑,但真实的情况是每分每秒都有网站被黑掉。那么,我们...

2 388
网站标题可以修改吗?有什么影响?
网站标题可以修改吗?有什么影响?

非常多时候站长会因为各种原因对网站的标题进行调整,这种行为会影响SEO优化,...

0 347
常见的服务器状态码(200/301/404等)介绍
常见的服务器状态码(200/301/404等)介绍

对于seo初学者而言,掌握常见的浏览器状态码有利于及时查漏补缺,下面这些常见...

0 750
什么是搜索引擎中文分词优化
什么是搜索引擎中文分词优化

所有的搜索都是由关键词来完成,而当搜索关键词存在多个时,歧义就会产生,这个时...

0 674
要做好网站优化,这3件事不能做
要做好网站优化,这3件事不能做

任何一个网站都希望有好的排名和流量,但如果人人都想要排名流量,要做好就变得...

1 501
百度蜘蛛活跃时间段分析与定时审核
百度蜘蛛活跃时间段分析与定时审核

很多网站都做了定时发布的功能,通过定时发布的方式,培养蜘蛛抓取习惯达到日收...

3 528
推荐插件
帝国CMS内网用户静态站点文章访客统计插件
帝国CMS内网用户静态站点文章访客统计插件

本插件适用于内网用户,可查看单篇文章访问者ip地址。如果添加访问者ip组,可查...

0 495
帝国cms百度文字识别ocr接口对接插件
帝国cms百度文字识别ocr接口对接插件

许多网站会做一些小功能小插件给客户使用以增强用户黏性,比如图片转文字,这种...

0 411
帝国cms百度AI图像清晰度增强api接口对接插件
帝国cms百度AI图像清晰度增强api接口对接插件

通过本插件,可以实现帝国cms网站对接百度云api实现图像清晰度增强的功能。经...

0 476
帝国cms批量添加后台用户插件
帝国cms批量添加后台用户插件

使用帝国cms的企业用户、新闻资讯类站点的用户很多,此类站点很多时候需要有...

0 663
帝国cms百度AI黑白图像上色api接口对接插件
帝国cms百度AI黑白图像上色api接口对接插件

百度开放了系列AI功能api如图像上色、图像去雾、图像修复、无损放大、清晰...

0 364
帝国cms纳米数据接口(足球比赛中最新数据)
帝国cms纳米数据接口(足球比赛中最新数据)

帝国cms 对接纳米数据(www.nami.com)接口,本接口主要接收、整理足球比赛实时数...

0 283
帝国cms自动给正文关键词添加tag内链
帝国cms自动给正文关键词添加tag内链

帝国cms有自带的给关键词添加内链功能,但需要手动添加关键词,容易出现疏漏和...

0 771
帝国cms百度AI图像无损放大api接口对接插件
帝国cms百度AI图像无损放大api接口对接插件

通过本插件,可以实现帝国cms网站对接百度云api实现图像无损放大的功能。经过...

0 389
客服QQ:341553759
扫码咨询 常见问题 >
官方交流群:90432500
点击加入