通過robots協議“獨家”限制,不構成不正當競爭

2017年,原告字節跳動公司(今日頭條的運營者)訴稱,微夢創科公司(微博的運營者)出于惡意限制競爭的不正當目的,在m.weibo.cn網站的robots.txt文件中,僅針對“今日頭條”進行限制,阻止“今日頭條”的網絡機器人(ToutiaoSpider)抓取上述網站中對公眾和其他所有網絡機器人完全公開并可以自由訪問的網站內容......遂起訴微博索賠1億元、停止不正當競爭等。一審法院部分支持原告訴訟請求,認為微博通過robots.txt獨家限制今日頭條抓取的行為構成不正當競爭。被告不服,向北京市高級人民法院提出上訴。

2021年10月,北京高院對“今日頭條”訴“微博”設置唯一黑名單限制字節跳動公司抓取相關網頁內容被訴不正當競爭案作出二審判決,認為微博是在行使企業自主經營權范疇內的正當行為,并不構成不正當競爭,遂撤銷一審判決,改判駁回今日頭條公司的訴訟請求。

以下是北京市高級人民法院的終審判決書:

北京市高級人民法院

民 事 判 決 書

(2021)京民終281號

 

上訴人(原審被告):北京微夢創科網絡技術有限公司,住所地北京市海淀區。

法定代表人:曹菲,董事長。

委托訴訟代理人:吳子芳,北京市融泰律師事務所律師。

委托訴訟代理人:郭凌云,男,北京微夢創科網絡技術有限公司員工,住四川省瀘州市。

 

被上訴人(原審原告):北京字節跳動科技有限公司,住所地北京市海淀區。

法定代表人:張利東,總經理。

委托訴訟代理人:曲凌剛,男,北京字節跳動科技有限公司員工,住北京市大興區。

委托訴訟代理人:宋雪佼,女,北京字節跳動科技有限公司員工,住山東省乳山市。

 

上訴人北京微夢創科網絡技術有限公司(簡稱微夢創科公司)因與被上訴人北京字節跳動科技有限公司(簡稱字節跳動公司)不正當競爭糾紛一案,不服北京知識產權法院(2017)京73民初2020號民事判決(簡稱一審判決),向本院提起上訴。

 

本院于2021年3月22日受理后,依法組成合議庭,于2021年5月18日公開開庭進行了審理。上訴人微夢創科公司的委托訴訟代理人吳子芳、郭凌云,被上訴人字節跳動公司的委托訴訟代理人曲凌剛、宋雪佼到庭參加了訴訟。本案現已審理終結。

 

微夢創科公司上訴請求:撤銷一審判決,依法駁回字節跳動公司的全部訴訟請求。

 

事實和理由:

 

1.一審判決認定被訴行為“導致字節跳動公司的網絡機器人無法正常抓取相關網絡信息”,從而認定被訴行為具有損害后果,屬認定事實錯誤。Robots協議只是文字宣示,不是技術措施,客觀上無法阻止網絡機器人抓取網絡數據。事實上,被訴行為并未導致字節跳動公司網絡機器人無法正常抓取有關網絡信息,字節跳動公司在被訴行為發生后仍然持續、大量抓取新浪微博數據。

 

2.“ToutiaoSpider”不是搜索引擎網絡機器人,一審判決認為被訴行為會對網絡用戶的信息檢索需求造成影響,并依據《互聯網搜索引擎服務自律公約》判斷被訴行為不具有正當性,明顯錯誤。字節跳動公司的搜索引擎產品“頭條搜索”于2019年8月10日正式上線,此時被訴行為已于2019年7月18日停止,字節跳動公司官方頭條號公示的“頭條搜索”爬蟲UA為“Bytespider”,而非“ToutiaoSpider”。字節跳動公司使用“ToutiaoSpider”抓取的內容并非用于搜索引擎服務,而是用于“微頭條”等社交性質的內容產品,并向用戶直接展示。

 

3.網絡機器人具有眾多不同用途,需結合不同用途進行評價,搜索引擎網絡機器人與非搜索引擎網絡機器人在功能與價值評價上存在顯著區別,搜索引擎網絡機器人的用途與促進信息共享相關,具有公益性和互助性,而非搜索引擎網絡機器人的用途與促進信息共享無關,往往對競爭對手造成損害。

 

4.即使被訴行為構成不正當競爭,微夢創科公司也不應承擔消除影響的責任,且一審判決判令的消除影響范圍超出了被訴行為的影響范圍。

 

5.被訴行為持續到2019年《中華人民共和國反不正當競爭法》(簡稱反不正當競爭法)修訂之后,本案應適用2019年反不正當競爭法,一審判決適用法律錯誤。

 

6.被訴行為已經停止,一審判決不應再判令停止被訴行為。

 

7.一審判決中的“m.weibo.com”均應為“m.weibo.cn”。

 

字節跳動公司辯稱:

 

1.字節跳動公司的搜索引擎產品于2018年11月即已上線,本案完全可以適用搜索引擎的司法實踐及行業慣例,《互聯網搜索引擎服務自律公約》可作為本案“公認商業道德”的參考;

 

2.微夢創科公司針對字節跳動公司設置唯一黑名單的時間遠遠早于其聲稱的字節跳動公司抓取新浪微博內容的時間,該唯一黑名單的設置并無合理理由,違反了相關法律規定和行業公認的商業道德,構成不正當競爭;

 

3.被訴行為損害了字節跳動公司的合法權益,損害了網絡用戶的合法權益,也損害了網絡市場的競爭秩序;

 

4.一審判決判令微夢創科公司停止被訴行為、消除影響于法有據;

 

5.由于2019年反不正當競爭法與1993年反不正當競爭法在第二條的規定上并無本質區別,故即便本案應適用2019年反不正當競爭法,一審判決結論也無不當;

 

6.有關一審判決中的“m.weibo.com”均應為“m.weibo.cn”,僅系筆誤,糾正即可,無需重新作出判決。

 

字節跳動公司向一審法院起訴請求:

 

一、判令微夢創科公司立即停止通過robots.txt對字節跳動公司的不正當競爭行為;

 

二、判令微夢創科公司在判決生效之日起三日內,在“新浪微博”網站(包括weibo.com、weibo.cn、m.weibo.cn網站)首頁顯著位置連續三十天刊登聲明,消除影響;

 

三、判令微夢創科公司賠償字節跳動公司經濟損失1億元及制止侵權的合理支出50萬元。

 

一審法院認定事實:字節跳動公司成立于2012年3月9日,主要從事互聯網信息服務、技術開發、技術推廣等,其經營的主要產品為“頭條網”“今日頭條”等。

 

微夢創科公司成立于2010年8月9日,主要從事互聯網信息服務、技術開發、技術咨詢等。ICP/CP地址/域名信息備案管理系統顯示,北京微夢創科網絡技術有限公司是微博平臺weibo.com、weibo.cn的主辦單位。

 

(2017)京長安內經證字第50906號公證書顯示,今日頭條網站合作說明頁面的蜘蛛協議載明如下內容:

《今日頭條》支持蜘蛛協議“ToutiaoSpider”。

“ToutiaoSpider”系字節跳動公司所有和經營的“今日頭條”產品的網絡機器人。

 

(2017)京長安內經證字第36959號公證書顯示,微夢創科公司在m.weibo.com網站的robots.txt。文件中聲明如下內容(簡稱涉案聲明):

User-agent:ToutiaoSpider

Disallow:/

User-agent:*

Disallow:*gsid=*

 

微夢創科公司認可涉案聲明內容的真實性,認為涉案聲明內容僅能證明微夢創科公司在m.weibo.com網站的robots.txt.文件中將字節跳動公司的網絡機器人“ToutiaoSpider”宣示為不受歡迎者,不能證明微夢創科公司針對“今日頭條”實施了不正當競爭行為。

 

(2017)京東方內民證字第17854號公證書載明:Archive抓取留存的m.weibo.com網站快照頁面顯示,2016年4月15日,微夢創科公司在m.weibo.com網站的robots.txt.文件中顯示涉案聲明。2016年4月14日,m.weibo.com網站快照未顯示涉案聲明。字節跳動公司據此主張微夢創科公司于2016年4月15日修改了m.weibo.com網站的robots協議,微夢創科公司對該事實表示認可。

 

(2018)京東方內民證字第07006號公證書顯示,2018年5月14日,m.weibo.com網站的robots.txt.文件仍顯示涉案聲明,微夢創科公司對該事實表示認可。

 

(2017)京東方內民證字第16406、18497號公證書顯示,2017年1月16日、2017年11月28日,依次登錄天天快報APP、騰訊新聞APP、一點咨訊APP、手機百度APP,可以搜索到相關微博內容。(2018)京東方內民證字第01868號公證書顯示,2018年3月1日,騰訊微博、搜狐微博、人民微博、東方微博、百家號的robots協議文件中未顯示有針對字節跳動公司網絡機器人ToutiaoSpider的相關內容。

 

(2019)京國信內經證字第09858號公證書載明,Archive抓取留存的m.weibo.com網站快照頁面顯示,2019年7月18日,微夢創科公司修改了robots.txt.文件聲明,修改后的聲明內容部分顯示為:

User-agent:Baiduspider

Disallow:

User-agent:360spider

Disallow:

……

 

修改后的聲明中未包含涉及網絡機器人ToutiaoSpider的相關內容。一審庭審中,微夢創科公司認可涉案聲明已經于2019年7月18日進行了修改。

 

中國互聯網協會于2012年11月1日發布的《互聯網搜索引擎服務自律公約》第三條規定,本公約適用于中國互聯網協會會員單位和自愿加入《互聯網搜索引擎服務自律公約》的互聯網從業單位,并且倡議其他從業單位積極遵守。第四條規定,互聯網搜索引擎服務提供者應當遵循守法、誠信、公平、中立、客觀的基本原則,遵從開放、平等、協作、分享的互聯網精神,積極維護國家利益、公共利益和行業利益,尊重權利人的合法權益。

 

第八條規定,互聯網站所有者設置機器人協議應遵循公平、開放和促進信息自由流動的原則,限制搜索引擎抓取應有行業公認合理的正當理由,不利用機器人協議進行不正當競爭行為,積極營造鼓勵創新、公平公正的良性競爭環境。

 

附件二顯示《互聯網搜索引擎服務自律公約》發起單位名單為:百度、即刻搜索、盤古搜索、奇虎360、盛大文學、搜狗、騰訊、網易、新浪、宜搜、易查無限、中搜。

 

字節跳動公司主張按照微夢創科公司的侵權獲利計算賠償數額為一億元,具體的計算方式為:

微博2017年全年、2018年全年、2019年前三季度的廣告收入共計36.21億美元×移動端廣告收入占比80%×侵權貢獻率0.6%=0.17億美元,約合人民幣1.2億元,遠超過本案主張的賠償數額及合理支出。為此,字節跳動公司提交了微博2017年、2018年、2019年前三季度財報情況及中國互聯網絡發展狀況統計報告,其中,微博2017年財報顯示,截至2017年12月,微博月活躍用戶增至3.92億,2017年全年凈營收11.5億美元,廣告和營銷營收9.967億美元。微博2018年財報顯示,2018年12月,微博月活躍用戶達到4.62億,全年凈營收11.5億美元,廣告和營銷營收15.0億美元。微博2019年財報顯示,2019年第一季度廣告和營銷營收3.411億美元、第二季度廣告和營銷營收3.707億美元、第三季度廣告和營銷營收4.125億美元。

 

此外,字節跳動公司還提交了中國互聯網絡信息中心發布的《第41次中國互聯網網絡發展狀況統計報告》、(2017)京東方內民證字第18496號公證書、微博社區公告、《微博服務使用協議》。其中《第41次中國互聯網網絡發展狀況統計報告》顯示,2017年中國網民用戶達到7.72億,微博用戶使用率達到40.9%,約占中國網民用戶數的一半。

 

字節跳動公司主張為制止微夢創科公司被訴行為的合理支出50萬元,包括翻譯費、律師費和公證費。為此,字節跳動公司提交了中譯語通科技股份有限公司2020年3月16日出具的發票號為00063851號翻譯費發票4979元、北京市長安公證處2018年5月22日出具的發票號為01449448號公證服務費發票5440元、北京市東方公證處2018年6月28日出具的發票號為21496346號公證費發票7420元、北京市東方公證處2018年6月28日出具的發票號為21496347號公證費發票10760元、北京市東方公證處2018年6月28日出具的發票號為21496348號公證費發票5744元。一審庭審中,字節跳動公司明確其在本案中主張46萬元律師費,但沒有提交相應的發票予以佐證。

 

另查明,微夢創科公司提交了(2017)京0108民初20003號民事判決書、(2017)京0108民初20013號民事判決書、(2017)京0108民初21660號民事判決書、(2017)京0108民初22544號民事判決書等相關判決和發布虛假新聞及字節跳動公司爬蟲機器人爬取網站內容致網站癱瘓的相關報道,用于證明在將字節跳動公司的爬蟲機器人置于黑名單之前,字節跳動公司經營的“今日頭條”有多起侵犯他人著作權、肖像權及不正當競爭行為,字節跳動公司的爬蟲機器人為不受歡迎者。

 

一審庭審中,微夢創科公司認可在2016年設置robots.txt文件聲明時只是針對字節跳動公司。此外,字節跳動公司、微夢創科公司均認可微夢創科公司的涉案單方宣示行為只是文字上的記載,沒有其他技術上的限制措施,且所有網絡用戶都可以看到涉案聲明。

 

一審法院認為,微夢創科公司在m.weibo.com網站robots協議中以文字宣示方式單方限制字節跳動公司的網絡機器人抓取對公眾和其他所有網絡機器人完全公開的相關網頁內容,導致字節跳動公司的網絡機器人無法正常抓取相關網絡信息,直接降低了字節跳動公司“今日頭條”平臺的用戶體驗,影響了網絡用戶對字節跳動公司相關網絡平臺的市場評價,也一定程度上降低了字節跳動公司“今日頭條”網絡平臺的競爭優勢,損害了字節跳動公司的合法權益。

 

同時,微夢創科公司在m.weibo.com網站robots協議中以文字宣示方式單方限制字節跳動公司“今日頭條”網絡機器人抓取相關網頁信息,影響了網絡用戶對其所選擇的“今日頭條”客戶端的正常使用,且在一定程度上迫使存在相關信息檢索需求的網絡用戶只能通過其他平臺獲取相關信息,增加了網絡用戶的選擇成本,損害了網絡用戶的選擇權,從而損害了相關網絡用戶的合法權益。

 

此外,robots協議的設立初衷在于引導網絡機器人更有效地抓取對網絡用戶有用的信息,從而促進信息共享。微夢創科公司作為互聯網信息服務經營者,應當堅持誠實信用原則,公平對待其他經營者,但其以在m.weibo.com網站robots協議中以文字宣示方式單方限制字節跳動公司抓取對其他經營者公開的相關網絡信息,顯然違背了公平競爭原則。

 

微夢創科公司的被訴行為造成相關網絡用戶無法完整地獲取相關信息,人為設置了網絡信息正常流動的障礙,這與互聯網行業普遍遵循的開放、平等、公平、促進信息流動的原則相悖,與網絡行業互聯互通的基本價值不符,損害了網絡市場的競爭秩序。

 

《互聯網搜索引擎服務自律公約》是在中國互聯網協會組織下,由部分會員提出草案,并得到包括微夢創科公司在內的互聯網企業廣泛簽署的行業自律公約,反映了互聯網行業的行業慣例和商業規則,因此,可以將該公約作為認定互聯網行業公認商業道德的參考。該公約第八條規定,互聯網站所有者設置機器人協議應遵循公平、開放和促進信息自由流動的原則,限制搜索引擎抓取應有行業公認合理的正當理由,不利用機器人協議進行不正當競爭行為,積極營造鼓勵創新、公平公正的良性競爭環境。

 

微夢創科公司在m.weibo.com網站robots協議中以文字宣示方式單方限制字節跳動公司抓取對公眾和其他所有網絡機器人完全公開的相關網頁內容,本質上按照經營主體來區分網絡信息是否可以被抓取,而并非按照信息內容本身區分是否可被抓取,此種針對性的限制措施顯然與行業公認的robots協議公平、開放和促進信息自由流動原則不符,與互聯網行業普遍遵從的開放、平等、分享、協作的互聯網精神相悖,不利于維護公平參與、理性競爭的互聯網市場競爭環境。

 

字節跳動公司侵犯他人著作權、肖像權及不正當競爭行為與本案并無直接因果關系。此外,任何企業的自主經營不能違反公平競爭、誠實信用的基本原則,以犧牲其他經營者的合法權益的“自主”會最終破壞整個市場競爭秩序,不應受到法律保護。因此,即使字節跳動公司存在侵犯他人著作權、肖像權及不正當競爭行為,亦不構成微夢創科公司以限制互聯網信息流動方式限制字節跳動公司抓取相關網頁內容的合法依據。因此,微夢創科公司的相關抗辯意見不構成其采取被訴行為的正當理由。

 

綜上,微夢創科公司在m.weibo.com網站robots協議中以文字宣示方式單方限制字節跳動公司抓取相關網頁內容的被訴行為違反了公平競爭、誠實信用原則和互聯網行業公認的商業道德。

 

在無證據證明微夢創科公司因被訴行為所獲利潤,字節跳動公司也未舉證證明其損失的情況下,根據微夢創科公司的主觀過錯程度、涉案不正當競爭行為持續時間及范圍、涉案不正當競爭行為本身造成的實際影響等因素綜合酌定賠償數額。

 

就合理支出,因字節跳動公司沒有提交相應的委托代理合同或律師費發票,在實際庭審中亦無律師出庭,故僅對翻譯費、公證費共計34343元予以支持。

 

微夢創科公司的不正當競爭行為降低了用戶對于字節跳動公司“今日頭條”平臺的評價,客觀上對于其在互聯網業內的聲譽產生了一定影響,字節跳動公司請求微夢創科公司在“新浪微博”網站首頁顯著位置連續三十天刊登聲明消除影響并未超出合理限度,按照合理性和必要性原則,對于字節跳動公司的該項訴訟請求予以支持。

 

綜上,依據1993年反不正當競爭法第一條、第二條第一款、第二款、第二十條,《中華人民共和國立法法》第九十三條之規定判決:

一、自判決生效之日起,微夢創科公司立即停止涉案不正當競爭行為;

二、微夢創科公司在判決生效之日起三日內,在“新浪微博”網站(包括weibo.com、weibo.cn、m.weibo.cn網站)首頁顯著位置連續三十天刊登聲明,消除影響(聲明內容需經法院審核,逾期不履行,法院將依據字節跳動公司的請求,在相關媒體上公布判決書主要內容,費用由微夢創科公司負擔);

三、微夢創科公司賠償字節跳動公司經濟損失30萬元及制止侵權的合理支出34343元。

 

本院訴訟中,微夢創科公司和字節跳動公司均補充提交了證據,根據補充提交的證據及當事人陳述,另查明以下事實:

 

字節跳動公司將“ToutiaoSpider”網絡機器人抓取的結果用于“微頭條”等產品,其中包括自2016年10月開始,將抓取的新浪微博內容發布到“微頭條”中?!拔㈩^條”與新浪微博相同,均是社交性質的內容產品。

 

字節跳動公司認可其在微夢創科公司設置上述限制聲明后,仍然使用“ToutiaoSpider”網絡機器人抓取了新浪微博的內容,并根據是否獲得新浪微博博主的授權對抓取后的內容是否用于“微頭條”產品進行處理,對于獲得授權的內容仍然用于“微頭條”產品。

 

針對字節跳動公司將抓取的新浪微博內容直接用于“微頭條”的行為,微夢創科公司于2017年向北京市海淀區人民法院提起不正當競爭之訴。北京市海淀區人民法院于2021年5月17日作出(2017)京0108民初24530號民事判決,認定字節跳動公司的上述行為構成不正當競爭。

 

字節跳動公司成立時運營的產品并不包括搜索引擎產品,微夢創科公司主張字節跳動公司的搜索引擎產品于2019年8月作為獨立產品上線。

 

字節跳動公司則提出在此之前,早在2019年3月即開始在開屏廣告中推出了全網搜索功能,并為此提交了搜狐網2019年3月12日的2篇報道以及百度經驗的相關內容。

 

其中:

搜狐網2019年3月12日登載的《今日頭條“全網搜索”功能已上線,能否攪動中文搜索格局》一文記載“有媒體報道,3月12日,今日頭條已開始在開屏廣告推廣‘頭條全網搜索’功能,從廣告詞‘搜羅全網好結果’來看,‘頭條搜索’強調的是其全網搜索的能力,而這已經與以往的搜索引擎沒有什么差別?!?/p>

 

搜狐網2019年3月12日登載的《正式叫板“百度”?今日頭條“全網搜索”功能已上線》一文記載“日前,有用戶反應稱,今日頭條App已經在開屏廣告中推廣‘頭條全網搜索’功能,很可能意味著與其他搜索引擎的競爭已全面開始?!薄捌鋵嵲诮衲甑?月16日,今日頭條官方賬號就發文稱,今日頭條App已經上線了‘賬號內搜索’功能,可以搜索到一些站外內容,包括但不限于視頻和文字。2月25日,頭條號再次發文,宣布推出‘正文插入外鏈’功能,即創作者可以將用戶引流到其他文章或視頻頁面、公司企業官方網址、H5、以及店鋪”。

 

2019年3月15日的百度經驗中記載有以下內容:“今日頭條搜索引擎最近上線了,丈哥也去嘗試了一下,目前應該仍是測試階段,內容除了頭條內容以外還多了站外的內容,而且雖然結果比較陳舊,但是還是值得期待的?!薄澳壳敖袢疹^條搜索引擎的入口只有APP內部才可以使用?!?/p>

 

微夢創科公司不認可字節跳動公司在2019年3月開屏廣告中即已推出頭條全網搜索功能,提出上述兩份證據均系傳來證據,在無其他證據佐證的情況下不能證明待證事實。

 

字節跳動公司的搜索引擎產品目前使用的是“BytesSpider”網絡機器人。字節跳動公司主張其也曾使用“ToutiaoSpider”網絡機器人進行搜索引擎產品的運營,但并未就此舉證。微夢創科公司對此不予認可。

 

從字節跳動公司提交的上述3份證據文字表述來看,均是間接證據,字節跳動公司并未提交其他證據佐證其在上述3份證據所示時間已推出了搜索引擎服務,且在案證據不足以證明微夢創科公司通過robots協議所限制的“ToutiaoSpider”網絡機器人被字節跳動公司用于搜索引擎服務。因此,在字節跳動公司認可在其搜索引擎產品正式上線后,另有“BytesSpider”網絡機器人被用于搜索引擎產品的情況下,在案證據不能證明字節跳動公司于2019年3月即推出了搜索引擎服務,也不能證明微夢創科公司對字節跳動公司利用“ToutiaoSpider”網絡機器人從事搜索引擎服務進行了限制。

 

此外,字節跳動公司并未舉證證明其在所主張的搜索引擎功能最初推出時及以后,就涉案聲明向微夢創科公司提出過異議。

 

字節跳動公司“今日頭條”的robots協議中載明“我們尊重所有的網絡媒體,如媒體不希望內容被《今日頭條》推薦,請及時郵件至toutiao.com郵箱,或在網站頁面中根據拒絕蜘蛛協議(RobotsExclusionProtocol)加注拒絕收錄的標記。我們將對有異議的內容采取斷開鏈接的做法?!?/p>

 

字節跳動公司提交的其他網站的robots協議也存在以主體進行限制的情況。

 

一審判決事實查明部分的“m.weibo.com”均應為“m.weibo.cn”,屬于筆誤,對此予以糾正。

 

上述事實,有字節跳動公司提交的判決書、網頁打印件、公證書,以及當事人陳述等在案佐證。

 

本院認為:

 

《中華人民共和國立法法》第九十三條規定,法律、行政法規、地方性法規、自治條例和單行條例、規章不溯及既往,但為了更好地保護公民、法人和其他組織的權利和利益而作的特別規定除外。

 

2017年反不正當競爭法于2018年1月1日施行,并已于2019年4月23日修訂,自公布之日施行。本案被訴行為發生在2016年4月15日至2019年7月18日期間,跨越1993年反不正當競爭法、2017年反不正當競爭法和2019年反不正當競爭法施行期間。一審法院受理本案的時間在1993年反不正當競爭法施行期間,而一審判決作出時2019年反不正當競爭法已經施行。根據上述規定,本案被訴行為持續到2019年反不正當競爭法施行期間,故應適用2019年反不正當競爭法。一審判決適用1993年反不正當競爭法有誤,本院對此予以糾正。鑒于字節跳動公司系依據反不正當競爭法一般條款提出的訴訟主張,故本院將根據2019年反不正當競爭法中的一般條款,即2019年反不正當競爭法第二條對本案進行審理。

 

2019年反不正當競爭法第二條規定,經營者在生產經營活動中,應當遵循自愿、平等、公平、誠信的原則,遵守法律和商業道德。本法所稱的不正當競爭行為,是指經營者在生產經營活動中,違反本法規定,擾亂市場競爭秩序,損害其他經營者或者消費者的合法權益的行為。

 

根據上述規定認定不正當競爭行為時,不僅要考慮其他經營者的合法權益,還要同時考慮市場競爭秩序和消費者的合法權益。

 

一審判決將《互聯網搜索引擎服務自律公約》作為本案中商業道德的參考,并直接引述了該公約第八條的規定,認定被訴行為與互聯網行業普遍遵從的開放、平等、分享、協作的互聯網精神相悖,進而認定被訴行為具有不正當性。因此,本案首先要分析《互聯網搜索引擎服務自律公約》能否作為本案中商業道德的參考。

 

搜索引擎應用場景是將含有符合網絡用戶希望搜索信息的網頁挑出,按照匹配度的高低,將包含這些網頁的地址鏈接、簡介等信息的搜索結果依次列出,供網絡用戶選擇訪問。用戶選擇后訪問的是被搜索到的網站,而非在搜索引擎服務提供者自己的網站內實現訪問。搜索引擎爬蟲的功能在于對網絡上的超鏈接進行遍歷式抓取,檢索網站的信息編制成索引便于其他用戶訪問,省卻了記住域名、網址的麻煩。就搜索引擎的功能而言,其對于公眾利益,以及對于互聯網互聯、互通、共享、開放的精神密切相關。因此,robots協議最初也是針對搜索引擎提出的。

 

robots協議作為一種技術規范,其作用只在于標示該網站是否準許網絡機器人訪問、準許哪些網絡機器人訪問,但網絡機器人識別該robots協議后,無論是否遵守,robots協議都不會起到強制禁止訪問的結果。robots協議已經成為國內外搜索引擎行業普遍遵守的技術規范。網絡服務商或網站所有者既可以在robots協議中列明準許或禁止網絡機器人抓取的網站內容,也可以列明準許或不準許抓取其網站內容的網絡機器人,即通常所說的“白名單”“黑名單”制度。

 

隨著搜索技術和網絡應用的發展,網絡機器人的適用場景不斷擴展,從通用搜索引擎領域,擴展到非搜索引擎的其他各種場景。搜索引擎是給被搜網站帶來流量和利益,而非搜索引擎的網絡機器人往往不是給被搜網站帶來流量,反而可能帶走被搜網站的流量。

 

由于非搜索引擎場景應用的網絡機器人,已經不像搜索引擎那樣當然地對公眾利益,以及互聯網的互聯、互通、共享、開放的精神產生影響,因此在對這些網絡機器人通過robots協議進行限制時,不宜當然地借用對于搜索引擎進行限制的規則。也就是說,《互聯網搜索引擎服務自律公約》僅可作為搜索引擎服務行業的商業道德,而不能成為互聯網行業通行的商業道德。

 

本案在案證據顯示,微夢創科公司限制的“ToutiaoSpider”網絡機器人的應用場景并非搜索引擎服務,而是“微頭條”等非搜索引擎應用場景。因此,一審判決將《互聯網搜索引擎服務自律公約》作為本案中商業道德的參考顯有不妥。

 

在判斷robots協議對于網絡機器人限制行為的正當性時,其核心在于保護網站經營者的自主經營權與維護其他經營者利益、維護消費者利益、維護競爭秩序之間的平衡。因此,對本案被訴行為是否具有正當性,應從以下方面進行分析:

 

首先,雖然robots協議的設置初衷,主要在于防止被抓網站的服務器過載影響網站正常運行,以及防止網絡機器人抓取一些管理后臺的內部信息、臨時性文件、cgi腳本等對網絡用戶沒有使用價值的數據,但隨著網絡機器人應用場景的不斷擴展,在非搜索引擎應用場景下,網絡機器人不僅僅是抓取檢索網站的信息編制成索引便于其他用戶訪問,而往往抓取其他網站公開的各種數據,甚至是其他網站中用戶生成的數據,直接用于自己的商業行為。

 

在數字經濟時代,數據日益成為企業重要的生產要素,數據資源的獲取與利用是極為重要的一種資源配置。網站經營者對數據的收集、整理等基本都付出了相應的人力、物力、財力和時間等經營成本。robots協議在某種意義上已經成為維系企業核心競爭力,維系市場有序競爭的一種手段。

 

盡管robots協議客觀上可能造成對某個或某些經營者的“歧視”,但在不損害消費者利益、不損害公共利益、不損害競爭秩序的情況下,應當允許網站經營者通過robots協議對其他網絡機器人的抓取進行限制,這是網站經營者經營自主權的一種體現。

 

在案證據能夠證明,除微夢創科公司外,其他網站的robots協議也存在以主體進行抓取限制的情形,特別是字節跳動公司在其網站上也明示了其他網站可以通過robots協議禁止其抓取的內容。由此可知,包括字節跳動公司在內的互聯網企業對于網站經營者通過robots協議來限制其他網絡機器人的抓取行為都是認可和遵守的。因此,通過robots協議對網絡機器人進行限制并不當然違背互聯網行業的商業道德。

 

其次,互聯網行業中信息的自由流動應控制在合理范圍內,即符合互聯網行業的商業道德,否則將不利于鼓勵商業投入與創新。對搜索引擎場景下的robots協議進行較為嚴格的限制,主要是基于搜索引擎的作用就是便于公眾搜索,降低搜索成本,符合互聯網互聯、互通、共享、開放的精神。

 

互聯網領域中消費者福利的增加,依賴于數據在更大范圍和更深層次的共享利用,而非通過數據爬取對數據進行明顯替代性或同質化地利用。在非搜索引擎的應用場景中,特別是在類似本案字節跳動公司的“toutiaospider”網絡機器人將抓取后的內容直接“移植”到“微頭條”,實現對微博內容實質性替代的應用場景,雖然在一定程度上擴大了消費者對于用戶發布內容的獲取途徑,但并沒有實質上增加消費者的消費體驗。即使微夢創科公司不允許字節跳動公司的“toutiaospider”網絡機器人抓取,消費者通過微夢創科公司的網站也可以獲取用戶發布的內容,或者通過搜索引擎搜索到用戶發布到微博上的內容。因此,被訴行為并未對消費者的利益造成損害。

 

再次,從字節跳動公司自己網站上載明的robots協議內容來看,其明示其他網站經營者可以根據robots協議拒絕其抓取。由此可見,字節跳動公司對于其他網站經營者通過robots協議拒絕其網絡機器人抓取是認可的,對結果也是有明確預期的。因此,被訴行為與字節跳動公司的經營意愿并不違背。事實上,字節跳動公司也并沒有因為微夢創科公司設置了robots協議的限制而未能抓取到微博內容,而是在抓取后根據是否獲得用戶的授權來決定刪除還是保留。該事實進一步證明,字節跳動公司并沒有因為被訴行為受到實際損害。

 

此外,由于微夢創科公司僅對字節跳動公司的“toutiaospider”網絡機器人設置了robots協議限制,即其他網絡機器人仍然可對微博內容進行抓取,故不會導致出現所謂的信息孤島現象,進而違背互聯網互聯、互通、共享、開放的精神,損害到公共利益或競爭秩序。

 

至于微夢創科公司將robots協議的鏈接放置在微博用戶協議中的行為,雖然該行為使該協議內容處于被消費者閱讀的可能性中,但作為一般消費者通常不會仔細閱讀用戶協議,即使點開其中的鏈接去讀取robots協議,作為一般消費者而言,大多也不會理解robots協議中語句的具體內涵。因此,該行為亦不足以給字節跳動公司帶來損害。

 

最后,反不正當競爭法不是權益保護法,其對互聯網行業的競爭行為進行規制時不應過多考慮靜態利益和商業成果,而應立足于競爭手段的正當性和競爭機制的健全性,更應考慮市場競爭的根本目標。對于網站經營者通過robots協議限制其他網站網絡機器人抓取的行為,不應作為一種互聯網經營模式進行絕對化的合法性判斷,而應結合robots協議設置方與被限制方所處的經營領域和經營內容、被限制的網絡機器人應用場景、robots協議的設置對其他經營者、消費者以及競爭秩序的影響等多種因素進行綜合判斷。根據前述分析,本案被訴行為應被認定為行使企業自主經營權的行為,但這并不意味著對于互聯網企業所設置的任何robots協議均能夠基于企業自主經營權而當然地認定其具有正當性。

 

綜上,被訴行為應屬于微夢創科公司企業自主經營權范疇內的正當行為,并不構成不正當競爭行為。一審判決有關被訴行為違反反不正當競爭法一般條款的認定有誤,本院對此予以糾正。

 

本院在此還要特別指出,2019年反不正當競爭法在第十二條對互聯網不正當競爭行為進行了規制,但互聯網行業的不正當競爭行為紛繁多樣,法律不可能窮盡所有的不正當手段。因此,對于上述法律條款中未明確規定的互聯網行業其他非類型化不正當競爭行為,可以依據反不正當競爭法的一般條款予以認定,但對于能夠歸入上述法律條款所規定的不正當競爭行為,仍應優先適用上述法律條款,且在適用上述法律條款對不正當競爭行為作出規則后,不宜再適用一般條款。

 

綜上所述,微夢創科公司的上訴請求成立,予以支持。依照《中華人民共和國民事訴訟法》第一百七十條第一款第二項之規定,判決如下:

 

一、撤銷北京知識產權法院(2017)京73民初2020號民事判決;

 

二、駁回北京字節跳動科技有限公司的訴訟請求。

 

二審案件受理費六千三百一十五元一角四分,由北京字節跳動科技有限公司負擔(于本判決生效之日起七日內交納)。

 

本判決為終審判決。

 

審 判 長 謝甄珂

審 判 員 曹麗萍

審 判 員 郭 偉

二〇二一年十月八日

法官助理 焦光陽

書 記 員 張嘉琦