無法勝過的 Google：小型搜尋引擎 Neeva 的失敗
介紹
在這個數位時代，幾乎無人不知 Google 搜尋引擎的強大優勢。據大多數研究報告顯示，Google 佔據全球搜尋市場的 90％以上，並且這個數位還在持續增長。Google 的成功可以追溯到它在搜尋引擎貢獻上的無與倫比的努力和投入以及其對廣告和使用者資料的極度保護。然而一些前 Google 員工曾試圖建立一個更好的搜尋引擎，名為"Neeva"，但就在公司開發出令人滿意的搜尋引擎時，它意外地關閉了。這個情況引發了一個哲學問題：到底為什麼無法在 Google 的主導地位上建立一個競爭力極其強大的搜尋引擎？它應該如何影響我們對市場競爭和創新的理解？
哲學問題：為什麼無法戰勝 Google？
一個搜尋引擎的建立本身存在著巨大的挑戰。構建一個超越 Google 的搜尋引擎更是如此。開發 Neeva 的團隊曾透過兩年的努力，成功構建了一個他們自豪的搜尋引擎，幾乎在內部指標和使用者研究中都超過了 Google。然而對於任何一個想要戰勝 Google 的搜尋引擎來說優秀的搜尋引擎只是一個開始。
構建一個搜尋引擎不僅是一個極其複雜的事情，也是一個相對簡單的概念。搜尋引擎實際上只需要建立一個網頁資料庫（稱為"搜尋索引"），然後在每次搜尋時從該資料庫中查詢和提供最佳和最相關的頁面。然而在這個過程的每一個步驟中，都存在著需要仔細考慮的巨大困難，這些困難必須在時間和資金之間實現平衡。
首先你必須回答一個令人驚訝的哲學問題：什麼樣的網頁才算是好的？你必須確保什麼是合理的意見分歧，什麼是錯誤的。你必須弄清楚多少廣告太多，多少廣告是適當的。有些由 AI 寫成並充斥著 SEO 垃圾的網站是不好的；但是由人撰寫並充斥著 SEO 垃圾的食譜部落格則可以接受。至於色情網站，有時候可以接受，有時候不可以。
搜尋引擎構建的困難：時間和金錢
在設定了這些界限後，你可能會確保你想要在搜尋引擎中包括幾千個域。這些域可以包括來自 CNN 到 Breitbart 等新聞網站，類似 Reddit 和 Stack Overflow 以及 Twitter 的熱門討論區以及 Wikipedia 和 Craigslist 等有用的服務以及 YouTube 和 Amazon 等大型平臺，還有網路上最好的食譜/體育/購物/其他等網站。有時候，你可以與這些網站合作，以結構化的方式獲取資料，而不需要逐個頁面地檢視；許多大型平臺都提供了這種方便，有時甚至是免費的。
接下來，你需要釋放蜘蛛爬行器。它們是一種能夠抓取給定網頁上的內容，然後尋找和跟隨每個連結的爬行器。每當爬行器存取一個網頁時，它都會將其與你對良好頁面的標準進行評估。透過的頁面將會被下載到某個地方的伺服器上，你的搜尋索引開始增長。然而不是所有網站都歡迎爬行器。每當爬行器開啟一個網頁時，提供商就要支付頻寬成本；現在想象一個搜尋引擎試圖每秒鐘一次地載入和儲存你網站的每個頁面，以確保它們是最新的。這樣的費用無法承擔。因此大多數網站都有一個名為"robots.txt"的檔案，該檔案定義了哪些機器人可以存取它們的內容以及它們可以爬行的 URL。搜尋引擎在技術上不必遵守 robots.txt 所設定的規則，但遵守這些規則已經成為 Web 的一部分並廣為接受。幾乎所有網站都允許 Google 和 Bing 爬行，因為探索性比頻寬成本重要。許多網站將阻止特定提供商，例如不希望亞馬遜爬取和分析其網站的購物網站。其他人則設定了一般規則：只有 Google 和 Bing 可以進入。不過你的爬行器很快就會回來，帶著對網際網路的很廣泛的一瞥。
接下來的工作是為每個可能的搜尋查詢對所有這些頁面進行排序。你可以按主題對頁面進行排序，將其分為更小且更易搜尋的索引而不是一個單一的巨大索引：本地結果與本地結果相聯動，購物結果與購物相聯動，新聞結果與新聞相聯動，等等。你將使用大量的機器學習來獲得頁面的主題和內容，還有大量的人類幫助。你將組建評分團隊，向他們展示一個查詢和一個結果，並要求他們從零到十評分該結果的優劣程度。（有時候是顯而易見的：如果有人搜尋"Facebook"，而第一個結果不是 facebook.com，那顯然是有問題的。）但在大多數情況下，你將合併來自許多輸入的評分，將其反饋到索引和主題模型中，然後再次重複這個過程。你還必須同時改進“查詢理解”，這樣你才能知道搜尋"the rock"和"Dwayne Johnson"的人是在尋找同一樣東西，但那些搜尋"the rock"和"rock"的人可能是在尋找不同的東西。你會有一個大型的同義詞庫，可以重寫查詢以便更容易搜尋。然而 Google 稱，每天 15％的搜尋都是全新的，所以你將永遠在新的東西方面學到更多。
執行搜尋引擎意味著不斷在速度、成本和質量之間平衡。你可以每次有人輸入"YouTube"並按下回車時搜尋整個資料庫，但這樣的搜尋時間太長，使用的頻寬和儲存成本太高。你可以建立一個與網際網路一樣大的資料庫，但這樣的儲存成本將使任何一家公司破產——而且儲存和搜尋速度太慢。你可以約束自己只使用網路上最受歡迎的 100 個網站，但對任何人都沒有太大幫助。此外網站會不斷變化，因此你的爬行器和排名系統必須不斷適應。從零開始構建搜尋引擎既困難又昂貴。這就是為什麼很多公司不這樣做 —— 它們以每 1,000 次交易收費 10 到 25 美元的價格許可 Bi 的資料，然後新增自己的功能和介面，就這樣完成了。
競爭如何終結 Neeva
Neeva 在開發了自己的搜尋索引之後，相信它可以打造一個更好的搜尋引擎。然而該公司最終發現，改變 Google 的商業模式並不容易。Google 以廣告為主的模式導致搜尋結果的質量下降，因為首先它顯示的是廣告而不是真正使用者在尋找的東西，並且這種商業模式還需要不斷依賴使用者資料來為廣告商提供目標受眾。Neeva 試圖改變這種商業模式，將使用者體驗放在第一位，幫助人們快速找到他們想要的訊息。然而這個理念並沒有取得成功，因為 Google 的優勢和其他技術障礙使 Neeva 難以突圍而出。
市場競爭和創新的思考
Google 的壟斷地位引發了許多市場競爭和創新的問題，這些問題不僅關乎搜尋引擎市場本身，還涉及整個技術行業。
首先 Google 在搜尋引擎市場的龍頭地位約束了其他競爭對手的機會。像 Neeva 這樣的專注於創新的小型公司難以在 Google 龐大的市場份額面前打破局面。全球市場中只有 90％的份額留給其他搜尋引擎，這使得其他公司很難生存和繼續創新。
其次 Google 透過與裝置製造商和瀏覽器開發者的分銷協議，確保了自己在移動和桌面端的預設搜尋引擎地位，這約束了其他競爭對手進入市場的機會。此外 Google 還支付巨額費用將自己的搜尋引擎設為蘋果 Safari 瀏覽器和其他裝置的預設搜尋引擎，這使得其他搜尋引擎很難與其競爭。
再者，構建一個搜尋引擎是一個非常昂貴而困難的任務，這對於專注於創新的小型公司來說是一個巨大的負擔。大多數小型搜尋引擎公司都選擇透過許可 Bing 的資料來構建搜尋引擎，因為這比建立自己的系統要容易得多。然而這種非競爭的環境阻礙了更多的創新和多元化。
結論：市場競爭的重要性和機遇的約束
從 Neeva 的個案中，我們可以看到市場競爭對於創新和消費者的利益是多麼重要。Google 在搜尋引擎市場的壟斷地位約束了其他公司的發展空間，並且這種情況可能讓消費者錯失更好的選擇。出於消費者利益的考慮，政府和監管機構有責任監督這個市場，並確保競爭環境的公平和透明。
然而我們也應該注意到，構建一個競爭力強大的搜尋引擎是一個非常困難和昂貴的任務。在 Google 等巨頭壟斷市場的情況下，其他公司可能無法承擔這樣的挑戰。因此我們需要尋找其他方式來保護競爭和促進創新，例如透過更積極的監管措施、政府支援和技術合作，以創造更好的市場環境。
無論如何，這些挑戰和約束並不意味著我們應該放棄競爭和創新。在技術發展日新月異的時代，我們需要鼓勵和支援更多的公司和創造力，以確保市場的多樣性和競爭的健康發展。
延伸閱讀
- OpenAI 與 Google 擺出競爭的 AI 願景
- 亞馬遜旗下的 Audible 將利用 Prime Video 資料進行有聲書推薦，與 Spotify 競爭加劇
- FTC 禁止非競爭條款，法庭挑戰即將到來
- 印度串流平臺 JioCinema 推出 35 美分會員方案，與 Netflix 和 Prime Video 競爭
- 羅斯敦汽車公司破產後更名，爭取與鴻海一決高下
- AI 影片生成競爭升溫：Deepmind 前員工推出 Haiper
- 印度在如何打破 PhonePe 和 Google 支付壟斷上束手無策
- 微軟 CEO 納德拉談 AI LLM 競爭：「我們正在等待競爭對手到來」
- 瀏覽器新創如何挑戰 Google 搜尋
- 皮蛋和阿裏巴巴的競爭應該受到更多關注
