任何的搜尋引擎，極少數是採人工分類登錄與計分(因為他們相信人類永遠優於電腦)，極多數都是用「程式」的方式自行搜尋與登錄，這種程式就叫作機械人程式或蜘蛛程式，英文為robot或spider。舉例來說，奇摩搜尋有他自己的機械人程式，我們就叫作奇摩機械人好了，奇摩把機械人放出去，不斷地放出去，任奇摩機械人在網海中到處走訪，把所有走訪過的網站，記錄下來相關訊息，回傳給奇摩搜尋作進一步的評分。由於圖像辨識與人工智慧目前尚未成熟，舉凡類神經網路、專家系統、灰色推論……，相關人工智能技術尚在開發中，所有的機械人程式，是無法理解「圖片」的意義，以及「文章」的意涵，他只能辨識出「文字意義」、「單詞意義」以及「超連結狀況」，其他的，諸如圖片、帳號管理、Flash、影片等等，他都會略過去。明瞭到機械人程式的弱點，自然清楚，「文字」與「超連結狀況」幾乎包涵了絕多數的SEO技巧，也是機械人程式能夠回報作評分的最主要訊息。

想瞭解機械人看到的網頁，最好用http://www.delorie.com/web/lynxview.html提供的功能。不過，個人覺得，在網頁按「檢視」原始檔，然後把網頁語法標籤去掉，就跟機械人看到的網頁差不多了，只是亂了點，放心，美感是機械人無法理解的。