Cơ chế hoạt động của Google Spider

Một sự thật cơ bản đầu tiên mà bạn cần biết đó là công cụ tìm kiếm của Google  không phải là con người. Chính vì thế sẽ có sự khác nhau giữa con người và công cụ tìm kiếm trong việc đánh giá nội dung của một trang web. Để SEO website lên TOP cần có rất nhiều yếu tố kỹ thuật, con người, tài chính... tuy nhiên việc thấu hiểu cơ chế tìm kiếm của Google là điều thực sự cần thiết cho bất kỳ bạn nào muốn tìm hiểu về SEO. Chúng ta phải hiểu Google hoạt động như thế nào? Tại làm sao Google lại có thể trả về kết quả khi ta search một keyword nào đó? Và đặt ra câu hỏi trong số những thuật toán loằng ngoằng của Google đưa ra chắc hẳn sẽ phải có những bảo mật nhất định.. vậy ta có thể can thiệp ( tác động ) như thế nào để Google " để mắt " tới website của chúng ta nhiều hơn? 

Công cụ tìm kiếm của Google hoạt động thế nào?

1. Các bộ phận của Google

Thu thập dữ liệu ( Spider).
Phân tích dữ liệu - lập chỉ mục.
Mã hóa - thuật toán.

2. Google Spider (con bọ tìm kiếm) Crawling & Indexing như thế nào?

Spider có thể:
Crawling qua link trên các site đã index theo chỉ định của Meta name.
Crawling qua Add URL form.
Crawling qua Ip server reversed, DNS.
Crawling qua full domain search.
(?)

Cơ chế tìm kiếm của Spider

Đầu tiên Spider lấy danh sách các máy chủ và trang web phổ biến. Spider sẽ bắt đầu tìm kiếm với một site nào đó, nó đánh chỉ mục các từ trên trang của nó và theo các liên kết (link) tìm thấy bên trong Site này. Theo phương pháp này, hệ thống tìm kiếm của Google sẽ nhanh chóng thực hiện công việc và trải rộng ra toàn bộ các phần được sử dụng rộng rãi nhất của web.

Khi Spider xem xét các trang web (định dạng HTML), nó lưu ý: Các từ bên trong trang web & nơi nó tìm thấy các từ đó.
Các từ xuất hiện trong các thẻ Tiêu đề, Meta Description.... nó nhận định đó là phần quan trọng có liên quan đến sự tìm kiếm của người dùng sau này. Vì thế đối với mỗi website Google nó sẽ có nhiều phương pháp để index lại chỉ mục, liệt kê lại các từ khóa chính. Nhưng dù dùng cách nào thì Google cũng luôn cố gắng làm cho hệ thống tìm kiếm diễn ra nhanh hơn để người dùng có thể tìm kiếm hiệu quả hơn hoặc cả hai.

Kế đó Google sẽ xây dựng chỉ mục.
Xây dựng chỉ mục để cho phép thông tin được tìm thấy một cách nhanh chóng. Sau khi nó tìm thông tin trên website nó sẽ nhận ra rằng nhiệm vụ tìm kếm thông tin trên website sẽ không thể nào hoàn thành... bởi vì các quản trị trang web luôn thay đổi thông tin, cập nhật thông tin lên website và điều đó có nghĩa rằng Spider sẽ luôn thực hiện nhiệm vụ Crawling. Và chắc chắn rằng Google sẽ phải lưu các thông tin mà nó tìm được bằng một cách nào đó để có lợi nhất.

Sau đó nó sẽ mã hóa thông tin để lưu trữ dữ liệu trong CSDL đồ sộ của nó theo một thuật toán nào đó... chắc chắn là rất bảo mật rồi.

Chúng ta chỉ có thể can thiệp vào quy trình tìm kiếm của Google ở bước nó bắt đầu tìm kiếm và lên chỉ mục website. Còn về thuật toán cũng như hệ thống của Google thì thật khó để có thể can thiệp vào. Việc hiểu rõ cơ chế tìm kiếm của Google sẽ giúp cho các SEOER thêm nhiều kỹ năng để có thể tối ưu website thân thiện hơn với Google nhằm mục đích đưa trang web có thứ hạng cao hơn.

Cùng xem video Matt Cutt miêu tả quá trình tìm kiếm của Google Spider