Google có hàng trăm crawler đi thu thập dữ liệu khắp các website trên Internet với trí thông minh và khả năng xử lý mạnh mẽ. Hôm nay chúng ta cùng nhau viết 1 con crawler như vậy, tuy không mạnh mẽ và thông minh như các crawler của Google nhưng nó cũng làm được những tác vụ căn bản nhất: lấy dữ liệu.

Bạn nào config Session của Apache rồi thì khỏi xài cái này chi nữa. Còn bạn nào chưa config hoặc không thể config (vì nhiều nguyên nhân) thì có thể nghiên cứu thêm hàm này để sử dụng.

Một vài trường hợp đặc biệt bạn muốn … né các chú BOT ghé thăm site mình (ví dụ như các site có bảng quyền hoặc một số thư mục chỉ giành cho người quản trị chẳng hạn) thì cách dưới đây có thể giúp bạn làm điều đó. Code này còn có thể dụng hạn chế Flood data.