Google có hàng trăm crawler đi thu thập dữ liệu khắp các website trên Internet với trí thông minh và khả năng xử lý mạnh mẽ. Hôm nay chúng ta cùng nhau viết 1 con crawler như vậy, tuy không mạnh mẽ và thông minh như các crawler của Google nhưng nó cũng làm được những tác vụ căn bản nhất: lấy dữ liệu. [Read more…]
You are here: Home / Archives for robots.txt