BLOG, SEO OFFPAGE

XỬ LÝ TÁC VỤ THỦ CÔNG CỦA GOOGLE

Audit Backlink là đánh giá chất lượng hệ thống backlink đang trỏ về trang web của bạn. Đây là công việc bạn phải làm mỗi khi bắt đầu dự án SEO mới và định kỳ mỗi tháng, cũng như khi từ khóa bị rớt hạng do ảnh hưởng tiêu cực của thuật toán Penguin hay dính án phạt tác vụ thủ công của Google.

Có lẽ, Quang sẽ không bao giờ phát triển được kỹ thuật audit backlink này, nếu như Quang không xử lý một tác vụ thủ công do tạo liên kết bất thường cho dự án của khách hàng.

Ngày trang web được Google xóa án phạt là ngày Quang có cảm giác như mình được trở về từ cõi chết. Rất mệt mỏi, nhưng Quang cũng đem về được cho mình những kinh nghiệm vô cùng quý giá. Hôm nay, Quang sẽ giới thiệu trọn vẹn quy trình đó tới bạn. Còn bạn áp dụng nó được thành công tới đâu là dựa vào tiềm năng của bạn.

 

AUDIT BACKLINK

Để Audit Backlink được tốt, bạn cần phải có dữ liệu. Đầu tiên, bạn hãy nạp tất cả các API mình có được vào URL Profiler,  và chọn các mục Domain Level Data nhiều nhất có thể. Bạn càng thu thập được nhiều thông tin thì việc ra quyết định càng chính xác.

 

Trang web độc hại

Bạn đăng ký Google Safe Browsing API, rồi gắn vào URL Profiler. Vì đây là dữ liệu của Google, nên kết quả là chính xác tuyệt đối. Các domain Malware and Phishing là những trang web thuộc loại độc hại nhất, bạn cần phải disavow nó ngay lập tức. Trung bình trong khoảng 500 domain trỏ về trang web, sẽ có khoảng từ 2 – 5 domain thuộc dạng này.

XỬ LÝ TÁC VỤ THỦ CÔNG CỦA GOOGLE 1

 

Trùng lặp địa chỉ IP và IP Class C

Ví dụ: 103.68.82.189 là địa chỉ IP, thì 103.68.82 là IP Class C. Nếu hai trang web có cùng địa chỉ IP thì gần như 100%, chúng thuộc cùng một hệ thống được xây dựng nên để thâu tóm PageRank (ngoại trừ một số ít trường hợp ngoại lệ). Còn nếu trùng lặp IP Class C, thì tỉ lệ này cũng lên tới 90%. Nếu bạn xây dựng hệ thống vệ tinh trên cùng một IP, thì người bình thường như Quang còn phát hiện được, huống chi là Google. Lọc các địa chỉ này hơi lâu, nên Quang có cách nhanh hơn để xác định chúng, đó là nhìn vào chỉ số Domains on IP Address. Nếu chỉ số này lớn hơn 1, nghĩa là trên địa chỉ IP đó có nhiều hơn một domain.

XỬ LÝ TÁC VỤ THỦ CÔNG CỦA GOOGLE 2

 

Google Index và Đuôi tên miền

Quang thường dùng SpinEditor để quét nhanh Google Index, và loại các domain có số lượng nội dung được Google Index quá thấp ( 100, 200 hoặc hơn tùy vào trường hợp). Các đuôi tên miền giá rẻ, mua tầm vài chục ngàn / năm như .xyz, .top, .club… cũng rất nguy hiểm, vì Google có hệ thống tự động bật cảnh báo spam cho những tên miền loại này.

XỬ LÝ TÁC VỤ THỦ CÔNG CỦA GOOGLE 3

 

Tín hiệu mạng xã hội và Thông tin đăng ký tên miền

Nếu một domain không hề có bất kỳ một tài khoản mạng xã hội nào, hoặc có tài khoản mạng xã hội nhưng sự tương tác (Social Shares) quá thấp đều đáng ngờ. Ngoài ra, các trang web giấu đi thông tin người đăng ký tên miền, và đặc biệt là email đăng ký tên miền của nhiều domain bị trùng lặp, thì đó chắc chắn là hệ thống được dựng lên bởi cùng một người.

XỬ LÝ TÁC VỤ THỦ CÔNG CỦA GOOGLE 4

 

Server country và Wayback machine

Nếu bạn phục vụ cho khách hàng từ Việt Nam, thì domain trỏ về từ các nước như Việt Nam, USA, Japan, Singapore… là chuyện bình thường. Nhưng nếu chúng đến từ China, Korea, Russia, Romania, Portugal, Brazil… hay một nước trời ơi nào đó mà đọc tên nước xong bạn cũng không biết nó nằm ở đâu trên bản đồ thế giới, thì tốt nhất, bạn hãy xếp chúng vào danh sách đáng ngờ. Ngoài ra, các tên miền không có dữ liệu trên Wayback Machine, hay mới được mua trong thời gian gần đây (như năm 2017, 2016…), bạn cần cẩn thận với chúng. Vì chúng có thể được tạo nên chỉ để xây dựng hệ thống, chứ không thật sự là một trang web được phát triển tự nhiên.

XỬ LÝ TÁC VỤ THỦ CÔNG CỦA GOOGLE 5

 

Site Type

Site Type nghĩa là loại trang web. Nếu trang web thuộc dạng Blog, CMS, Shopping, Social…, đó thường là những backlink tự nhiên. Còn nếu trang web thuộc loại Forum, Bookmarking, Profile, Signature, Footer, Sidebar, Comment, Trackback, Wiki… đó thường là backlink thuộc dạng đáng ngờ.

XỬ LÝ TÁC VỤ THỦ CÔNG CỦA GOOGLE 6

 

Đánh giá các chỉ số của Ahrefs, Majestic, Moz

Bạn cần điều chỉnh các chỉ số này sao cho phù hợp với quy mô trang web của bạn. Với các trang web nhỏ, Quang thường tạo bộ lọc phát hiện liên kết bất thường là: DA, CF < 10, DR < 15, TF < 5, Trust Ratio < 0.5. Nếu bạn xử lý trang web có quy mô lớn hơn, hãy nâng các chỉ số này lên, nhưng vẫn cần sự hài hòa giữa chúng.

XỬ LÝ TÁC VỤ THỦ CÔNG CỦA GOOGLE 7

 

Đánh giá chỉ số của Alexa và SEMRush

Tuy chỉ số của Alexa và SEMRush không chính xác bằng chỉ số của ba công cụ trên, nhưng nó cũng đáng để đánh giá. Quang thường gán nhãn bất thường các trang web không được Alexa và SEMRush cập nhật dữ liệu, hoặc vị trí xếp hạng Alexa hay số lượng từ khóa ở trong top 100 của SEMRush Keyword quá thấp.

Đánh giá Backlink

Quang dùng riêng chỉ số của Ahrefs để đánh giá backlink, vì Ahrefs là công cụ phân tích backlink chính xác nhất hiện nay. Quang đặt hai cột Ahrefs Backlinks và Ref Domains ở gần nhau, rồi sort Ahrefs Backlinks từ cao tới thấp và quan sát. Khi nhìn từ trên xuống dưới, nếu chỉ số Ahrefs BacklinksRef Domains đang cao, nhưng đột nhiên xuất hiện một domain có số lượng Ahrefs Backlinks cao mà Ref Domains lại thấp, thì đó là một domain bất thường. Ở đây không có một con số cụ thể để làm mốc cho bạn, mà chỉ có cách là bạn nhìn xuôi theo dòng chảy dữ liệu của chúng, rồi phát hiện các điểm dị thường. Bạn có thể tô màu các cột theo dạng Color Scales trong Exel để phát hiện nhanh chóng hơn.

XỬ LÝ TÁC VỤ THỦ CÔNG CỦA GOOGLE 8

 

Spam Core của MOZ

Đây là một trong những chỉ số tốt nhất của MOZ, và cũng là một trong những chỉ số đáng tin cậy nhất để bạn đánh giá độ spam của domain. Ahrefs và Majestic không có chỉ số tương tự như thế này, mà bạn phải lọc thủ công. Bộ phận R&D của MOZ, đứng đầu là Dr.Matt Peters đã thống kê dữ liệu lớn (500.000 domain) rồi so sánh tỉ lệ phần trăm với các domain nằm trong blacklist của Google, và đưa ra được 17 yếu tố có dấu hiệu spam. Moz khuyến cáo các domain có chỉ số Spam Core từ 5 / 17 trở lên là nguy hiểm. Còn theo kinh nghiệm thực tế của Quang, khi Spam Core từ 3 trở lên, chúng đã có dấu hiệu của sự bất thường. Với tài khoản Moz Pro bình thường, bạn không thể gắn API của Moz vào URL Profiler để lấy được chỉ số Spam Core này, mà bạn phải dán URL domain vào Open Site Explorer để lấy thủ công. Tuy nhiên, do bọ của MOZ ít khi cập nhật, dữ liệu lấy về không đủ, nên Quang thường phải mua thêm dữ liệu của bên thứ ba là My – Addr.

XỬ LÝ TÁC VỤ THỦ CÔNG CỦA GOOGLE 9

 

Penalty Risk trong SpyGlass

SpyGlass thuộc bộ PowerSuite của Link Assistant, chuyên dùng để phân tích backlink. Phiên bản mới nhất hiện nay dựa trên hơn 8 dấu hiệu (tuổi domain, incoming và outgoing links, PageRank, anchor text và keyword, IP…) để tính toán TỰ ĐỘNG mức độ spam của domain. Nếu chỉ số này trên 30% là ở mức cảnh báo, còn trên 70% là rất nguy hiểm. Với bản miễn phí, bạn chỉ xem được chỉ số, chứ không thể xuất file dữ liệu. Bạn có thể nhờ đàn anh đang dùng bản Spy Glass trả phí, quét domain rồi xuất file kết quả giùm bạn. Còn nếu không có ai giúp thì bạn có thể chụp ảnh màn hình, rồi dùng phần mềm convert hình ảnh sang file excel cũng được. Tuy nhiên, bạn lưu ý là backlink trong SpyGlass được mua từ bên thứ ba là WebMeUp, nên không có độ chính xác cao. Bạn có thể tổng hợp domain từ Ahrefs, sau đó thêm thủ công vào SpyGlass rồi quét để có kết quả chính xác hơn.

XỬ LÝ TÁC VỤ THỦ CÔNG CỦA GOOGLE 10

Cuối cùng, công cụ đánh giá chính xác nhất vẫn là con người. Bạn vào trang web tình nghi, sau đó xem nội dung trang web có nhất quán không, bài viết có văn phong tự nhiên do con người viết ra không, trang web có hình ảnh minh họa và có liên kết nội bộ không? Những yếu tố này chỉ có con người mới có thể đánh giá được, chứ công cụ thì thua. Tuy nhiên, do nguồn lực về con người luôn hạn chế và rất quý giá, nên bạn chỉ nên dùng nguồn lực này ở bước cuối cùng. Những bước đầu, bạn nên tập trung vào việc thu thập và phân tích số liệu sẽ hiệu quả hơn.

 

TỔNG HỢP DỮ LIỆU

Sau khi đánh giá được từng yếu tố xong, Quang cần tổng hợp các dữ liệu rời rạc lại để ra quyết định cuối cùng. Nhưng tổng hợp bằng cách nào, đồng thời, mỗi yếu tố lại có mức độ quan trọng khác nhau, mình không thể quy đồng tất cả.

Hãy quay về với ý tưởng xếp hạng của Google. Google dựa trên 200 yếu tố khác nhau. Họ đánh giá từng yếu tố xong, sau đó quy định mức độ quan trọng của từng yếu tố bằng các trọng số, rồi viết một giải thuật để tính toán cho ra kết quả cuối cùng. Quang biết được đây chính là thứ mình cần, nhưng cũng phải suy nghĩ mất 1 tuần mới có thể biến ý tưởng thành hiện thực.

Đó là đầu tiên, Quang GẮN NHÃN cho từng yếu tố, sau đó quy định mức độ bất tường của từng yếu tố qua ĐIỂM SỐ. Quang tạo ra 2 loại nhãn là Nguy hiểm và Bất thường. Nhãn Nguy hiểm gồm Malware (10 điểm), Spam Core Moz (Spam Core từ 3 tới 10 tương ứng từ 1 tới 8 điểm), Backlink Ahrefs (2 điểm), trùng lặp IP (2 điểm) và phần Kiểm tra của con người (3 điểm). Nhãn Bất thường gồm tất cả các yếu tố còn lại, 1 điểm cho từng yếu tố. Riêng với SEMRush, Quang chỉ cho 0.5 điểm, vì độ chính xác của nó không quá cao.

XỬ LÝ TÁC VỤ THỦ CÔNG CỦA GOOGLE 11

Khi đó, công việc tổng hợp các số liệu trở nên rất dễ dàng. Bạn đánh giá sự bất thường của từng yếu tố, rồi cho điểm chúng. Cuối cùng, bạn dùng hàm SUM để cộng các điểm số đó lại, thế là xong.

Bạn có thể tham khảo một file Audit Backlink tại đây: https://tinyurl.com/ybkjc5x4

 

TÁC VỤ THỦ CÔNG

Google có hơn 10 tác vụ thủ công, trong đó Tác vụ thủ công do liên kết bất thường là thường gặp và là một trong những loại nguy hiểm nhất. Có hai loại chính là Tác vụ thủ công toàn phần và Tác vụ thủ công từng phần. Quang xử lý loại thứ hai: Tác vụ thủ công từng phần.

Khi dính tác vụ thủ công, Google sẽ gửi email thông báo tới Google Search Console cho bạn. Sau đó, Google thêm một hệ số vào giải thuật xếp hạng của họ, và làm từ khóa của bạn rớt hạng một phần hay toàn bộ một cách chậm rãi và đều đặn, từ 20, 50 cho tới out khỏi Top 100. Chúng chỉ ngoi lên được, sau khi nhân viên Google gỡ bỏ hình phạt. Mọi nỗ lực viết thêm nội dung hay đi thêm backlink thời điểm này đều vô ích. Công việc của bạn là tìm và xóa đi các backlink bất thường, rồi nộp đơn xem xét lại tới Google.

Ngày nhận hung tin, Quang như một tờ giấy trắng. Con đường xử lý tác vụ thủ công như dài vô tận với vô số những nút kẹt, và không hề dễ dàng như Quang nghĩ lúc đầu. Quang phạm phải vô số sai lầm, và dưới đây là 3 lỗi thường gặp nhất.

 

3 NGỘ NHẬN

  • Không thu thập đủ dữ liệu. Vì Google Search Console không báo về đủ backlink cho bạn, nên bạn cần phải thu thập thêm dữ liệu từ các công cụ thứ ba. Bạn đừng nghĩ Ahrefs là thu thập đủ, vì cơ chế hoạt động của các con bọ là khác nhau. Có backlink chỉ Majestics mới thu thập được còn Ahrefs thì không, và cũng có backlink chỉ Google Search Console mới có báo, chứ không hề có trong các công cụ kia. Cách tốt nhất, là bạn tổng hợp backlink từ mọi nguồn bạn có thể, từ Ahrefs, Majestics, Moz Pro và Google Search Console.
  • Chỉ phân tích tầng domain, bỏ qua phần backlink. Lí do đơn giản, vì số lượng backlink nhiều gấp vài chục lần số lượng domain, nên bạn không thể xử lý thủ công được toàn bộ backlink này. Tuy nhiên, nếu chỉ phân tích domain, bạn đã bỏ qua tỉ lệ Doffolow / Nofollow, mật độ Anchor Text, vị trí Backlink… rất đặc trưng chỉ có trên backlink. Hơn nữa, Google xử lý hình phạt trên đơn vị backlink, chứ không phải đơn vị domain. Để giải quyết vấn đề này, bạn cần phải có một công cụ thu thập dữ liệu backlink đầy đủ và phân loại TỰ ĐỘNG chất lượng backlink. Hiện tại, Quang chỉ biết có duy nhất một công cụ miễn phí như thế: URL Profiler.
  • Disavow toàn bộ các backlink. Đây thường là giải pháp khi bạn đã bị đẩy vào con đường cùng. Làm cách này, chưa chắc Google đã tha cho bạn, đồng thời bạn disavow link thì chỉ tương đương với thêm thuộc tính nofollow cho liên kết, chứ backlink đó vẫn còn đấy, không hề bị mất đi. Và điều nguy hiểm nhất là khi bạn disavow toàn bộ backlink, bạn cũng cho đi luôn những backlink chất lượng mà mình từng rất vất vả mới lấy về được trong đống hỗn mang đó. Cách tốt nhất là bạn phải xác định chính xác backlink độc hại, rồi gỡ nó xuống (tự gỡ nếu backlink đó do mình đặt, hoặc gửi email tới webmaster nhờ họ gỡ giùm). Làm hết mọi cách rồi mà vẫn không gỡ được thì bạn mới dùng tới Google Disavow Tool.

Okie, vậy là xong phần tư tưởng. Tiếp theo, Quang sẽ nói tới phần quan trọng nhất, gồm các bước xử lý tác vụ thủ công. Nó gồm những bước chính sau: thu thập dữ liệu, phân tích backlink, thu thập thông tin liên lạc webmaster và nhờ họ giúp đỡ, tạo file disavow.txt và gửi yêu cầu xem xét lại cho Google.

 

Bước 1: Thu thập backlink

Đầu tiên, bạn dùng Ahrefs, Majestic, Moz Pro và Google Search Console để download toàn bộ các baclink về. Tuy nhiên, nếu số lượng backlink quá lớn, bạn nên xử lý các backlink còn sống trước (live backlink), backlink đã chết sau (dead link), vì trong tổng số toàn bộ backlink có rất nhiều backlink đã chết.

Khi download backlink về, bạn nên chọn định dạng file CSV, vì URL Profiler có chế độ nạp file CSV (chứ không hỗ trợ file Excel) và tự động loại bỏ các backlink bị trùng lặp.

Bước 2: Phân loại Anchor text

Mọi công cụ xử lý tác vụ thủ công chuyên nghiệp trên thế giới hiện nay đều phải có phần phân loại Anchor Text. Bạn cần phân loại thủ công chúng, rồi nạp vào URL Profiler cho nó xử lý. Trong URL Profiler, backlink được chia làm 3 loại: thương hiệu (Branded), anchort text là từ khóa chính xác + thương mại (Commercial) và anhor text chung chung (Generic). Đây là một dữ liệu nguồn bạn bắt buộc phải nạp vào cho URL Profiler.

Bước 3: Nạp Blacklist

Bạn chỉ cần check hai ô IP Address và Site Type ở phần Domain Level Data, để làm giảm thời gian thu thập dữ liệu, vì mỗi lần chạy phần mềm sẽ mất vài giờ cho tới cả ngày trời mới xong.

Sau đó, trong phần Blacklist, bạn nạp vào danh sách các domain bất thường mà bạn có được ở phần đầu tiên của bài viết. Mỗi backlink bạn phân tích sẽ thừa hưởng được kết quả từ tầng domain trả về, từ đó giúp bạn tiết kiệm được rất nhiều sức lực. Đây là một trong những bước quan trọng nhất của quá trình audit backlink.

Bước 4: Setup Connections và Link Analytics

Ở bước này, bạn cần điều chỉnh lại thông số cho URL Profiler, vì cài đặt mặc định của URL Profiler để phân tích DOMAIN, chứ không phải phân tích BACKLINK. Theo khuyến cáo của Patrick Hathaway, một trong hai người lập trình ra URL Profiler, bạn nên điều chỉnh Connect Timeout trong phần Connections tối thiểu là 40s, và Maximum Retries trong phần Link Analysis tối thiểu là 3. Quang thường chỉnh chúng lên 50s và 5 để tăng độ chính xác cho toàn bộ quá trình. Nếu bạn quên điều chỉnh bước này, URL Profiler sẽ không đủ thời gian xử lý, từ đó làm sai đi kết quả cuối cùng của cả vài chục ngàn backlink.

Bước 5: Chạy chương trình

Xong xuôi, bạn bấm nút cho phần mềm chạy. Trung bình, URL Profiler phân tích được khoảng 2.000 backlink / 1h. Nếu phải phân tích số lượng backlink quá lớn, tốt nhất là bạn nên cắm máy tính vào ban đêm rồi đi ngủ hoặc chạy trên máy ảo VPS. Bạn đừng nên chạy phần mềm vào ban ngày, vì nó chạy rất lâu, từ đó làm ảnh hưởng tới công việc và sinh hoạt hàng ngày của bạn.

Bước 6: Đánh giá backlink

Sau khi chạy xong xuôi, phần mềm sẽ báo kết quả cho bạn trong 1 file Exel khoảng 10 tab. Quang thường xóa hết chúng đi, và chỉ giữ lại kết quả trong TAB ALL. Trong tab này, hai thông tin quan trọng nhất chính là phần Link Scoring và Link Score Reason dùng để chú giải lí do phân loại backlink.

URL Profiler phân loại backlink của bạn thành các loại: None, Not Processed, Ignore, Optimized, Review, Low, Suspect, Unnatural và Blacklist. Bốn loại cuối cùng: Low (chất lượng thấp), Suspect (nghi ngờ), Unnatural (không tự nhiên) và Backlist là những loại nguy hiểm nhất. Bạn nên copy toàn bộ các backlink bất thường này sang một tab mới trong Excel để dễ xử lý.

Bước 7: Thu thập thông tin liên lạc của Webmaster

Ở bước này, bạn cần thu thập được thông tin liên lạc của tất cả webmaster có domain trỏ về trang web của bạn. Bạn dùng URL Profiler, rồi check các ô Social Accounts và Email Address. Nếu có tiền, bạn check ô Whois Emails để lấy thêm thông tin. Thực chất, bạn chỉ cần Email của webmaster là đủ. Tuy nhiên, bạn nên thu thập thêm thông tin về Social Accounts của họ, để nếu như bạn liên lạc với họ qua email không được, thì bạn cũng có thể liên lạc với họ qua mạng xã hội. Google muốn thế, nên bạn cứ làm thôi.

Sau khi thu thập email xong, bạn cần viết hàm VLOOKUP trong Excel để ráp thông tin email của các tên miền vào từng backlink một, để sau này khi gửi email đi, bạn không bị sót backlink.

Bước 8: Viết email tới Webmaster

Quang thường dùng Gmail để gửi thư, vì nó miễn phí và dễ sử dụng. Vì bạn có thể phải gửi cả trăm email có nội dung tương tự nhau tới nhiều người cùng một lúc, nên bạn cần tạo một mẫu email có sẵn (template) để gửi cho nhanh. Nếu gửi thủ công, bạn làm cả ngày trời chưa chắc xong. Bạn hãy dùng chức năng Canned Responses trong Gmail (Google để biết thêm chi tiết).

Bạn cần viết hai phiên bản, một bản tiếng Việt cho webmaster người Việt, một bản tiếng Anh cho webmaster người nước ngoài. Nội dung nên lịch sự, ngắn gọn và đi thẳng vào vấn đề. Bạn ghi rõ lý do bạn cần tới sự giúp đỡ của họ, danh sách các backlink bạn cần họ xóa giùm hoặc thêm thuộc tính nofollow (thường thì họ sẽ xóa luôn bài viết đó cho nhanh gọn). Và quan trọng nhất, bạn nên đính kèm thêm ảnh chụp màn hình thông báo tác vụ thủ công của Google tới trang web bạn, để họ thấy bạn thực sự cần tới sự giúp đỡ của họ. Thông thường, các bạn webmaster người Việt phản hồi nhanh chóng, nay gửi mai có reply, và hỗ trợ bạn nhiệt tình. Còn các bạn webmaster người nước ngoài thì Quang ít khi thấy phản hồi.

Bạn đợi tầm 2 – 3 ngày để họ phản hồi cho hết. Sau đó, bạn nhớ chụp ảnh màn hình TẤT CẢ những phản hồi của các webmaster, vì đây là một trong những bằng chứng quan trọng nhất để Google xóa án phạt cho bạn.

Bước 9: Xác nhận tình trạng của backlink

Quang tạo thêm một cột trong Exel, và đặt tên nó là Trạng thái. Bạn có thể phân loại backlink bất thường làm 3 loại: Loại backlink đã gỡ thành công, loại backlink đã liên hệ webmaster gỡ bỏ nhưng không gỡ được (vì bị họ vòi tiền hay webmaster không chịu giúp bạn…) và loại backlink mà bạn không thể thu thập được thông tin liên lạc với webmaster. Hai loại backlink cuối cùng, bạn có thể an tâm dissavow chúng.

Bước 10: Tạo file Disavow

Đầu tiên, Quang tạo hai cột trong Excel. Một cột là các domain trong danh sách domain blacklist, một cột là full URL các backlink bạn quyết định dissavow ở bước số 9. Các backlink đã ổn, bạn không phải sửa, nhưng bạn cần chèn thêm từ “domain:” trước các tên miền cho đúng định dạng của Google. Bạn có thể dùng hàm Concatenate trong Exel để là việc này.

Sau đó, bạn tạo một file dissavow.txt (không được tạo Word hay để nguyên file Excel nhé, vì Google không đọc được). Bạn copy danh sách các domain và baclink độc hại trên vào file, mỗi thằng một dòng. Cuối cùng, bạn lưu file dưới dạng mã UTF8 (đừng chọn ANSI, vì nó lỗi font), sau đó upload lên Google Disavow Tool.

 

Trùm cuối: Gửi thư cho Google

Cuối cùng, bạn cần viết yêu cầu xem xét lại rồi gửi cho Google qua Google Search Console. Phần này là cam go nhất. Nhân viên Google làm việc công minh, và đều là cao thủ, nên bạn đừng mong xin xỏ hay dùng thủ thuật qua mặt họ. Bạn có thể xử lý dữ liệu còn chưa được tốt lắm, nhưng trung thực vẫn là yếu tố quan trọng nhất.

Nếu không rành tiếng Anh, bạn cứ viết tiếng Việt, vẫn tốt như thường. Trong thư yêu cầu, bạn cần dự đoán về nguyên nhân bạn bị tác vụ thủ công, quá trình bạn thu thập và phân tích dữ liệu, liên lạc với các webmaster và sử dụng Google Dissavow Tool như biện pháp cuối cùng để từ chối backlink độc hại. Bạn có thể tham khảo mẫu sau:

“ Xin chào Google.

Tôi tên là Trần Ngọc Quang, là quản trị web của https://quangsilic.com/.

Ngày 28/09/2017, chúng tôi nhận được thông báo tác vụ thủ công do tạo liên kết bất thường từ Google.

Trước đây, chúng tôi đã từng thuê dịch vụ SEO để tối ưu hóa trang web cho chúng tôi. Họ đã dùng phần mềm GSA Search Engine Ranker và hệ thống PBN để tạo ra các liên kết bất thường nhằm thao túng PageRank. Chúng tôi đã vi phạm chính sách của Google, và hiện tại chúng tôi đang nỗ lực để giải quyết những sai lầm đó.

Chúng tôi đã thu thập dữ liệu từ Google Search Console, Ahrefs, Majestic và Moz. Chúng tôi lọc được 750 domain và 41.371 backlink trỏ về trang web của chúng tôi. Sau đó, chúng tôi dùng phần mềm URL Profiler để hỗ trợ việc đánh giá chất lượng backlink, đồng thời nhờ dịch vụ SEO cũ gỡ bỏ các liên kết bất thường mà họ đã từng tạo ra. Cuối cùng, sau khi liên hệ với các webmaster nhờ họ gỡ bỏ hoặc thêm thuộc tính nofollow cho các liên kết bất thường đó, chúng tôi đã disavow 81 domain độc hại và 2.720 backlink bất thường còn lại không thể gỡ bỏ.

Dữ liệu đánh giá chúng tôi đã upload lên Google Drive. Bạn có thể xem ở đây: (Bạn chèn link vào nhé!!!)

Trong file dữ liệu này gồm 9 tab:

  1. File Request Google.
  2. File Domain.
  3. File Đánh giá Domain.
  4. Phân loại Anchor Text.
  5. File Backlink.
  6. File Đánh giá Backlink.
  7. File Thông tin liên hệ webmaster.
  8. Ảnh chụp màn hình một số email mà chúng tôi đã gửi tới các webmaster và toàn bộ phản hồi của họ.
  9. File Disavow.txt

Chúng tôi đã làm mọi thứ có thể để loại trừ các liên kết bất thường theo hướng dẫn của Google Guideline và từ chối liên kết từ chúng. Chúng tôi hi vọng Google chấp nhận nỗ lực này của chúng tôi.

Trân Trọng.

Trần Ngọc Quang – quản trị web https://quangsilic.com/ “

 

ĐỢI CHỜ LÀ HẠNH PHÚC

Thời gian tối đa Google trả lời bạn là 1 tuần. Sau khi gửi yêu cầu xong, bạn nên ra chợ, mua trái cây đem về chưng bàn thờ. Nếu may mắn, sau 3 – 4 ngày, Google sẽ gửi email chấp nhận yêu cầu của bạn, và xóa án phạt tác vụ thủ công. Còn nếu đợi gần 1 tuần mà chưa thấy gì thì xác suất tạch là rất cao. Bạn hãy chuẩn bị tinh thần để làm lại mọi thứ từ đầu.

Bạn thất bại, là do bạn làm bị sót một trong những bước trên. Nguyên nhân thì vô số. Có thể bạn đã đánh giá sai chất lượng domain, bạn chưa thu thập đủ dữ liệu, bạn phân loại nhầm Anchor Text, bạn setup chưa đúng cấu hình cho URL Profiler, bạn điền sai định dạng file dissavow.txt…. Nếu làm lần đầu tiên, quá khó để bạn làm trôi chảy toàn bộ quy trình trên. Tuy nhiên, bạn hãy kiên trì làm lại. Bạn vừa làm, vừa phải tự hỏi vì sao mình lại làm bước này? Có cách nào làm nhanh và hiệu quả hơn không?… Có như vậy, bạn mới có thể hiểu được mình đã bỏ qua những bước gì, và khắc phục chúng.

Ngoài ra, nếu có đủ thời gian và nguồn lực, bạn có thể đánh giá thêm backlink nofollow và backlink đã chết, vì chúng tuy có thể không tạo ra án phạt tác vụ thủ công, nhưng vẫn có thể ảnh hưởng tới vị trí xếp hạng từ khóa của bạn về sau này. Với các ca khó và quá quan trọng, bạn cần viết thêm hàm Excel để tạo ra bộ lọc cao hơn trong bước 6: Phân tích backlink. Bạn phải tự-viết-hàm để xử lý thôi, vì dữ liệu rất lớn, bạn lọc thủ công không nổi đâu. Bạn cần phải đọc thêm tài liệu để hiểu về bản chất backlink, rồi tự viết hàm lọc theo ý muốn của mình. 3 tài liệu rất hay mà bạn nên đọc là:

  • Spam Score: Moz’s New Metric to Measure Penalization Risk của Moz.
  • Link Analysis | URL Profiler Knowledge Base.
  • Step By Step: Unnatural Links Manual Action Removal Guide, tổng hợp của Anamarija Barun.

Ngoài ra, bạn sẽ phải xử lý số liệu trên Excel rất nhiều. Hai điều bạn cần chú ý là:

  • Nên sort dữ liệu (Sort A to Z, Smallest to Largest) trước khi đánh giá, vì khi đó dữ liệu đã được Excel sắp xếp trước cho bạn.
  • Chắc chắn bạn phải dùng tới hàm VLOOKUP, vì bạn phải nối dữ liệu từ nhiều nguồn khác nhau. Ngày học tin học văn phòng, Quang nghĩ rằng đời mình sẽ chẳng bao giờ phải dùng tới mấy cái hàm vớ vẩn ấy. Nhưng Quang đã nhầm.

 

PHƯƠNG ÁN CUỐI CÙNG

Xử lý tác vụ thủ công do liên kết bất thường cũng căng thẳng và hồi hộp như đi xin Visa Mỹ. Tỉ lệ thành công ngay trong lần đầu tiên chỉ là từ 20 – 25%. Bản thân Quang mất 2 tháng trời ròng rã và gửi đơn tới lần thứ 4 mới được Google ân xá. Do đó, nếu thất bại trong lần thứ 2 hoặc thứ 3, bạn nên kiên trì, và làm các bước lại một cách thật cẩn thận, vì lỗi phần nhiều là do sai sót của bạn.

Tuy nhiên, nếu vượt quá lần thứ 4, bạn nên cân nhắc để ra quyết định. Nếu site mới, nhỏ, tốt nhất là bạn nên bỏ tên miền đã bị phạt, mua tên miền mới về, rồi ôm dữ liệu qua xây dựng lại từ đầu, xem như đây là bài học cho bạn vì tội cày link vô tội vạ, dùng PBN không che full và bắn GSA ngu. Nếu site đã quá lâu đời, lớn, quá quan trọng và gắn liền với tên thương hiệu, có thể bạn phải thuê dân SEO chuyên nghiệp về gỡ hoặc sử dụng các gói dịch vụ cao cấp của nước ngoài (như Link Detox, KerBoo, Link QuiDator, ReMoveem…..). Quyết định là do bạn chọn, tùy vào hoàn cảnh và mong muốn của từng người.

Đây là file Excel mà Quang đã từng gửi lên Google. Vì để bảo mật thông tin cho khách hàng, nên Quang đã chọn ngẫu nhiên một trang web khác để phân tích, nhưng ý tưởng vẫn trọn vẹn như trong bài viết trên. Mong bạn thông cảm.

Bạn có thể xem file đó tại đây:  https://tinyurl.com/yavkpj6o

Chúc bạn thành công!

 

Xem thêm: 

BLOG, SEO OFFPAGE

TOOL CHECK CÁC CHỈ SỐ TRONG SEO (DA, PA, TF, CF, ORGANIC TRAFFIC)

Khi làm SEO, bạn thường check các chỉ số sau:

  • DR của Ahrefs
  • DA, PA của Moz
  • TF, CF của Majestic
  • Traffic của Ahrefs / SEMRush, nếu cần thiết

Nếu chỉ check 1 domain, bạn có thể dùng các addon trên Chrome / Firefox, hoặc dùng trực tiếp các công cụ Ahrefs, Majestic, Moz …

Tuy nhiên, nếu bạn cần check hàng trăm / hàng ngàn domain trong quá trình audit backlink / link building, cách làm trên không còn phù hợp.

Bạn cần một cách làm khác để áp dụng quy mô hàng loạt, và với chi phí thấp nhất.

Bài viết này, Quang sẽ hướng dẫn bạn cách check DA, PA, TF, CF, DR và Traffic của hàng loạt domain, với chi phí thấp nhất có thể.

 

Ba cách kiểm tra

Cách đầu tiên là bạn cào qua API. Bạn dùng một công cụ thứ ba (như URL Profiler / SEOTools for Excel), sau đó gắn API của Ahrefs, Majestic, Moz… vào công cụ này.

Ưu điểm là bạn có thể check được số lượng domain rất lớn (vài chục, vài trăm ngàn domain) một cách dễ dàng và tự động. Nhược điểm là bạn cần có tài khoản trả phí của Ahrefs, Majestic và Moz.

Tại Việt Nam, bạn thường mua chung Ahrefs, Majestic, Moz…, vì mua chính thức quá đắt. Nhưng khi mua chung, chức năng dùng API sẽ bị khóa.

Cách thứ hai là bạn dùng chức năng Bulk URL của các công cụ. Cụ thể đó là các chức năng:

  • Batch Analysis của Ahrefs, check hàng loạt DRTraffic
  • Bulk Backlink Checker của Majestic, check hàng loạt TF, CF

Bạn có thể dùng Batch Analytic trong Ahrefs, vì Ahrefs cho bạn check tối đa 1 lần tới 200 domain.

Còn Bulk Backlink Checker trong Majestic, bạn không nên dùng để check TF, CF hàng loạt, vì Majestic chỉ cho check tối đa 1 lần 10 domain. Nếu số lượng domain quá lớn, bạn sẽ tốn nhiều thời gian.

Cách thứ 3 là mua dữ liệu từ bên thứ ba. Bạn nên mua thay vì dùng hàng miễn phí. Vì hàng miễn phí luôn giới hạn số domain mỗi lần check, và số liệu không có sự chính xác cao.

Nếu làm lâu dài, bạn nên mua dữ liệu để dùng cho ổn định. Hiện tại trên thế giới, có hai nơi bán dữ liệu khá tốt, đó là My – Addr và một nơi nữa mà Quang quên mất rồi. Quang sẽ hướng dẫn bạn dùng My – Addr, để check các chỉ số DA, PA (Moz) và TF, CF (Majestic).

Ví dụ như, bạn cần check chỉ số của 200 domain này.

Bạn làm qua các bước sau:

 

Bước 1: Check DR và Traffic

Bạn vào Ahrefs, phần Batch Analysis. sau đó bạn dán các domain vào đây.

TOOL CHECK CÁC CHỈ SỐ TRONG SEO (DA, PA, TF, CF, ORGANIC TRAFFIC) 12

Lưu ý: Mỗi lần, Ahrefs chỉ cho bạn check 200 domain. Nếu có nhiều hơn 200 domain, bạn nên chia làm nhiều đợt.

TOOL CHECK CÁC CHỈ SỐ TRONG SEO (DA, PA, TF, CF, ORGANIC TRAFFIC) 13

Bạn đợi tầm 20 – 30s để Ahrefs chạy chương trình. Sau khi chạy xong, bạn nhấn nút Export để download file Excel về như hình.

TOOL CHECK CÁC CHỈ SỐ TRONG SEO (DA, PA, TF, CF, ORGANIC TRAFFIC) 14

Sau khi tải về, bạn xóa phần dư thừa đi, và giữ lại chỉ số DR và traffic.

Kết quả sẽ như thế này:

TOOL CHECK CÁC CHỈ SỐ TRONG SEO (DA, PA, TF, CF, ORGANIC TRAFFIC) 15

Lưu ý: Chỉ số đo traffic của Ahrefs chỉ mang tính tương đối.

Tuy nhiên ở thị trường Việt Nam, chỉ số của Ahrefs tương đối chính xác hơn SEMRush, có thể do bọ của SEMRush không ưu tiên quét domain ở thị trường Việt Nam.

Để mua chung Ahrefs, bạn có thể mua tại các bạn như Trần Lâm, Trần Minh Công, các Group Buy SEO Tool của nước ngoài.

 

Bước 2: Check DA, PA, TF, CF

Bước này, bạn vào My – Addr để mua dữ liệu: https://seo-rank.my-addr.com/

Đăng nhập xong, bạn vào phần My Dashboard.

Ở đây, có hai phần là check trực tiếpcheck qua file .txt.

Bạn nên check bằng file .txt, vì nó hạn chế lỗi khi check TF, CF, và không bị đứng chương trình khi check số lượng domain lớn.

TOOL CHECK CÁC CHỈ SỐ TRONG SEO (DA, PA, TF, CF, ORGANIC TRAFFIC) 16

Để check trực tiếp, bạn chọn khung màu xanh lá cây. Để check file .txt, bạn chọn khung màu đỏ

Bạn đặt cho file .txt một cái tên, ví dụ như demo.txt.

Trong khung chọn, bạn check ô MozMajestic, sau đó upload file demo.txt lên, rồi nhấn nút Start processing.

TOOL CHECK CÁC CHỈ SỐ TRONG SEO (DA, PA, TF, CF, ORGANIC TRAFFIC) 17

Bạn kiên nhẫn đợi từ 3 – 5 phút để chương trình chạy.

Khi nào nó báo Finish, thì xem như đã xong.

TOOL CHECK CÁC CHỈ SỐ TRONG SEO (DA, PA, TF, CF, ORGANIC TRAFFIC) 18

Bạn download file kết quả về, xóa các phần dư thừa đi, bạn sẽ được kết quả như sau:

TOOL CHECK CÁC CHỈ SỐ TRONG SEO (DA, PA, TF, CF, ORGANIC TRAFFIC) 19Kết quả check DA, PA, TF, CF của Moz & Majestic

 

Bước 3: Gộp dữ liệu

Bước 3 là bạn cần gộp dữ liệu từ hai phần trên lại.

Vì My – Addr có thể làm thay đổi thứ tự các domain, nên bạn cần dùng hàm VLOOKUP trong Excel để nối dữ liệu lại cho chính xác.

Cuối cùng, bạn sẽ được một file dữ liệu đầy đủ như tại đây.

 

Tài khoản My – Addr

My – Addr có hai đặc điểm, đó là giao diện vô cùng xấu, và giá vô cùng rẻ mạt.

Để check chỉ số Moz, Majestic, SEMRush, Alexa của 100.000 domain, bạn chỉ tốn 3.5 USD.

 

Câu hỏi thường gặp

Câu 1. Chỉ số DA, PA là gì? 

  • DA, PA lần lượt là viết tắt của từ Domain Authority và Page Authority.
  • Đây là hai chỉ số thể hiện sức mạnh của tên miền và URL theo công cụ MOZ.

Câu 2. Chỉ số TF, CF là gì?

  • TF, CF lần lượt là viết tắt của từ Trust Flow và Citation Flow.
  • Đây là hai chỉ số thể hiện độ tin cậy và sự phổ biến của tên miền theo công cụ Majestic.

Câu 3: Khi kiểm tra domain, bạn nên quan tâm tới những thông số nào?

Theo kinh nghiệm của Quang, bạn nên kiểm tra tuổi tên miền, lịch sử tên miền, chủ đề trang web, sự ổn định của traffic và chất lượng bài viết.

Các yếu tố này bạn cần làm thủ công mới có được kết quả.

Các chỉ số như DA, PA, TF, CF, DR của các công cụ như Moz, Majestic, Ahrefs… chỉ có sự chính xác tương đối, và mang tính hỗ trợ.

 

Xem thêm: 

 

BLOG, QUẢN LÝ DỰ ÁN

TRACKING VỊ TRÍ TỪ KHÓA TRONG SEO

Kiểm tra vị trí từ khóa việc quan trọng và cần làm thường xuyên trong SEO.

Để kiểm tra vị trí từ khóa, bạn có thể check thủ công, hoặc dùng công cụ.

Mỗi cách làm đều có ưu và nhược điểm riêng.

Trong bài viết này, Quang sẽ liệt kê một vài công cụ thường dùng để bạn tham khảo.

Ngoài ra, Quang sẽ đánh giá thêm độ chính xác, chi phí, có dễ dùng hay không, thời gian và công sức kiểm tra, hình thức thanh toán và các chỉ số SEO khác để bạn lựa chọn công cụ phù hợp cho mình.

Chúng bao gồm:

  • Kiểm tra thủ công
  • SpinEditor (Việt Nam)
  • Google Search Console (Việt Nam)
  • Helu Rank (Việt Nam)
  • Ahrefs (nước ngoài)
  • SERPLAB (nước ngoài)
  • Authority Lab (nước ngoài)
  • Rank Checker (nước ngoài)

 

1. KIỂM TRA THỦ CÔNG

  • Ưu điểm miễn phí, dễ làm, bạn không cần dùng công cụ hỗ trợ. Bạn gõ từ khóa lên Google, và xem trang web mình đang ở vị trí nào. Rất đơn giản.
  • Nhược điểm là bạn chỉ nên kiểm tra một vài từ, chứ kiểm tra vài chục từ là bạn đuối ngay, vì phải làm thủ công. Ngoài ra, bạn cần dùng trình duyệt khách / ẩn danh, việc điều chỉnh lại loại công cụ tìm kiếm, vị trí địa lý, ngôn ngữ sẽ khiến bạn tốn thời gian. Nếu không chỉnh lại, kết quả sẽ không chính xác.

 

2. SPIN EDITOR

  • Ưu điểm là rất dễ sử dụng, miễn phí dùng thử 3 ngày, độ chính xác cao, không giới hạn số lượng từ khóa kiểm tra. Chi phí thấp, 30k/ tháng. Bạn còn có thể kiểm tra được lượng tìm kiếm mỗi tháng, CPC, dùng thêm chức năng spin bài viết và đăng bài lên diễn đàn. Thanh toán bằng thẻ cào điện thoại / chuyển khoản ngân hàng nên rất thuận lợi. Nếu bạn làm dự án nhỏ và bạn mới vào ngành SEO, đây là công cụ tốt nhất dành cho bạn.
  • Nhược điểm là bạn phải nhập capcha thủ công mỗi khi công cụ check được khoảng 40 – 50 từ khóa. Nếu lượng từ khóa quá lớn, bạn sẽ tốn thời gian nhập capcha. Ngoài ra, nếu bạn làm trong công ty nhiều nhân viên dùng chung một đường truyền internet(10 – 30 người), bạn không nên dùng SpinEditor. Vì khi bạn kiểm tra từ khóa, Google sẽ gửi cảnh báo truy cập bất thường tới toàn bộ máy tính của đồng nghiệp bạn, từ đó làm ảnh hưởng hiệu suất làm việc của tập thể.

 

3. GOOGLE SEARCH CONSOLE

  • Ưu điểm là miễn phí, và dữ liệu lấy từ Google nên có độ chính xác cao (vị trí từ khóa được tính theo trung bình). Vị trí từ khóa được cập nhật trong phần Search Analytics.
  • Nhược điểm là bạn chỉ kiểm tra được vị trí của tối đa 999 từ khóa (bạn có thể kết nối tài khoản Google Search Console với Google Analytics để khắc phục nhược điểm này), và thời gian Google Search Console cập nhật chậm từ 1 – 2 ngày so với thời điểm thực tế. Tuy nhiên, nhược điểm lớn nhất của Google Search Console là nó không báo từ khóa đang lên top với URL nào, mà bạn cần phải nhấp vào từng URL một để xem nhóm từ khóa đang lên hạng tương ứng. Nếu trang nhỏ, tầm 5 – 10 URL thì không sao, chứ nếu trang lớn tới cả trăm URL thì bạn không thể quản lý. Mà nếu không có thông tin URL, bạn sẽ không thể điều phối lại anchor text và liên kết nội bộ được tốt.

 

4. HELU RANK

  • Ưu điểm là phần mềm cho bạn kiểm tra miễn phí 30 từ khóa mỗi ngày. Ngoài ra, bạn không phải nhập capcha (có thể do nhà phát triển đã mua capcha hỗ trợ bạn), giao diện đẹp và bản báo cáo vị trí từ khóa chuyên nghiệp. Chi phí cũng rất rẻ, 30k / tháng, tương đương với SpinEditor.
  • Nhược điểm là tốc độ kiểm tra vị trí từ khóa chậm, vì phần mềm phải load thêm capcha trung gian. Phần thanh toán tự động đã bị vô hiệu hóa, máy chủ hay chập chờn và không có bộ phận hỗ trợ người dùng. Có thể Helu Rank đã không còn được nhà phát triển biến thành sản phẩm thương mại hóa, và chỉ còn dùng nó để xây dựng thương hiệu. Một điều tiếc nuối anh em SEOer Việt Nam.

 

5. AHREFS

  • Ahrefs có chức năng Rank Checker để giám sát từ khóa hỗ trợ bạn. Ưu điểm là khi bạn mua chung tài khoản Ahrefs (100 – 150k / tháng), bạn sẽ được dùng chức năng Rank Checker trong Ahrefs mà không tốn thêm tiền. Vị trí từ khóa được kiểm tra tự động trong 1 – 3 ngày, và số lượng từ khóa được kiểm tra lớn (1.000 từ bản Standard, 4.000 từ bản Advanced). Đặc biệt, Ahrefs cập nhật thêm các chỉ số về độ khó từ khóa, lượng tìm kiếm và CPC rất hữu ích cho bạn.
  • Nhược điểm là Ahrefs là tài khoản dùng chung, nên tài khoản đăng nhập thường xuyên bị thay đổi ( 1-2 tuần). Mỗi khi tài khoản bị thay đổi, bạn sẽ phải tạo lại project để theo dõi từ khóa, từ đó có thể làm đứt đoạn quá trình theo dõi từ khóa. Ngoài ra, vì tài khoản dùng chung, nên thông tin từ khóa mục tiêu của dự án bạn sẽ không được bảo mật.

 

6. SERPLAB

  • Ưu điểm là phần mềm cho bạn kiểm tra miễn phí vị trí của 25 từ khóa, cập nhật mỗi ngày, và có biểu đồ xếp hạng. Nếu bạn kiểm tra nhiều hơn 25 từ khóa vẫn okie, nhưng thời gian kiểm tra sẽ bị chậm hơn. Ưu điểm lớn nhất của SERPLAB là nó có chức năng theo dõi vị trí từ khóa tự động (như Ahrefs), nên giúp bạn tiết kiệm được thời gian kiểm tra từ khóa.
  • Nhược điểm SERPLAB là phần mềm nước ngoài, nên cần thanh toán bằng thẻ VISA / Paypal nếu bạn dùng phiên bản có phí. Giao diện tiếng Anh và không đẹp lắm, nên không thân thiện với người dùng Việt Nam như SpinEditor hay Ahrefs.

Ngoài các công cụ trên, còn có Authority LabRank Checker.

Authority Lab cho bạn check vị trí từ khóa miễn phí tới 1.000 từ, nhưng cách cấu hình ban đầu rất khó chịu. Kết quả kiểm tra chỉ có vị trí từ khóa và URL, không có biểu đồ, lượng tìm kiếm lẫn CPC, nên bạn không đủ thông tin để tối ưu được tốt.

Rank Checker là phần mềm kiểm tra từ khóa cực kì ngon. Tuy nhiên, nếu dùng phiên bản miễn phí, bạn sẽ phải tốn thêm tiền mua proxy, tầm 5 USD / tháng từ Death Capcha. Nếu mua bản quyền, bạn sẽ được nhà cung cấp hỗ trợ proxy, nhưng chi phí mua phần mềm rất cao (125 USD bản Professional, 300 USD bản Enterprise), nên chỉ phù hợp với công ty / dịch vụ SEO lớn.

Xem thêm:

 

LỰA CHỌN CỦA QUANG

Để chọn công cụ kiểm tra vị trí từ khóa, Quang lựa chọn theo các tiêu chí sau:

  • Độ chính xác cao. Hầu hết các công cụ đều có độ chính xác cao hơn cách kiểm tra thủ công. Nhiều bạn kiểm tra vị trí từ khóa bị sai kết quả vì bạn cấu hình chưa đúng cách. Bạn nên để ý các thông số sau: công cụ tìm kiếm (Google Việt Nam hay Google USA…), ngôn ngữ ( tiếng Việt hay tiếng Anh), phiên bản ( máy tính để bàn/ di động). Ngoài ra, vị trí từ khóa còn biến động theo từng thời điểm trong ngày (sáng khác, chiều khác) và vị trí địa lý (vị trí hiện tại / Việt Nam / nước ngoài…). Do đó, bạn nên lựa chọn ngay từ đầu mình dùng công cụ nào, cấu hình các thông số ra sao để kết quả sau này được nhất quán.
  • Chi phí thấp. Nếu bạn giám sát số lượng từ khóa ít (<100 từ khóa), bạn có thể dùng các phần mềm miễn phí (như SERPLAB, Ahrefs, nếu đã mua chung tài khoản Ahrefs) hoặc có chi phí thấp như SpinEditor (30k/ tháng).
  • Dễ sử dụng. SpinEditor là dễ dùng nhất, Ahrefs, SERPLAB đứng thứ hai. Vì quá khó sử dụng, nên Quang đã cho Authority Lab ra rìa.
  • Tự động cập nhật. Ahrefs, SERPLAB, Rank Checker đều có chức năng tự động cập nhật vị trí từ khóa. Riêng SpinEditor, bạn cần phải làm thủ công (bấm nút khởi động và nhập capcha nếu cần). Với các dự án lớn, Quang không dùng SpinEditor, vì nó khiến Quang tốn nhiều công sức để kiểm tra từ khóa.
  • Cập nhật đầy đủ các thông số. Các chỉ số bắt buộc cần phải có là vị trí xếp hạng, lượng tìm kiếm, URL và thời điểm cập nhật. Ngoài ra, nếu có thêm các chỉ số về CPC, độ khó từ khóa thì càng tốt. Ahrefs là đầy đủ nhất, SERPLAB và Rank Checker đứng thứ hai. Và vì Google Search Console không cập nhật đầy đủ URL, nên Quang không dùng nó để kiểm tra vị trí từ khóa.
  • Kiểm tra được số lượng từ khóa lớn. Giả sử bạn phải kiểm tra khoảng hơn 1.000 từ khóa mỗi ngày, nếu dùng SpinEditor / Ahrefs bản Standard trở xuống là toi ngay. Lúc đó, bạn phải dùng công cụ chuyên dụng chỉ dùng riêng để kiểm tra từ khóa như SERPLAB hay Rank Checker. Ahrefs bản dùng chung cũng không phải lựa chọn tốt, vì có quá nhiều người dùng chung, khiến số lượng từ khóa bạn có thể giám sát bị giảm xuống.
  • Có biểu đồ thứ hạng từ khóa. Bạn cần chức năng này để phát hiện sự bất thường và nhanh chóng xử lý tình huống. Hầu hết các công cụ đều có chức năng này, trừ Authority Lab.
  • Có chức năng báo cáo kết quả tự động theo hàng ngày, dùng để báo cáo khách hàng / công ty.

Do đó, Quang có hai lựa chọn sau:

  • Nếu kiểm tra số lượng từ khóa thấp (<100 từ khóa). Quang dùng SpinEditor. Dễ sử dụng, và chi phí thấp, 30k / tháng.
  • Nếu kiểm tra số lượng từ khóa lớn và liên tục (>1.000 từ khóa). Quang dùng SERPLAB, bản có phí 5USD / tháng. Phiên bản này giúp Quang có thể kiểm tra tối thiểu 600 từ khóa mỗi ngày, và đáp ứng đủ các tiêu chí về tiết kiệm chi phí, khả năng kiểm tra vị trí từ khóa tự động, có các chỉ số về lượng tìm kiếm mỗi tháng, giá CPC, biểu đồ thứ hạng và gửi báo cáo tự động mỗi ngày.

Nếu bạn làm dự án lớn và làm cho khách hàng, bạn nên mua các tài khoản trên về dùng riêng cho tiện dụng và an toàn.

BLOG, TECHNICAL

6 CÔNG DỤNG CỦA FILE ROBOTS.TXT TRONG SEO

Robots.txt là một file đặt trên hosting. Nó dùng để cấp quyền lập chỉ mục cho bọ công cụ tìm kiếm.

Khi dùng file robots.txt, bạn cần cẩn trọng. Vì nếu điều chỉnh sai, mọi thành quả SEO sẽ đổ sông đổ bể.

Nếu dự án của bạn nhỏ, và bạn không biết chắc chắn mình đang làm gì, tốt nhất, bạn không nên dùng file robots.txt. Cứ để mọi thứ tự nhiên như thế. Blog của Quang cũng không dùng file robots.txt.

Tuy nhiên, với những dự án lớn, đặc biệt là e – comerce, việc sử dụng file robot.txt gần như là bắt buộc. File robots.txt giúp bọ Google index trang web của bạn hiệu quả hơn, chống đối thủ dò quét backlink, cũng như hạn chế nội dung trùng lặp rất thường gặp khi SEO cho lĩnh vực e-comerce.

Bài viết này, Quang sẽ giới thiệu tới bạn một số cách sử dụng file robots.txt phổ biến nhất hiện nay.

 

1. CHẶN BỌ TRONG QUÁ TRÌNH SETUP HỆ THỐNG

Trong quá trình thiết kế website (thiết kế giao diện, cài đặt plugin, xây dựng cấu trúc trang web), mọi thứ còn rất bừa bộn. Bạn nên chặn bọ Google, để nó không index những nội dung chưa hoàn thiện mà bạn không mong muốn.

Để chặn bọ Google, bạn khai báo file robot.txt như sau:

User-agent: *
Disallow: / 

Nếu dùng WordPress, có một cách chặn dễ làm hơn. Bạn vào phần Settings / Reading / Search Engine Visibility, chọn ô Discourage search engines from indexing this site là xong.

Lưu ý quan trọng: Cách cấu hình file robot.txt như trên, bạn chỉ được dùng trong khi setup hệ thống. Nếu trang web đang ổn định, bạn nghịch ngu chèn mã trên vào file robots.txt là xong phim. Vì khi đó, bạn đã chặn bọ Google index trang web.

 

2. CHÈN SITEMAP

Sitemap giống như một tấm bản đồ để bọ Google khám phá trang web của bạn. Nếu số lượng index của trang web quá lớn mà trang web không có sitemap, bọ Google có thể sẽ không đủ tài nguyên (crawl budget) để quét hết trang web của bạn. Từ đó, Google có thể sẽ không index được một số nội dung quan trọng.

Một trang web có thể có nhiều hơn một sitemap (ví dụ như sitemap bài viết, sitemap hình ảnh, sitemap tin tức…). Bạn nên dùng một phần mềm để tạo sitemap cho trang web, rồi sau đó khai báo các đường dẫn sitemap đó vào trong file robots.txt.

Nếu dùng WordPress, Yoast SEO đã tự động tạo sitemap cho bạn. Với mã nguồn non-WordPress, bạn có thể dùng Screaming Frog / Website Auditor để quét, và tạo sitemap thay thế cho Yoast SEO.

Ví dụ: Hãy xem anh Hoàng, Team Ba Phải chèn file sitemap vào file robots.txt như thế nào:

User-agent: *
Sitemap:  https://teambaphai.com/sitemap.xml

Bạn có thể xem chi tiết tại đây.

 

3. CHẶN BỌ CHECK BACKLINK

Hiện tại ở Việt Nam, ba công cụ check backlink phổ biến nhất là Ahrefs, Majestic và Moz. Bọ của chúng có tên tương ứng là AhrefsBot (Ahrefs), mj12bot (Majestic) và rogerbot(Moz).

Để không cho đối thủ dùng công cụ để phân tích backlink của bạn, bạn có thể chặn bọ của chúng trong file robots.txt.

Ví dụ, bạn muốn chặn bọ của Ahrefs, cú pháp như sau:

User-agent: AhrefsBot
Disallow: / 

Hãy xem cách phòng thủ của Sen Đỏ. Họ chặn bọ của Ahrefs, Majestic, Moz và thêm 4 con bọ khác. Bạn xem tại đây.

Ngoài ra, trên thế giới còn có nhiều công cụ check backlink khác. Bạn có thể xem các con bọ đó, do bạn Cao Tú tổng hợp tại đây.

Lưu ý: Muốn chặn triệt để bọ Ahrefs / Majestic / Moz… , bạn cần chặn hai đầu nhé. Ví dụ như moneysite của bạn có 200 domain trỏ về, trong đó có 10 domain là vệ tinh của bạn.

Khi đó, bạn cần chặn bọ Ahrefs / Majestic / Moz… trên money site và cả trên 10 vệ tinh kia nhé. Vì nếu chỉ chặn một đầu (moneysite), bọ Ahrefs / Majestic / Moz…. vẫn có thể dò ra được backlink đó.

 

4. CHẶN BỌ ĐỘC HẠI

Ngoài bọ check backlink, còn một số loại bọ độc hại khác.

Ví dụ như, Amazon, gã khổng lồ của ngành e-commerce thế giới, phải chặn một con bọ có tên là EtaoSpider.

Trích đoạn file robot.txt của Amazon:

User-agent: EtaoSpider
Disallow:  /

EtaoSpider, chính là bọ của Alibaba. Nó được thiết kế, để quét và sao chép nội dung tự động từ Amazon (xem chi tiết tại https://www.amazon.com/robots.txt).

Cuộc chiến của Amazon và Alibaba, diễn ra ngay trên cách cấu hình file robots.txt của họ.

Ngoài EtaoSpider, còn có những con bọ được thiết kế chuyên dụng chỉ dùng để đi copy nội dung người khác (như Zealbot, MSIECrawler, SiteSnagger, WebStripper, WebCopier…), hoặc gửi quá nhiều / quá nhanh request tới máy chủ ( như fast, wget, NPBot, grub-client…), từ đó làm hao phí băng thông và tài nguyên hệ thống.

Bạn có thể tham khảo danh sách những con bọ đó, và lí do chặn chúng tại đây.

 

5. CHẶN THƯ MỤC NHẠY CẢM

Mã nguồn trang web, thông thường có thư mục nhạy cảm, chẳng hạn như wp-admin, wp-includes, phpinfo.php, cgi-bin, memcache….

Bạn không nên cho bọ tìm kiếm index những nội dung này, vì khi đó, nội dung của chúng sẽ bị public trên internet. Hacker có thể moi được thông tin từ chúng, để tấn công hệ thống của bạn.

Dưới đây là mẫu file robots.txt WordPress mặc định bạn có thể sử dụng :

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Tuy nhiên, nhược điểm của file robots.txt là nó chặn được bọ robot, nhưng lại để lộ đường dẫn URL chứa thông tin quan trọng. Do đó, bạn cần chỉnh lại file .htaccess / nginx để chặn truy cập bất thường của con người tới những file này.

Nếu là người dùng phổ thông, tốt nhất, bạn nên nói bên hosting backup dữ liệu tự động cho bạn định kỳ hàng tuần. Lỡ có biến thì còn đường mà đỡ.

 

6. CHẶN BỌ TRONG THƯƠNG MẠI ĐIỆN TỬ

Trong thương mại điện tử, có một số tính năng đặc thù cho người dùng như:

– Đăng ký tài khoản
– Đăng nhập tài khoản
– Giỏ hàng
– Lịch sử giao dịch
– Sở thích người dùng (wishlist)
– Thanh tìm kiếm nội bộ
– So sánh giá (price)
– Sắp xếp thuộc tính (giá từ cao tới thấp, hàng bán chạy, kí tự A&B….)
– Lọc thuộc tính (nhà sản xuất, màu sắc, giá tiền, dung lượng…)
– Các sản phẩm không còn bán nữa (đi kèm với 301 redirect)

Những chức năng đó không thể thiếu với người dùng, nhưng thường tạo ra nội dung trùng lặp trong SEO, và không có bất kỳ nội dung liên quan gì để hỗ trợ cho việc SEO từ khóa. Do đó, bạn có thể chặn index các đường dẫn này file robots.txt.

Trong file robot.txt, bạn dùng thêm dấu * (thay thế một chuỗi ký tự bất kỳ) và $ (định dạng file, ví dụ như .doc, .pdt, .ppt, .swf…, dùng ở cuối câu) để chặn các file tương ứng.

Ví dụ, đây là đường dẫn điện thoại Iphone, sort theo giá từ cao tới thấp của Cell Phones  như sau:
https://cellphones.com.vn/mobile/apple/iphone-2017.html…

Bạn thấy trong đường dẫn có đoạn ký tự ?dir=asc, dùng để sort theo giá. Đường dẫn này sẽ tạo ra nội dung trùng lặp cho trang web. Do đó, Cell Phones đã chặn chức năng sort theo giá đó trong file robots.txt như sau:

User-agent: * 
Disallow: /*?dir=asc

File robots.txt của Cell Phones, bạn xem tại đây.

Khi cấu hình file robots.txt cho trang thương mại điện tử, bạn cần nhờ sự hỗ trợ của bên lập trình web. Họ hiểu được ý nghĩa của từng chức năng, và sẽ giúp bạn tìm đúng cú pháp để bạn chặn trong file robot.txt.

Chúc bạn thành công!

BLOG, SEO OFFPAGE

HÀNH TRÌNH ĐI CÀO BACKLINK VIỆT NAM

Cách đây khoảng 1 tháng, Quang bắt đầu đi tìm những nguồn backlink chất lượng và phương pháp xây dựng chúng.

Có 3 cách làm link building phổ biến hiện nay là: kéo traffic từ mạng xã hội, bắn GSA và dùng PBN. Cả ba cách làm này bạn đều cần có thời gian dài tìm hiểu, thử nghiệm và cân nhắc, vì hai cách làm cuối cùng có rủi ro tiềm ẩn.

Để giảm thiểu rủi ro, Quang bắt đầu bằng một cách làm phổ thông và an toàn hơn, đó là đăng tin lên các diễn đàn, trang rao vặt và các sàn thương mại điện tử một cách chọn lọc.

Đó cũng là cách làm tự nhiên mà bất kỳ công ty nào cũng nên làm khi muốn quảng bá thương hiệu của mình trên môi trường Internet, cho dù họ có chủ đích làm SEO hay không.

Để thu thập được thông tin các website này trên toàn cầu là việc không thể và cũng không cần thiết, nhưng nếu chỉ làm trong quy mô Việt Nam thì Quang có thể.

Quang sẽ làm trước, tổng hợp thành một danh sách, sau đó công bố chúng tới cộng đồng SEO tại Việt Nam. Lúc đó, các bạn làm SEO khi đến công đoạn này, họ chỉ cần xác định được chủ đề của trang web mình, sau đó chọn ra nguồn backlink chất lượng từ danh sách, rồi xây dựng link building. Bạn sẽ không cần phải qua giai đoạn tiền trạm tìm kiếm và phân loại tốn nhiều thời gian và công sức, từ đó sẽ tiết kiệm được một lượng lớn nguồn tài nguyên.

Quang bắt đầu từ dữ liệu của Ahrefs. Quang download danh sách xếp hạng Top 1 triệu Ahrefs Global, sau đó nạp vào URL Profiler để thu thập thông tin.

Sau 1 tuần lễ, dựa vào đuôi tên miền, Name Server và IP Country, Quang tập hợp được khoảng 4.000 trang web có chỉ số Domain Rating cao nhất Việt Nam (UR >=40).

Sau khi làm xong, Quang công bố bảng danh sách tại đây: https://tinyurl.com/y7d84ykz

Xong việc, Quang cũng đuối sức và bị trễ dự án, nên phải dừng lại mọi thứ để quay về công việc thường ngày của mình, gác lại những điều còn dang dở.

 

NHƯỢC ĐIỂM CỦA LIST TOP 4.000 AHREFS VIỆT NAM

Sau này, trong quá trình sử dụng bảng danh sách Top 4.000 Ahrefs Việt Nam, Quang thấy nó còn nhiều nhược điểm.

Đầu tiên, danh sách có nhiều trang là spam, vì khi tổng hợp Quang chỉ lọc theo một tiêu chí duy nhất là Ahrefs DR > 40.

DR cao chưa chắc tốt, vì chỉ cần bắn nhiều backlink là Ahrefs DR sẽ tăng, không quan trọng là backlink có chất lượng hay không. Cách tốt nhất là cần tạo ra một bộ lọc đủ mạnh để loại trừ domain độc hại.

Trước đây, trong quá trình xử lý tác vụ thủ công, Quang đã tạo được một bộ lọc spam. Quang tăng độ khó của bộ lọc này lên gần gấp đôi, rồi ép nó vào bảng danh sách Top 4.000 Ahrefs Việt Nam. Kết quả là 1.300 domain ra đi, chỉ còn 2.700 domain ở lại.

Thứ hai, các chủ đề chưa được tổng hợp lại. Quang xác định được các chủ đề của từng trang web, nhưng chưa gom và phân loại chúng thành từng nhóm lớn.

Giả sử bạn SEO về thực phẩm chức năng, thì nguồn backlink từ chủ đề Sức khỏe, Y tế (Healthy) là chất lượng nhất. Khi đó, bạn cần lọc Excel thủ công từ bảng danh sách đó thêm một lần nữa mới có được thứ mình cần. Việc này không khó, nhưng nhiều bạn không quen dùng Excel sẽ không làm được việc này.

Một yếu tố nữa là trước đây, Quang vừa dùng URL Profiler và Majestic để lấy chủ đề. Khoảng 50% domain Quang lấy thông tin từ Majestic sẽ có đủ 10 chủ đề, còn 50% domain còn lại lấy dữ liệu từ URL Profiler, nên chỉ có 3 chủ đề. Từ đó, lượng chủ đề có được sẽ bị thiếu hụt đi một mảng lớn.

Cái thứ ba là Quang chưa lấy được tiêu đề của trang web. Nếu chỉ nhìn vào tên miền, bạn sẽ rất khó biết được nội dung của chúng.

Ví dụ với domain maybomnuoc.com, bạn biết họ bán máy bơm nước. Nhưng với domain dạng thương hiệu như nesovietnam.org, bạn không đoán được chủ đề của họ là Tư vấn du học Hà Lan.

Và cuối cùng, sau khi đã tìm được trang web chất lượng và liên quan, bạn cần liên lạc với ban quản trị để đặt banner / guest post / thương lượng trao đổi backlink. Gọi điện cũng được, nhưng gửi email hàng loạt là cách nhanh chóng, làm được với số lượng lớn và tiết kiệm chi phí. Bảng danh sách của Quang không có sẵn danh sách email này.

Vì những lí do đó, Quang quyết định cào thêm dữ liệu một lần nữa để khắc phục các nhược điểm trên.

 

TIẾP TỤC CUỘC CHIẾN

Thử thách lớn nhất là Majestic, vì để lấy được chủ đề liên quan, Quang phải dùng chức năng Topical Trust Flow trong Majestic.

Cách tốt nhất là gắn API Majestic vào URL Profiler, rồi chạy chương trình để lấy dữ liệu lớn tự động. Tuy nhiên, API Majestic quá đắt (400 USD / tháng), và Quang cũng không tìm được nơi mua chung tài khoản.

Nếu dùng chế độ free của URL Profiler, họ giới hạn check 500 domain / ngày và 3 chủ đề / domain, chứ không thể check được số lượng domain lớn và full cả 10 chủ đề như Majestic.

Chỉ còn một cách duy nhất, là cào dữ liệu từ Majestic một cách THỦ CÔNG.

Từ danh sách 4.000 domain ở trên, Quang lấy ra từng con rồi nạp vào Majestic, và download bộ backlink của chúng về. Chỉ trong bộ backlink đó, mới chứa đủ full 10 chủ đề Quang cần tìm. Quang nạp được 1.000 con thì tắt thở.

Kết thúc bước thu thập dữ liệu, Quang được khoảng 1.000 file Excel danh sách backlink. Quang chuyển qua giai đoạn thứ hai là xử lý dữ liệu thô.

Đó là một quá trình dai dẳng của việc nối file Excel, loại trừ trùng lặp, lọc ngôn ngữ, loại bỏ từng phần các domain không đạt chuẩn.

Vì muốn bảo vệ sự toàn vẹn của dữ liệu, Quang không gộp chung lại toàn bộ chúng, mà chia nhỏ ra từng phần để xử lý, để nếu có hư hỏng gì, Quang vẫn có thể hồi quy trở lại để khôi phục thông tin.

Quang dùng KuTools for Excel để nối các file Excel lại thành từng nhóm nhỏ một, rồi lại gom nhiều nhóm nhỏ lại thành các nhóm lớn hơn.

Công việc này giống như xây dựng kim tự tháp, nhàm chán và đơn điệu. Bật chương trình lên, bấm 3 cái nút trong vòng 10 phút một cách tuần tự, xong việc, rồi lại lặp lại quá trình đó nhiều lần cho đến hết khối dữ liệu.

Nó khiến Quang nghĩ mình giống một công nhân SEO thực thụ, không cần phải suy nghĩ và đầy cơ bắp, nhưng đó cũng là loại công việc giết chết đi sự đam mê của mình một cách nhanh chóng nhất.

Sau khi xử lý dữ liệu thô xong, Quang chuyển qua công đoạn ráp dữ liệu. Quang mua dữ liệu từ My Addr và chạy URL Profiler để lấy thêm dữ liệu, từ đó tạo bộ ra lọc spam, rồi vác nó đi tiêu diệt các domain độc hại và chất lượng thấp.

Cuối cùng, sau khi có bảng danh sách hoàn chỉnh, Quang chạy URL Profiler thêm một lần nữa để lấy thông tin tiêu đề trang web, phân loại website và địa chỉ email liên hệ của các webmaster.

 

KẾT QUẢ CUỐI CÙNG

Sau gần 1 tháng làm việc, xử lý khoảng 3.2 GB dữ liệu Excel và nốc nhiều lon Bò Húc, Quang cũng tạo được nguồn danh sách backlink chất lượng ở Việt Nam. Chúng có các chỉ số như sau:

  • Ahrefs DR > 30.
  • Moz PA, Moz DA, Citation Flow > 15.
  • Trust Flow > 10, Spam Core Moz < 6.
  • Vượt qua test của Google Safe Browser API.

Quang phân loại chúng thành 16 chủ đề chính, như phân loại của Majestic, bao gồm:

  • Adult – Người trưởng thành.
  • Arts – Nghệ thuật, Giải trí.
  • Business – Kinh doanh, Thương mại.
  • Computers – Máy tính, Điện tử.
  • Games – Trò chơi
  • Health – Sức khỏe, Y tế.
  • Home – Gia đình, Đồ gia dụng.
  • News – Tin tức, Báo chí.
  • Recreation – Nghệ thuật, Sáng tạo.
  • Reference – Giáo dục, Tham khảo.
  • Regional – Địa lý, Khu vực.
  • Science – Khoa học, Công nghệ.
  • Shopping – Mua sắm.
  • Society – Xã hội, Hành chính.
  • Sports – Thể thao.
  • World – Thế giới, Nước ngoài.

Hầu hết các domain Quang đều thu thập được tiêu đề trang web, phân loại nền tảng (Blog, Forum, CMS, Shopping…), tuổi đời và email liên hệ của webmaster.

Bạn có thể xem ở đây:  https://tinyurl.com/y9dj8der

Chúc bạn thành công!