Ini cerita teman yang bantu temannya yang bingung kenapa website barunya tidak muncul-muncul di Google, padahal sudah jalan lebih dari sebulan. Setelah dicek satu-satu, ternyata bukan soal "Google-nya lambat", tapi ada beberapa kesalahan dasar yang kebanyakan orang tidak sadar. Semua poin di bawah saya lampirkan dokumentasi resmi Google Search Central-nya, supaya tidak dianggapn sekadar opini SEO.

1. Noindex tag ketinggalan dari mode development

Paling sering kejadian. Waktu bikin website di staging/dev, banyak yang kasih tag noindex dengan maksud mencegah crawl. Setelah go-live, tag itu lupa dicopot — dan Google manut saja, karena tag ini memang berfungsi menyuruh crawler untuk tidak menampilkan halaman itu di hasil pencarian. Sumber: Google Search Central — Robots meta tag specifications

2. Robots.txt masih blokir crawler

Beberapa CMS/tema default mem-block seluruh direktori waktu instalasi awal. Google sendiri menegaskan robots.txt itu fungsinya mengatur crawling traffic, bukan cara resmi untuk "menyembunyikan" halaman — tapi kalau di-disallow total, ya Googlebot tidak bisa masuk sama sekali. Sumber: Google Search Central — Introduction to robots.txt

3. Belum submit sitemap & verifikasi Search Console

Sitemap bikin Google lebih cepat menemukan halaman-halaman di situs kamu, terutama untuk domain baru yang belum punya banyak link masuk. Sumber: Google Search Central — Build and submit a sitemap

4. Nol internal link, nol backlink

Googlebot menemukan halaman lewat link, baik dari luar maupun dari dalam situs sendiri. Google merekomendasikan struktur link internal yang jelas agar crawler (dan user) bisa memahami hierarki serta relevansi tiap halaman. Sumber: Google Search Central — Crawlable links

5. Konten tipis atau AI mentah tanpa polesan

Google tidak melarang AI, tapi tegas soal scaled content abuse — memublikasikan banyak halaman (termasuk hasil AI) dengan tujuan utama memanipulasi ranking adalah pelanggaran kebijakan spam mereka, dan bisa berujung halaman di-demote atau dihapus dari index. Sumber: Google Search Central — Spam policies | Blog resmi: Google Search's guidance about AI-generated content

6. Konten utama baru muncul setelah JavaScript jalan

Kalau situs heavy pakai framework JS dan konten utama di-render client-side, ada risiko Googlebot gagal menangkap isi sebenarnya kalau proses rendering-nya bermasalah. Sumber: Google Search Central — JavaScript SEO basics

7. Crawl budget terbuang ke halaman sampah

Banyak halaman hasil filter, tag, pagination, atau parameter URL bikin Googlebot menghabiskan waktu di halaman yang tidK penting sebelum sempat sampai ke halaman utama. Sumber: Google Search Central — Large site owner's guide to managing crawl budget

---

Kalau ada yang pernah MENGALAMI penyebab lain di luar 7 ini, sulahkan ditambahkan — makin banyak studi kasus, makin membantu yang struggle dengan masalah serupa. 🙏

Menarik sekali rangkumannya Mas Miftah, lengkap dengan sumbernya. Izin menambahkan satu kasus yang pernah saya temui dan sering luput dari daftar semacam ini.

Domain bekas dengan riwayat buruk. Ini terjadi kalau beli domain yang sebelumnya pernah dipakai, lalu ternyata domain tersebut punya sejarah kena manual action atau pernah dipakai untuk spam. Websitenya sendiri baru dan bersih, tapi Google masih menyimpan jejak reputasi lama dari domain itu. Efeknya bisa macam-macam, dari lambat terindeks sampai susah naik peringkat meski secara teknis semua sudah benar. Cara ceknya biasanya lewat Wayback Machine untuk lihat histori konten, atau cek backlink profile domain tersebut pakai tools semacam Ahrefs/Moz untuk lihat apakah ada pola link spam di masa lalu.

Satu lagi yang sering terlewat, hreflang yang salah konfigurasi untuk situs multi-bahasa. Kadang niatnya mau targetkan beberapa negara, tapi tag hreflang-nya saling bentrok atau tidak reciprocal, akhirnya Google malah bingung menentukan versi mana yang harus diindeks dan ditampilkan di pencarian mana. Ini agak teknis dan gampang kelewat kalau developernya tidak familiar dengan internationalization.

Kalau soal domain bekas ini, apakah teman Mas Miftah pakai domain baru murni atau ada kemungkinan itu domain yang di-drop lalu dibeli lagi?

Itu domain baru murni.

Oke, kalau begitu kemungkinan domain bekas bisa dicoret dari daftar tersangka. Berarti tinggal balik lagi ke 7 poin awal Mas Miftah, dan biasanya kalau sudah domain baru murni tapi masih struggle, saya curiganya ke kombinasi poin 3 dan 4, sitemap belum disubmit ditambah nol internal link. Domain baru tanpa sinyal apa pun bikin Google benar-benar tidak punya jalan masuk selain nemu secara organik, yang bisa lama sekali.

Boleh tau, waktu ditelusuri kemarin ketemunya di poin mana? Soalnya kadang penyebabnya bukan cuma satu, tapi gabungan dua tiga hal sekaligus yang saling memperparah. Misalnya noindex ketinggalan itu sering barengan sama robots.txt yang juga masih block, karena biasanya dua-duanya diset bareng waktu development.

Betul sekali dugaannya, kombinasi. Setelah ditelusuri, ternyata ketemunya di poin 1 dan 3 sekaligus, bukan 1 dan 2 seperti tebakan awal saya sendiri. Tag noindex memang ketinggalan dari staging, tapi robots.txt-nya sebenarnya sudah bersih, tidak ada blokir apa-apa. Yang bikin makin runyam, karena noindex-nya terpasang, dia juga tidak pernah kepikiran submit sitemap, mikirnya "ah nanti juga keindeks sendiri kalau sudah bener". Jadi dua masalah itu saling menutupi satu sama lain, noindex bikin halaman ditolak walau sempat dicrawl, sementara sitemap yang absen bikin proses discovery-nya juga lambat dari awal.

Yang menarik, waktu pertama cek Search Console, statusnya bukan "not found" tapi "crawled - currently not indexed", itu yang bikin agak muter dulu curiganya karena sepintas kelihatan robots.txt yang jadi biang keladi, padahal Googlebot sebenarnya sudah masuk, cuma dilarang nampilin hasil crawlnya. Baru ketauan pas cek langsung page source dan nemu meta tag noindex nongol di head.

Soal kecurigaan Mas ke arah reciprocal hreflang tadi juga menarik, karena itu jenis kesalahan yang secara teknis situs "sehat-sehat saja" tapi hasilnya tetap kacau di pencarian. Mungkin bisa jadi topik terpisah, soal kesalahan yang lolos dari audit teknis biasa karena tidak muncul sebagai error yang jelas, cuma bikin performa aneh tanpa alasan yang kelihatan.