Tüm kayıtlı alan adlarının listesi nasıl indirilir

İnternetteki her kayıtlı alan adı, tek bir dosyada: gerçekten peşinde olduğunuz şey budur ve buna sahip olmanın tam olarak tek bir pratik yolu vardır. Bir örneklem değil, tek bir uzantı değil, ilk hız sınırında çöken bir kazıma scripti hiç değil. İstediğiniz şey her TLD'yi kapsayan eksiksiz alan adı seti: temiz, güncel ve sorgulanmaya hazır. İşte bunu nasıl elde edeceğiniz ve bunu kendi başınıza kurmanın neden bir tuzak olduğu.

Kayıtlı tüm alan adlarının listesi ne kadar büyük?

Çoğu insanın tahmin ettiğinden çok daha büyük. Şu anda dünyanın TLD'lerinde yüzlerce milyon alan adı kayıtlı ve bu sayı her gün değişiyor, yeni isimler ortaya çıkıyor, eskiler düşüyor. Bu, bir elektronik tabloda tutabileceğiniz bir dosya değil. Ciddi bir veri setinden söz ediyoruz.

.com tek başına 160 milyondan fazla alan adına sahip, bu da tüm ad alanının yaklaşık %40'ına denk geliyor. Buna .net ve .org uzantılarını, daha yeni uzantıları (.io, .ai, .xyz, .shop) ve yüzlerce ülke kodunu eklediğinizde tablo yüzlerce milyon tekil alan adına ulaşır. Bu ölçek, her alan adını kapsayan eksiksiz bir setin internetteki en değerli veri setlerinden biri olmasının tam nedenidir: satış hunilerinin, marka korumanın, güvenlik araştırmalarının ve pazar istihbaratının altında yatar. Aynı zamanda kimsenin bunu bedavaya vermemesinin de nedeni budur.

Herkesin .com ile başladığı soru

"Tüm alan adlarını" isteyen çoğu kişi gerçekte .com ile başlar, çünkü .com pazarın kendisidir: 160 milyondan fazla isimle diğer her uzantıyı gölgede bırakır ve ciddi her plan önce onu ele almak zorundadır. İyi haber şu: eksiksiz seti elinizde bulundurduğunuzda, onu ayırmak tek satırlık bir filtreden ibarettir. Her .com alan adı, her .net, .org ve ülke kodu isimle aynı dosyada bulunur, böylece ihtiyaç duyduğunuz anda onu ayıklayıp uzun kuyruğu sonraya saklayabilirsiniz.

Sadece .com içeren bir dışa aktarma ile eksiksiz bir veri seti arasındaki fark da tam olarak budur: elinizde tüm set varken .com yalnızca bir görünümdür, ayrı bir proje değil. İlk dosya yalnızca tek bir uzantıyı kapsadığı için gelecek çeyrekte .net uzantısını yeniden satın almak zorunda kalmazsınız.

Bunu neden kendiniz bir araya getiremezsiniz

Her şeyi kapsayan tek bir ana kayıt otoritesi yoktur. Her TLD kendi operatörünün altyapısında, kendi kurallarına göre, kendi formatında çalışır ve büyük çoğunluğu kullanılabilir bir veri akışı hiç yayımlamaz. Hepsini bir araya getirip eksiksiz, tekilleştirilmiş, güncel bir tablo çıkarmak bir haftasonu scripti değildir. Bu, çoğu ekibin başladığı, ciddi biçimde hafife aldığı ve üç ay içinde sessizce bıraktığı kalıcı bir veri operasyonudur. Sonuna kadar götürenler ise kırılgan kazıma araçlarını bakımda tutmak, düzinelerce kayıt otoritesindeki format değişikliklerini kovalamak ve ekiplerine alan adı listesinin neden yine bir hafta geride olduğunu açıklamak zorunda kalır.

webatla'nın çoktan çözdüğü sorun tam olarak budur. Yüzlerce uyumsuz kaynağı kovalayarak bir çeyreği tüketip yine de eksik bırakmak yerine, izlediğimiz her alan adını zaten barındıran ve her gün yenilenen tek bir dosyayı elde edersiniz.

Onu eksiksiz, kullanılabilir bir set yapan nedir

Ham kayıt otoritesi dökümlerinden oluşan bir yığın, bir veri seti değildir. Bu, ev ödevidir. Değer, yüzlerce dağınık kaynağı gerçekten sorgulayabileceğiniz tek bir dosyaya dönüştüren emekte yatar ve satın aldığınız şey tam olarak budur:

• Kapsam: .com ve .net uzantılarından en küçük ülke koduna kadar her TLD tek bir sette. Bir kayıt otoritesine ulaşmak zor olduğu için hiçbir şey eksik kalmaz.
• Tekilleştirme: Alan adı başına tek ve temiz bir satır, çakışan kaynaklardan doğan tekrar yok.
• Normalizasyon: Her uzantıda tutarlı bir şema, böylece example.com ve example.co.uk aynı şekilde ayrıştırılır.
• Güncellik: Her gün yeniden oluşturulur, böylece set geçen çeyreği değil bugün var olan alan adlarını yansıtır.

"Teknik olarak veri bende var" ile "öğle yemeğinden önce bu veriyle bir soruyu yanıtlayabilirim" arasındaki fark tam olarak bu bileşimdir.

Tüm set, tek bir dosyada

webatla'nın tam alan adları veri seti listenin ta kendisidir: her TLD genelindeki her alan adı, tekilleştirilmiş ve normalize edilmiş halde tek bir temiz dosyada, her gün yeniden oluşturulur. Başvuru yok, onay yok, kayıt otoritesi başına evrak işi yok. Bir kez satın alın ve tüm ad alanını taze JSONL olarak çekin.

Bilinçli olarak sattığımız en ucuz, en yüksek hacimli üründür, çünkü diğer her şeyin üzerine inşa edildiği temeldir: tek bir sabit fiyat, bir aylık indirme hakkı ve aylar değil dakikalar içinde diskinizde duran her alan adı.

Her satır neye benziyor

Her satır bir alan adıdır ve veritabanı kurmadan yüzlerce milyon kaydı filtreleyip segmentlere ayırabilecek şekilde yapılandırılmıştır. Tek bir satır bu kadar basittir:

{"domain": "example.com", "tld": "com", "suffix": "com", "domainType": "ICANN"}

Temel set size hangi alan adlarının var olduğunu söyler. Her birinin arkasındaki kayıt bilgisine, yani kimin sahip olduğuna, ne zaman oluşturulduğuna ve hangi kayıt kuruluşu üzerinden kaydedildiğine ihtiyaç duyduğunuzda RDAP & WHOIS veri setini ekleyin. İsim sunucuları için DNS veri setini, her sitenin ne çalıştırdığını görmek için ise Technologies veri setini ekleyin. Aynı alan adı seti, ihtiyacınız olan her açıdan zenginleştirilmiş halde.

Bu kadar büyük bir dosyayla çalışmak

Her webatla veri seti JSONL olarak sunulur: satır başına bir JSON nesnesi, yüzlerce milyon alan adına ölçeklenebilen tek format. Satır satır akar ve doğrudan jq, pandas, DuckDB, BigQuery veya Spark'a aktarılır, böylece dosyanın tamamını asla belleğe yüklemezsiniz.

Her uzantıyı alan adı sayısına göre sıralamak için tek satır jq yeterli:

cat domains.jsonl | jq -r .tld | sort | uniq -c | sort -rn | head

Yalnızca .com alan adlarını kendi dosyasına ayırın:

jq -c 'select(.tld == "com")' domains.jsonl > com.jsonl

Ya da tüm seti olduğu yerde DuckDB ile sorgulayın. Veritabanı yok, indeks yok:

SELECT tld, count(*) AS domains
FROM 'domains.jsonl'
GROUP BY tld
ORDER BY domains DESC;

Bu tek sorgu, ham dosyayı saniyeler içinde tüm alan adı pazarının uzantı bazında bir haritasına dönüştürür. Aynı veriyi kullanarak DNS ve kayıt kuruluşu yoğunlaşmasını ve 2026'nın 1. çeyreğindeki en hızlı büyüyen TLD'leri inceledik.

Eksiksiz bir alan adı setine kim güvenir

Tam alan adı setini satın alan ekipler her sektöre yayılır, ama hepsinin ortak bir sorunu vardır: eksik veri işlerini sessizce bozar ve bu boşluklar, akış aşağısında bir şeyler ters gidene kadar görünmez kalır.

• Satış ve pazara açılım: Toplam adreslenebilir pazar görünümü ancak her alan adından yola çıkarsa doğru olur. .com nişine, bir ülke koduna veya bir teknoloji ayak izine filtreleyin ve pazarın bir dilimini değil tamamını taramış olun.
• Marka ve ticari marka ekipleri: Markanızı içeren her alan adını tüm uzantılar genelinde bulun, böylece atıl bir .com yazım hatası kapkaçı silah olarak kullanılmadan önce ortaya çıkar.
• Güvenlik ve tehdit istihbaratı: Kısmi bir veri akışının kaçıracağı kimlik avı kalıplarını, şüpheli isim sunucusu kümelerini ve yeni taklit alan adlarını yakalamak için tüm ad alanını tarayın.
• Alan adı yatırımcıları ve kayıt kuruluşları: Uzantı bazında alan adı hareketini zaman içinde takip edin ve talebin nereye kaydığını tespit edin.
• Veri ve ML ekipleri: Modeli çarpıtan kazınmış bir örneklem yerine temiz, tekilleştirilmiş, gerçek alan adlarından oluşan bir set üzerinde eğitim ve değerlendirme yapın.

Bunların her biri aynı başlangıç noktasına ihtiyaç duyar: güvenebileceğiniz eksiksiz, güncel bir alan adı seti, bayat bir dışa aktarma ya da yarım kalmış bir kazıma değil.

Eksik bir listenin gerçek maliyeti

Eksik bir liste sessizce başarısız olur ve onu tehlikeli kılan da tam olarak budur. Bir toplam adreslenebilir pazar rakamı, aslında var olan alan adlarının yalnızca bir kısmından oluşturulduğunu öğrenene kadar sağlam görünür. Bir marka taraması temiz sonuç verir. Bunun nedeni taklit alan adı olmaması değil, verinin onları hiç içermemiş olmasıdır. Bir model çarpık bir örneklem üzerinde eğitilir ve tahminler sessizce kaymaya başlayana kadar kimse fark etmez.

Eksiksizlik, bir alan adı listesinin olsa-da-olur özelliği değil, tüm amacıdır. Ülke kodlarını, geçen haftaki kayıtları veya park edilmiş uzun kuyruğu eksik bırakan bir set, üzerine inşa edilen her sayımı ve her eşleşmeyi çarpıtır. Parçaları birbirine dikmek yerine tek bir yetkili dosya satın almak, tam olarak bu kör noktayı ortadan kaldıran şeydir: tek bir dosya, her alan adı, böylece aldığınız yanıt gerçekten doğru olan yanıttır.

Dosyadan ilk yanıta dakikalar içinde

Değer elde etmeden önce çalıştırmanız gereken bir ETL projesi yok. Tek bir dosyayı açar, jq veya DuckDB'yi ona yöneltirsiniz ve anında tüm alan adı ad alanını sorgulamaya başlarsınız: .com'u .net ile karşılaştırın, bir ülke kodunu ayırın ya da bir markayı tek geçişte tüm uzantılar genelinde eşleştirin. Sade JSONL olduğu için aynı dosya, dönüştürme yapmadan bir Python not defterini, bir Spark işini veya bir BigQuery yüklemesini besler. Veriyi satın almakla gerçek bir soruyu yanıtlamak arasındaki fark dakikalarla ölçülür, sprintlerle değil. Setin tamamını doğrudan satın almanın pratik gerekçesi de budur: dosya elinize ulaştığı an zaten iş yapmaya başlar ve zamanınız altyapıyla değil analizle geçer.

Her zaman güncel, hiçbir zaman bayat değil

Bir alan adı dosyası hızla eskir. İsimler her dakika kaydedilip düşürülür, bu yüzden altı ay önceki bir dosya zamana duyarlı her konu için büyük ölçüde gürültüden ibarettir. Bir lansmanı veya kampanyayı işaret eden taze alan adları ise tam olarak bayat bir setin kaçırdığı şeylerdir. Veri setinin her gün yeniden oluşturulmasının ve her dışa aktarmanın tarihe göre sürümlenmesinin nedeni budur: elinizde tam olarak ne tuttuğunuzu ve bunun ne zaman alındığını her zaman bilirsiniz. Amacınız yepyeni kayıtları ortaya çıktıkları gün yakalamaksa, Domain Investor veri seti her uzantıdaki taze alan adları etrafında kurulmuştur.

Sıkça sorulan sorular

Kaç kayıtlı alan adı var? Tüm uzantılar birlikte yüzlerce milyonu buluyor ve rakam her gün değişiyor. .com tek başına 160 milyonu geçmiş durumda, bu da toplamın yaklaşık %40'ı demek. Sürekli değiştiği için, üzerinde çalışmaya değer tek versiyon tarihli ve her gün yeniden oluşturulan bir settir.

Tüm .com alan adlarını tek başına indirebilir miyim? Evet. Tam veri setini tld == "com" ile filtreleyin, her .com alan adı kendi dosyanızda olsun. .com, açık ara en büyük uzantıdır, bu yüzden büyük bir dosya bekleyin. Ama bu bir filtredir, ayrı bir satın alma değil.

Dosya .com'dan fazlasını içeriyor mu? Evet. .com yalnızca en büyük dilim. Set .net, .org, .io, .ai ve en küçük ülke koduna kadar diğer her uzantıyı, hepsi aynı dosyada olacak şekilde kapsar.

Yalnızca yeni kaydedilmiş alan adlarını alabilir miyim? Evet. Kayıt tarihine göre filtreleyin, ya da TLD'ler genelinde taze kayıtlara odaklanan Domain Investor veri setinden başlayın.

Format nedir ve ne kadar güncel? Temiz JSONL, satır başına bir alan adı, her gün yeniden oluşturulur ve tarihe göre sürümlenir. Asla bayat bir tarihsel döküm değildir.

Tam listeyi ticari olarak kullanabilir miyim? Evet. Satış, güvenlik, marka koruması, araştırma ve ürün özellikleri hepsi standart kullanım alanlarıdır. Tek bir sabit fiyat, veri üzerine ne inşa ediyor olursanız olun bir aylık erişimi kapsar.

Maliyeti nedir? Bir aylık erişim için tek bir sabit fiyat, abonelik yok. Güncel rakam için fiyatlandırma sayfasına bakın. Bu, her alan adını diskinize koymanın en düşük maliyetli yoludur.

Tam listeyi indirin

İnternetteki alan adlarını tek tek her kayıt otoritesinden yeniden bir araya getirmeye çalışmayı bırakın, bu asla bitmeyen bir proje. webatla'nın tam alan adları veri setini indirin → ve .com dahil uzun kuyruktaki uzantılara kadar her TLD'deki her kayıtlı alan adına bugün temiz, güncel JSONL olarak sahip olun. Ya da üzerine ekleyebileceğiniz her şeyi görmek için tüm veri setlerine göz atın. Kovalanacak kayıt otoritesi yok, beklenecek onay yok, sadece elinize ulaştığı an çalışmaya başlayan eksiksiz bir alan adı seti var. "Tüm alan adlarına ihtiyacım var"dan onlara gerçekten sahip olmaya giden en hızlı yol budur.