İçinde alan adı geçen her şeyi tek bir JSONL dosyasından zenginleştirin
DNS, WHOIS, teknoloji ve sıralama sinyalleriyle 426M aktif alan adı, her biri tek satır, günlük olarak yeniden oluşturulur. Tam dışa aktarma €599. Modelleri eğitin, kayıtları puanlayın ve bunun üzerine kendi veri ürününüzü çıkarın.
Bunun üzerine bir ürün oluşturabilir miyim? Lisansı okuyun →
Veri işlem hattınız, bizim dosyamız
Gerçek şema üzerinde dört tarif. Aşağıdaki her anahtar, dışa aktarmada birebir yer alan alandır. Her tarif ücretsiz 10.000 satırlık örnek üzerinde de çalışır. Yalnızca canlı alan adlarını tutmak için "DNS Status" değeri "TRUE" olan satırları seçin.
DomainTLDDomain typeHTTP statusIP addressCountry by IPTechnologiesDNS recordsPR valueHarmonic valueRegistrarDomain creation dateDomain expiration dateRDAP/WHOIS Record
Dosyadan doğrudan çıkan bir potansiyel müşteri listesi
MX kaydı yayımlayan her WordPress sitesi, doğrudan dışa aktarmadan akış halinde gelir. Hiçbir şey diske yazılmaz.
# Technologies ships as a list of names, or a name-to-version map. # One line normalizes both shapes. zstdcat webatla-all-data-2026-11-19.jsonl.zst | jq -c 'def techs: (.Technologies // []) | if type == "object" then keys else . end; select(techs | index("WordPress")) | select((."DNS records" // {}) | has("MX")) | {domain: .Domain, tld: .TLD, rank: ."PR value"}' \ > wordpress-with-mail.jsonl
TLD'ye göre teknoloji benimseme
1.429 TLD üzerinde, yükleme adımı olmadan doğrudan dosya üzerinde toplulaştırma yapın. DuckDB, technology alanını JSON olarak okur, bu yüzden önce ondan tipini isteyin.
SELECT "TLD", count(*) AS domains FROM read_json('webatla-all-data-2026-11-19.jsonl.zst', format='newline_delimited', compression='zstd', columns={'TLD':'VARCHAR', 'Technologies':'JSON'}) WHERE list_contains( CASE json_type("Technologies") WHEN 'ARRAY' THEN json_extract_string("Technologies", '$[*]') WHEN 'OBJECT' THEN json_keys("Technologies") ELSE []::VARCHAR[] END, 'WordPress') GROUP BY "TLD" ORDER BY domains DESC LIMIT 20;
CRM'inizi alan adı anahtarı üzerinden zenginleştirin
Kendi kayıtlarınızı dışa aktarmayla LEFT JOIN ile birleştirin. Ülke, sıralama ve teknoloji yığını, zaten sahip olduğunuz her satırın yanında gelir.
SELECT c.*, w."Country by IP", w."PR value", w."Registrar" FROM 'crm.csv' c LEFT JOIN ( SELECT "Domain", "Country by IP", "PR value", "Registrar" FROM read_json('webatla-all-data-2026-11-19.jsonl.zst', format='newline_delimited', compression='zstd', columns={'Domain':'VARCHAR', 'Country by IP':'VARCHAR', 'PR value':'DOUBLE', 'Registrar':'VARCHAR'}) ) w ON lower(c.domain) = w."Domain";
Dizüstü bilgisayarda sabit bellek kullanımıyla geçiş
Dosyayı RAM'de tutmadan 426.238.907 satırın tamamını akış halinde işleyin. Özellikler oluşturun, bunları skorlayın, ardından dışa yazın.
import io, json, zstandard as zstd with open("webatla-all-data-2026-11-19.jsonl.zst", "rb") as f: for line in io.TextIOWrapper(zstd.ZstdDecompressor().stream_reader(f)): r = json.loads(line) t = r.get("Technologies") or [] names = list(t) if isinstance(t, dict) else t if "WordPress" in names and (r.get("DNS records") or {}).get("MX"): print(r["Domain"], r.get("Registrar"))
Birinci ve dördüncü tarif, iki farklı motorda aynı sorgudur ve aynı dışa aktarma üzerinde aynı satırları döndürür. Aynı filtreyi iki farklı araçta çapraz kontrol etmek, bunun üzerine kurduğunuz herhangi bir veri işlem hattını doğrulamanın tam yoludur.
Bunun üzerine bir ürün oluşturabilir misiniz? Evet
Tek bir kural yeterli. Verileri hukuka uygun her amaçla kullanın. Üzerine bir şey inşa edin, inşa ettiğinizi satın ya da satırların kendisini yeniden satın.
Varsayılan olarak serbesttir
- Kendi kayıtlarınızı ve müşterilerinizin kayıtlarını zenginleştirin
- Modelleri eğitin ve puanları, sınıflandırmaları ve sonuçları satın
- Ürününüzün içinde arama ve özellikleri destekleyin
- Toplu analizler, araştırmalar ve raporlar yayımlayın
İnşa ettiğiniz şey size aittir. Bir veri seti satın almak size lisansı verir, temelindeki veritabanını değil.
all-data ile başlayınYeniden satış da serbest
- Ham veri setlerini bütün olarak veya kısmen yeniden satmak veya yeniden dağıtmak
- Dışa aktarımı üçüncü taraflara alt lisansla vermek
Ayrı bir anlaşma ve ek ücret yok. Tek yükümlülüğünüz, anti-spam ve veri koruma mevzuatı gibi kullanımınız için geçerli olan yasalara uymaktır.
Sorunuz mu var? Bizimle görüşünTek ölçüt, kullanımınızın hukuka uygun olup olmadığıdır. İnşa ettiğinizi satmak da satırların kendisini satmak da bu ölçütü karşılar. Tam metin kullanım şartları içinde yer alır.
Bunun satılan malın maliyetinize etkisi
Kullanım bazlı zenginleştirme fiyatlandırması kullanımınızla birlikte artar, dolayısıyla marjınız tam da başarılı olduğunuz anda küçülür. Sabit bir dosya böyle değildir.
Veri kaleminiz sıfıra yuvarlanır
Milyon tam kayıt başına €1,41 fiyatla, temel verinin maliyeti artık optimize edilmeye değer bir kalem olmaktan çıkar.
Maliyet artık kullanımı takip etmez
Ürün büyüdükçe kâr marjınız artık küçülmez. Dosyanın maliyeti, ister bir kez ister bir milyar kez sorgulayın, aynı kalır.
İsterseniz daha küçük başlayın
all-active-domains, eksiksiz ad alanı için €29 tutarındadır. Önce pipeline'ı doğrulayın, ardından tüm sütunları alın.
Verilerinizin zaten bulunduğu yere uyar
Standart sıkıştırmayla tek bir satır satır JSON dosyası. SDK yok, özel format yok, satıcıya özgü istemci yok.
jq ve shell
Dosyayı akış halinde işleyip filtreleyin. Tamamını diske yazmanız hiçbir zaman gerekmez.
DuckDB ve ClickHouse
İkisi de sıkıştırma dahil olmak üzere satır satır JSON'u doğrudan okur. Geniş satırlarda tür çıkarımını atlamak için sütunları tanımlayın.
Spark ve pandas
Standart JSONL okuyucuları. İster parçalara ayırın ister akış olarak işleyin, şema her satırda aynıdır.
BigQuery
BigQuery düz NDJSON yükler, bu yüzden dosyayı içe aktarırken sıkıştırmasını açın veya önce depolama alanına yerleştirin.
Polars ve Arrow
Dosyayı lazy modda tarayın ve hiçbir şey somutlaşmadan önce filtreleyin. Sonucu doğrudan Arrow'a verin.
Snowflake ve Databricks
İkisi de nesne depolamadan satır satır JSON alır. Dosyayı bir kez yerleştirin, ardından bir stage veya volume'u ona yönlendirin.
Mühendislerin gerçekten sorduğu sorular
Dolambaçsız yanıtlar.
Şema, dışa aktarmalar arasında sabit mi?
Evet, anahtarlar ve anlamları günlük yeniden oluşturmalar boyunca sabit kalır ve belgelenmiştir. Ayrıştırıcıyı yazmadan önce bilinmesi gereken birkaç biçim vardır. Technologies alanı, isimlerden oluşan bir liste olarak veya sürüm tespit ettiğimizde isimden sürüme bir eşleme olarak gelir. DNS records alanı, kayıt türüne göre anahtarlanmış bir nesnedir. Kayıt türleri liste içerir, SOA tek bir nesnedir, türetilmiş alanlar ise dize, boolean veya nesne olabilir. Seyrek alanlar kaldırılmak yerine null olarak gelir, böylece her satır aynı anahtarlara sahip olur.
Ne kadar güncel?
Her veri seti günlük olarak yeniden oluşturulur. Erişim, bir takvim ayı boyunca tekrar indirme hakkı içerir, böylece en yeni dışa aktarmayı pipeline'ınızın ihtiyacı kadar sık çekebilirsiniz.
Bunu sattığım bir ürüne dahil edebilir miyim?
Evet. Kullanımınız yasalara uygun olduğu sürece zenginleştirme, skorlar, sınıflandırmalar, sorgular, toplu içgörüler ve ham satırların kendisi dahil hepsini satabilirsiniz. Yukarıdaki lisans bölümüne bakın.
Kayıtlarda ne var, ne yok
Herkese açık kayıt, DNS ve teknoloji verileri. Veri setleri alan adı sahibinin adı, e-posta adresi veya telefon numarası gibi iletişim amaçlı kişisel verileri içerecek şekilde tasarlanmamıştır ve bunları hariç tutmak için önlemler alırız. Bir satırda kişisel veri bulursanız, onu yasalar kapsamında kişisel veri olarak ele alın ve bize bildirin.
Test etmek için 30 GB indirmem mi gerekiyor?
Hayır. Her veri setinin, ücretsiz bir hesapla indirebileceğiniz 10.000 satırlık bir örneği vardır. Dahil olan bearer API de aynı anda bir TLD, ülke veya teknoloji dilimini, dakikada 240 istek hızıyla sunar.
10.000 gerçek satır üzerinde bir tarif çalıştırın
Tek ihtiyacınız ücretsiz bir hesap. Örnek, pipeline'ınızda sorunsuz şekilde ayrıştırılırsa, eksiksiz dışa aktarım €599 tutarındadır ve şema değişmez.