İçinde alan adı geçen her şeyi tek bir JSONL dosyasından zenginleştirin
DNS, WHOIS, teknoloji ve sıralama sinyalleriyle 409M aktif alan adı, her biri tek satır, günlük olarak yeniden oluşturulur. Tam dışa aktarma €599. Modelleri eğitin, kayıtları puanlayın ve bunun üzerine kendi veri ürününüzü çıkarın.
Bunun üzerine bir ürün oluşturabilir miyim? Lisansı okuyun →
Veri işlem hattınız, bizim dosyamız
Gerçek şema üzerinde dört tarif. Aşağıdaki her anahtar, dışa aktarmada birebir yer alan alandır. Önce bunlardan herhangi birini ücretsiz 10.000 satırlık örnek üzerinde çalıştırın.
DomainTLDDomain typeHTTP statusIP addressCountry by IPTechnologiesDNS recordsPR valueHarmonic valueRegistrarDomain creation dateDomain expiration dateRDAP/WHOIS Record
Dosyadan doğrudan çıkan bir potansiyel müşteri listesi
Aktif bir MX kaydına sahip her WordPress sitesi, doğrudan dışa aktarmadan akış halinde gelir. Hiçbir şey diske yazılmaz.
# Technologies ships as a list of names, or a name-to-version map. # One line normalizes both shapes. zstdcat webatla-all-data-2026-08-19.jsonl.zst | jq -c 'def techs: (.Technologies // []) | if type == "object" then keys else . end; select(techs | index("WordPress")) | select((."DNS records" // {}) | has("MX")) | {domain: .Domain, tld: .TLD, rank: ."PR value"}' \ > wordpress-with-mail.jsonl
TLD'ye göre teknoloji benimseme
1.431 TLD üzerinde, yükleme adımı olmadan doğrudan dosya üzerinde toplulaştırma yapın. DuckDB, technology alanını JSON olarak okur, bu yüzden önce ondan tipini isteyin.
SELECT "TLD", count(*) AS domains FROM read_json('webatla-all-data-2026-08-19.jsonl.zst', format='newline_delimited', compression='zstd', columns={'TLD':'VARCHAR', 'Technologies':'JSON'}) WHERE list_contains( CASE json_type("Technologies") WHEN 'ARRAY' THEN json_extract_string("Technologies", '$[*]') WHEN 'OBJECT' THEN json_keys("Technologies") ELSE []::VARCHAR[] END, 'WordPress') GROUP BY "TLD" ORDER BY domains DESC LIMIT 20;
CRM'inizi alan adı anahtarı üzerinden zenginleştirin
Kendi kayıtlarınızı dışa aktarmayla LEFT JOIN ile birleştirin. Ülke, sıralama ve teknoloji yığını, zaten sahip olduğunuz her satırın yanında gelir.
SELECT c.*, w."Country by IP", w."PR value", w."Registrar" FROM 'crm.csv' c LEFT JOIN ( SELECT "Domain", "Country by IP", "PR value", "Registrar" FROM read_json('webatla-all-data-2026-08-19.jsonl.zst', format='newline_delimited', compression='zstd', columns={'Domain':'VARCHAR', 'Country by IP':'VARCHAR', 'PR value':'DOUBLE', 'Registrar':'VARCHAR'}) ) w ON lower(c.domain) = w."Domain";
Dizüstü bilgisayarda sabit bellek kullanımıyla geçiş
Dosyayı RAM'de tutmadan 409.958.274 satırın tamamını akış halinde işleyin. Özellikler oluşturun, bunları skorlayın, ardından dışa yazın.
import io, json, zstandard as zstd with open("webatla-all-data-2026-08-19.jsonl.zst", "rb") as f: for line in io.TextIOWrapper(zstd.ZstdDecompressor().stream_reader(f)): r = json.loads(line) t = r.get("Technologies") or [] names = list(t) if isinstance(t, dict) else t if "WordPress" in names and (r.get("DNS records") or {}).get("MX"): print(r["Domain"], r.get("Registrar"))
Birinci ve dördüncü tarif, iki farklı motorda aynı sorgudur ve aynı dışa aktarma üzerinde aynı satırları döndürür. Aynı filtreyi iki farklı araçta çapraz kontrol etmek, bunun üzerine kurduğunuz herhangi bir veri işlem hattını doğrulamanın tam yoludur.
Bunun üzerine bir ürün oluşturabilir misiniz? Evet
Dürüst ayrım. Veriler üzerine bir şey inşa edin ve inşa ettiğinizi satın. Ham satırları başkalarına göndermek farklı bir iş koludur ve fiyatlandırmamız da buna göredir.
Varsayılan olarak serbesttir
- Kendi kayıtlarınızı ve müşterilerinizin kayıtlarını zenginleştirin
- Modelleri eğitin ve puanları, sınıflandırmaları ve sonuçları satın
- Ürününüzün içinde arama ve özellikleri destekleyin
- Toplu analizler, araştırmalar ve raporlar yayımlayın
İnşa ettiğiniz şey size aittir. Bir veri seti satın almak size lisansı verir, temelindeki veritabanını değil.
all-data ile başlayınHam satırları göndermek bir anlaşma gerektirir
- Ham veri setlerini bütün olarak veya önemli bir bölümüyle yeniden satmak veya yeniden dağıtmak
- Dışa aktarımı üçüncü taraflara alt lisansla vermek
Ham veri dağıtımı farklı bir iş koludur ve fiyatlandırmamız da buna göredir. Dosyanın kendisini herkes için bu kadar uygun fiyatlı tutan da tam olarak budur. Özel dağıtım hakları görüşülebilir.
Satış ekibiyle görüşünTek soruluk test: satırlarımızı mı satıyorsunuz, yoksa onlardan ürettiğiniz şeyi mi? İkincisi için izne gerek yoktur. Tam metin kullanım şartları içinde yer alır.
Bunun satılan malın maliyetinize etkisi
Kullanım bazlı zenginleştirme fiyatlandırması kullanımınızla birlikte artar, dolayısıyla marjınız tam da başarılı olduğunuz anda küçülür. Sabit bir dosya böyle değildir.
Veri kaleminiz sıfıra yuvarlanır
Milyon tam kayıt başına €1,46 fiyatla, temel verinin maliyeti artık optimize edilmeye değer bir kalem olmaktan çıkar.
Maliyet artık kullanımı takip etmez
Ürün büyüdükçe kâr marjınız artık küçülmez. Dosyanın maliyeti, ister bir kez ister bir milyar kez sorgulayın, aynı kalır.
İsterseniz daha küçük başlayın
all-active-domains, eksiksiz ad alanı için €29 tutarındadır. Önce pipeline'ı doğrulayın, ardından tüm sütunları alın.
Verilerinizin zaten bulunduğu yere uyar
Standart sıkıştırmayla tek bir satır satır JSON dosyası. SDK yok, özel format yok, satıcıya özgü istemci yok.
jq ve shell
Dosyayı akış halinde işleyip filtreleyin. Tamamını diske yazmanız hiçbir zaman gerekmez.
DuckDB ve ClickHouse
İkisi de sıkıştırma dahil olmak üzere satır satır JSON'u doğrudan okur. Geniş satırlarda tür çıkarımını atlamak için sütunları tanımlayın.
Spark ve pandas
Standart JSONL okuyucuları. İster parçalara ayırın ister akış olarak işleyin, şema her satırda aynıdır.
BigQuery
BigQuery düz NDJSON yükler, bu yüzden dosyayı içe aktarırken sıkıştırmasını açın veya önce depolama alanına yerleştirin.
Polars ve Arrow
Dosyayı lazy modda tarayın ve hiçbir şey somutlaşmadan önce filtreleyin. Sonucu doğrudan Arrow'a verin.
Snowflake ve Databricks
İkisi de nesne depolamadan satır satır JSON alır. Dosyayı bir kez yerleştirin, ardından bir stage veya volume'u ona yönlendirin.
Mühendislerin gerçekten sorduğu sorular
Dolambaçsız yanıtlar.
Şema, dışa aktarmalar arasında sabit mi?
Evet, anahtarlar ve anlamları günlük yeniden oluşturmalar boyunca sabit kalır ve belgelenmiştir. Ayrıştırıcıyı yazmadan önce bilinmesi gereken iki biçim vardır. Technologies alanı, isimlerden oluşan bir liste olarak veya sürüm tespit ettiğimizde isimden sürüme bir eşleme olarak gelir. Seyrek alanlar kaldırılmak yerine null olarak gelir, böylece her satır aynı anahtarlara sahip olur.
Ne kadar güncel?
Her veri seti günlük olarak yeniden oluşturulur. Erişim, bir takvim ayı boyunca tekrar indirme hakkı içerir, böylece en yeni dışa aktarmayı pipeline'ınızın ihtiyacı kadar sık çekebilirsiniz.
Bunu sattığım bir ürüne dahil edebilir miyim?
Evet. Zenginleştirme, skorlar, sınıflandırmalar, sorgular ve toplu içgörülerin tümünü satabilirsiniz. Ham satırları başkasına aktarmak için yazılı bir yeniden dağıtım anlaşması gerekir. Yukarıdaki lisans ayrımı kısmına bakın.
Kayıtlarda ne var, ne yok
Herkese açık kayıt, DNS ve teknoloji verileri. İletişim amaçlı kişisel veri yoktur, yani alan adı sahibinin adı, e-posta adresi veya telefon numarası bulunmaz. Bu bilinçli bir tasarım kararıdır ve dosyayı sattığınız bir ürünün içine koymayı güvenli kılan da tam olarak budur.
Test etmek için 30 GB indirmem mi gerekiyor?
Hayır. Her veri setinde hesap gerektirmeyen, ücretsiz 10.000 satırlık bir örnek bulunur. Dahil olan bearer API de aynı anda bir TLD, ülke veya teknoloji dilimini, dakikada 240 istek hızıyla sunar.
10.000 gerçek satır üzerinde bir tarif çalıştırın
Hesap gerekmez, e-posta gerekmez. Örnek, pipeline'ınızda sorunsuz şekilde ayrıştırılırsa, eksiksiz dışa aktarım €599 tutarındadır ve şema değişmez.