PCAP → JSON Dönüştürücü
Bir PCAP/PCAPNG yükle, isteğe bağlı Wireshark filtresi ekle ve zengin JSON çıktısı al.
Eksiksiz PCAP → JSON rehberi
Bir PCAP (Packet Capture) veya PCAPNG (Packet Capture Next Generation) dosyası, bir ağ arayüzünden doğrudan alınan ikili (binary) bir ağ trafiği kaydıdır. Çekirdeğin (kernel) gördüğü her frame, her başlık, her byte, tam olarak telde göründüğü gibi korunur. Bu ham sadakat, pcap'i ağ adli analizi, hata ayıklama ve güvenlik incelemesi için altın standart yapan şeydir — ancak aynı zamanda Wireshark gibi özel bir GUI dışında pcap ile çalışmayı acı verici hale getiren şey de budur.
Bu dönüştürücü, ikili capture'ı JSON, NDJSON veya kompakt JSON'a çevirir. Paketleriniz yapılandırılmış metin haline geldiğinde, jq ile sorgulayabilir, Splunk veya Elasticsearch'e stream edebilir, bir Python veya R notebook'una yükleyebilir, git ile diff alabilir veya uygulama loglarınızın yanında saklayabilirsiniz. Amaç, yalnızca Wireshark'ın anladığı bir dosyayı stack'inizdeki her aracın zaten anladığı veriye dönüştürmektir.
Perde arkasında, Wireshark'ın komut satırı kardeşi olan tshark'ı, Wireshark'ın kullandığı aynı dissector'larla çalıştırıyoruz. Tüm protokol ağacını elde edersiniz — frame metadata, Ethernet, IPv4/IPv6, TCP, UDP, DNS, HTTP, TLS, ICMP, QUIC ve yüzlercesi — yerel olarak hiçbir şey kurmadan. Dönüşüm geçici bir worker'da gerçekleşir, capture bellekte veya scratch diskte işlenir ve istek tamamlandıktan sonra hiçbir şey tutulmaz.
PCAP, PCAPNG, CAP — aralarındaki fark ne?
Klasik PCAP (.pcap), 1998'den beri var olan orijinal libpcap formatıdır. Sade ve yaygın: bir global başlık, ardından paket başlıkları ve ham paket byte'larından oluşan bir akış. Dünyadaki hemen her paket sniffer'ı onu okuyabilir — tcpdump, Wireshark, Scapy, Zeek, Snort, Suricata — ve düşük ek yükü, birçok araçta hâlâ varsayılan olmasının nedenlerinden biridir.
PCAPNG (.pcapng) modern halefidir. Blok tabanlı bir formattır; paket başına yorum, tek dosyada çoklu arayüz, arayüz başına istatistikler, yüksek çözünürlüklü timestamp'ler (mikrosaniye yerine nanosaniye) ve özel metadata blokları ekler. Wireshark, 1.8 sürümünden beri varsayılan olarak PCAPNG kullanır. Capture'ınız yakın zamandaki bir Wireshark, tshark, dumpcap veya modern çekirdekte `tcpdump -w` ile alındıysa, dosya uzantısı .pcap yazsa bile muhtemelen PCAPNG'dir.
.cap uzantısı bir takma addır; genellikle eski Windows araçlarında ve bazı kurumsal sniffer'larda görülür. Hem PCAP hem de PCAPNG verisi içerebilir. Gerçek formatı dosyanın magic byte'larından (PCAP için 0xa1b2c3d4 ve küçük-endian eşi, PCAPNG için 0x0a0d0d0a) tespit ediyoruz; dolayısıyla .pcapng → .cap yeniden adlandırması (veya tersi) sorun değil — içindeki binary geçerli olduğu sürece dönüştürücü onu doğru şekilde açacaktır.
Dönüşüm gerçekte nasıl çalışıyor
Bir dosya gönderdiğinizde HTTPS üzerinden worker'ımıza gelir, bir scratch dizinine yazılır ve tshark dikkatle seçilmiş argümanlarla çağrılır: girdi dosyası için -r, yapılandırılmış çıktı için -T json, paket sınırı için -c, Wireshark görüntüleme filtreniz için opsiyonel -Y ve basic preset'te protokol katmanlarını kısıtlamak için opsiyonel -J. tshark capture'ı okur, her pakete uygulanabilecek tüm dissector'ları çalıştırır ve her paketin protokol katmanına göre iç içe bir nesne olduğu bir JSON dokümanı üretir.
Fast path'te (varsayılan format, tüm alanlar, timestamp açık, redaction kapalı) tshark'ın stdout'unu doğrudan yanıt gövdesine stream ediyoruz, bu nedenle tek sınır disk throughput'u. Redaction açtığınızda, sadece başlık seçtiğinizde veya NDJSON/compact çıktısını tercih ettiğinizde, ayrıştırılan JSON'u belleğe alıyor, son işleme tabi tutuyor (alanları çıkar, IP/MAC maskele, yeniden serialize et) ve sonucu geri stream ediyoruz. Bu son işlem yolu cömert bir bellek tavanına sahip, bu yüzden 20.000 pakete kadar normal capture'lar rahatça tamamlanır.
Dönüşüm stateless'tir. Kuyruk yok, kalıcı yükleme yok, ön işleme yok. Her istek kendi scratch dizinini alır ve yanıt akışı bittiği veya istek iptal edildiği anda silinir. Payload'ları incelemiyoruz, kimlik bilgileri veya cookie çıkarmıyoruz ve paket içeriğini loglamıyoruz — yalnızca süre ve byte boyutu gibi istek metadata'sını operasyonel izleme için tutuyoruz.
Çıktı formatları: JSON, NDJSON ve Compact
Wireshark JSON — tshark -T json'un ürettiği tam şekil: üst düzey bir paket nesnesi dizisi, güzel bir şekilde basılmış ve girintili; böylece bir metin editöründe göz atmak kolaydır. Bu, en insan-okunabilir seçenektir ve bir capture'ı gözle kontrol etmek, bir paketi hata raporuna yapıştırmak veya küçük bir jq sorgusu çalıştırmak istediğinizde seçmeniz gereken seçenektir. Dezavantajı boyuttur: girintileme ve boşluk, dosyayı kompakt forma kıyasla %20-30 şişirir.
NDJSON (her satırda 1 paket) — Newline-Delimited JSON, satır başına tam olarak bir paket yazar; her satır komple, geçerli bir JSON nesnesidir. Bu, stream boru hatları için istediğiniz formattır: Logstash, Filebeat, Splunk HEC, AWS Kinesis, Google Pub/Sub ve BigQuery hepsi NDJSON bekler. Ayrıca grep, head, tail, wc -l ve satır tabanlı shell döngüleri için idealdir — tek bir `wc -l` ile paket sayısını görebilir ve örneklemek `head -n 1000` kadar basittir. jq, NDJSON'u --slurp veya satır satır olarak şeffaf şekilde okur.
Kompakt JSON — Token'lar arasında boşluk olmayan üst düzey bir dizi — mümkün olan en küçük temsil. Capture'ları yavaş bir bağlantı üzerinden gönderirken, byte'ın para demek olduğu object storage'da saklarken veya bir paket listesini başka bir JSON dokümanı içine gömerken kullanın. Kompakt JSON gözle okumak daha zor, ancak gzip onu güzel sürüm kadar iyi sıkıştırıyor; bu yüzden tasarruf çoğunlukla sıkıştırılmamış taşıma ve depolama kotaları için önemli.
Alan modları: çıktıda ne olacağını kontrol etme
Tümü — tshark'ın dissector'larının paket için ürettiği her katman, protokol adına göre iç içe. Tek bir HTTPS paketi için genellikle frame, eth, ip, tcp ve tls katmanları göreceksiniz; her biri onlarca alt alan ile (sequence number, flag, cipher suite, SNI, cert fingerprint). Bu en zengin ve en büyük çıktı ve daha sonra hangi alanları sorgulayacağınızı henüz bilmediğinizde doğru varsayılan.
Sadece başlıklar — Hantal uygulama katmanı payload'larını düşürür ve transport katmanı ile altını tutar: frame, eth, ip/ipv6, tcp/udp/icmp. Normal web trafiğinde tipik boyut azalması 5-15x, büyük dosya transferlerinin hakim olduğu capture'larda çok daha fazla. İçerik incelemesi yerine trafik-pattern analizi (kim kimle konuşuyor, ne sıklıkta, hangi zamanda) istediğinizde bunu seçin.
Sadece payload (base64) — Katman başına ham byte'ları base64 kodlanmış olarak tutar, artı korelasyon için yeterli metadata (paket numarası, timestamp). Bu, kötü amaçlı yazılım analizi, özel protokol tersine mühendisliği veya yapılandırılmış bir dissection yerine base64 string bekleyen başka bir ayrıştırıcıya byte beslemek istediğinizde seçeceğiniz format.
Görüntüleme filtreleri: dönüşümden önce capture'ı küçültün
Görüntüleme filtresi kutusu, Wireshark'ın filtre sözdizimini kabul eder — Wireshark filtre çubuğuna yazdığınız dilin aynısı. Filtreler JSON üretilmeden önce tshark içinde çalışır, bu yüzden önce filtrelemek dönüşümü hızlandırmanın ve çıktıyı küçültmenin en etkili yoludur. Faydalı başlangıç noktaları:
ip.addr == 10.0.0.5— belirli bir host'a giden veya ondan gelen paketlertcp.port == 443 and tls.handshake.type == 1— SNI ve cipher-suite denetimi için TLS ClientHello mesajlarıdns and dns.qry.name contains "example"— bir isme eşleşen DNS sorgularıhttp.request.method == "POST"— HTTP POST istekleri (yalnızca düz HTTP — TLS trafiği opaktır)tcp.analysis.retransmission— performans analizi için şüpheli TCP yeniden iletimleri!(arp or stp or cdp or lldp)— yalnızca L3+ önemsediğinizde yaygın L2 gürültüsünü hariç tut
Filtreler `and`, `or`, `not` ve parantezlerle birleşir. Bir alan adından emin değilseniz, capture'ı bir kez Wireshark'ta açın, bir alana sağ tıklayın ve "Apply as Filter → Selected"ı seçin — Wireshark ihtiyacınız olan tam filtre ifadesini gösterecek. Yerel olarak test ettiğiniz her filtre burada aynı şekilde çalışacak.
Paket sınırı ve örnekleme stratejisi
Maks paket alanı tshark'ın kaç paket yayınlayacağını sınırlar. Sınır gereklidir çünkü 100 MB'lık tek bir pcap yüz binlerce paket içerebilir ve her paketin tam JSON dissection'ı birkaç kilobyte'a ulaşabilir. Bir tavan olmadan, yoğun bir capture'ı dönüştürmek hiçbir aracın okumak istemeyeceği gigabyte'larca JSON üretebilir.
Doğru sayı ne araştırdığınıza bağlıdır. Tek bir kullanıcı oturumu veya kısa bir olay penceresi için 1.000-5.000 paket genellikle yeterlidir. Sorunun ilk birkaç paket içinde oluştuğu protokol hata ayıklaması için 200 yeterlidir. Daha uzun bir pencerede istatistiksel flow analizi için sınırı 20.000'e çıkarın ve yalnızca ilginç trafiği tutan bir görüntüleme filtresiyle birleştirin. Şüpheye düştüğünüzde düşük ve sadece başlıklarla başlayın, ne aldığınıza bakın, sonra daha sıkı bir filtre ve daha büyük sınırla tekrar çalıştırın.
Timestamp'ler: ne anlama geliyor ve nasıl ayrıştırılır
Her paketin bir yakalama timestamp'i vardır. JSON çıktısında tshark bunu frame.time_epoch (UTC 1970-01-01'den bu yana saniye, mikrosaniye veya nanosaniye ondalıklarıyla), frame.time_relative (capture'daki ilk paketten bu yana saniye — RTT ve gecikme ölçmek için kullanışlı) ve frame.time (biçimlendirilmiş yerel dize) olarak yayınlar. İş saatleri, zaman dilimleri veya olay zaman çizelgeleri hakkında hassas bilgi sızdırabilecek capture'ları paylaşıyorsanız timestamp'leri kapatın.
Epoch timestamp'leri programatik olarak çalışmak için en kolayıdır. Python'da: datetime.fromtimestamp(float(pkt['frame']['frame.time_epoch']), tz=timezone.utc). jq'da: .frame["frame.time_epoch"] | tonumber | strftime("%Y-%m-%d %H:%M:%S"). BigQuery'de: TIMESTAMP_SECONDS(CAST(time_epoch AS INT64)). Göreli timestamp'ler, zaman dilimleri hakkında endişelenmeden paket dizilerini ortak bir başlangıç noktasında grafik çizmek için kullanışlıdır.
Redaction: kimlik sızdırmadan capture paylaşma
Redact toggle'ı her IPv4 adresinin son oktetini, her IPv6 adresinin son byte'ını ve her MAC adresinin son byte'ını maskeler. 192.168.1.42, 192.168.1.0 olur; aa:bb:cc:dd:ee:ff, aa:bb:cc:dd:ee:00 olur. Bu, alt ağ yapısını, trafik desenlerini ve üretici OUI'lerini korurken bireysel uç noktaları anonimleştirmek için yeterli — bir üreticiye capture göstermeniz, bir blog gönderisinde yayınlamanız veya genel bir hata raporuna eklemeniz gerektiğinde kullanışlı.
Redaction anonimlik GARANTİSİ DEĞİLDİR. Uygulama katmanı payload'larına (HTTP body'leri, DNS sorguları, TLS SNI, cookie'ler, mesaj içindeki e-posta adresleri) dokunulmaz — yalnızca ağ katmanı tanımlayıcıları. Gerçekten temizlenmiş bir capture paylaşmanız gerekiyorsa, redaction'ı hassas protokolleri düşüren bir görüntüleme filtresiyle (örneğin `not http.cookie and not http.authorization`) birleştirin ve capture'ı sonradan TraceWrangler gibi özel bir anonimleştirme aracından geçirmeyi düşünün.
Bu dönüştürücüye kimler başvuruyor
- SIEM ve log boru hattı alımı — Bir capture'ı NDJSON'a dönüştürün ve her satırı Splunk HEC, Elasticsearch, Grafana Loki veya bir Kafka topic'e pipe edin. Bir paket bir event demektir; JSON log'ları zaten anlayan dashboard'lar ve uyarılar, ağ verinizi de anında anlar.
- Olay müdahalesi ve tehdit avı — Capture'ı şüpheli trafiğe (beaconing aralıkları, sıra dışı DNS desenleri, tuhaf TLS cipher suite'leri) filtreleyin ve yalnızca önemli olanı dönüştürün. Dış müdahaleciler ile paylaşmadan önce IP'leri maskeleyin.
- ML için veri kümesi hazırlama — Compact JSON, pandas, Arrow veya DuckDB'ye temiz şekilde yüklenir. Veri kümesini küçük ve özellikleri flow-seviyesi sinyallere odaklı tutmak için sadece-başlıkları kullanın: paket boyutları, varışlar arası süreler, TCP flag'leri.
- Geliştirme sırasında protokol hata ayıklama — Bir API staging ve production'da farklı davrandığında, her iki tarafta 5 saniyelik bir capture'ı JSON'a dönüştürmek, request/response yapısını satır satır diff almanızı sağlar — Wireshark'ta gözle incelemekten çok daha hızlı.
- Otomatik QA ve regresyon testleri — Bilinen-iyi bir capture'dan beklenen JSON'u snapshot alın, testinizi çalıştırın ve yeni capture'ın aynı JSON'a dönüştüğünü assert edin (timestamp'ler hariç). Protokol davranışındaki herhangi bir değişiklik diff olarak ortaya çıkar.
- Ağ öğretimi — JSON çıktısı, ağa yeni başlayan öğrenciler için paket-byte görünümünden çok daha nazik. Wireshark'ı açmadan önce protokol ağacını bir metin editöründe keşfedebilirler.
Son işleme tarifleri
JSON'a sahip olduğunuzda, en yaygın takip görevleri için kompakt parçacıklar. Tüm örnekler NDJSON çıktısını indirdiğinizi varsayar.
- jq — benzersiz hedef IP'leri say
jq -r '.layers.ip["ip.dst"]' capture.ndjson | sort -u | wc -l
- Python — en çok yapılan DNS sorguları
import json, collections names = collections.Counter() with open("capture.ndjson") as f: for line in f: pkt = json.loads(line) q = pkt.get("layers", {}).get("dns", {}).get("dns.qry.name") if q: names[q] += 1 print(names.most_common(20)) - Splunk HEC — NDJSON'u içeri stream et
curl -X POST "$HEC_URL/services/collector/event" \ -H "Authorization: Splunk $HEC_TOKEN" \ --data-binary @capture.ndjson
Sorun giderme — yaygın hatalar ve çözümleri
- "Dosya çok büyük" — Yüklemeniz 200 MB tavanını aştı. Capture'ı Wireshark'ta dilimleyin (File → Export Specified Packets → zaman aralığı seçin) veya yüklemeden önce tcpdump/editcap'i `-C` ile çalıştırıp daha küçük dosyalara bölün.
- "Çıktı çok büyük" — tshark'ın dissection'ı yanıt sınırının izin verdiğinden daha fazla JSON üretti. Paket sayısını düşürün, daha sıkı bir görüntüleme filtresi uygulayın, sadece başlıklar alan moduna geçin veya Compact JSON çıktısı kullanın.
- "Parse hatası" — tshark dosyayı okuyamadı. Capture'ı Wireshark'ta tekrar açın ve PCAPNG olarak kaydedin; bu genellikle kesilmiş başlıkları veya eksik blokları iyileştirir. Çok eski formatlar (Sun snoop, Network General NetMon) desteklenmez.
- Boş çıktı — Görüntüleme filtreniz sıfır pakete eşleşti. Filtreyi kaldırın, herhangi bir paket gördüğünüzü doğrulayın, sonra filtreyi bir bir yeniden ekleyin.
- Dönüşüm takılıyor veya zaman aşımına uğruyor — Ağır TLS yeniden birleştirmenin hakim olduğu capture'ların dissection'ı yavaş olabilir. Önce paket sınırını 1.000-2.000'e düşürerek dosyanın iyi olduğunu doğrulayın, sonra kademeli olarak yükseltin.
- "invalid file type" — Dosya uzantısı kabul edildi ancak magic byte'lar bilinen hiçbir pcap formatına uymadı. Bu genellikle dosyanın iletim sırasında bozulduğu veya aslında yanıltıcı uzantılı bir zip/rar arşivi olduğu anlamına gelir.
- Beklenmeyen JSON yapısı — Son tshark sürümleri alanları `_source.layers` anahtarı altında iç içe yerleştirir. jq sorgularınızda üst düzey protokol adları yerine `.layers` yollarını kullanın ve mevcut şema için `tshark -T json` belgelerine başvurun.
Size saatler kazandıracak en iyi uygulamalar
- Sonradan değil, filtreyle yakalayın. `tcpdump -i eth0 'host 10.0.0.5 and port 443'` çalıştırmak, her şeyi yakalayıp dönüştürücüde filtrelemekten çok daha ucuzdur. Sıkı capture filtreleri ayrıca daha küçük dosyalar ve daha az gizlilik sürprizi anlamına gelir.
- Uzun capture'ları yüklemeden önce bölün. `editcap -c 10000 in.pcap chunk` her biri 10.000 paketlik parçalar üretir. Her parçayı ayrı dönüştürün; böylece alt akış işlemeyi paralelleştirebilir ve bir parça bozulursa hızlıca kurtarabilirsiniz.
- Emin değilseniz önce Sadece-Başlıklar ile başlayın. Çıktı küçüktür, gözle incelemek hızlıdır ve neredeyse her zaman 'ne neyle ne zaman konuştu' sorusunu yanıtlamaya yeter. Ayrıntılı incelemeye değer belirli bir paket belirlediğinizde Tüm alanlar'a geçin.
- Özel kolonlarınız ve protokol tercihlerinizle bir Wireshark profili tutun. Bu araç Wireshark'ta gördüğünüzden farklı JSON ürettiğinde, neredeyse her zaman tercih farkıdır ('Allow subdissector to reassemble TCP streams' gibi), bug değildir.
- Gecikme ve RTT ölçümleri için göreli timestamp'i kullanın, epoch'u değil. Göreli zaman tek bir capture içinde monoton artar ve saat kaymasına karşı dayanıklıdır; epoch timestamp'ler capture ortasında bir makinenin saati düzeltildiğinde geriye atlayabilir.
Gizlilik ve veri işleme
Capture'ınız geçici olarak işlenir. TLS üzerinden gelir, istek başına bir scratch dizinine yazılır, tshark'a geçirilir ve scratch dizini yanıt akışı bittiği veya istemci bağlantıyı kestiği anda silinir. Capture'ınızı kalıcı bir depoya yazmıyoruz, üçüncü taraflara göndermiyoruz ve payload'ını tshark'ın JSON üretmesi için gereken dissection dışında incelemiyoruz.
Operasyonel olarak yalnızca metadata loglarız — istek süresi, yanıt boyutu, HTTP durumu — uptime ve kötüye kullanımı izlemek için. Paket içeriği, adresler ve payload'lar log boru hattına asla girmez. Yine de ekstra dikkat istiyorsanız, yüklemeden önce bir görüntüleme filtresi uygulayın, IP/MAC maskelemesi için redaction'ı açın veya capture'ı önce özel bir temizleyiciden geçirin. Gerçekten hassas capture'lar için tshark'ı kendi kendinize host edebilirsiniz; bu aracın yaptığı her şey `tshark -r in.pcap -T json` üzerine ince bir wrapper'dır.
Bu araç işlem için sunucu tarafı servis kullanır; yüklenen dosyalar/istekler kalıcı depolama amacıyla tutulmaz.
Açıklama
PCAP/PCAPNG paket yakalamalarını yapılandırılmış JSON’a çevirerek script, IR (incident response) ve otomasyon akışlarında kullanabilirsiniz. Dosyayı yükleyin, isterseniz Wireshark display filter ile trafiği daraltın ve JSON/NDJSON/kompakt çıktıyı indirin.
Filtre ve limitler pratik dışa aktarmanın temelidir: sadece hedef host/port/protokolü seçip paket sayısını sınırlayarak biletler, debug veya dashboard’lar için küçük ve anlamlı örnekler üretebilirsiniz. Zaman damgasını dahil edebilir, alan kapsamını (header/payload) seçebilirsiniz.
Paylaşım için maskeleme (redaction) hassas veriyi azaltmaya yardımcı olur. Çıktıyı jq, Python veya kendi parser’ınızla kolayca işleyebilirsiniz—Wireshark içinde tek tek export almak zorunda kalmadan.
Nasıl çalışır
- 1PCAP → JSON Dönüştürücü sayfasında dosyanızı seçin veya gerekli alanı girin.
- 2Ayarları kontrol edin ve işlemi başlatın.
- 3Araç sonucu sunucu tarafında geçici olarak üretir.
- 4Hazır olduğunda çıktıyı indirin veya sonucu kopyalayın.