PaGAF-Net · TÜBİTAK 2209-B Görsel Analizi

Bir görsel seçin. PaGAF-Net; renk, kenar, frekans, gürültü ve yerel korelasyon sinyallerini birlikte inceleyerek model kararını açıklama katmanlarıyla sunar.Bir görsel seçin; PaGAF-Net kararını beş özellik alanının açıklama haritalarıyla gösterir.

  1. Görsel seç
  2. Analiz
  3. Açıklama haritaları
Çok alanlı açıklanabilir analiz
YENİ ANALİZ

Analiz edilecek görseli seçin

Dosya türleri
PNG · JPEG · WebP · HEIC
Azami boyut
30 MB
Özellik alanı
5 tamamlayıcı temsil
Görseli buraya sürükleyip bırakın
veya
PNG · JPEG · WebP · HEIC · en fazla 30 MBPNG · JPEG · WebP · HEICEn fazla 30 MB
En doğru sonuç için sıkıştırılmamış, orijinal fotoğrafı yükleyin.
Neden orijinal görsel?Orijinal fotoğraf kullanın

En doğru sonuç için sıkıştırılmamış, orijinal fotoğrafı yükleyin. Ekran görüntüleri ve mesajlaşma uygulamalarından gelen görseller yeniden sıkıştırıldığı için doğru sonuç vermez — sıkıştırma, modelin baktığı kamera sensör izini siler.

GRAF YAPISI

Patch düzeyinde graf oluşturma

Görsel 16×16 patch'e bölünür ve her patch bir düğüm olur — toplam 256 düğüm. Aşağıdaki kare gerçek ızgaranın kendisidir: seçili patch'ten çıkan kenarlar modelin kurallarıyla hesaplanır, semantik kenarlar da o görselin kendi özniteliklerinden çıkarılır. Başka bir patch seçmek için ızgaraya tıklayın.Görsel 16×16 patch'e bölünür; her patch bir düğümdür (256 düğüm).

Örnek görsel: kendi görselinizi analiz edince graf onunla yeniden kurulur.

Patch ızgarasına ayrılan girdi görselipatch 0,0patch 0,1patch 0,2patch 0,3patch 0,4patch 0,5patch 0,6patch 0,7patch 0,8patch 0,9patch 0,10patch 0,11patch 0,12patch 0,13patch 0,14patch 0,15patch 1,0patch 1,1patch 1,2patch 1,3patch 1,4patch 1,5patch 1,6patch 1,7patch 1,8patch 1,9patch 1,10patch 1,11patch 1,12patch 1,13patch 1,14patch 1,15patch 2,0patch 2,1patch 2,2patch 2,3patch 2,4patch 2,5patch 2,6patch 2,7patch 2,8patch 2,9patch 2,10patch 2,11patch 2,12patch 2,13patch 2,14patch 2,15patch 3,0patch 3,1patch 3,2patch 3,3patch 3,4patch 3,5patch 3,6patch 3,7patch 3,8patch 3,9patch 3,10patch 3,11patch 3,12patch 3,13patch 3,14patch 3,15patch 4,0patch 4,1patch 4,2patch 4,3patch 4,4patch 4,5patch 4,6patch 4,7patch 4,8patch 4,9patch 4,10patch 4,11patch 4,12patch 4,13patch 4,14patch 4,15patch 5,0patch 5,1patch 5,2patch 5,3patch 5,4patch 5,5patch 5,6patch 5,7patch 5,8patch 5,9patch 5,10patch 5,11patch 5,12patch 5,13patch 5,14patch 5,15patch 6,0patch 6,1patch 6,2patch 6,3patch 6,4patch 6,5patch 6,6patch 6,7patch 6,8patch 6,9patch 6,10patch 6,11patch 6,12patch 6,13patch 6,14patch 6,15patch 7,0patch 7,1patch 7,2patch 7,3patch 7,4patch 7,5patch 7,6patch 7,7patch 7,8patch 7,9patch 7,10patch 7,11patch 7,12patch 7,13patch 7,14patch 7,15patch 8,0patch 8,1patch 8,2patch 8,3patch 8,4patch 8,5patch 8,6patch 8,7patch 8,8patch 8,9patch 8,10patch 8,11patch 8,12patch 8,13patch 8,14patch 8,15patch 9,0patch 9,1patch 9,2patch 9,3patch 9,4patch 9,5patch 9,6patch 9,7patch 9,8patch 9,9patch 9,10patch 9,11patch 9,12patch 9,13patch 9,14patch 9,15patch 10,0patch 10,1patch 10,2patch 10,3patch 10,4patch 10,5patch 10,6patch 10,7patch 10,8patch 10,9patch 10,10patch 10,11patch 10,12patch 10,13patch 10,14patch 10,15patch 11,0patch 11,1patch 11,2patch 11,3patch 11,4patch 11,5patch 11,6patch 11,7patch 11,8patch 11,9patch 11,10patch 11,11patch 11,12patch 11,13patch 11,14patch 11,15patch 12,0patch 12,1patch 12,2patch 12,3patch 12,4patch 12,5patch 12,6patch 12,7patch 12,8patch 12,9patch 12,10patch 12,11patch 12,12patch 12,13patch 12,14patch 12,15patch 13,0patch 13,1patch 13,2patch 13,3patch 13,4patch 13,5patch 13,6patch 13,7patch 13,8patch 13,9patch 13,10patch 13,11patch 13,12patch 13,13patch 13,14patch 13,15patch 14,0patch 14,1patch 14,2patch 14,3patch 14,4patch 14,5patch 14,6patch 14,7patch 14,8patch 14,9patch 14,10patch 14,11patch 14,12patch 14,13patch 14,14patch 14,15patch 15,0patch 15,1patch 15,2patch 15,3patch 15,4patch 15,5patch 15,6patch 15,7patch 15,8patch 15,9patch 15,10patch 15,11patch 15,12patch 15,13patch 15,14patch 15,1516×16 patch · 256 düğümGirdi görseli 256 × 256'ye ölçekleniyor

Seçili patch (8, 8) · düğüm #136Başka bir patch seçmek için ızgaraya tıklayın

Uzamsal
8 kenar · grafta 1.8608 kenar
Uzun menzilli
4 yeni kenar · grafta 1.7964 yeni kenar
Semantik
top-4… hesaplanıyor

Düğüm öznitelikleri hesaplanıyor…

Manhattan-2 kümesi dört çaprazı da içerir; onlar zaten uzamsal kenar olduğu için burada tekrar çizilmez (4 mükerrer kenar).

Girdi
256 × 256 px
Patch boyutu
16 × 16 px
Düğüm sayısı
256
Düğüm özelliği
3.840 değer
Girdi
256 × 256 px
Patch boyutu
16 × 16 px
Düğüm sayısı
256
Düğüm özelliği
3.840 değer

Görsel 16×16 patch'e bölünür ve her patch bir düğüm olur — toplam 256 düğüm. Aşağıdaki kare gerçek ızgaranın kendisidir: seçili patch'ten çıkan kenarlar modelin kurallarıyla hesaplanır, semantik kenarlar da o görselin kendi özniteliklerinden çıkarılır. Başka bir patch seçmek için ızgaraya tıklayın.

KENAR OLUŞUMU

Üç kenar türü birlikte kurulur

  • Uzamsal8 yönlü komşuluk

    Her iç düğüm çevresindeki sekiz patch ile bağlanır. Sınır düğümleri beş, köşe düğümleri üç komşuya sahiptir.

  • Uzun menzilliδ = 2

    Manhattan uzaklığı 2 olan patch'ler eklenerek modelin yalnızca yakın çevreye bağlı kalması önlenir.

  • SemantikTop-K = 4

    L2 normalize edilen düğüm özellikleri cosine similarity ile karşılaştırılır ve en benzer dört uzak patch bağlanır.

Manhattan-2 kümesi dört çaprazı da içerir; onlar zaten uzamsal kenar olduğu için burada tekrar çizilmez (4 mükerrer kenar).

ALAN BAZLI KARŞILAŞTIRMAARAŞTIRMA

Beş özellik alanında temel modellerle karşılaştırmaAlan bazlı karşılaştırma

Her panel bir özellik alanını gösterir. Temel modeller yalnızca o alanla eğitildi; PaGAF-Net beş alanı birlikte kullanır.Beş özellik alanında temel modellerle karşılaştırma. Temel modeller yalnızca o alanla eğitildi; PaGAF-Net beş alanı birlikte kullanır.

DEĞERLENDİRME VERİ KÜMELERİ

Tüm paneller aynı iki genel veri kümesinin birleşimi üzerinde değerlendirildi. Kümeler 27 farklı üreticiden gelen görselleri kapsıyor; aşağıda her kümenin öne çıkan üreticileri listelenmiştir.

Real & Fake (AI)22 üretici
  • Stable Diffusion
  • Latent Diffusion
  • StyleGAN 2
  • StyleGAN 3
  • BigGAN
  • Taming Transformer
  • StarGAN
  • DDPM
  • +14 üretici daha
275.520örnek
GenImage5 üretici
  • Midjourney
  • ADM
  • Glide
  • VQDM
  • Wukong
123.630örnek

Toplam27 üretici · 399.150 örnek

0,60,70,80,91,0Acc.Prec.Rec.F1AUC
RGB Alanı
0,60,70,80,91,0Acc.Prec.Rec.F1AUC
Gradient Alanı
0,60,70,80,91,0Acc.Prec.Rec.F1AUC
Frequency Alanı
0,60,70,80,91,0Acc.Prec.Rec.F1AUC
Residual Alanı
0,60,70,80,91,0Acc.Prec.Rec.F1AUC
Correlation Alanı
Modeller

Gizlemek için bir modele tıklayın.

Eksenler 0,5 – 1,0 aralığında çizilir. Temel modeller yalnızca o panelin alanıyla eğitildi; PaGAF-Net beş alanı birlikte kullandığı için tek bir sonucu var ve her panelde aynı referans çizgisi olarak tekrarlanıyor.Eksenler 0,5 – 1,0 aralığında. PaGAF-Net beş alanı birlikte kullandığı için her panelde aynı referans çizgisidir.

EKİP

Araştırmacılar

TÜBİTAK 2209-B kapsamında yürütülen bu çalışma bir yürütücü ve bir araştırmacı tarafından birlikte geliştiriliyor.Projeyi TÜBİTAK 2209-B kapsamında geliştiren ekip.

DANIŞMANLAR

Danışmanlar

Proje, akademik ve sanayi tarafından birer danışmanın rehberliğinde yürütülüyor.Projeye akademik ve sanayi tarafından rehberlik edenler.