Görüntü Bölütleme (Segmentasyon) İşlemi için Derin Öğrenme: U-Net

Bir tür Evrişimli Sinir Ağı yaklaşımı (Convolutional Neural Networks-CNN) olan U-Net ilk olarak biyomedikal görüntüler üzerinde daha iyi bir bölütleme (segmentasyon) yapma önerisi ile 2015 yılında, Olaf Ronneberger, Phillip Fischer, ve Thomas Brox tarafından ortaya çıkmıştır.

Evrişimli derin öğrenme modellerinde eğitim işlemi için büyük veri kümelerine ihtiyaç duyulmaktadır. Ancak bu noktada bazı sorunlar ortaya çıkıyor. Bir nesne sınıflandırma problemi için toplanmasına ihtiyaç duyulan veri miktarına çoğu zaman gücümüz yetmez. Örneğin birçok görüntüyü cep telefonunuzun kamerasıyla toplamanız mümkün değil. Ayrıca sıradan bir göz yeterli olmayacak, çokça ilgili görüntü konusunda uzman gözü ve tecrübesine ihtiyaç olacaktır. Bir diğer kritik nokta da klasik evrişimli sinir ağlarında görüntünün geneli hakkında sınıf etiketleri üzerinden bir eğitimin yapılmasıdır. Ancak bazı problemler piksel temelli yaklaşımlar ile lokalizasyon/konumlama bilgisi gerektirir. Biyomedikal ya da savunma gibi hassas yaklaşımlar gerektiren alanlarda her bir pikselin sınıf bilgisi bizim için önemlidir.

U-Net, evrişimli sinir ağı katmanlarından oluşturulmuş farklı bir mimari temelli görüntü segmentasyon/bölütleme konusunda klasik modellerden az sayıda görüntü olsa bile daha başarılı sonuç vermektedir.

U-Net’in farklılıkları

Bir evrişim sürecinin arkasındaki fikir veya önsezi iki yönlüdür: özellikleri elemek ve hesaplama süresini azaltmak. Ancak bu süreçde bazı bilgiler kaybolur. Bu noktada U-Net, öyle ki resmimizi büyüttüğümüzde veya yükselttiğimizde, özellik haritalarını karşılık gelen büyütülmüş harita setiyle birleştiririz. Bunun arkasındaki önsezi oldukça basit: Ağa daha iyi bağlam sağlamak için bazı katmanlardaki kayıp bilgileri geri getirmek istiyoruz. Çoklu evrişim süreci boyunca, ağ daha düşük seviyeli özelliklere daldıkça, daha yüksek seviyeli özelliklerin bağlamını kaybeder. Bu noktada U-net en az kayıp sağlaması ile ön plana çıkmaktadır.

U-Net Mimarisinin Yapısı

U-Net adını şekildende görüleceği gibi adını U harfine benzer yapısından almaktadır. Giriş görüntüleri çıkışta segmente edilmiş/bölütlenmiş çıkış haritası olarak elde edilir.

Mimarının en özel yanı ikinci yarısıdır. Ağın tamamen bağlı katmanı yoktur. Yalnızca evrişim katmanı kullanılmaktadır. Her standart evrişim işlemi ReLU ile aktive edilmektedir.

Model çok detaylı çalıştığı için genellikle biyomedikal ve savunma alanlarında kullanılır. Mimariyi kısaca özetlersek:

Modelin sol tarafı Encoder(Kodlayıcı) taraftır. Yani burada görüntünün “Ne” olduğu öğrenilir. Sağ tarafı ise Decoder(Kod çözücü) kısımdır. Burada da görüntünün “Nerede” olduğu öğrenilir. Mimarideki asıl detay, katmanların hem kendisiyle hem de karşı katmanla evrişim içinde olmasında saklıdır.

‘Same’ işleminden kısaca bahsedersek :

Görüntülerin kesintisiz şekilde bölütlenebilmesi için sınır bölgesindeki pikseller görüntüye simetrik şekilde eklenir. Bu işlem sayesinde görüntü eksiksiz şekilde bölütlenir. Piksel ekleme yöntemi U-Net modelini büyük görüntülere uygulamak için kullanılır.

Biyomedikal görüntüde dokudaki en yaygın sorun deformasyondur ve gerçekçi deformasyonlar verimli bir şekilde simüle edilebilir. Bu şekilde elimizdeki az sayıda veriyi artırmak için elastik deformasyon yaklaşımı ile öğrenme işleminin daha başarılı olması sağlanır.

Kayıp/Yitim (Loss) hesabı yaklaşımı

Bu yöntem biyomedikal görüntülerde başarı değerlendirmek için sıklıkla kullanılan bir performans kriteridir.

Birleşimlerin Kesişimi Intersection over Union(IoU) piksel temelli bir ölçüttür ve bölütleme performansı değerlendirilirken sıklıkla başvurulur. Hedef matris ile eldeedilen matris arasındaki ilişkili piksel oranı dikkate alınır. Bu metrik Dice hesabıyla da ilişkilidir.

U-Net ile Beyin Tümörü Tespiti

Uygulama kısmında Perelman Tıp Fakültesinin düzenlediği Multimodal Brain Tumor Segmentation Challenge 2020 adlı yarışmayı U-Net modeli ile yapacağız. Uygulamanın amacı, beyindeki tümörleri yapay zeka ile tespit eden bir algoritma oluşturmaktır.

Veri seti beynin 3 boyutlu çekilmiş MR görüntülerinden oluşmaktadır. Bu görüntüler Flair ,T1, T2 , T1ce ve radyolog tarafından segmente edilmiş tümör bölgesinin bulunduğu görüntülerdir.

Uygulamanın ilk bölümünde veri setinde bulunan segmente görüntüleri ile Flair ve T1 görüntülerinin üst üste çakıştırılmasından elde edilen görüntüleri eğitime sokalım. Bunu yapmamızın sebebi ; Flair ve T2 görünütüleri birbirinin tam zıttı veriler. Bu yüzden birbirini tamamlıyor ve bu şekilde daha iyi sonuç veriyor.

Yukarıdaki görüntü ile radyoloğun segmente ettiği tümör görüntüsünü U-Net’e sokarak modeli eğitelim ve daha sonra modelden aynı görüntü için tahmin alalım.

Veriler çok ağır olduğu için bir kısmı kesilerek eğitilmiştir. Epoch değeri ise 10 olarak belirlenmiştir. Dice coefficient değeri 0.9042 olarak bulunmuştur. Beynin Flair+T2 görüntüsü , radyoloğun segmente ettiği alan ve modelin bu tümörlü alan için tahmini görülmektedir. Az veriye rağmen modelin tahminleri iyi denilecek orandadır. Daha fazla veri ve Epoch değeri ile model çok daha başarılı sonuçlar bulacaktır.

Uygulamanın 2. Kısmında ise segmente tümör bölgesinin içindeki tam tümör alanı , nekroz alanı , ödemsiz alan , ve genişleyen tümör alanını tek tek eğitime sokarak modelin bu alanları da öğrenmesini sağlayacağız.

Radyolog segmente alanın içindeki bölgelere tek tek etiket vererek bu alanların tespitini sağlıyor. Segmente görüntü içinde 1 olarak işaretlediği alanları ‘Tam tümör alanı’ , 2 olarak işaretlediği alanları ‘Nekroz alan’ , 3 olarak işaretlediği alanları ‘Ödemsiz alan’ , 4 olarak işaretlediği alanları ise ‘Genişleyen Tümör alanı’ olarak belirliyor. Bu görüntüleri T1ce görüntüleri ile eğitime sokarak çıkan sonucu inceleyeceğiz. Nekroz görüntüleri çok küçük olduğu için bu görüntüleri direkt eğitime sokmak yerine genişleyen tümör ve ödemsiz alan görüntülerini eğitime sokup bunları birbirine ekleyerek nekroz görüntülerini elde edebiliriz.

Veriler yine 10 Epoch değeri ile eğitildi. Dice coefficient değerleri sırası ile 0.9555 ve 0.9196 olarak bulundu. Ayrıca U-Net’in yine çok iyi tahminler yaptığını görebiliriz. Genişleyen tümör görüntüsünün iç kısmında bulunan küçük Nekroz alanı bile başarılı bir şekilde tahmin edebiliyor.

Uygulamanın son bölümü olan 3. Kısımda ise bulduğumuz bütün tahminleri üst üste ekleyerek beyindeki tam tümör alanını , nekroz alanı , genişleyen tümör alanını ve ödemsiz alanı görelim.

U-Net’in kısıtlı veri ile çok iyi sonuçlar verdiğini görebiliriz.

Bir radyolog bu beyindeki tümör alanını belirlemek için yaklaşık 10 dakika zaman harcarken U-Net Modeli ile 10 dakikada binlerce tümörü tespit edip bunları gruplandırabiliriz.

Bu yazımızı burada noktalıyoruz. Sonraki yazılarda görüşmek üzere…