İlerleyen yapay zeka (YZ) alanında yaşanan bir Cambrian patlamasının tam ortasındayız. Son on yılda, YZ teoriden küçük testlere ve büyük ölçekli uygulamalara geçti. Ancak AI sistemlerini çalıştırmak için kullanılan donanım, her ne kadar giderek daha güçlü hale gelse de, günümüzün YZ’si göz önüne alındığında tasarlanmamıştı. YZ sistemleri büyüdükçe, maliyetler arttı. Ancak California’daki IBM Araştırma laboratuvarından gelen yeni bir araştırma, YZ donanım sistemlerini verimli bir biçimde dönüştürebileceğimizi gösterebilir. NorthPole Çipi!
İşlem birimleri ve işlenecek bilgiyi depolayan bellek, yarı iletken endüstrisinin başlangıcından bu yana bilgisayar çiplerinin temel yapısı oldu. Bu yapı, tasarımı basitleştirmeye ve yıllar içinde iyi ölçeklenmesine izin verse de, von Neumann’ın dar boğazı olarak bilinen bir soruna neden oldu. Verinin bellek, işlem ve çip içindeki diğer cihazlar arasında sürekli olarak taşınması zaman ve güç gerektirir. Bu, IBM Araştırma’dan Dharmendra Modha ve arkadaşları tarafından geliştirilen beyin hesaplama tekniğinden ilham alarak bir çalışma gerçekleştirmişlerdir. Modha, “Bu, von Neumann mimarisinden tamamen farklı bir yol açıyor” diyor.”
IBM Research’dan Yenilikçi Bir Çip: NorthPole
Son sekiz yıl boyunca Modha, nöral çıkarma için yeni bir dijital YZ çipi geliştirdi ve ona NorthPole adını verdi. Bu, Modha’nın 2014’ten önce geliştirdiği en yeni yapay zeka çipi olan TrueNorth‘un bir uzantısıdır. Yeni prototip cihaz, YOLOv4 nesne tespit modeli ve yaygın ResNet-50 görüntü tanıma modellerinde yapılan testlerde, mevcut pazardaki diğer tüm çiplerden daha yüksek enerji verimliliği, alan verimliliği ve gecikme gösterdi ve TrueNorth’dan yaklaşık 4.000 kat daha hızlıydı.
NorthPole’un Enerji ve Alan Verimliliği
Umut verici sonuçlar bu hafta Science dergisinde yayınlandı. Modha’ya göre, NorthPole, enerji, alan ve zaman verimliliğinde büyük iyileştirmeler sunan bir çip mimarisi çıkarmaktadır. ResNet-50 modelini bir referans olarak kullanarak, NorthPole’un yaygın olarak kullanılan 12-nm GPU’lar ve 14-nm CPU’lara göre 25 kat daha fazla enerji verimliliği sağladığı görülüyor. (NorthPole, 12 nm düğüm işleme teknolojisi üzerine inşa edilmiştir.)
Her iki durumda da, NorthPole’un bir joule enerji gerektiren çerçevelerin sayısı açısından enerji verimliliği 25 kat daha yüksektir. Ayrıca, Modha’ya göre, NorthPole, gecikme konusunda da, milyar transistör gerektiren her saniye işlenen kareler açısından hesaplanan alan bakımından da diğer çipleri geride bırakmıştır. ResNet-50 üzerinde, NorthPole daha gelişmiş teknoloji süreçleri kullanılarak uygulanan GPU’lar gibi diğer yaygın mimarilerin hepsini geride bırakıyor.
Bu, mevcut çiplerden çok daha verimli bir şekilde nasıl işlem yapabildiğini nasıl yönetiyor? NorthPole’un en büyük farklılıklarından biri, cihazın belleğinin çipin kendisinde olduğu, ayrı olarak bağlanmadığıdır. Bu von Neumann darboğaz olmadan, çip, mevcut pazardaki diğer çiplerden çok daha hızlı bir şekilde YZ çıkarımını gerçekleştirebilir.
NorthPole, 12-nm düğüm işleme teknolojisi ile üretildi ve 800 metrekarelik bir alan içinde 22 milyar transistör içerir. 256 çekirdeğe sahiptir ve 8-bit hassasiyetle çekirdek başına döngüde 2.048 işlem yapabilir ve sırasıyla 4-bit ve 2-bit hassasiyetle işlemlerin sayısını ikiye katlama ve dörde katlama potansiyeline sahiptir. “Bu bir çip üzerinde tam bir ağdır,” diyor Modha.
In Science, researchers present NorthPole—a brain-inspired chip architecture that blends computation with memory to process data efficiently at low-energy costs.
Learn more: https://t.co/hw1qUm2SYS pic.twitter.com/HwfI3Ybx5n
— Science Magazine (@ScienceMagazine) October 19, 2023Memory-Near-Compute Mimarisi ile Sınırları Bulanıklaştırma
“NorthPole, hesaplama ve bellek arasındaki sınırı bulanıklaştırır,” diyor Modha. “Bireysel çekirdeklerin seviyesinde, NorthPole bellek-yakın-hesaplama gibi görünüyor ve çip dışında, giriş-çıkış seviyesinde, aktif bir bellek gibi görünüyor.” Bu, NorthPole’u sistemlere kolayca entegre etmeyi ve ana makine üzerindeki yükü önemli ölçüde azaltmayı sağlar.
Ancak NorthPole’un büyük bir avantajı ve aynı zamanda bir sınırlama taşır: Sadece kendi çipi üzerindeki belleği kullanabilir. Başka bir yerden bilgiye ulaşması gerektiğinde, tüm hız artışları tehlikeye girebilir. Scale-out adı verilen bir yaklaşım kullanılarak, NorthPole, daha büyük sinir ağlarını destekleyebilir.
Bu, bu ağları NorthPole’un model belleğine sığacak şekilde daha küçük alt ağlara böler ve bu alt ağları birden fazla NorthPole çipi üzerinde birleştirir. Bu nedenle, özel uygulamalar için kullanışlı olabilecek birçok model için NorthPole (veya bir dizi NorthPole) üzerinde yeterli bellek vardır. Ancak bu çip her iş için kullanılmak üzere tasarlanmamıştır. Modha’ya göre, “GPT-4’ü bu çip üzerinde çalıştıramayız, ancak işletmelerin ihtiyaç duyduğu birçok modeli sunabiliriz.” Ve tabii ki, NorthPole yalnızca çıkarma işlemi için kullanılabilir.
Bu etkililik, cihazın çalıştırılması için hacimli sıvı soğutma sistemlerine ihtiyaç duymadığı anlamına gelir – fanlar ve ısı yuvaları yeterlidir – bu da onun oldukça küçük alanlarda kullanılabilir olduğu anlamına gelir.
Potansiyel NorthPole Uygulamaları
NorthPole çipi hakkındaki araştırma hala devam etmektedir, ancak yapısı yeni YZ kullanım durumlarına ve daha önceden kurulmuş olanlara uyar. Testlerde, NorthPole ekibi öncelikle bilgisayarla ilgili kullanımlara odaklandı, kısmen projenin finansmanı ABD Savunma Bakanlığı’ndan geldiği için. Düşünülen başlıca uygulamalar, tespit, görüntü bölütleme ve video sınıflandırma gibi konulardır. Ancak, diğer alanlarda da test edilmiştir, örneğin doğal dil işleme (yalnızca kodlayıcı BERT modeli üzerinde) ve konuşma tanıma (DeepSpeech2 modeli üzerinde). Ekip şu anda büyük dil modellerini NorthPole scale-out sistemlerine uyarlamak konusunda çalışıyor.
Bu YZ görevlerini düşündüğünüzde, olağanüstü kullanım durumları akla gelir. Otonom araçlardan robotlara, dijital asistanlardan mekansal hesaplamalara kadar. Gerçek zamanlı büyük veri işleme gerektiren birçok kenar uygulaması, NorthPole için oldukça uygundur.
Otonom araçlar gibi örnekler, harita ve rotalara ihtiyaç duyan makineleri düşünün. NorthPole, dünya gerçeklerinde gezinmeyi bile insan sürücüler için karmaşık hale getiren nadir kenar durumlarını ele alabilir. Bu tür kenar durumları, gelecekteki NorthPole uygulamalarının tam da hedef noktasıdır. NorthPole, tarımı izleyen ve vahşi yaşam popülasyonlarını yöneten uyduları etkinleştirebilir, güvenli ve daha az sıkışık yollar için araç ve yükü izleyebilir, robotları güvenli bir şekilde çalıştırabilir ve işletmeler için daha güvenli bir şekilde siber tehditleri tespit edebilir.
Geleceğin Yapay Zeka Kullanımları için Bir Atılım
Yapay zeka meraklıları olarak, NorthPole’un sunduğu olanaklarla heyecanlanıyoruz. Bu yeni çip, yapay zeka çözümlerini daha erişilebilir ve güçlü hale getirerek birçok alanı dönüştürecek. Gelecekte neler getireceğini görmek için sabırsızlanıyoruz. Yapay zeka alanında yaşanan bu heyecan verici gelişmelere tanık olmak gerçekten heyecan verici. Daha fazla inovasyon ve başarılar için geleceği dört gözle bekliyoruz.
