Harika bir yapay zeka modelinin, ona en çok ihtiyaç duyulan yerde, yani müşterinin yanı başında, sahada kullanılamamasının ne faydası var ki? Son dönemdeki derin öğrenme modelleri, doğru kullanıldığında gerçekten büyüleyici performanslara ulaşıyor. GitHub Co-pilot, GPT-3 ve DALL-E 2 gibi araçlar zaman zaman şaşırtıcı sonuçlar üretebiliyor. Bu harika, ama asıl soru şu: Bu modelleri günlük hayatımıza nasıl entegre edeceğiz? İşte bu noktada Edge AI (Uç Yapay Zeka) kavramı devreye giriyor.
Yapay zekayı, veri merkezlerinden kilometrelerce uzakta, kısıtlı kaynaklara sahip cihazlarda çalıştırmanın getirdiği zorlukları ve bu zorlukların üstesinden gelmek için kullanılan yenilikçi çözümleri beraber inceleyelim.
Edge AI Nedir ve Kısıtlı Kaynaklarla Nasıl Başa Çıkıyor?
Uç cihazlar, internete bağlı olsalar da, bildiğimiz veri merkezi sunucularından çok daha farklılar. Kullanıcılara fiziksel olarak daha yakınlar ve bir dizi kısıtlamayla mücadele ediyorlar. Robotlar, insansız hava araçları (drone’lar), uzaktan algılama uyduları, akıllı ev cihazları (Amazon Echo gibi), hatta akıllı saatler ve telefonlar bu kategoriye giriyor. Bir dizüstü bilgisayarı ise genellikle bu kategoriye dahil etmeyiz.
Bu cihazların her birinin kendine özgü bir dizi kısıtlaması var: güç tüketimi, işlem hızı ve bellek. Örneğin, otonom bir araçtaki Edge AI çipi için gecikme süresi, yani yapay zeka modelinin bir sonuca ulaşma hızı çok kritik. Küçük bir ticari drone ise sadece 20-30 dakika havada kalabiliyor, bu yüzden toplam güç bütçesinin yüzde 5’inden daha azını hesaplama ve veri işlemeye ayırabiliyor. Düşünün ki, o kısacık uçuş süresinde bile önemli görevler yapması gerekiyor!
Peki, Edge AI cihazları genellikle ne tür işler yapıyor? Çoğunlukla bilgisayar görüşü veya ses işleme görevleriyle karşılaşıyoruz. Doğal dil işleme, yüz tanıma, trafik tahmini gibi alanlarda bu cihazlar aktif rol oynuyor.
Modern Yapay Zeka Modellerinin Büyüklüğü ve Edge Cihazların Sınırları
Yapay zeka modelleri yıllar içinde devasa boyutlara ulaştı. 2012’de AlexNet, 61 milyon ağırlığıyla bilgisayar görüşünde son teknolojiydi. Karşılaştırma yaparsak, 2021’deki kazanan ImageNet modeli CoCa’nın ise tam 2.1 milyar ağırlığı var! Bu sayılar dudak uçuklatıcı, değil mi?
Sinir ağları, doğaları gereği, derin öğrenme dışı alternatiflerden çok daha fazla enerji tüketiyor. Bir nesne algılama sinir ağı modeli, bir histogram of oriented gradients modelinden tam 13.500 kat daha fazla enerjiye ihtiyaç duyabiliyor. Bu kadar çok ağırlık ve katmana sahip olmak, bu yükü daha da ağırlaştırıyor.
Bellek kısıtlamaları da cabası. Bir modelin anlamlı bir zamanda çıkarım yapabilmesi için, modelin ağırlıkları ve girdiler gibi birçok değeri cihaz belleğine alıp depolamamız gerekiyor. Bu, bir çipin yapabileceği en yoğun enerji tüketen eylemlerden biri; standart bir çarpma-toplama işlemine göre 200 kata kadar daha fazla enerji harcayabiliyor.
Yani, modern ve devasa bir yapay zeka modelini bir Edge AI ortamına sığdırmak, kaçınılmaz olarak tavizler vermeyi gerektiriyor. Modelin daha küçük olması, daha az hesaplama gerektirmesi anlamına geliyor ki bu da performanstan ödün vermek demek. Ne kadar kötü olacağı çeşitli faktörlere bağlı, ama kesinlikle daha kötü olacak.
İlk zamanlarda birçok teknoloji şirketi, Siri veya Amazon Echo gibi çözümlerde olduğu gibi, her şeyi buluta aktararak bu sorunların etrafından dolanmaya çalıştı. Cihaz sadece kullanıcı ile sunucu arasında bilgi aktaran “ince bir istemci” haline geliyordu. Bu yaklaşımın kendine göre avantajları olsa da, veri iletim gecikmesi, bağlantı kararlılığı ve tabii ki gizlilik gibi yepyeni sorunlara yol açtı.
Bir de “karma” bir yaklaşım var. Hem uç cihaz hem de sunucu, hesaplama yükünü paylaşıyor. Hayal edin, Edge AI donanımı ham veriler üzerinde ilk bir geçiş yapıyor, ardından sonuçları nihai onay için buluta yüklüyor. Bu da işe yarayabilir, ancak bu karma yaklaşımın hem ince istemci hem de yerleşik işlemlemenin dezavantajlarını taşıdığı hissediliyor. Sonuçta modelleri hem uç hem de sunucu ortamlarında ayrı ayrı yönetmeniz gerekiyor.
Yazılımsal Optimizasyonlarla Edge AI Performansını Artırmak
Peki, madem modern bir yapay zeka modelini doğrudan uç donanım üzerinde çalıştıramıyoruz, yazılım tarafında yapabileceğimiz bir şeyler yok mu? Elbette var! İşte bu alana “sinir ağı model optimizasyonları” deniyor ve son zamanlarda oldukça popüler bir alan haline geldi.
İlk yaklaşım, sıfırdan kompakt bir model eğitmeye odaklanıyor. SqueezeNet ve MobileNet gibi sinir ağları buna güzel örnekler. Bu modeller, geleneksel sinir ağı yapılarını yeni olanlarla değiştirerek modeldeki ağırlık miktarını azaltmayı hedefliyor. Ne kadar az ağırlık, o kadar küçük model boyutu ve bellek alanı demek. SqueezeNet’in yaratıcıları, AlexNet seviyesinde doğruluğu 50 kat daha az ağırlıkla ve yarım megabayta sıkıştırılmış bir modelle elde ettiklerini iddia ediyorlar.
İkinci yaklaşım ise, zaten eğitilmiş bir modeli sonradan işlemeye odaklanıyor. Sinir ağları nihayetinde matris çarpımlarına dayanıyor, bu yüzden eğitilmiş bir modeldeki matrisleri bir şekilde küçültebilirsek, daha az bellek kaplarlar. İşte ağırlık niceleme (weight quantization) metodolojisinin arkasındaki fikir bu. Burada, eğitilmiş bir modelin ağırlıklarını bellekte saklama şeklimizi değiştiriyoruz; örneğin, 32 bit kayan noktalı bir sayıdan 8 bit sabit noktalı bir sayıya geçerek yer kazanıyoruz.
Bir başka yaklaşım da budama (pruning) yoluyla modelin karmaşıklığını azaltmaya çalışmak. Bu, gereksiz ağırlıkları kaldırmak anlamına geliyor. Bir çalışma, bir sinir ağının ağırlıklarının yüzde 95’inin sadece birkaç anahtar ağırlıkla yüksek korelasyona sahip olduğunu iddia ediyor. Kavramsal olarak, bu gereksiz ağırlıkları kaldırabilir ve doğruluğun çoğunu koruyabiliriz.
Ancak unutmayalım, “bedava öğle yemeği” diye bir şey yok. Ne yaparsanız yapın, doğruluk ile bellek/güç kullanımı arasında tavizler vermek zorunda kalacaksınız. Az önce bahsettiğimiz 32 bitten 8 bite geçiş hilesi, ne yazık ki yüzde 12’nin üzerinde bir doğruluk kaybına neden olabiliyor. Dahası, çeşitli optimizasyon yöntemlerinin gerçek sonuçları beklentileri sürekli olarak karşılayamayabiliyor. Optimizasyonun modelin performansına ve kaynak kullanımına etkisini tahmin etmek oldukça zor bir iştir.
Edge AI İçin Dört Ana Donanım Türü: CPU’dan ASIC’e
Uç yapay zeka zorlukları karşısında, çözüm sağlayıcıların kendi özel çözümlerine uygun doğru donanımı bulmaları gerekiyor. Edge AI donanımları olarak kullanılabilecek dört ana donanım türü var: CPU’lar, GPU’lar, FPGA’lar ve ASIC’ler. Her zaman olduğu gibi, hiçbiri mükemmel değil; hepsinin kendine özgü kullanım alanları ve dezavantajları bulunuyor.
İlk olarak CPU’lar (ve mikrodenetleyiciler – MCU’lar). Bunlar çok az tanıtıma ihtiyaç duyar. Raspberry Pi gibi CPU’lar programlaması kolaydır, çok yönlüdür, az güç tüketir ve en önemlisi ucuzdur. Ancak, CPU’ların en önemli dezavantajı, çok paralel olmamalarıdır. Çok çekirdekli modern CPU’lar bile, modern sinir ağı modellerinin gerektirdiği devasa paralel işlemleri tam olarak karşılayamaz. Yine de, model belleğine sığacak kadar küçükse, 100 kilobayt RAM’e sahip minik bir MCU bile onu çalıştırabilir. TensorFlow Lite for Microcontrollers gibi projeler, bisikletçiler için sesle etkinleştirilen bir yön kontrolcüsü gibi eğlenceli şeylere olanak tanıdı. TinyML gibi alanlar, bu son derece kısıtlı donanım ortamlarına nispeten gelişmiş makine öğrenimi yerleştirmeye çalıştığı için büyük bir etki potansiyeline sahip.
İkinci olarak GPU’lar. Başlangıçta oyunlar için tasarlanmış olsalar da, devasa paralellikleri ve NVIDIA’nın CUDA gibi yaygın programlama platformları sayesinde kolayca programlanabilir olmaları onları yeni yapay zeka modellerini eğitmek için harika kılıyor. Ancak, aşırı paralellikleri onları aynı zamanda çok enerji aç hale getiriyor, bu da onları Edge AI çıkarım görevleri için daha az uygun hale getiriyor. NVIDIA Jetson, bir Edge GPU örneğidir.
Bu bizi diğer iki Edge AI donanım seçeneğine, FPGA’lara ve ASIC’lere götürüyor. Bunlar çok daha ilginç. Alan Programlanabilir Kapı Dizileri veya FPGA’lar büyük bir potansiyele sahip. Bu entegre devreler, programlanabilir mantık bloklarından ve yönlendirme ara bağlantılarından oluşur ve GPU’lar gibi doğaları gereği paraleldirler. VHDL ve Verilog gibi donanım tanımlama dillerini kullanarak, bu mantık bloklarını belirli mantık işlemlerini simüle edecek şekilde yapılandırabilir ve yeniden yapılandırabilirsiniz. Bu esneklik, kuralların ve algoritmaların nispeten hızlı değişebildiği otonom araç endüstrisi gibi belirli yapay zeka alanlarında çok faydalıdır. FPGA kullanmanın bir diğer avantajı da enerji verimliliğiyle ilgilidir. Sinir ağı modeli, çıkarım sırasında çip dışındaki belleğe eriştiğinde en çok enerjiyi harcar. Çoğu modern FPGA’da blok RAM adı verilen yerleşik bellek blokları bulunur; bunlar gecikmeyi ve güç tüketimini azaltır. Bu bloklara sığabilen modeller çok daha fazla güç tasarrufu sağlar. FPGA’ların büyük dezavantajı ise bir GPU’dan daha az bellek bant genişliğine ve hesaplama kaynaklarına sahip olmalarıdır. Ayrıca, onları kullanmak belirli bir tasarım uzmanlığı gerektirir; herkes VHDL ve Verilog’a aşina değildir.
Son olarak ASIC’ler. Bunlar, çok özel bir görev için tasarlanmış özel işlemcilerdir. Yapay zeka çiplerine veya bazen de yapay zeka hızlandırıcılara, ASIC sınıfı diyebiliriz. ASIC’in en büyük dezavantajı aşikar: Çipi tasarlamak ve üretmek için önemli miktarda başlangıç finansal ve insan kaynağı yatırımı yapmanız gerekir. En son teknoloji işlem düğümlerine sahip yarı iletken çipler tasarlamak ve üretmek milyonlarca dolara mal olabilir. Dahası, FPGA’larda yapabildiğiniz gibi, üretimden sonra belirli mimarileri değiştiremezsiniz. Neyse ki, teknoloji devlerinden (Intel Movidius Myriad X VPU, Google Edge TPU, NVIDIA Tegra) ve birçok küçük ve orta ölçekli şirketten (Rockchip RK1808, Notgayer Falcon, Nehron) çok sayıda ilginç Edge AI hızlandırıcı ürünü piyasada mevcut.
Edge AI’ın Geleceği: Donanım ve Algoritma Eş Tasarımı
Edge AI çözümleri sunarken karşılaşılan büyük zorluklardan biri, donanım ve yazılım arasında denge kurmaktır. Bunlar birbirine son derece bağlıdır; birini değiştirmek diğerini etkiler ve bu, yineleme hızını ve ilerleme oranını büyük ölçüde yavaşlatır. İşte burada yapay zekanın kendisinden yardım alabiliriz.
Son zamanlarda, donanım farkındalıklı sinir ağı mimarisi araması (hardware-aware Neural Architecture Search) adı verilen bir konuda ilginç araştırmalar yapıldı. Bu yaklaşımda, sinir ağı modelinin içine belirli donanım değişkenleri dahil edilir, böylece model belirli bir donanım üzerinde (genellikle bir GPU veya FPGA) en uygun şekilde çalışabilir. ASIC’lerde bu arama o kadar iyi çalışmaz çünkü donanımın kendisi çok geniş ölçüde özelleştirilebilir. Ancak ASIC’ler, hem donanımı hem de algoritmaları eş zamanlı olarak birlikte tasarlama gibi ilgi çekici bir olasılığı açıyor. Buna donanım-algoritma eş tasarımı (co-design) diyebiliriz. Bu, çipin işlem düğümünü ve çip tasarımını ortak başarıya yönelik olarak hazırlama süreci gibidir ve Edge AI donanım alanı için büyük bir potansiyele sahiptir.
Devasa modeller her zamankinden daha güçlü. Neler yapabileceklerini görebiliyoruz. Ancak Edge AI donanım üreticileri, bu modelleri barındırmak için zorlu ekonomik ve muhtemelen fiziksel sınırlamalarla karşı karşıya. 20. yüzyılın ikinci yarısında bilgisayarlar, sanayi ve ticarette eşi benzeri görülmemiş faydaların kilidini açtı. Yapay zeka da aynı şeyi yapma potansiyeline sahip. Ancak uç donanım asla tatmin edici bir noktaya ulaşamazsa, yapay zekanın tam potansiyelinin bulutun o fani dünyasında kilitli kalacağından korkarım. Umarız endüstri gelişmeye ve ilerlemeye devam eder.
—
Sıkça Sorulan Sorular
Edge AI nedir?
Edge AI, yapay zeka modellerini veri merkezlerinden ziyade, robotlar, drone’lar, akıllı saatler gibi kullanıcılara daha yakın, kısıtlı kaynaklara sahip cihazlarda çalıştırma konseptini ifade eder. Amacı, veriyi yerinde, hızlı ve güvenli bir şekilde işleyerek gecikmeyi azaltmak ve gizliliği artırmaktır.
Edge AI cihazlarının temel zorlukları nelerdir?
Edge cihazlar, güç tüketimi, işlem hızı ve bellek gibi ciddi kısıtlamalara sahiptir. Modern yapay zeka modellerinin devasa boyutları ve enerji gereksinimleri, bu kısıtlı donanımlarda doğrudan çalışmayı imkansız kılar. Bu durum, performans ve model büyüklüğü arasında tavizler verilmesini gerektirir.
Edge AI donanımları arasında hangi türler bulunur?
Edge AI için dört ana donanım türü mevcuttur:
1. CPU’lar (ve MCU’lar): Programlaması kolay, ucuz ve çok yönlüdürler ancak paralel işlemlerde yetersiz kalabilirler.
2. GPU’lar: Çok paralellerdir ve yeni modelleri eğitmek için harikadırlar, ancak enerji tüketimleri yüksektir.
3. FPGA’lar: Programlanabilir mantık blokları sayesinde esnektirler, enerji verimlidirler ve hızla değişen algoritmalar için idealdirler.
4. ASIC’ler: Çok özel bir görev için tasarlanmış özel çiplerdir; yüksek başlangıç maliyetine sahiptirler ancak belirli görevlerde en yüksek verimliliği sunarlar.
