Parity AI, önyargı için işe alım algoritmalarını denetleme hakkında konuşuyor

Bağımsız algoritmik denetim firması Parity AI, yapay zeka (AI) işe alma araçlarında devam eden önyargı incelemesini yürütmek için yetenek edinme ve yönetim platformu Beamery ile ortaklık kurdu.

İşletmelerin yetenekleri belirlemesine, işe almasına, geliştirmesine, elinde tutmasına ve yeniden konuşlandırmasına yardımcı olmak için yapay zekayı kullanan Beamery, Kasım 2022’nin başlarında tamamlanan sistemlerinin üçüncü taraf denetimini gerçekleştirmek için Parity’ye başvurdu.

Denetime eşlik etmek üzere Beamery, sorumlu yapay zeka taahhüdünü özetleyen bir “açıklanabilirlik beyanı” da yayınladı.

Parity CEO’su Liz O’Sullivan, işletmeler ve insan kaynakları (İK) ekiplerinin, ilgili tüm paydaşlara yapay zeka araçlarının mahremiyet bilincine sahip olduğu ve dezavantajlı veya marjinal topluluklara karşı ayrımcılık yapmadığı konusunda güvence vermede “önemli bir zorluk” olduğunu söylüyor.

“Bunu yapmak için işletmeler, sistemlerinin yerel, federal ve uluslararası insan hakları, medeni haklar ve veri koruma yasaları dahil olmak üzere tüm ilgili düzenlemelere uygun olduğunu gösterebilmelidir” diyor. “Topluluklarına iyi hizmet etmek için kasıtsız algoritmik önyargıyı en aza indirmeyi gerçekten önemseyen bir şirket örneği olarak Beamery ekibiyle çalışmaktan çok memnunuz. Yeni düzenlemeler ortaya çıktıkça şirketi daha fazla desteklemeyi dört gözle bekliyoruz.”

Beamery’nin başkanı ve kurucu ortağı Sultan Saidov şunları ekliyor: “Yapay zekanın sosyal fayda sağlama potansiyeline ulaşması için nasıl yaratıldığına ve kullanıldığına dair bir yönetişim olması gerekir. Şu anda bunun neye benzemesi gerektiğine dair bir netlik eksikliği var, bu nedenle açıklanabilir, şeffaf, etik ve uyumlu yapay zeka için bir ölçüt oluşturarak İK endüstrisinde standardı belirlemeye yardımcı olma görevimiz olduğuna inanıyoruz. düzenleyici standartlar.”

Saidov, AI modellerinin şeffaflığının ve denetlenebilirliğinin ve etkilerinin kilit önemde olduğunu söylüyor.

Örneğin Beamery, daha yüksek derecede şeffaflık oluşturmak için platformunda “açıklama katmanları” uygulamıştır, böylece algoritmik bir öneriye verilen becerilerin, kıdemin, yeterliliğin ve sektörle alaka düzeyinin karışımını ve ağırlığını ifade edebilir ve bu sonucu garanti eder. -Kullanıcılar, hangi verilerin bir tavsiyeyi etkilediğini ve hangilerinin etkilemediğini etkili bir şekilde açıklayabilir.

AI denetiminin amacı

Beamery’nin yapay zekasını denetleme hakkında Computer Weekly ile konuşan O’Sullivan, Parity’nin sistemin tamamına baktığını, çünkü yapay zeka sistemlerinin karmaşık sosyal ve teknik doğasının sorunun basit matematiğe indirgenemeyeceği anlamına geldiğini söylüyor.

“Baktığımız ilk şey şu: Bunu yapay zeka ile yapmak mümkün mü?” diyor. “Makine öğrenimi burada doğru yaklaşım mı? Uygulama için yeterince şeffaf mı ve şirketin yerinde yeterli uzmanlığı var mı? Doğru veri toplama uygulamalarına sahipler mi? Çünkü demografi ve korunan gruplar açısından bakmamız gereken bazı hassas unsurlar var.”

O’Sullivan, bunun yalnızca gelecekteki yasal uyumluluk için değil, genel olarak yapay zeka kaynaklı zararı azaltmak için de önemli olduğunu ekliyor.

“Yapay zekanın sosyal fayda sağlama potansiyeline ulaşması için, nasıl yaratıldığına ve kullanıldığına dair bir yönetişim olması gerekir”

Sultan Saidov, Beamery

“Müşterilerin bize geldiği ve tüm doğru şeyleri söyledikleri, ölçümleri yaptıkları ve modele özgü sayıları hesapladıkları birkaç kez müşteri adaylarıyla karşılaştık. ” diyor.

“Ancak, sistemin tamamına baktığınızda, yapay zeka ile yapılabilecek bir şey değil veya bu bağlam için uygun değil.”

O’Sullivan, önemli olmasına rağmen, yalnızca teknik modellerin nicel analizine dayanan herhangi bir yapay zeka denetiminin, sistemin etkilerini gerçekten anlamada başarısız olacağını söylüyor.

“Her ne kadar her şeyin niceliksel bir soruna indirgenebileceğini söylemek istesek de, sonuçta neredeyse hiçbir zaman bu kadar basit değil,” diyor. “Çoğu zaman o kadar büyük sayılarla uğraşıyoruz ki, bu sayıların ortalaması alındığında, bu aslında zararı örtebilir. Zararların meydana gelip gelmediğini gerçekten daha iyi anlamak için sistemlerin dünyanın en savunmasız insanlarına nasıl dokunduğunu ve onlarla nasıl etkileşim kurduğunu anlamamız gerekiyor ve genellikle bu vakalar daha yaygın olarak gözden kaçan vakalardır.

“Denetimler bunun için var – aynı zamanda korunduklarından emin olmak için bu zor vakaları, uç vakaları ortaya çıkarmak.”

Etkili yapay zeka denetimi yürütme

O’Sullivan, ilk adım olarak, Parity’nin, sistemin pratikte nasıl çalıştığı hakkında niteliksel bilgiler toplayabilmesi için yapay zekanın geliştirilmesi ve dağıtılmasına dahil olanların yanı sıra yapay zekanın işleyişinden etkilenenlerle görüşmeler yaparak denetim sürecini başlattığını söylüyor.

Niteliksel görüşmelerle başlamanın “daha önce görmediğimiz risk alanlarını ortaya çıkarmaya” yardımcı olabileceğini ve Parity’nin sistemin hangi bölümleriyle ilgilenilmesi gerektiğini, bundan nihai olarak kimin yararlandığını ve neyin ölçüleceğini daha iyi anlamasına yardımcı olabileceğini söylüyor. .

Örneğin, döngüde bir insana sahip olmak, şirketler tarafından genellikle AI’nın sorumlu kullanımına işaret etmenin bir yolu olarak kullanılırken, aynı zamanda insan operatörün önyargılarının sessizce sisteme dahil edilmesi gibi önemli bir risk oluşturabilir.

Ancak O’Sullivan, nitel görüşmelerin bu insan-makine etkileşimini irdelemek açısından yararlı olabileceğini söylüyor. “İnsanlar, makine çıktılarını çeşitli şekillerde yorumlayabilir ve çoğu durumda bu, geçmişlerine – hem demografik hem de toplumsal olarak – iş işlevlerine ve nasıl teşvik edildiklerine bağlı olarak değişir. Pek çok farklı şey rol oynayabilir” diyor.

“Bazen insanlar doğal olarak makinelere güveniyor. Bazen doğal olarak makinelere güvenmezler. Ve bu, yalnızca bu görüşme sürecinde ölçebileceğiniz bir şeydir – sadece döngüde bir insan olduğunu söylemek, zararları azaltmak veya kontrol etmek için yeterli değildir. Bence daha büyük soru şu: Bu insanlar verilerle nasıl etkileşime giriyor ve bu, ortadan kaldırılabilecek veya ortadan kaldırılması gereken önyargılar mı üretiyor?

Görüşmeler yapıldıktan sonra Parity, ilk veri toplama uygulamalarından canlı uygulamasına kadar yapay zeka modelinin kendisini inceler.

O’Sullivan ekliyor: “Nasıl yapıldı? Modelde ne tür özellikler var? Standardizasyon uygulamaları var mı? Bilinen proxy’ler var mı? Herhangi bir potansiyel vekil var mı? Ve sonra, orada herhangi bir beklenmedik korelasyon olup olmadığını anlamak için korunan gruplara karşılık gelen her bir özelliği gerçekten ölçüyoruz.

“Bu analizlerin çoğu aynı zamanda modelin çıktılarına da iniyor. Dolayısıyla, bu veri kümelerinin dengeli olup olmadığını görmek için elbette eğitim verilerine bakacağız. Temel gerçeği makul bir şekilde tanımlayıp tanımlamadıklarına, değerlendirme uygulamasına bakacağız. Modeli nasıl test ediyorlar? Bu test verileri neye benziyor? Faaliyet göstermeye çalıştıkları popülasyonları da temsil ediyor mu? Bunu, üretim verilerine ve bu adaylar hakkında tahminlerin gerçekte ne söylediğine kadar yapıyoruz.”

Sorunun bir kısmının, özellikle işe alım algoritmalarıyla ilgili olarak, iş arayanlar hakkında “içgörü elde etmek” için internetten kazınmış büyük miktarda veri kullanan çok sayıda şirket olduğunu ve bunun da her zaman diğer bilgilerin ırk için vekil olarak kullanılmasına yol açtığını ekliyor. cinsiyet, engellilik veya yaş.

“Bir kara kutu modeli kullanırken bu tür korelasyonları birbirinden ayırmak gerçekten zor” diyor ve bununla mücadele etmek için kuruluşların işe alım algoritmalarında bir adayın özgeçmişinin hangi bölümlerine odaklandıkları konusunda son derece seçici olmaları gerektiğini ekliyor. , böylece insanlar kimliklerinin bir yönü yerine yalnızca becerilerine göre değerlendirilir.

Beamery ile bunu başarmak için Saidov, bir adayın geçmişi veya eğitimiyle ilgili ayrıntılar yerine becerilerle ilgili bilgilere bakarak önyargıyı azaltmak için yapay zekayı kullandığını söylüyor: “Örneğin, işe alım görevlileri iş yaratabilir ve işe alımlarını en önemli becerileri belirlemeye odaklayabilir. yıllara dayanan deneyim veya birinin okula gittiği yer gibi daha önyargılı geleneksel yaklaşımı benimsemek yerine” diyor.

O’Sullivan, burada bile, “bunların kullandığı farklı yolları” kontrol etmesi gereken denetçiler için bunun hala bir zorluk teşkil ettiğini söylüyor. [skill-related] kelimeler farklı kültürlerde ifade edilebilir”, ancak yine de “bu büyük yapılandırılmamış veri bloğundan adayın ne kadar nitelikli olduğunu anlamaya çalışmaktan” daha kolay bir yaklaşım olduğunu.

Ancak O’Sullivan, denetimlerin yalnızca anlık bir görüntü sağladığından, düzenli aralıklarla yapılmaları gerektiği ve ilerlemenin son denetime göre dikkatle izlenmesi gerektiği konusunda uyarıyor.

Bu nedenle Beamery, yanlılığı sınırlamak ve gelecek düzenlemelere uyumu sağlamak için Parity tarafından daha fazla denetim yapmayı taahhüt etmiştir.

Bu, örneğin, teknoloji kullanımdan sonraki bir yıl içinde bağımsız bir yanlılık denetimine tabi tutulmadığı sürece yapay zekayı istihdam kararlarında yasaklayan New York Şehri Yerel Yasası 144’ü içerir; ve Avrupa Birliği’nin AI Yasası ve beraberindeki AI Sorumluluğu Direktifi.

Mevcut yapay zeka denetim ortamı

Algoritmik denetçilerin teknoloji endüstrisinde vurgulamaya devam ettiği önemli bir sorun, yapay zeka geliştirme ve dağıtım süreçlerini düzgün bir şekilde belgeleme konusundaki genel yetersizliğidir.

Kasım 2022’de düzenlenen Algoritmik Denetim Konferansı’nın açılışında konuşan Eticas direktörü Gemma Galdon-Clavell, kendi deneyimine göre “insanlar işlerin neden yapıldığını belgelemez, dolayısıyla bir sistemi denetlemeniz gerektiğinde, neden karar verildiğini bilmezsiniz” dedi. çekildi… tek gördüğünüz model – bunun nasıl meydana geldiğine erişiminiz yok”.

Bu, Data & Society’de bir teknoloji etiği araştırmacısı olan panelist arkadaşı Jacob Metcalf tarafından doğrulandı ve firmaların genellikle AI eğitim setlerinin kişisel verileri veya demografik yapısını içerip içermediği gibi temel bilgileri bilmeyeceklerini söyledi. “Teknoloji şirketlerinde zaman geçirirseniz, genellikle ne yaptıklarını bilmediklerini çabucak öğrenirsiniz” dedi.

O’Sullivan da benzer düşünceleri paylaşıyor: “Teknoloji şirketleri çok uzun süredir, iyi dokümantasyon pahasına ‘hızlı hareket et ve işleri boz’ mantığıyla çalıştı.”

“Kimin hangi zamanda hangi soruları sorduğuna dair en azından bir denetim izi bırakmak için iyi belgelere sahip olmanın denetim uygulamasını gerçekten hızlandırabileceğini” söylüyor ve ayrıca kuruluşların modellerini ve sistemlerini daha hızlı yinelemelerine yardımcı olabileceğini ekliyor. .

“Mümkün olan en iyi niyetle bir algoritma tasarlayabilirsin ve sonunda insanlara zarar verebilir”

Liz O’Sullivan, Parite

O’Sullivan, yaklaşmakta olan çeşitli yapay zeka düzenlemeleri hakkında, bunların, kuruluşların algoritmalarını incelemelerini ve süreci bir başka kutu işaretleme alıştırması olarak değil, ciddiye almalarını istemek için önemli bir ilk adım olduğunu söylüyor.

“Mümkün olan en iyi niyetle bir algoritma tasarlayabilirsiniz ve bunun insanlara zarar vermesiyle sonuçlanabilir” diyor ve bu zararları anlamanın ve önlemenin tek yolunun kapsamlı ve sürekli denetimler yapmak olduğuna dikkat çekiyor.

Bununla birlikte, işletmeler için bir yakalama-22 olduğunu, bir AI denetimi sırasında bir sorun ortaya çıkarsa, ek yükümlülüklere maruz kalacaklarını söylüyor. “Bu paradigmayı değiştirmemiz gerekiyor ve bunun son dört yılda oldukça tutarlı bir şekilde geliştiğini ve bugün eskisinden çok daha az endişe verici olduğunu söylemekten mutluluk duyuyorum, ancak yine de bir endişe kaynağı” diyor.

O’Sullivan, teknoloji sektörünün lobicilik çabalarından özellikle endişe duyduğunu ekliyor, özellikle büyük, iyi kaynaklara sahip ve “bu kayaları devirmekten caydırılmış” ve sorunların işletme maliyetleri nedeniyle yapay zeka sistemlerini düzgün bir şekilde inceleyen şirketler tarafından belirleniyor.

O’Sullivan, potansiyel maliyetleri ne olursa olsun, denetçilerin bir müşterinin sistemlerini incelerken topluma karşı yumruklarını sıkmamakla yükümlü olduklarını söylüyor.

“Bir müşteriye yumuşak davranmaya çalışmanız ve bir sorun olduğunda sorun olmadığını söylemenizin bir faydası olmaz, çünkü eninde sonunda bu sorunlar birleşir ve daha büyük sorunlar haline gelir, bu da yalnızca müşteri için daha büyük risklere neden olur. aşağı yöndeki organizasyon ”diyor.

Read Previous

Fidye yazılımlarını yönetmek için teknoloji, süreç ve insan riskini düşünün

Read Next

eSIM yeşil kimlik bilgilerini kanıtlıyor

Leave a Reply

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

İstanbul masöz -