MAKİNE ÖĞRENMESİ (I)

MAKİNE ÖĞRENMESİ VE VERİ KULLANIMI

MAKİNE ÖĞRENMESİ VE VERİ PİRAMİDİ

Makine öğrenmesi birçok farklı sektör ve alanda kullanılmaktadır. Doğru uygulandığında yapılan işi temelden iyileştirebilir. Bu kısımda makine öğrenmesi kullanım alanlarını, iş rollerini ve bunların veri ihtiyaçları piramidine nasıl uyduğunu ana hatlarıyla açıklayacağız.

Makine öğrenmesi, üç farklı amaç için, verilere farklı yöntemler uygular:

  1. "Neden?" sorusuna cevap veren, nedensellik iç görüleri çıkarmayı sağlar. Örneğin, müşterilerin aboneliklerini iptal etmelerine neyin neden olduğunu anlamaya çalışmak gibi. Memnuniyetin, içerik kalitesinin, seçimin bir rol oynayabileceğini varsayabiliriz. Ancak, yüzlerce veri noktası vardır ve sadece verilere bakarak bu projeyi sonuçlandırmak imkansızdır.
  2. Gelecekteki olayları daha iyi tahmin etmemizi sağlar. Örneğin, hangi müşterilerin aboneliğini iptal edeceğini tahmin etmek gibi. Bu durumda, sadece risk altındaki müşterileri tanımlamakla ilgilendiğimizi varsayıyoruz.
  3. Verideki yapıları çözümlememizi sağlar. Örneğin, benzer şekilde davranan ve pazarlama ve diğer etkinlikleri özelleştirmek için kullanılabilecek benzer müşteri gruplarını ortaya çıkardığımız müşteri segmentasyonu gibi.

Şimdi, "veri hiyerarşisi" kavramını tartışacağız:

image.png

Toplama:

Temel seviye veri toplama ile başlar - kuruluşun, altyapısına ve sistemlerine yatırım yapması ve gerekli verilerin bu sistemler içinden çıkarılmasını sağlaması gerekir.

Depolama:

Daha sonra, kuruluşun bu verileri depolaması, dolayısıyla güvenilir ve erişilebilir veri depolamasına yatırım yapması gerekir.

Hazırlık:

Bundan sonra, kuruluşun verileri düzenlemeye ve temizlemeye odaklanması gerekir. Böylece veriler, içgörü ve diğer kullanım alanları için hazır hale getirilir. Bu, aykırı değer tespiti, veri kalitesi süreçleri ve verilerin gerçeği yansıtmasını sağlamak için kullanılan diğer mekanizmaları içerir.

Analiz:

Daha sonra, bu veri kümeleri, iş trendlerini anlamak için analiz edilebilir. Bu faaliyetler, gösterge tabloları, iş puan kartları, anlık ve derinlemesine iş analizleri ile sonuçlanır.

Makine Öğrenmesi Modeli Prototip Oluşturma ve Test Etme:

İşletme verilerini ve eğilimlerini iyi anladıktan sonra, bazı özelliklerin (müşteri memnuniyeti, yüksek harcama ve elde tutma gibi) nedensel etkenlerine ilişkin içgörüler elde etmek amacıyla makine öğrenmesi modelleri oluşturmaya başlamak ve bunların eyleme dönüştürülebilir olduğundan emin olmak için deneyler yapmak gerekir. Ayrıca, bu adımda, istenen çıktıları tahmin etmek için prototip modelleri oluşturulur ve iş performansını iyileştirmede kullanılabileceklerinden emin olmak için deneyler yapılır. İş performansını arttırmak için, müşteri kaybetme tahmin modeline dayalı olarak, müşteri tutma kampanyaları yürütmek, müşteri kaybetme olasılıklarını azaltmak için belirli teşviklerle risk altındaki müşterileri hedeflemek gibi projeler yürütülebilir.

Modeli Üretime Geçirme:

Son olarak, modeller test edilip çalıştıkları onaylandıktan sonra, işletme bu modelleri otomatikleştirmeye ve CRM, web sitesi, mobil uygulama ve diğer araçlar gibi sistemler üzerine yerleştirmeye odaklanmalıdır.

Bu eğitimde, çoğunlukla veri piramidindeki son iki adımı anlamaya odaklanacağız. Piramidin her bölümünün aynı anda gerçekleştirildiğini belirtmekte fayda vardır. İlk üç adım, verilerin elde edilmesi ve doğru olmasını; son üç adım da iş uygulaması tarafında kullanılabilmesini sağlar. İlk üç adım başarısız olursa, analiz veya makine öğrenimi modeli ne kadar ileri seviyede olursa olsun, yetersiz ve yanlış veriler kullanıldığından, çıktılar da yanlış olacak ve potansiyel olarak maliyeti çok yüksek hatalara yol açacak olan durumlar ortaya çıkabilecektir.

MAKİNE ÖĞRENMESİ TÜRLERİ VE KULLANIM ALANLARI

Şimdi, makine öğrenmesinin temel ilkelerini ve temel türlerini öğreneceğiz.

Önceki kısımda öğrendiğimiz gibi, makine öğrenmesi, saydığımız üç hedefe ulaşmak için, verilere istatistik ve bilgisayar bilimi yöntemlerini uygulamak anlamına gelir.

İki temel makine öğrenmesi türü vardır: Daha önceki kısımda açıkladığımız amaçlardan ilk ikisini gerçekleştirmek için "Gözetimli Makine Öğrenmesi" ve üçüncü amacı gerçekleştirmek için "Gözetimsiz Makine Öğrenmesi".

Gözetimli Makine Öğrenmesi:

image.png

Yukarıda, gözetimli makine öğrenmesi modelinde kullanılan tipik bir veri kümesini görüyoruz.

Gözetimli öğrenmede, tahmin etmek istediğimiz bir hedef değişken (etiket) vardır - örneğin bu bir işlemin hileli olma olasılığı olabilir. Gözetimli öğrenme modelleri, modelin neyi tahmin ettiğini denetleyen bir hedef değişkene sahip olmaları ile tanımlanır.Ayrıca, her işlem için, o işlem hakkında toplanan veri noktalarının olduğu bir dizi sütunumuz bulunur. Bunlara özellikler denir.

Her bir gözlemde bir işlemin bulunduğunu varsayarsak, hileli işlem hedef değişkenini tahmin için kullanılacak özellikler arasında, bu müşteri için geçmiş dolandırıcılık işlemlerinin sayısı, işlem zamanı, bu müşteri için son 30 gün içinde reddedilen işlemlerin sayısı ve işlem tutarını sayabiliriz.

Gözetimsiz Makine Öğrenmesi:

image.png

Gözetimsiz öğrenmede sadece özellikler bulunur, herhangi bir hedef değişken (etiket) bulunmaz. Gözetimsiz öğrenme yöntemini kullanarak oluşturulacak model tutarları, para birimini, ödeme yöntemini ve diğer özellikleri dikkate alarak gözlemleri farklı gruplara ayırabilir.

image.png

Makine öğrenmesi farklı alanlarda kullanılabilir:

Pazarlama

Pazarlama ekipleri, gelecek ay hangi müşterilerin satın alma olasılığının yüksek olduğunu tahmin etmek ve onlara daha fazla teşvik sağlamak veya müşteri yaşam boyu beklenen değerini tahmin etmek için makine öğrenmesini kullanır. Pazarlama, gözetimsiz öğrenmeyi birçok farklı şekilde kullanır. En popüler olanı müşteri segmentasyonudur.

Finans

Finansta, hangi işlem özelliklerinin potansiyel bir dolandırıcılık için tahminleyici olarak kullanılabileceğini belirlemek amacıyla makine öğrenmesi uygulanır. Ayrıca, bankacılıkta makine öğrenmesi, müşteri davranışlarını belirlemek için kullanılır. Örneğin gelecek ay mortgage ödemelerini yapamayacaklarsa bunu tahmin etmek mümkün olabilir. Denetimsiz öğrenme, finansmanda işlemleri bölümlere ayırmak ve potansiyel olarak karlı, riskli ve para kaybeden işlem türlerini belirlemek için de kullanılır.

Üretim

İmalat endüstrisi makine öğrenmesi ve yapay zekayı inanılmaz oldukça yoğun bir şekilde kullanır. Robotik buna tipik bir örnektir. Ancak bu konu eğitimimizin kapsamı dışındadır. Daha basit örnekleri, kalite kontrol alanında bulabiliriz. Üretimdeki belirli öğelerin hatalı olup olmadığını ve manuel olarak incelenmesi gerekip gerekmediğini tahmin etmek, kalite kontrolündeki uygulamalar arasında bir örnektir. Makine öğrenmesi, üretimde kullanılan öğelerin hangilerinin kırılma olasılığı olduğunu ve bakıma ihtiyaç duyduğunu belirlemek için, makine sensörlerini ve ısı, elektrik kullanımı gibi parametreleri okumak için de kullanılabilir. Denetimsiz öğrenme, anormallik tespitinde geniş bir şekilde uygulanır; örneğin, ekipman sensörlerinden gelen okumaları gruplayabilir ve "tipik" bir gruba atanmamış ve muhtemelen imalat arızasına neden olabilecek anormallikleri / aykırı değerler belirlenebilir.

Ulaşım

Son olarak, ulaşım makine öğrenimi örnekleri açısından zengin bir alandır. Bir kargo paketin beklenen teslimat süresini tahmin etmek veya öğeyi teslim etmek için en hızlı yolu belirlemek, hatta her hafta oluşacak talebi tahmin etmek ve daha fazla ürün stoklayarak, daha fazla araç kiralayarak ve daha fazla işçi çalıştırarak talep artışlarına uygun şekilde hazırlanmak için kullanılır.

İŞ ROLLERİ, ARAÇLARI VE TEKNOLOJİLERİ

Şimdi ilk kısımda öğrendiğimiz veri ihtiyaçları piramidini gözden geçirelim. Her adımda yer alan farklı iş rollerini gözden geçireceğiz ve ardından her rolün sorumluluklarına, araçlarına ve ekip yapılarına bakacağız. Veri rolleri, araçlar ve veri organizasyonunu yapılandırmanın farklı yolları hakkında sağlam bir temel anlayışa sahip olmak, veri bilimi için gerekli bir beceri setidir.

Altyapı Sahibi

Veri toplama, sistemleri sürdüren ve geliştiren, çoğunluğu yazılım ve sistem mühendislerinden oluşan altyapı sahipleri tarafından yürütülür. Bu kişiler; web siteleri, makineler, uygulamalar, elektronik ve mekanik cihazlar, hizmet platformları gibi sistemleri kurup geliştirirler ve bakımlarından da sorumludurlar.

Veri Mühendisi

Veri depolama, veri mühendisleri ve bazen yazılım geliştiriciler tarafından yönetilir. Veri mühendisliği geniş bir terimdir. Bu kapsamda uzmanlıklar bulunur. Örneğin, veritabanı yöneticileri ve veri hattı mühendisleri gibi. Bu uzmanlar, veri hatları oluşturmaya, verileri güvenilir ve erişilebilir bir formatta depolamaya ve diğer ekiplerin ulaşımı için veri erişim araçlarını etkinleştirmeye odaklanır.

Veri Analisti

Veri hazırlama ve temizleme görevi, veri mühendisleri ve veri analistleri tarafından ortaklaşa paylaşılmaktadır. Veri kalitesi güvencesi gibi bazı görevler büyük olasılıkla veri mühendislerine ait olurken, kullanılabilir veri kümeleri hazırlamak, bunları raporlama ve analiz amacıyla bir araya getirmek gibi diğer görevler veri analistlerine aittir.

Veri Bilimcisi

Veri analizi, hem veri analistlerinin hem de veri bilimcilerin dahil olduğu bir görevdir. Veri analistleri, işi anlamak ve iş ekiplerinin kendi içgörülerini oluşturabilmeleri için araçlar yaratmak amacıyla gösterge tabloları, puan kartları, ve ayrıntılı analizler oluşturur. Diğer uçtaki veri bilimciler de verileri analiz eder, ancak aynı zamanda ek metodolojiler uygularlar. Veri eğilimlerini ve dağılımlarını analiz ederken, verilerdeki kalıpları, istatistiksel olarak önemli farklılıkları ve basit veri toplama ve analiz teknikleri yoluyla kolayca anlaşılamayan sinyalleri keşfetmek için istatistiksel ve makine öğrenmesi yöntemlerini uygularlar.

Makine Öğrenmesi Mühendisleri

Makine öğrenmesi mühendisleri, farklı modelleri test etmek ve ardından bunları CRM veya mobil uygulamalar gibi üretim sistemlerine yerleştirmek için veri bilimcilerle birlikte çalışırlar. Veri bilimcisi ile makine öğrenimi mühendisini ayıran çizgi tam olarak net değildir. Genellikle, modelin sıfırdan inşa edilmesi ve üretime sokulması gerekiyorsa, bu makine öğrenmesi mühendisinin işidir. Aksine, bu yeni bir iş sorusuysa ve bu deney ve prototipleme gerektiriyorsa, o zaman bu veri bilimcinin işidir.

Takım yapısı

Bir şirkette bir veri fonksiyonunu organize etmek için üç ana işletim modeli vardır: merkezi, merkezi olmayan veya karma modeller.

Merkezi modelde, tüm veri işlevleri tek bir merkezi ekipte toplanır. Bu model, tutarlılık ve odaklanma sağladığı için küçük şirketler, yeni başlayanlar ve genel olarak yeni kuruluşlar için iyi işleyebilir. İş büyümeye başladığında ve şirket karmaşıklığını artıran daha fazla ürün, departman ve işleve sahip olunduğunda, bu şekildeki bir ölçeklenme doğru şekilde çalışmayabilir.

Merkezi olmayan bir model, her bir iş biriminin kendi veri işlevine sahip olduğu anlamına gelir. Bu model, daha büyük kuruluşlar için iyi sonuç verir, ancak siloları, şirket çapında veri yönetimi eksikliğini ve görev çakışmalarını beraberinde getirir.

En iyi yaklaşım, her iki modelin avantajlarının da kullanıldığı "karma" yaklaşımdır. Burada, veri yönetişiminin, metodolojinin ve araçların kritik işlevleri merkezileştirilirken, araçların ve metodolojilerin prototipleme, işi analiz etme, modeller oluşturma, AB testlerini çalıştırma uygulamaları merkezden uzaklaştırılmıştır.