Ders1.txt

Data Science and Machine Learning with Python

Kurs kapsamında göreceğimiz konular:

Python
NumPy
Pandas
Matplotlib
Seaborn
Plotly
Scikit-Learn
Machine Learning
Natural Language Processing
Deep Learning (Tensorflow)


Kurulum:

Kurs kapsamında ücretsiz Anaconda dağıtımı kullanacağız. Anaconda Python ve üzerine eklenmiş yüzlerce kütüphaneden oluşuyor.

www.anaconda.com adresinden, Download bölümünden, Python 3 versiyonunu indirip kuralım.


Aktivite: Çalışma Dizini Oluşturma ve Jupyter Notebook ile İlk İşlemler

Çalışma Dizini oluşturalım:

Anaconda Prompt açın.

mkdir mlkurs

cd mlkurs

jupyter notebook

New → Python 3 

ile yeni bir notebook açalım.


Önce adını değiştirelim ( İlk Notebook)

Save edelim.

İlk hücreye,

print("Merhaba Dünya")

yazıp Shift + Enter ile çalıştıralım.

Herhangi bir hücredeyken, Esc tuşu ile escape moduna geçip, üst ve alt ok tuşlarıyla hücreler arasında gezinebiliriz.

Esc tuşu ile escape moda geçelim.

Üst ok ile ilk hücreye gidelim.

Burada a(above) harfi ile üste hücre, b(below) harfi ile alta hücre ekleyebiliyoruz.

a tuşuna basarak üste hücre ekleyelim.

Şimdi hücre silmeyi öğrenmek için o hücrede iken 2 kere d harfine basalım.

dd(hücre silme)

a harfi ile tekrar üste hücre ekleyelim.

Örnekler

yazalım.

Escape moda geçip m harfine basalım, markdown olsun.

Shift+Enter la çalıştırın.

Bu bölüm kod olarak değil, yazı olarak gözükmüş olacak notebook’da.

Örnekler hücresine gidip Enter tuşuna basın.

Yazıyı 

# Örnekler

olarak değiştirelim.

Altına ## ve ### ekleyerek birşeyler yazın.


Kaydedelim yaptıklarımızı.

Notebook adında Türkçe karakter ve boşluk olmayacak şekilde adını değiştirin. (IlkNotebook gibi)

Tekrar kaydedin.

File → Download as → Python

ile .py uzantılı indirelim kodu.

Downloads dizinine indirecek, çalışma dizininize taşıyın.

Yeni bir Anaconda prompt açarak çalışma dizinimize gidelim.

python IlkNotebook.py

ile kodu çalıştıralım.

Notebook++ ile .py uzantılı dosyayı açıp inceleyelim.



Virtual Environment Oluşturma (Opsiyonel)

Her projenin farklı kütüphane ihtiyacı olabilir.

Bir projede OpenCV 4 kullanırken, bir başka projede OpenCV 3 kullanmamız gerekebilir.

Anaconda’nın temel environment’ında (base) bunu yapamayız.

O yüzden sanal ortam oluşturmayı öğrenelim:


Şu adrese giderek sanal ortam yönetme komutlarına bakalım:

https://conda.io/projects/conda/en/latest/user-guide/tasks/manage-environments.html

Aktivite: Sanal Ortam Yönetim Komutları

mlkurs adında bir sanal ortam oluşturalım:

conda create --name mlkurs

activate mlkurs
   
komutuyla yeni sanal ortamımızda çalışmaya başlayalım.


Sanal ortamdan çıkıp temel ortama dönmek istersek,

deactivate

komutunu çalıştırıyoruz.


Sanal ortamdayken python komutunu çalıştırın ve versiyonunu görün.

python

3 versiyonu olması lazım.

exit()

komutu ile python’dan çıkalım.

Mesela çalıştırmamız için Python 2 versiyonu ile yazılmış bir kod gönderildi. Onu çalıştırmak için bir sanal ortam oluşturalım.

conda create --name mlkurs27 python=2.7

activate mlkurs27

python

Bu sefer versiyon olarak Python 2 göreceğiz.

Python komut satırında 1/2 yazıp sonuca bakın.

Şimdi bu sanal ortamdan çıkıp, mlkurs sanal ortamına dönün ve ordaki python’da 1/2 komutunu çalıştırın.


Python 2’de sonuç 0

Python 3’de sonuç 0.5 olarak çıkıyor.


Python’dan çıkalım.

Mevcut tüm ortamlarımızı görmek için:

conda env list

komutunu çalıştıralım.

mlkurs27 sanal ortamını silelim:

conda env remove --name mlkurs27

Sanal ortamları tekrar listeleyerek silindiğinden emin olalım.

mlkurs sanal ortamında pip yükleyelim:

conda install pip

Bundan sonra Python paketlerini conda ile de, pip ile de yükleyebiliriz. Önceliğimiz conda olsun, ikinci seçenek olarak pip kullanalım.

Mevcut sanal ortamımızdaki yüklü paketleri görmek için:

conda list

komutunu kullanıyoruz.

Bu yüklü paketleri bir dosyaya yazmak için:

conda env export > mlkurs.yml

komutunu çalıştıralım.

mlkurs.yml dosyasını Notepad++ ile açarak inceleyelim.

mlkurs sanal ortamını silelim:

conda env remove --name mlkurs
Şimdi biraz önce kaydettiğimiz .yml dosyasıyla yeniden oluşturalım:

conda env create -f mlkurs.yml

activate mlkurs


Dolayısıyla bir proje için bize .yml dosyası verildiyse, onu kullanarak sanal ortam oluşturmalı ve projeyi orada çalıştırmalıyız. Bir projenin kodu paylaşılırken de, genellikle .yml dosyası da paylaşılır ki aynı paket ortamı sağlanabilsin diye.






Aktivite: IRIS Project Data Exploration and Analysis


https://archive.ics.uci.edu/ml/datasets/iris

adresinde Data Folder’a tıklayıp, iris.data dosyasını çalışma dizinimize indirelim.

Çalışma dizinimizden,

conda install seaborn

ile seaborn kuralım.

(Not: python versiyonu yüksek geldi gibi bir hata verirse,

conda search python

ile yüklü python versiyonlarına bakalım.

conda install python=3.7.4

ile python downgrade yapıp, seaborn kurulumunu tekrar deneyelim.)



jupyter-lab

başlatalım. 


Yeni bir notebook oluşturup, adını IRIS Project olarak değiştirelim.

İlk hücreyi markdown yapıp,

# Iris Project

ikinci hücreyi markdown yapıp,

## Data Exploration and Analysis

girelim.

Kütüphaneleri import edelim:

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
sns.set(color_codes=True)
%matplotlib inline







pandas’ın read_csv metoduyla iris.data yı okuyup dataframe’e atalım:

df = pd.read_csv('iris.data')


Okuduğumuz dosyanın ilk 5 satırını görelim:

df.head()




İlk satıra dikkat ederseniz, ilk satırı heading gibi okumuş. Bunu düzeltmek için read_csv metodunun header özelliklerine bakmamız gerekiyor.

Bir hücrede şu komutu çalıştırın:

pd.read_csv?


Alttaki hücreye şunu girelim:

df = pd.read_csv('iris.data', header=None)
df.head()


Datanın kolon başlıklarını iris.names dosyasından okuyup, bir listeye atalım:

col_name = ['sepal length', 'sepal width', 'petal length', 'petal width', 'class']


df.columns = col_name

df.head()


Şu çıktıyı görmeliyiz:




Veriyi dosyadan okuyarak bu şekilde görüntüleyebildik.
Başka bir yol da seaborn’dan okumak. seaborn kütüphanesine bu data önceden yüklenmiş.

## Iris Data from Seaborn

iris = sns.load_dataset('iris')
iris.head()




Buradan kolon isimleriyle birlikte hazır olarak almış olduk.

Şimdi data frame’lerin describe metodunu kullanarak veri hakkında hızlıca bilgi edinmeye çalışalım:

df.describe()





DataFrame’in info metoduyla daha farklı bilgi edinebiliriz:

print(iris.info())




DataFrame’in groupby metodunu kullanalım:

print(iris.groupby('species').size())



Genel olarak bilgi edindikten sonra, şimdi verinin görselleştirilmesine geçelim.


## Visualisation

sns.pairplot(iris, hue='species', height=3)




Bir de histogram görselini görelim:

Sadece,

iris.hist()

yazıp çalıştırsak bile bir grafik gelir. Eklediğimiz parametrelerle görselliğini artırmayı amaçlıyoruz.


iris.hist(edgecolor='black', linewidth=1.2, figsize=(12,8) )





Seaborn’un violinplot grafiğini deneyelim:

plt.figure(figsize=(12,8))
plt.subplot(2,2,1)
sns.violinplot(x='species', y='sepal_length', data=iris)
plt.subplot(2,2,2)
sns.violinplot(x='species', y='sepal_width', data=iris)
plt.subplot(2,2,3)
sns.violinplot(x='species', y='petal_length', data=iris)
plt.subplot(2,2,4)
sns.violinplot(x='species', y='petal_width', data=iris)





Violinplot’dan sonra, bir de boxplot grafiğini görelim:


iris.boxplot(by='species', figsize=(12,8))


Pandas’ın scatter matrix’ine bakalım:

pd.plotting.scatter_matrix(iris, figsize=(12,8))
plt.show()








Yeni bir notebook açarak Lineer Regression’a devam edelim.










SIMPLE LINEAR REGRESSION




















Project: Simple Linear Regression


Problem Statement:

You own an ice cream business and you would like to create a model that could predict the daily revenue in dollars based on the outside air temperature (degC). You decide that a Linear Regression model might be a good candidate to solve this problem.  

Data set:

- Independent variable X: Outside Air Temperature
- Dependent variable y: Overall daily revenue generated in dollars 


Paylaşımdaki IceCreamData.csv dosyası, dataset dosyamız.


Başlayalım.

Yeni bir notebook açalım. Adını,

Ice Cream Temp-Revenue Project

olarak değiştirin.

İlk hücreye başlığımızı yazalım:

## Ice Cream Temp-Revenue Project

Problemi çözmek için şu adımları takip edeceğiz:

Step #1 - Import Libraries

Step #2 - Import Dataset

Step #3 - Visualize Dataset

Step #4 - Create Training Dataset

Step #5 - Model Training

Step #6 - Visualize the Results



Sonra importları yapalım:

# import libraries

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline



Dataseti okuyalım:

# read dataset

IceCream = pd.read_csv("IceCreamData.csv")



# İlk 5 satırı görelim

IceCream.head()



Son 5 satırı görelim:

IceCream.tail()



# dataset describe

IceCream.describe()



# dataset info

IceCream.info()




## Visualize Dataset




# jointplot

sns.jointplot(x='Temperature', y='Revenue', data = IceCream, color = 'blue')


# pairplot

sns.pairplot(IceCream, height=3)



# lmplot

sns.lmplot(x='Temperature', y='Revenue', data=IceCream)




## Train and Test Data

X = IceCream['Temperature']

X



y = IceCream['Revenue']

y



from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25)

## Train the Model

X_train.shape


from sklearn.linear_model import LinearRegression


regressor = LinearRegression(fit_intercept = True)


regressor.fit(X_train,y_train)
print('Linear Model Coefficient (m): ', regressor.coef_)
print('Linear Model Coefficient (b): ', regressor.intercept_)


## Test the Model

y_predict = regressor.predict( X_test)
y_predict


y_test


plt.scatter(X_train, y_train, color = 'blue')
plt.plot(X_train, regressor.predict(X_train), color = 'red')
plt.ylabel('Revenue [dollars]')
plt.xlabel('Temperature [degC]')
plt.title('Revenue vs. Temperature @Ice Cream Temp-Revenue Project(Training dataset)')


# VISUALIZE TEST SET RESULTS
plt.scatter(X_test, y_test, color = 'green')
plt.plot(X_test, regressor.predict(X_test), color = 'red')
plt.ylabel('Revenue [dollars]')
plt.xlabel('Temperature(degC)')
plt.title('Revenue vs. Temperature @IceCream Temp-Revenue Project(Test dataset)')



y_predict = regressor.predict([[30]])
y_predict




Alıştırma: Fuel Consumptions Project Questions.ipynb örneğini çözelim.







POLYNOMIAL REGRESSION










Project: Predict Salary Based on Experience


Problem Statement: Let's assume that you work as a consultant to a start-up company that has just started to hire employees. The HR director reached out to you and asked you to predict the salary of employees based on the number of years of experience. You suggested to use a linear regression model to try to create a model using the provided dataset. 


Problemi çözmek için şu adımları takip edeceğiz:

Step #1 - Import Libraries

Step #2 - Import Dataset

Step #3 - Visualize Dataset

Step #4 - Create Training Dataset

Step #5 - Model Training

Step #6 - Visualize the Results


Predict Salary Based on Experience isimli bir notebook açarak başlayalım.

Dataset dosyamız: Employee_Salary.csv


İlk hücreye,

# Project: Employee Salary Based on Prediction

Sonra Adım 1’den başlayalım:

## Step #1: Import Libraries

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns


## Step #2: Import Dataset

salary = pd.read_csv("Employee_Salary.csv")



DataFrame üzerinde çalıştırdığımız klasik komutları çalıştıralım:

salary.head()

salary.tail()

salary.describe()

salary.info()




## Step #3: Visualize Dataset


sns.jointplot(x='Years of Experience', y='Salary', data = salary)


sns.pairplot(salary, height=3)


sns.lmplot(x='Years of Experience', y='Salary', data=salary)




## Step #4: Create Training Dataset


X = salary[['Years of Experience']]

y = salary['Salary']

# Note that we used the entire dataset for training only 
X_train = X
y_train = y
## Step #5: Model Training

X_train.shape


y_train.shape


from sklearn.linear_model import LinearRegression


regressor = LinearRegression(fit_intercept = True)


regressor.fit(X_train,y_train)


print('Linear Model Coefficient (m): ', regressor.coef_)
print('Linear Model Coefficient (b): ', regressor.intercept_)







## Step #6: Visualize the Results


plt.scatter(X_train, y_train, color = 'red')
plt.plot(X_train, regressor.predict(X_train), color = 'blue')
plt.ylabel('Salary/Year [dollars]')
plt.xlabel('Years of Experience')
plt.title('Salary vs. Years of Experience (Training dataset)')



# 2. Çözüm: Polynomial Regression Yaklaşımı


## Step #5: Model Training


from sklearn.preprocessing import PolynomialFeatures
poly_regressor = PolynomialFeatures(degree=2)


# Transform the matrix of features X into a multi array of features X_Columns 
# which contains the original features and their associated polynomial terms 
X_columns = poly_regressor.fit_transform(X_train)



print(X_columns)



regressor = LinearRegression()
regressor.fit(X_columns, y_train)



print('Model Coefficients: ', regressor.coef_)


## Step #6: Visualize the Results


X_train.shape


y_predict = regressor.predict(poly_regressor.fit_transform(X_train))


y_predict.shape


plt.scatter(X_train, y_train, color = 'red')
plt.plot(X_train, y_predict, color = 'blue')
plt.ylabel('Salary/Year [dollars]')
plt.xlabel('Years of Experience')
plt.title('Salary vs. Years of Experience (Training dataset)')



###### Not: Polynomial derecesini artırarak deneyelim