這次就用TensorFlow寫個(gè)神經(jīng)網(wǎng)絡(luò),這個(gè)神經(jīng)網(wǎng)絡(luò)寫的很簡(jiǎn)單,就三種層,輸入層--隱藏層----輸出層;
首先導(dǎo)入我們要使用的包
# -*- coding: utf-8 -*-import tensorflow as tfimport matplotlib.pyplot as pltimport numpy as npimport matplotlibfrom sklearn import datasetsfrom matplotlib.font_manager import FontProperties
然后在設(shè)定一下我們畫圖的時(shí)候要顯示中文的字體,因?yàn)?a href="http://srfitnesspt.com/tags/python/" target="_blank">Python自帶的不支持中文的解釋
#設(shè)置中文font = FontProperties(fname=r"c:\windows\fonts\simsun.ttc", size=14)zhfont1 = matplotlib.font_manager.FontProperties(fname=r'c:\windows\fonts\simsun.ttc')
定義一個(gè)會(huì)話,因?yàn)閳D是必須在會(huì)話中啟動(dòng)的
#定義一個(gè)圖會(huì)話sess=tf.Session()
這里我選用公開的數(shù)據(jù)鶯尾花的數(shù)據(jù)集,這個(gè)數(shù)據(jù)集雖然都被大家 玩爛了,不過這個(gè)是一個(gè)學(xué)習(xí)代碼,就不計(jì)較那么多了;
#鶯尾花數(shù)據(jù)集iris=datasets.load_iris()x_vals=np.array([x[0:3] for x in iris.data])y_vals=np.array([x[3] for x in iris.data])
這里設(shè)置一個(gè)隨機(jī)種子,為了可以讓大家把結(jié)果復(fù)現(xiàn)出來(lái)
#設(shè)置一個(gè)種子求結(jié)果seed=211tf.set_random_seed(seed)8np.random.seed(seed)
開始有模有樣的劃分?jǐn)?shù)據(jù)集了,一個(gè)是訓(xùn)練集,一個(gè)是測(cè)試集,訓(xùn)練集占80%,測(cè)試集占20%
#劃分測(cè)試機(jī)和訓(xùn)練集train_indices=np.random.choice(len(x_vals),round(len(x_vals)*0.8),replace=True)test_indices=np.array(list(set(range(len(x_vals)))-set(train_indices)))x_vals_train=x_vals[train_indices]x_vals_test = x_vals[test_indices]y_vals_train = y_vals[train_indices]y_vals_test = y_vals[test_indices]
在這里我們?cè)趯⑻卣鬟M(jìn)行一個(gè)歸一化,也就是將數(shù)值型特征全部都轉(zhuǎn)換為0-1之間的數(shù)值,用特征最大距離作為分母;還有一些其他的標(biāo)準(zhǔn)化方法,有興趣可以了解,這個(gè)好處就是能夠讓迭代更加快速,還有就是消除量綱,就是單位之間影響;
使用nan_to_num這個(gè)函數(shù)主要是為了消除None值帶來(lái)的計(jì)算影響
#歸一化函數(shù)def normalize_cols(m): col_max = m.max(axis=0) col_min = m.min(axis=0) return (m - col_min) / (col_max - col_min)#數(shù)據(jù)歸一化并轉(zhuǎn)空集x_vals_train=np.nan_to_num(normalize_cols(x_vals_train))x_vals_test=np.nan_to_num(normalize_cols(x_vals_test))
好了,上面已經(jīng)生成了我們想要的數(shù)據(jù)集;在這里我們?cè)谠O(shè)置一次訓(xùn)練的數(shù)據(jù)集多大,一般是選擇2^N倍數(shù),因?yàn)槭怯?jì)算機(jī)是二進(jìn)制存儲(chǔ),這樣就快,這里我就隨意選擇了個(gè)25,因?yàn)閿?shù)據(jù)集比較小,沒什么影響
batch_size=25
在這里定義一下訓(xùn)練變量Y和X,順便設(shè)置為浮點(diǎn)類型
x_data=tf.placeholder(shape=[None,3],dtype=tf.float32)y_target=tf.placeholder(shape=[None,1],dtype=tf.float32)
在這里我們?cè)O(shè)置一下隱藏層連接數(shù)
#設(shè)置隱藏層hidden_layer_nodes=5
開始定義各層的參數(shù)變量,因?yàn)檩斎胱兞渴侨齻€(gè)
#定義各層變量,初始變量為3個(gè)A1=tf.Variable(tf.random_normal(shape=[3,hidden_layer_nodes]))b1=tf.Variable(tf.random_normal(shape=[hidden_layer_nodes]))A2=tf.Variable(tf.random_normal(shape=[hidden_layer_nodes,1]))b2=tf.Variable(tf.random_normal(shape=[1]))
這里我們使用relu函數(shù)作為激活函數(shù),以及輸出結(jié)果也使用relu函數(shù)
#定義隱藏層的輸出和輸出層的輸出hidden_output=tf.nn.relu(tf.add(tf.matmul(x_data,A1),b1))final_output = tf.nn.relu(tf.add(tf.matmul(hidden_output, A2),b2))
這里我們?cè)诙x一下?lián)p失函數(shù),有用最大似然估計(jì)的,這里我們使用均方誤差方式
loss=tf.reduce_mean(tf.square(y_target-final_output))
定義一下參數(shù)的更新方式和學(xué)習(xí)速率,這里我們使用梯度下降方法更新,下一次我們講解用其他方式更新,和學(xué)習(xí)速率隨著迭代次數(shù)減少,tfboys就是那么任性
#聲明算法初始變量opt=tf.train.GradientDescentOptimizer(0.005)train_step=opt.minimize(loss)#變量進(jìn)行初始化init=tf.initialize_all_variables()sess.run(init)
定義兩個(gè)list,用來(lái)存放在訓(xùn)練中的測(cè)試集和訓(xùn)練集的誤差
#訓(xùn)練過程loss_vec=[]test_loss=[]
開始迭代,這里我們?cè)O(shè)置迭代次數(shù)為5000
for i in range(5000): #選取batch_size大小的數(shù)據(jù)集 rand_index=np.random.choice(len(x_vals_train),size=batch_size) #選取出數(shù)據(jù)集 rand_x=x_vals_train[rand_index] rand_y=np.transpose([y_vals_train[rand_index]]) #開始訓(xùn)練步驟 sess.run(train_step,feed_dict={x_data:rand_x,y_target:rand_y}) #保存損失結(jié)果 temp_loss=sess.run(loss,feed_dict={x_data:rand_x,y_target:rand_y}) #保存損失函數(shù) loss_vec.append(np.sqrt(temp_loss)) test_temp_loss = sess.run(loss, feed_dict={x_data: x_vals_test, y_target: np.transpose([y_vals_test])}) test_loss.append(np.sqrt(test_temp_loss)) #打印損失函數(shù),沒五十次打印一次 if (i+1)%50==0: print('Generation: ' + str(i + 1) + '. Train_Loss = ' + str(temp_loss)+ '. test_Loss = ' + str(test_temp_loss))
迭代最后結(jié)果為
接下來(lái)我們?cè)诳纯凑`差隨著迭代變化的趨勢(shì),下降的還不夠快,這些代碼其實(shí)還是很粗糙,太多地方需要優(yōu)化了;下次在寫個(gè)優(yōu)化版本的
#畫圖plt.plot(loss_vec, '', label='訓(xùn)練 Loss')plt.plot(test_loss, 'r--', label='測(cè)試 Loss')plt.title('均方誤差分布', fontproperties=font)plt.xlabel('迭代步數(shù)', fontproperties=font)plt.ylabel('Loss')plt.legend(prop=zhfont1)plt.show()
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4726瀏覽量
100311 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5437瀏覽量
120791 -
tensorflow
+關(guān)注
關(guān)注
13文章
328瀏覽量
60444
原文標(biāo)題:用TensorFlow寫個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)
文章出處:【微信號(hào):AI_shequ,微信公眾號(hào):人工智能愛好者社區(qū)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論