零基础入门深度学习(1)----感知器

刚开始接触深度学习，对与它大概的印象就是：我们想利用机器来做好多事，比如预测未来的天气，识别语音中的文字，辨别图片中的动物等等。最开始它是不会的或者说错误率非常高的，那我们就像训练小狗似的训练机器，让它去做我们所设想的事情。那又怎么来实现呢？我们需要给机器一个模型，让它通过这个模型来达到目的，这个模型中有好多参数或者说很多不定变量。开始的时候模型并不会做，我们需要去训练模型也就是改变模型中的参数，让模型的输出更加接近真实的答案。

感知器：

上图中就是一个简单的单层感知器。包含输入，权重，激活函数，输出。x为输入，比如语音识别中，语音就是模型的输入。w为权重，也就是开始说的模型中的参数，优化模型时就是通过改变权重来获取最佳模型。权值对于模型的实际意义就是调整输入的重要程度，比如挑西瓜的时候色泽可能比敲击的声音更加重要，所有输出中色泽所占的比例就相对高一些。标记 ∑ 符号的节点为输入加权和，该节点的输入为 x1*w1 + x2*w2 + ·····+ xn*wn + 1 * w0 ，通常用net表示。最后一项1*w0称作偏置项，用来调整被激活的难易程度。step function为模型的激活函数，通过该函数得到的值就是上图感知器的输出out。

感知器可以用来解决线性分类，线性回归等问题。

感知器的训练：

在感知器中w,b的初始值都为0，用 w ← w + Δw ，  b ← b + Δb 来更新w，b的值已达到最佳模型状态。

Δw = η(t - y) x  【式中t为真实值，y为模型的输出，t-y意味着模型输出与真实的差距】

Δb = η(t - y) 

下列代码实现里一个简单的“and”操作：0 and 0 = 0,1 and 1 = 1,1 and 0 = 0,0 and 1 = 0

from functools import reduce
class Perception(object):
    def __init__(self,input_num,activator):
        '''
        初始化一个感知器，
        定义感知器的输入个数input_num，
        以及激活函数activator
        '''
        self.activator = activator
        self.weights = [0.0 for _ in range(input_num)]
        self.bias = 0.0

    def __str__(self):
        '''
        打印学习到的权重/偏置项
        '''
        return 'weight\t:%s\nbias\t:%f\n'%(self.weights,self.bias)

    def predict(self,input_vec):
        '''
        输入向量，输出感知器的计算结果
        '''
        #把input_vec[x1,x2,x3...]和weight[w1,w2,w3...]打包在一起
        #变成[(x1,w1),(x2,w2)...]
        #然后利用map函数计算x1*w1,x2*w2....
        #最后利用reduce求和
        return self.activator(
            reduce(lambda a,b:a+b,
                   map(lambda x:x[0] * x[1],
                       zip(input_vec,self.weights))
                   ,0.0) + self.bias)

    def train(self,input_vecs,labels,iteration,rate):
        '''
        输入训练数据：一组向量，与每个向量对应的lable，以及训练轮数，学习率
        '''
        for i in range(iteration):
            self._one_iteration(input_vecs,labels,rate)

    def _one_iteration(self,input_vecs,labels,rate):
        '''一次迭代，把所有的训练数据过一遍'''
        #把输入和输出打包在一起，成为样本的列表[(input_vecs,label),...]
        #而每个训练样本是（input_vec,label)
        samples = zip(input_vecs,labels)
        #对每个样本，按照感知器的规则更新权重
        for (input_vecs,labels) in samples:
            #计算感知器在当前权重下的输出
            output = self.predict(input_vecs)
            self._update_weight(input_vecs,output,labels,rate)

    def _update_weight(self,input_vec,output,label,rate):
        delta = label - output
        self.weights = list(map(
            lambda x:x[1] + rate * delta * x[0],
            zip(input_vec,self.weights)))
        self.bias += rate * delta


def f(x):
    # 定义激活函数f
    if x > 0:
        return 1
    else:
        return 0

def get_training_dataset():
    # 构建训练集数据
    input_vecs = [[1,1],[0,0],[1,0],[0,1]]
    label = [1,0,0,0]
    return input_vecs,label

def train_and_perceptron():
    # 创建一个感知器，并训练，返回一个训练好的感知器
    p = Perception(2,f)
    input_vecs,labels = get_training_dataset()
    p.train(input_vecs,labels,10,0.01)
    return p


and_perception = train_and_perceptron()
print(and_perception)

print("1 and 1 = %d"%and_perception.predict([1,1]))
print("0 and 0 = %d"%and_perception.predict([0,0]))
print("1 and 0 = %d"%and_perception.predict([1,0]))
print("0 and 1 = %d"%and_perception.predict([0,1]))

以上程序出自于：https://www.zybuluo.com/hanbingtao/note/433855

上面的文字为自己的看教程之后的理解