TensorFlow深度学习-第一章

今天开始学习深度学习框架TensorFlow2.0啦!使用的书籍是


TensorFlow深度学习-第一章

人工智能

人工智能、机器学习和神经网络之间的关系如下图:


MvrKSI.png

机器学习分类

  1. 监督学习

    样本和样本的标签,代表:线性回归、逻辑回归、支持向量机、随机森林

  2. 非监督学习

    只有样本数据集,自行发现数据的模态,代表:自编码器、生成对抗网络

  3. 强化学习

    通过与环境来交互学习解决问题的策略,代表:DQN、PPO

    神经网络

    特征


    MvsqVU.png

    发展史
    1. 1943年:神经元数学模型,MP模型

    其中

    通过​的值来完成输出值的预测:若大大于等于0,输出1;繁殖输出0


    MvHHpt.png

    1. 感知机模型

    自动学习权重的神经元模型-感知机。输出值o和真实值y之间的误差用于调整神经元的权重系数​


    Mvb5uT.png

    1. 反向传播法BP

    现代深度学习的基础:反向传播法BackPropagation

    1. Hopfild连接、LSTM

    1982年John Hopfildde的循环连接的Hopfild网络提出

    1997年LSTM被提出

    1. 浅层神经网络发展史


    MvqA2t.png

    1. 第三次浪潮

    多层神经网络在MNIST数据集上的取得了优于SVM的效果

    提出将线性整流单元Rectfied Linear Unit,ReLU作为激活函数

    2012 年,Alex Krizhevsky 提出了 8 层的深层神经网络 AlexNet,它采用了 ReLU 激活函数Dropout 技术防止过拟合,同时抛弃了逐层预训练的方式,直接在 2 块 GTX580 GPU 上训 练网络。

    1. 深度学习发展史

    2014 年,Ian Goodfellow 提出了生成对抗网络

    2016 年,DeepMind 公司应用深度神经 网络到强化学习领域,提出了 DQN 算法,


    MvqJMV.png

    深度学习特点

    • 数据量大,数据级需求较高


    MvqDR1.png

    • 计算力

    非常依赖并行加速计算设备,目前的大部分神经网络均使用 NVIDIA GPU 和 Google TPU 或其他神经网络并行加速芯片训练模型参数


    Mvq4JA.png

    1. 网络规模

    随着深度学习的兴起和计算能力的提升,AlexNet(8 层),VGG16(16 层), GoogLeNet(22 层),ResNet50(50 层),DenseNet121(121 层)等模型相继被提出,同时输入图 片的大小也从 28×28 逐渐增大,变成 224×224,299×299 等,这些使得网络的总参数量可达 到千万级别,


    MvqqeS.png

    1. 通用智能

    深度学习应用领域

    • 计算机视觉CV

      • 图片识别image classification; VGG 系列、Inception 系 列、ResNet 系列等。

      • 目标检测 object detection;RCNN,Fast RCNN,Faster RCNN,Mask RCNN,SSD,YOLO 系列

      • 语义分割 semantic segmentation;FCN,U-net,SegNet,DeepLab 系列等

      • 视频理解video understanding;C3D,TSN,DOVF,TS_LSTM

      • 图片生成 image generation;VAE 系列,GAN 系列

    • 自然语言处理NLP

      • 机器翻译; Seq2Seq,BERT,GPT, GPT-2 等

      • 聊天机器人:常用在咨询系统、娱乐游戏、智能家居等

    • 强化学习

      • 虚拟游戏:QN,A3C,A2C,PPO

      • 机器人

      • 自动驾驶Autonomous Driving

    深度学习框架

    1. Theano 是最早的深度学习框架之一 ,已经停止

    2. Scikit-learn 是一个完整的面向机器学习算法的计算库,传统的统计学习领域,不支持神经网络和GPU加速

    3. Caffe:面向使用神经网络、提供Python结口、支持GPU和CPU,融入到PyTorch中

    4. Torch 是一个非常优秀的科学计算库,基于较冷门的编程语言 Lua 开发

    5. MXNET :陈天奇和李沐等人开发,采用命令式和符号式混合编程

    6. PyTorch :2017年发布

    7. Keras 是一个基于 Theano 和 TensorFlow 等框架提供的底层运算而实现的高层框架

    8. TensorFlow 是 Google 于 2015 年发布的深度学习框架

    TF 和PyTorch

    都是采用动态图(优先)模式开发,动态图模型开发效率高,但是运行效率可能不如静态图模式

    TensorFlow 在工业界拥有完备的解决方案和用户基础;

    PyTorch 得益于其精简灵活的接口 设计,可以快速设计调试网络模型,在学术界获得好评如潮

    TF2-demo

# 创建在cpu上运算的2个矩阵
import tensorflow as tf 
with tf.device('/cpu:0'):
cpu_a = tf.random.normal([1,n])
cpu_b = tf.random.normap([1,n])
print(cpu_a.device, cpu_b.device)
# 创建在gpu上运算的2个矩阵
with tf.device('/gpu:0'):
cpu_a = tf.random.normal([1,n])
cpu_b = tf.random.normap([1,n])
print(gpu_a.device, gpu_b.device)

2 . 自动梯度网络

在使用 TensorFlow 构建前向计算过程的时候,除了能够获得数值结果,TensorFlow 还 会自动构建计算图 ,看个demo:
y=a*w^2+b*w+c

\frac {\partial y}{\partial w}=2aw+b

考虑在点(a,b,c,w)= (1,2,3,4)的导数为10

import tensorflow as tf
# 创建4个张量
a = tf.constant(1.)
b = tf.constant(2.)
c = tf.constant(1.)
w = tf.constant(4.)
with tf.GradientTape as tape:  # 构建梯度环境
  # 将w加入梯度跟踪列表
  tape.watch([w])
  # 计算过程
  y = a * w ** 2 + b * w + c
  
[dy_dw] = tape.gradient(y, [w])
print(dy_dw)  # 打印导数
tf.Tensor(10.0, shape=(), dtype=float32)

TF3大核心功能

  1. 加速计算

神经网络本质上由大量的矩阵相乘,矩阵相加等基本数学运算构成;TensorFlow的重要功能就是利用 GPU 方便地实现并行计算加速功能。

# 创建在cpu上运算的2个矩阵
import tensorflow as tf 
with tf.device('/cpu:0'):
  cpu_a = tf.random.normal([1,n])
  cpu_b = tf.random.normap([1,n])
  print(cpu_a.device, cpu_b.device)
  
# 创建在gpu上运算的2个矩阵
with tf.device('/gpu:0'):
  cpu_a = tf.random.normal([1,n])
  cpu_b = tf.random.normap([1,n])
  print(gpu_a.device, gpu_b.device)

并通过 timeit.timeit()函数来测量 2 个矩阵的运算时间:

def cpu_run():
  with tf.device('cpu:0'):
    c = tf.matmul(cpu_a, cpu_b)
  return c
def gpu_run():
  with tf.device('gpu:0'):
    c = tf.matmul(gpu_a, gpu_b)
  return c
# 第一次计算需要热身
cpu_time = timeit.timeit(cpu_run,number=10)
gpu_time = timeit.timeit(gpu_run,number=10)
# 计算10次,取平均值
cpu_time = 
timeit.timeit(cpu_run, number=10)
gpu_time = timeit.timeit(gpu_run,number=10)

2 . 自动梯度网络

在使用 TensorFlow 构建前向计算过程的时候,除了能够获得数值结果,TensorFlow 还 会自动构建计算图 ,看个demo:
y=a*w^2+b*w+c

\frac {\partial y}{\partial w}=2aw+b

考虑在点(a,b,c,w)= (1,2,3,4)的导数为10

import tensorflow as tf
# 创建4个张量
a = tf.constant(1.)
b = tf.constant(2.)
c = tf.constant(1.)
w = tf.constant(4.)
with tf.GradientTape as tape:  # 构建梯度环境
  # 将w加入梯度跟踪列表
  tape.watch([w])
  # 计算过程
  y = a * w ** 2 + b * w + c
  
[dy_dw] = tape.gradient(y, [w])
print(dy_dw)  # 打印导数
tf.Tensor(10.0, shape=(), dtype=float32)

3 . 常用神经接口

TensorFlow除了提供底层的矩阵相乘,相加等运算函数,还内建了常用的:

  • 网络运算函数
  • 常用网络层
  • 网络训练
  • 网络保存与加载
  • 网络部署
  • ……

https://www.jianshu.com/p/eec6f6802103

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
Python
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论