分类:PyTorch

009 Transformer详解(三):Transformer 结构

Transformer结构是谷歌那篇<Attention is all you need>论文中提到的。论文中提出了transformer这么一种新的结构,将其应用在机器翻译的领域上,取得了很好的效果。本文将分析一下Transformer结构的具体组成部分。 整体结构...

2天前 24℃ 0评论 0喜欢

跟我一起学PyTorch-06:卷积神经网络CNN

以全连接层为基础的深度神经网络DNN是整个深度学习的基石。要说应用最广、影响最大的深度神经网络,那就是卷积神经网络(Convolutional Neural Network,CNN)。卷积神经网络虽然发布的时间较早,但直到2006年Hilton解决深度神经网络的训练问题后才焕发生...

2天前 21℃ 0评论 0喜欢

【论文笔记】Supervised Learning of Universal Sentence…

本文主要用于记录Facebook AI研究中心于2017年提出的一种基于监督学习的句向量表达方式。该文也是业界最先一批提出句向量预训练概念的论文。本笔记主要为方便初学者快速入门,以及自我回顾。 论文链接:https://arxiv.org/pdf/1705.02364.pdf G...

2天前 19℃ 0评论 0喜欢

Pytorch 自定义Function

转载:https://zhuanlan.zhihu.com/p/27783097 0. 本章内容 在本次,我们将学习如何自定义一个torch.autograd.Function,下面是本次的主要内容 1. 对Function的直观理解; 2. Function与Module的差...

3天前 23℃ 0评论 0喜欢

20190712工作进展

使用top1000来取title (0) 得到query_title对应表 create table if not exists graph_embedding.hs_heter_graph_embedding_out_nearest_neighbor_007( node_i...

4天前 20℃ 0评论 0喜欢

20180711记录

BCE Loss binary_cross_entropy(二进制交叉熵)损失,即用于衡量原图与生成图片的像素误差; kld_loss KL-divergence(KL散度),用来衡量潜在变量的分布和单位高斯分布的差异; model.train() :启...

4天前 22℃ 0评论 0喜欢

PyTorch学习笔记1

训练过程 import torch # batch_size, input_dimension, hidden_dimension, output_dimension N, D_in, H, D_out = 64, 1000, 100, 10 # 模拟一个训练集 x = to...

4天前 22℃ 0评论 0喜欢

Pytorch 图片载入

import os import torch import pandas as pd from skimage import io, transform import numpy as np import matplotlib.pyplot as plt from torch.u...

4天前 30℃ 0评论 0喜欢

深度学习(4)Pytorch API

作者:aiqiu_gogogo 来源:CSDN 原文:https://blog.csdn.net/aiqiu_gogogo/article/details/78645887 torch.nn.Module 打印所有子模块: for sub_module in model.chil...

4天前 16℃ 0评论 0喜欢