tensorflow的CUDA driver version is insufficient for CUDA runtime version 问题解决方案
CUDA driver version is insufficient for CUDA runtime version 翻译过来就是CUDA的驱动程序版本跟CUDA的运行时版本不匹配
1.查看CUDA driver version (驱动版本):
nvidia-smi
tensorflow与numpy的版本兼容性问题
出现问题
每次跑tensorflow代码都会出现以下警告
/home/hahaha/venv/lib/python3.6/site-packages/tensorflow/python/framework/dtypes.py:516: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
_np_qint8 = np.dtype([("qint8", np.int8, 1)])
/home/hahaha/venv...
论文笔记: Abstract Meaning Representation for Sembanking
Abstract
希望一个简单,整句,语义结构的 词库 可以刺激统计自然语言理解和生成方面的新工作,例如宾州树库鼓励统计分析的工作。 本文概述了AMR及其相关工具。
Introduction
手工进行语义注释是不合理的,因为我们为命名实体,共同引用,语义关系,语篇连接词,时间实体等提供了单独的注释,但是每个注释都有其自己的关联评估,并且训练数据分散在许多资源中。
我们缺乏简单易读的英语句子的句库,以及它们的整个句子,逻辑含义。
AMR设计基本准则
AMR是一个有标签的、有根的图,便于人们阅读和程序遍历。
AMR旨在抽象化语法特性
AMR与我们可能想如何从字符串中得出含义无关,反之亦然。 在将句子翻译成AMR时,我们不会规...
dual graph对偶图
dual graph指的是对偶图。每一个平面图$G$ ,都有一个对应的对偶图$G^*$
$G^*$的定义如下:
$G^*$ 中的每个点对应$G$中的一个面
对于$G$ 中的每一条边$e$:
$e$属于两个面$f1$,$f2$,加入边$({f_1}^*, {f_2}^*)$
e只属于一个面f,加入回边$(f^*, f^*)$
(图中加入了个绿色边围成的面,需要删除 $s^* , t^* $ 之间的边)
论文笔记: Learning to Represent Programs with Graphs
(x1, y2) = Foo();
while (x3 > 0)
x4 = x5 + y6
LastUse边:红色,LastWrite边:绿色,ComputeFrom:紫色
一个变量token是能够在语法树叶子结点中出现多次的,上述代码中,x出现4次,y出现2次。
tf.variable_scope和tf.name_scope的区别
tf.variable_scope可以让变量有相同的命名,包括tf.get_variable得到的变量,还有tf.Variable的变量
tf.name_scope可以让变量有相同的命名,只是限于tf.Variable的变量
import tensorflow as tf;
import numpy as np;
import matplotlib.pyplot as plt;
with tf.name_scope('V1'):
# a1 = tf.get_variable(name='a1', shape=[1], initializer=tf.constant_initializer(1))
a2 = tf.Variable(tf...
论文笔记: Graph Attention Networks
Abstract
本文提出一种新颖的 graph attention networks (GATs), 可以处理 graph 结构的数据,利用 masked self-attentional layers 来解决基于 graph convolutions 以及他们的预测 的前人方法(prior methods)的不足。
对象: graph-structured data.
方法: masked self-attentional layers.
目标: to address the shortcomings of prior methods based on graph convolutions or their approximations.
具体方法: By stackin...
感受野(receptive field)
根据以下网友的博客整理而成,感觉写得不错,就没必要自己重新写一遍了 ̄□ ̄||
关于感受野 (Receptive field) 你该知道的事
如何计算感受野(Receptive Field)——原理 - 知乎
关于感受野的总结 - 知乎
深度神经网络中的感受野(Receptive Field) - 知乎
Receptive field(感受野) - 简书
监督学习、无监督学习、半监督学习、强化学习的区别
监督学习(Supervised learning)
监督学习是使用已知正确答案的示例来训练网络的。想象一下,我们可以训练一个网络,让其从照片库中(其中包含你父母的照片)识别出你父母的照片。以下就是我们在这个假设场景中所要采取的步骤。
步骤1:数据集的创建和分类
首先,我们要浏览你的照片(数据集),确定所有有你父母的照片,并对其进行标注,从而开始此过程。然后我们将把整堆照片分成两堆。我们将使用第一堆来训练网络(训练数据),而通过第二堆来查看模型在选择我们父母照片操作上的准确程度(验证数据)。
等到数据集准备就绪后,我们就会将照片提供给模型。在数学上,我们的目标就是在深度网络中找到一个函数,这个函数的输入是一张照片,而当你的父母不在照片中时,其输出为0,否则输出为1。
此步骤通常...
深度学习-常见优化器算法
Batch Gradient Descent(BGD)
BGD 采用整个训练集的数据来计算 cost function 对参数的梯度:
\[θ = θ - \eta \cdot \bigtriangledown_{θ}J(θ)\]
for i in range(nb_epochs):
params_grad = evaluate_gradient(loss_function, data, params)
params = params - learning_rate * params_grad
我们会事先定义一个迭代次数 epoch,首先计算梯度向量 params_grad,然后沿着梯度的方向更新参数 params,learning rate 决定了我们每一步迈多大。...
共计 85 篇文章,9 页。