《Effective Python 59》 是非常值得一读的Python进阶书籍，它阐述了Python语言中一些鲜为人知的微妙特性，并给出了能够改善代码功能及运行效率的习惯用法。相比其他Python书籍，这本书有以下几个特点：

本文是《流畅的Python》第八章的读书笔记，本文先讨论对象标识、值和别名等概念。随后，会揭露元组的一个神奇特性：元组是不可变的，但是其中的值可以改变。然后就引申到浅复制和深复制。接下来的话题是引用和函数参数：可变的参数默认值导致的问题，以及如何安全地处理函数的调用者传入的可变参数。最后讨论垃圾回收、 del命令。

本文的内容有点儿枯燥，但是这些话题却是解决 Python 程序中很多不易察觉的 bug 的关键。

大家知道计算机使用的一系列的 1 和 0 ，那个一个C++语言程序又是如何从一个个.h和.cpp文件变成包含 1 和 0 的可执行文件呢？

可以认为有以下的几个环节：源程序->预处理->编译和优化->生成目标文件->链接->可执行文件

Attention-based Models

提出的 Attention-based Model 分为两大类 global 和 local，区别在于 Attention 是相对于源端所有时间步实时部分时间步而言。

两种类型的相同之处是：计算上下文向量 $c_t$ 时都将 lstm 的顶层隐藏状态 $h_t$ 作为输入。不同之处是如何产生 $c_t$。

特别地，知道 $h_t$ 和 $c_t$ 之后，采用一个简单的连接层来综合信息，得到一个 attentional hidden state:

$$\tilde { h } _ { t } = \tanh \left( \boldsymbol { W } _ { c } \left[ c _ { t } ; \boldsymbol { h } _ { t } \right] \right)$$

然后 $\tilde { h } _ { t }$ 进入一个 softmax 层来预测单词分布：

$$p \left( y _ { t } | y _ { < t } , x \right) = \operatorname { softmax } \left( \boldsymbol { W } _ { \boldsymbol { s } } \tilde { \boldsymbol { h } } _ { t } \right)$$

神经翻译中，条件概率：

$$p \left( y _ { t } | \left\{ y _ { 1 } , \cdots , y _ { t - 1 } \right\} , c \right) = g \left( y _ { t - 1 } , s _ { t } , c \right)$$

$c$ 是 encoder 产生的背景向量，$s_t$ 是解码器 $t$ 时刻的隐藏状态。$g$ 是一个非线性的，可能包含多层的函数，它输出 $y_t$ 的概率。

本文记录C++ STL学习过程中的一些知识。

一直对词向量不太懂，直到看了word2vec 中的数学原理详解后才恍然大悟，本文就对对其中的Hierarchical Softmax做一个总结。

本文介绍深度学习中常用的损失函数。会不断更新。

协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。简单来讲，当协方差为正时，两个变量呈正相关关系（同增同减）；当协方差为负时，两个变量呈负相关关系（一增一减）。

而协方差矩阵，只是将所有变量的协方差关系用矩阵的形式表现出来而已。通过矩阵这一工具，可以更方便地进行数学运算。

这里记录一些在Pytorch的论坛上看到的问题与解答。论坛地址：https://discuss.pytorch.org/