<div><div style="font-family: "lucida Grande", Verdana, "Microsoft YaHei";"><span style="line-height: 23.8px;">Hi Adapters,</span><br style="line-height: 23.8px;"><br>This time, I'm going to introduce "attention mechanism", which is widely used in neural network models.</div><div style="font-family: "lucida Grande", Verdana, "Microsoft YaHei";"><br></div><div style="font-family: "lucida Grande", Verdana, "Microsoft YaHei";">Recent years, the neural network becomes an effective model in many NLP tasks, such as machine translation, textual entailment and entity disambiguation. The common idea is to map a natural language text into a hidden vector space, and handle different classification problems based on these latent features. Both CNN and RNN are able to build the hidden representation of the whole sentence from the vector of each word in the sentence, while attention mechanism helps dynamically measure the importance of each word, showing very promising improvements on these NLP tasks.</div><div style="font-family: "lucida Grande", Verdana, "Microsoft YaHei";"><br></div><div style="font-family: "lucida Grande", Verdana, "Microsoft YaHei";">In this seminar, I will show you two real example of attention-based models, one is for RNN, and the other is for CNN. Please check out the following links if you are not so familiar with these NN models. Don't worry, just need to have some basic intuition, and I will introduce more during my presentation.</div><div style="font-family: "lucida Grande", Verdana, "Microsoft YaHei";"><br></div><div style="font-family: "lucida Grande", Verdana, "Microsoft YaHei";">CNN: http://www.36dsj.com/archives/24006</div><div style="font-family: "lucida Grande", Verdana, "Microsoft YaHei";">RNN: http://blog.csdn.net/heyongluoyao8/article/details/48636251</div><div style="font-family: "lucida Grande", Verdana, "Microsoft YaHei";"><br></div><div style="font-family: "lucida Grande", Verdana, "Microsoft YaHei";"><span style="line-height: 23.8px;">The seminar will take place at 4:30 pm tomorrow, in SEIEE 3-404. Hope you can enjoy, see you then !</span><br style="line-height: 23.8px;"><br style="line-height: 23.8px;"><span style="line-height: 23.8px;">Best,</span></div><div style="font-family: "lucida Grande", Verdana, "Microsoft YaHei";">Kangqi</div></div><div><div style="color:#909090;font-family:Arial Narrow;font-size:12px">------------------</div><div style="font-size:14px;font-family:Verdana;color:#000;"><font color="#808080"><div>Kangqi Luo, PhD Candidate</div><div>ADAPT Lab, SEIEE 3-341</div><div>Shanghai Jiao Tong University</div></font></div></div><div> </div>