<div><span style="font-family: 'lucida Grande', Verdana, 'Microsoft YaHei'; line-height: 23.8px;">Hi Adapters,</span><br style="font-family: 'lucida Grande', Verdana, 'Microsoft YaHei'; line-height: 23.8px;"><br>This time I will introduce some techniques for handling classification tasks when having a large output dimension.</div><div><br></div><div><span style="line-height: 1.5;">As a typical task, language model tries to predict the correct word given context words. For example, predicting the word "?" in the sentence "the quick fox ? over the lazy dog" given its surrounding words. This is </span>essentially<span style="line-height: 1.5;"> a classification task, but the size of different classes may be large, since there are millions of distinct words in vocabulary, traditional learning algorithms will encounter problems related with time complexity.</span></div><div><span style="line-height: 1.5;">In this talk, I will introduce two techniques: Hierarchical Softmax and Noise-Contrastive Estimation, and show you the intuitions behind these models. Notice that NCE will appear the second time in our seminars, hope you can understand how it works if you are confused last time.</span></div><div><br style="font-family: 'lucida Grande', Verdana, 'Microsoft YaHei'; line-height: 23.8px;"><span style="font-family: 'lucida Grande', Verdana, 'Microsoft YaHei'; line-height: 23.8px;">The seminar will take place at 4:30 pm at SEIEE 3-528 today. See you then!</span><br style="font-family: 'lucida Grande', Verdana, 'Microsoft YaHei'; line-height: 23.8px;"><br style="font-family: 'lucida Grande', Verdana, 'Microsoft YaHei'; line-height: 23.8px;"><span style="font-family: 'lucida Grande', Verdana, 'Microsoft YaHei'; line-height: 23.8px;">Thanks,</span></div><div>Kangqi</div><div><div style="color:#909090;font-family:Arial Narrow;font-size:12px">------------------</div><div style="font-size:14px;font-family:Verdana;color:#000;"><font color="#808080"><div>Luo Kangqi</div><div>ADAPT Lab, SEIEE 3-341</div><div>Shanghai Jiao Tong University</div></font></div></div><div> </div>