<span style="font-family: 'lucida Grande', Verdana;">Hi Adapters,</span><br style="font-family: 'lucida Grande', Verdana;"><br style="font-family: 'lucida Grande', Verdana;"><font size="2">I will introduce an efficient language model called transformer-XL this week. </font><div><span style="color: rgba(0, 0, 0, 0.870588);"><font size="2"><br></font></span></div><div><font size="2"><span style="color: rgba(0, 0, 0, 0.870588);">To correctly understand an article, sometimes one will need to refer to a word or a sentence that occurs a few thousand words back. This is an example of </span><i style="color: rgba(0, 0, 0, 0.870588);">long-range dependence</i><span style="color: rgba(0, 0, 0, 0.870588);"> ¡ª a common phenomenon found in sequential data ¡ª that must be understood in order to handle many real-world tasks. While people do this naturally, modeling long-term dependency with neural networks remains a challenge</span>. Gating-based RNNs and the gradient clipping technique improve the ability of modeling long-term dependency, but are still not sufficient to fully address this issue.<br style="display: block; padding: 4px;"><br style="display: block; padding: 4px;">One way to approach this challenge is to use Transformers, which allows direct connections between data units, offering the promise of better capturing long-term dependency. However, in language modeling, Transformers are currently implemented with a fixed-length context, i.e. a long text seq<span style="color: rgba(0, 0, 0, 0.870588);">uence is truncated into fixed-length segments of a few hundred characters, and each segment is processed separately. </span>  <a href="https://openreview.net/pdf?id=HJePno0cYm">TRANSFORMER-XL: ATTENTIVE LANGUAGE MODELS
BEYOND A FIXED-LENGTH CONTEXT </a> use segment-level recurrent method to avoid the fixed-length problem and model </font><span style="color: rgba(0, 0, 0, 0.870588); font-size: small;">long-term dependency.</span><span style="font-family: 'lucida Grande', Verdana;"><br></span><br style="font-family: 'lucida Grande', Verdana;"><br style="font-family: 'lucida Grande', Verdana;"><span style="font-family: 'lucida Grande', Verdana;">Time: 17:00 May 8</span><br style="font-family: 'lucida Grande', Verdana;"><span style="font-family: 'lucida Grande', Verdana;">Venue: SEIEE 3-414</span><br style="font-family: 'lucida Grande', Verdana;"><br style="font-family: 'lucida Grande', Verdana;"><span style="font-family: 'lucida Grande', Verdana;">Best,</span><br style="font-family: 'lucida Grande', Verdana;"><font face="lucida Grande, Verdana">Shanshan</font></div>