<div>Hi Adapters£º</div><div>     For seminar tomorrow, I will introduce a language understanding model which perform<font size="2">s well on many NLP tasks such as textual entailment, question answering, semantic similarity assessment, and document classification. Although large unlabeled text corpora are abundant, labeled data for learning these specific tasks is scarce, making it challenging for discriminatively trained models to perform adequately. </font><h3 class="LC20lb" style="font-size: 18px; color: rgb(102, 0, 153); cursor: pointer; text-decoration: none; font-family: arial, sans-serif; font-weight: normal; margin: 0px; padding: 0px; display: inline-block;"><a href="https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf" style="font-size: 14px; color: rgb(102, 0, 153); cursor: pointer; text-decoration: none; font-family: arial, sans-serif;">Improving Language Understanding by Generative Pre-Training</a></h3><span style="font-size: small;"> demonstrates that large gains on these tasks can be realized by </span><span style="font-style: italic;">generative pre-training </span><span style="font-size: small;">of a language model on a diverse corpus of unlabeled text, followed by </span><span style="font-style: italic;">discriminative fine-tuning </span><span style="font-size: small;">on each specific task. </span></div><div><font size="2">     For better understanding the talk tomorrow, I hope you have the prerequisite knowledge about attention and transformer block.</font></div><div><font size="2"><br></font></div><div><font size="2">     See you tomorrow!</font></div><div><font size="2">     </font></div><div><font size="2">     Time:17:00 October 10</font></div><div><font size="2">     Venue:SEIEE 3-517A</font></div><div><font size="2">     Best,</font></div><div><font size="2">     Shanshan.</font></div><div><font size="2"><br></font></div>