<div style="line-height:1.7;color:#000000;font-size:14px;font-family:Arial"><div style="margin: 0px;"><span style="font-family: Helvetica, "Microsoft Yahei", verdana; font-size: 16px;">Hi Adapters,</span></div><div style="margin: 0px;"><span style="font-family: Helvetica, "Microsoft Yahei", verdana; font-size: 16px;"><br></span></div><div style="margin: 0px;"><span style="font-family: Helvetica, "Microsoft Yahei", verdana; font-size: 16px;">In this seminar, IĄŻll still give a talk about self-supervised pre-training tasks to enhance the dialogue context modeling ability. </span></div><div style="margin: 0px;"><span style="font-family: Helvetica, "Microsoft Yahei", verdana; font-size: 16px;"><br></span></div><div style="margin: 0px;"><font face="Helvetica, Microsoft Yahei, verdana"><span style="font-size: 16px;">First, I will give a brief introduction to the pre-trained model ELECTRA published on ICLR2020, which targets on enhancing the masked language modeling task for pre-training models. Then, I'll show the response selection results with pre-trained language models when facing an adversarial task. Finally, another paper accepted by AAAI2021 will be mentioned. It proposed three self-supervised pre-training tasks to enhance the robustness of pre-trained models on dialogue context modeling. </span></font></div><div style="margin: 0px;"><span style="font-family: Helvetica, "Microsoft Yahei", verdana; font-size: 16px;"><br></span></div><div style="margin: 0px;"><div style="font-family: Helvetica, "Microsoft Yahei", verdana;"><p class="MsoNormal" style="line-height: 23.8px;"><span lang="EN-US" style="font-size: 12pt;">Time: Wed 4:30pm</span></p><p class="MsoNormal" style="line-height: 23.8px;"><span style="font-size: 12pt;">Venue: SEIEE 3-414</span></p></div><div style="font-family: Helvetica, "Microsoft Yahei", verdana;"><font editorwarp__="1" style="display: inline; font-size: 16px; background-color: rgba(0, 0, 0, 0);">Best regards,</font></div><font editorwarp__="1" style="font-family: Helvetica, "Microsoft Yahei", verdana; display: inline; font-size: 16px; background-color: rgba(0, 0, 0, 0);"><div style="background-color: rgba(0, 0, 0, 0);">Angel</div><div><br></div></font></div></div><br><br><span title="neteasefooter"><p> </p></span>