迁移学习在计算机视觉中已广泛使用,但NLP中的现有方法仍然需要从头开始训练。 本文提出了基于微调的通用语言模型(ULMFiT),可以应用于NLP中的多种任务。 实验表明,ULMFiT方法在六个文本分类任务中取得显著效果。
官方主页:http://nlp.fast.ai/
论文地址:https://arxiv.org/pdf/1801.06146v5.pdf
论文笔记:
代码实现:
- https://github.com/Socialbird-AILab/BERT-Classification-Tutorial【TensorFlow】
- https://github.com/cstorm125/thai2fit【pytorch】
- https://paperswithcode.com/paper/universal-language-model-fine-tuning-for-text#code 【代码很多,点击链接去paperwithcode看所有代码吧】