搜索结果
查询Tags标签： Transformers，共有 20条记录-
在Transformers 中使用约束波束搜索引导文本生成
引言 本文假设读者已经熟悉文本生成领域波束搜索相关的背景知识，具体可参见博文 如何生成文本: 通过 Transformers 用不同的解码方法生成文本。 与普通的波束搜索不同，约束 波束搜索允许我们控制所生成的文本。这很有用，因为有时我们确切地知道输出中需要包含什么。例如…
2023/6/11 18:22:54 人评论 次浏览 -
解码器 | 基于 Transformers 的编码器-解码器模型
基于 transformer 的编码器-解码器模型是 表征学习 和 模型架构 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 博文。此外，建议读者对 自注意力 (self-attention) 架构 有一…
2023/6/7 5:22:16 人评论 次浏览 -
编码器 | 基于 Transformers 的编码器-解码器模型
基于 transformer 的编码器-解码器模型是 表征学习 和 模型架构 这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由 Sebastion Ruder 撰写的这篇精彩 博文。此外，建议读者对 自注意力 (self-attention) 架构 有一…
2023/6/6 5:22:05 人评论 次浏览 -
Hugging News #0602: Transformers Agents 介绍、大语言模型排行榜发布！
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息，快来看看吧！ 重磅更新 Transformer…
2023/6/3 18:22:36 人评论 次浏览 -
RWKV – transformer 与 RNN 的强强联合
在 NLP (Natural Language Processing, 自然语言处理) 领域，ChatGPT 和其他的聊天机器人应用引起了极大的关注。每个社区为构建自己的应用，也都在持续地寻求强大、可靠的开源模型。自 Vaswani 等人于 2017 年首次提出 Attention Is All You Need 之后，基于 transformer…
2023/6/1 1:24:36 人评论 次浏览 -
在 Transformers 中使用对比搜索生成可媲美人类水平的文本 ?
1. 引言 自然语言生成 (即文本生成) 是自然语言处理 (NLP) 的核心任务之一。本文将介绍神经网络文本生成领域当前最先进的解码方法 对比搜索 (Contrastive Search)。提出该方法的论文 “A Contrastive Framework for Neural Text Generation” 最初发表于 NeurIPS 2022 ([…
2023/5/17 5:52:12 人评论 次浏览 -
大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes
引言 语言模型一直在变大。截至撰写本文时，PaLM 有 5400 亿参数，OPT、GPT-3 和 BLOOM 有大约 1760 亿参数，而且我们仍在继续朝着更大的模型发展。下图总结了最近的一些语言模型的尺寸。由于这些模型很大，因此它们很难在一般的设备上运行。举个例子，仅推理 BLOOM-176B…
2023/4/26 1:22:05 人评论 次浏览 -
如何生成文本: 通过 Transformers 用不同的解码方法生成文本
简介 近年来，随着以 OpenAI GPT2 模型 为代表的基于数百万网页数据训练的大型 Transformer 语言模型的兴起，开放域语言生成领域吸引了越来越多的关注。开放域中的条件语言生成效果令人印象深刻，典型的例子有: GPT2 在独角兽话题上的精彩续写，XLNet 以及 使用 CTRL 模型…
2023/4/25 1:22:13 人评论 次浏览 -
大语言模型快速推理: 在 Habana Gaudi2 上推理 BLOOMZ
本文将展示如何在 Habana Gaudi2 上使用 🤗 Optimum Habana。Optimum Habana 是 Gaudi2 和 🤗 Transformers 库之间的桥梁。本文设计并实现了一个大模型推理基准测试，证明了通过使用 Optimum Habana 你将能够在 Gaudi2 上获得 比目前市面上任何可用的 GPU 都快的推理…
2023/4/7 1:22:20 人评论 次浏览 -
下篇 | 使用 ? Transformers 进行概率时间序列预测
在《使用 🤗 Transformers 进行概率时间序列预测》的第一部分里，我们为大家介绍了传统时间序列预测和基于 Transformers 的方法，也一步步准备好了训练所需的数据集并定义了环境、模型、转换和 InstanceSplitter。本篇内容将包含从数据加载器，到前向传播、训练、推理和…
2023/2/23 1:27:11 人评论 次浏览 -
transformers tokenizers需要glibc2.29解决办法
安装新版transformers后，啪，报了个错 ImportError: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.29 not found (required by /data/jcdu/miniconda3/envs/main/lib/python3.7/site-packages/tokenizers/tokenizers.cpython-37m-x86_64-linux-gnu.so)解决方案：安…
2022/7/28 23:30:41 人评论 次浏览 -
BERT
目录前言 前言 论文全称及链接：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》 项目地址：google-research/bert BERT全称：Bidirectional Encoder Representations from Transformers
2022/6/25 23:30:57 人评论 次浏览 -
BERT源码详解（一）——HuggingFace Transformers源码解
众所周知，BERT模型自2018年问世起就各种屠榜，开启了NLP领域预训练+微调的范式。到现在，BERT的相关衍生模型层出不穷（XL-Net、RoBERTa、ALBERT、ELECTRA、ERNIE等），要理解它们可以先从BERT这个始祖入手。 HuggingFace是一家总部位于纽约的聊天机器人初创服务商，很早…
2021/10/31 12:09:46 人评论 次浏览 -
BERT源码详解（一）——HuggingFace Transformers源码解
众所周知，BERT模型自2018年问世起就各种屠榜，开启了NLP领域预训练+微调的范式。到现在，BERT的相关衍生模型层出不穷（XL-Net、RoBERTa、ALBERT、ELECTRA、ERNIE等），要理解它们可以先从BERT这个始祖入手。 HuggingFace是一家总部位于纽约的聊天机器人初创服务商，很早…
2021/10/31 12:09:46 人评论 次浏览 -
CVPR2021配准算法LoFTR的配置（LoFTR: Detector-Free Local Feature Matching with Transformers）
1、论文下载地址： https://arxiv.org/pdf/2104.00680.pdf 2、代码下载地址： https://github.com/zju3dv/LoFTR 3、新建虚拟python环境并激活 conda create -n LoFTR python=3.7 source activate LoFTR 4、安装需要的库 pip install torch==1.6.0 einops yacs kornia ope…
2021/10/5 1:11:59 人评论 次浏览
