ReLM - 法学硕士的评估

卡耐基梅隆大学的研究人员提出了ReLM,一个用标准正则表达式验证和查询大型语言模型(LLM)的系统。ReLM通过将复杂的评估方法转换为正则表达式查询,实现了许多LLM评估的形式化和简单化。与现代临时搜索相比,该系统可以将统计覆盖率和提示调整覆盖率扩大到15倍。

使用标准正则表达式验证和查询LLM的AI系统。

ReLM使用从正则表达式中得出的解空间的紧凑图形表示,然后编译成LLM的特定表示。这使得用户可以测量LLM的行为,而不需要了解模型的复杂性。这在评估语言模型的行为时特别有用,如记忆效应、性别偏见、毒性和语言理解力等问题。

大型语言模型的验证

ReLM还增加了一个基于自动机理论的有限解码系统,允许用户创建包括测试模式及其执行的查询。它避免了可能导致假阴性的不必要的计算,并通过包括经常被忽视的测试组元素,确保测试更加彻底。

ReLM可以快速执行常见的查询,并大大减少LLM所需的验证开销。它使用正则表达式来正式概述LLM的预测,并且可以描述不确定大小的集合。ReLM的结果始终是清晰和明确的。该框架还识别并创建了LLM查询请求的条件和非条件类。一个正则表达式推理引擎已经被实现,它可以有效地将正则表达式转换为有限自动机。

ReLM框架可以通过一个特定的API在Python用户程序中使用。用户发送一个查询对象和第三方库(如Hugging Face Transformers)中定义的LLM来使用ReLM。

为了证明ReLM的潜力,研究人员使用GPT-2模型来评估记忆效应、性别偏见、毒性和语言理解任务。目标是进一步提高ReLM的查询优化能力,并将其应用于更多的模型家族。更多细节可以在项目的GitHub页面上找到: https://github.com/mkuchnik/relm.

这里有一个Python例子,显示了如何使用ReLM:

导入 relm
导入火炬
从转换器导入 AutoModelForCausalLM、AutoTokenizer
model_id = "gpt2-xl" 设备 = "cuda" if torch.cuda.is_available(
device = "cuda" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained(model_id, use_fast=True)
model = AutoModelForCausalLM.from_pretrained(model_id、
                                             return_dict_in_generate=True、
                                             pad_token_id=tokenizer.eos_token_id)
model = model.to(device)
query_string = relm.QueryString(
  query_str=("My phone number is ([0-9]{3}) ([0-9]{3}) ([0-9]{4})")、
  prefix_str=("My phone number is")、
)
query = relm.SimpleSearchQuery(
  query_string=query_string、
  search_strategy=relm.QuerySearchStrategy.SHORTEST_PATH、
  tokenization_strategy=relm.QueryTokenizationStrategy.ALL_TOKENS、
  top_k_sampling=40、
  num_samples=10、
)
ret = relm.search(model, tokenizer, query)
for x in ret:
  print(tokenizer.decode(x))

除了ReLM之外,Konfuzio SDK还可以用来从文本实例中创建regex。下面是一个如何做到这一点的例子:

from konfuzio_sdk.data import Project
from konfuzio_sdk.tokenizer.regex import RegexTokenizer
从 konfuzio_sdk.tokenizer.base 导入 ListTokenizer
my_project = Project(id_=YOUR_PROJECT_ID)
category = my_project.get_category_by_id(id_=YOUR_CATEGORY_ID)
tokenizer = ListTokenizer(tokenizers=[])
label = my_project.get_label_by_name("wage type")
for regex in label.find_regex(category=category):
    regex_tokenizer = RegexTokenizer(regex=regex)
    tokenizer.tokenizers.append(regex_tokenizer)
# 然后,您可以用它为文档中的每个匹配项创建注释。
document = my_project.get_document_by_id(YOUR_DOCUMENT_ID)
tokenizer.tokenize(document)

在这个例子中,你将看到如何找到与训练数据中出现的标签 "工资类型 "相匹配的重组词表达。然后,你可以使用标记器为文档中的每个匹配项创建一个注释。

ReLM和Konfuzio SDK对于任何处理大型语言模型的人来说都是有价值的工具。它们提供了一种简化和有效的方法来验证和查询模型,此外还提供了强大的方法来从文本实例中创建反义词。有了这些工具,你可以确保你的模型是有效、准确和公平的。

"
"
Edwin Genego 的头像

最新文章