当前位置: 首页 > news >正文

查找Pycharm跑代码下载模型存放位置以及有关模型下载小技巧(model_name_or_path参数)

目录

  • 一、前言
  • 二、发现问题
  • 三、删除这些模型
    • 方法一:直接删除
      • 注意
    • 方法二:代码删除

一、前言

当服务器连不上,只能在本地跑代码时需要使用***预训练语言模型进行处理

免不了需要把模型下载到本地

时间一长就会发现C盘容量不够

在这里插入图片描述

二、发现问题

正常使用情况下,c盘突然“爆红”肯定与下载的模型有关系

这里以我实际代码为例

reader = FARMReader(model_name_or_path="distilbert-base-uncased-distilled-squad",use_gpu=True)

FARMReader是已经封装好的api

直接安装三方库调用就行

执行上一段代码会出现下载模型的进度条

但是并没有说明下载位置在哪

经过不断排查文件终于找到了模型所在位置

**C:\Users\你的名字\\.cache\huggingface**

如下图所示:

在这里插入图片描述

解释下以上四个文件分别用于保存什么:

 1. datasets:表示存储代码中需要下载的数据集内容;2. hub:这里具体保存什么没太弄清楚。我这里保存的是预训练语言模型;3. modules:这里保存在部分代码所需要的三方库模块,可能还存有部分datasets_modules内容;4. transformers:这个就是我们最常用的huggingface中封装有关transformers函数。

在这里插入图片描述
比如图片中红框内全是我下载只用了一次的模型

三、删除这些模型

方法一:直接删除

在上述文件夹下找到你想删除模型的文件夹

直接右键删除就行

但是当你再次使用该模型会重新下载到这个地方

注意

删之前一定要想清楚

删错了导致模型无法识别不能怪我

方法二:代码删除

新建python输入以下内容:

from transformers import cachecache.clear()

就会来清除电脑缓存中的模型

如果效果不是特别理想

可以两种方法结合着来

http://www.lryc.cn/news/37563.html

相关文章:

  • JS学习笔记day04
  • 异步控制流程 遍历篇
  • ICASSP 2023论文模型开源|语音分离Mossformer
  • vs2019 更改工程项目名称
  • FusionCompute安装和配置步骤
  • makefile 参数和基本使用
  • golang 占位符还傻傻分不清?
  • manacher算法详解
  • 要做一个关于DDD的内部技术分享,记录下用到的资源,学习笔记(未完)
  • KDZD互感器二次负载测试仪
  • 在空投之后,Blur能否颠覆OpenSea的主导地位?
  • 2023年新三板产品及服务研究报告
  • 张力控制之开环模式
  • python的django框架从入门到熟练【保姆式教学】第二篇
  • 解决win10的过度保护导致文件下载不了程序不能打开运行
  • 扬帆优配|业务量大突破,这个行业发展明显向好
  • DJ1-4 计算机网络和因特网
  • Nginx根据$host及请求的URI规则重定向rewrite
  • 人工智能实验一:使用搜索算法实现罗马尼亚问题的求解
  • Spring Security基础入门
  • dnsresolver-limit
  • 使用 YoctoProject集成Qt6
  • 「媒体邀约」如何选择适合的媒体公关,媒体服务供应商
  • html2canvas和jspdf导出pdf,每个页面模块占一页,在pdf中垂直居中显示
  • 数学小课堂:集合论的公理化过程(用构建公理化体系的思路来构建自然数)
  • 3.10多线程
  • 缓存双写一致性之更新策略探讨
  • scala高级函数快速掌握
  • 手写模拟SpringMvc源码
  • 五分钟了解JumpServer V2.* 与 v3 的区别