当前位置: 首页 > news >正文

机器学习深度学习基本概念:logistic regression和softmax

逻辑回归用来处理二分类问题

softmax用来处理多分类问题:比如llm在generate的时候,每个batch里面的一个样本的一个一次generate就是softmax生成一个大小为vocab_size的向量的概率分布,然后再采样

逻辑回归(logistic regression)的核心:sigmoid函数

当W·x趋近于负无穷时sigmoid输出接近于0,当趋近于正无穷时,接近于1,来生成分类预测的概率

损失函数:

对数损失作为损失函数

softmax:

softmax函数输出每个类别的概率,概率总和为1

损失函数:

log-softmax

http://www.lryc.cn/news/547726.html

相关文章:

  • OpenCV计算摄影学(16)调整图像光照效果函数illuminationChange()
  • Git - 补充工作中常用的一些命令
  • 使用Python的requests库调用API并处理JSON响应的详细步骤
  • Mybatis如何通过databaseId属性支持不同数据库的不同语法
  • android edittext 防止输入多个小数点或负号
  • windows部署spleeter 版本2.4.0:分离音频的人声和背景音乐
  • 深度学习、宽度学习、持续学习与终身学习:全面解析与其在大模型方面的应用
  • 【量化科普】Arbitrage,套利
  • 删除已加入 .gitignore却仍被git追踪的文件
  • pytest框架 核心知识的系统复习
  • Spring Cloud Alibaba学习 5- Seata入门使用
  • WebAssembly技术及应用了解
  • Deepseek中的MoE架构的改造:动态可变参数激活的MoE混合专家架构(DVPA-MoE)的考虑
  • NodeJS学习笔记
  • 【交通网络拓扑图实现原理深度解析】
  • 【极客时间】浏览器工作原理与实践-2 宏观视角下的浏览器 (6讲) - 2.6 渲染流程(下):HTML、CSS和JavaScript,是如何变成页面的?
  • NO2.C++语言基础|C++和Java|常量|重载重写重定义|构造函数|强制转换|指针和引用|野指针和悬空指针|const修饰指针|函数指针(C++)
  • 【CSS】---- 纯 CSS 实现无限滚动轮播
  • 软考架构师笔记-计算机网络
  • Spring MVC 页面重定向返回后通过nginx代理 丢失端口号问题处理
  • 道可云人工智能每日资讯|亚马逊云业务部门成立智能体人工智能团队
  • 算力100问☞第72问:算力与算法、数据的关系是什么?
  • AI-Ollama本地大语言模型运行框架与Ollama javascript接入
  • Java开发的AI应用框架简述——LangChain4j、Spring AI、Agent-Flex
  • 【算法day2】无重复字符的最长子串 两数之和
  • HarmonyOS:基于hmrouter实现Page的生命周期监听
  • DeepSeek + 飞书多维表格搭建你的高效工作流
  • uniapp+<script setup lang=“ts“>使用 uni.$emit和uni.$on全局传递数据
  • 综合使用pandas、numpy、matplotlib、seaborn库做数据分析、挖掘、可视化项目
  • docker中kibana启动后,通过浏览器访问,出现server is not ready yet