当前位置: 首页 > news >正文

【第十七章:Sentosa_DSML社区版-机器学习之异常检测】

【第十七章:Sentosa_DSML社区版-机器学习之异常检测】

        机器学习异常检测是检测数据集中的异常数据的算子,一种高效的异常检测算法。它和随机森林类似,但每次选择划分属性和划分点(值)时都是随机的,而不是根据信息增益或者基尼指数来选择。

17.1 异常检测

1.算子介绍

        异常检测算子(IsolationForestNode)是检测数据集中的异常数据的算子,一种高效的异常检测算法,它和随机森林类似,但每次选择划分属性和划分点(值)时都是随机的,而不是根据信息增益或者基尼指数来选择。在建树过程中,如果一些样本很快就到达了叶子节点,那么就被认为很有可能是异常点,结果生成prediction列,值为0则正常,为1则异常。

2.算子类型

        机器学习/异常检测算子。

3.算子属性说明

属性

页面显示名称

选项

类型

默认值

约束规则

属性说明

num_tree

树的数量

必填

Integer

5

>0

模型中的树的数量

sample_type

样本取样方式

必填

String

rate

单选:number,rate

样本取样方式

sample_rate

样本采样率(0,1]

必填

Double

1.0

范围(0,1],样本取样方式选择rate

样本采样率

max_depth

树的最大深度

必填

Integer

1

>0

树的最大深度

bootstrap

每棵树是否重采样

必填

Boolean

单选:true,false

每棵树是否重采样

contamination

异常值在数据集中所占的比例(0,1)

必填

Double

0.1

(0,1)之间

异常值在数据集中所占的比例

skip_null_value

是否跳过空值

必填

Boolean

单选:是,否

是否跳过空值

4.算子使用介绍

(1)算子初始化

        参考公共功能算子初始化操作。

(2)算子属性设置

        异常检测算子的属性设置如图所示

异常检测算子属性设置

(3)算子的运行

        异常检测算子为建模算子,需要先训练数据生成模型,再通过模型对相同结构的数据进行处理得到最终结果。具体运行过程如下所述。

        首先通过数据读入算子读取数据,中间可以接任意个数据处理算子(例,行处理,列处理等),然后接一个异常检测算子,右击算子,点击运行,得到异常检测模型。

运行异常检测算子获得异常检测模型

        得到模型后右击模型,可以查看模型信息。模型后可接任意个数据处理算子,再接图表分析算子或数据写出算子,形成算子流执行,但评估算子对此模型无效。

异常检测模型算子流

        可以右击模型,查看模型的模型信息。模型的运行结果如图所示

异常检测模型的运行结果

        结果中Predicted_group值为0则认为为正常数据,为1则认为为异常数据。


  为了非商业用途的科研学者、研究人员及开发者提供学习、交流及实践机器学习技术,推出了一款轻量化且完全免费的Sentosa_DSML社区版。以轻量化一键安装、平台免费使用、视频教学和社区论坛服务为主要特点,能够与其他数据科学家和机器学习爱好者交流心得,分享经验和解决问题。文章最后附上官网链接,感兴趣工具的可以直接下载使用

Sentosa_DSML社区版官网

Sentosa_DSML算子流开发视频

http://www.lryc.cn/news/447276.html

相关文章:

  • 【Vue】为什么 Vue 不使用 React 的分片更新?
  • 大学生科技竞赛系统小程序的设计
  • 什么是聚集索引?
  • Centos/fedora/openEuler 终端中文显示配置
  • 使用kaggle命令下载数据集和模型
  • 生信初学者教程(十一):数据校正
  • JS设计模式之桥接模式:搭建跨越维度的通路
  • 苹果电脑系统重磅更新——macOS Sequoia 15 系统 新功能一 览
  • DoppelGanger++:面向数据库重放的快速依赖关系图生成
  • Linux(含麒麟操作系统)如何实现多显示器屏幕采集录制
  • calibre-web默认左上角字体修改
  • 考研数据结构——C语言实现归并排序
  • LDO功率管选取NMOS和PMOS区别
  • 【Linux】进程的标识符、状态(超详解)
  • Elasticsearch 启动后在浏览器输入http://localhost:9200 访问失败
  • javascript中new操作符的工作原理
  • 基于springboot+vue 旅游网站的设计与实现
  • Ansible集群服务部署案例
  • 探索AI编程新境界:aider库揭秘
  • SQL Server 2012 ldf日志文接太大的截断和收缩日志处理
  • java日志门面之JCL和SLF4J
  • Oracle DB运维常用的视图及数据字典
  • vue.config.js devServer中changeOrigin的作用
  • 基于Ubuntu 20.04 LTS上部署MicroK8s(最小生产的 Kubernetes)
  • Spring:项目中的统一异常处理和自定义异常
  • 有点快要跟不上时代的感觉
  • 【pytorch】pytorch入门4:神经网络的卷积层
  • 【机器学习】探索LSTM:深度学习领域的强大时间序列处理能力
  • QT学习笔记之文件操作
  • Mybatis XML配置文件操作数据库