Linux ISCSI服务配置
iSCSI 服务器
iSCSI 服务介绍
SCSI(Small Computer System Interface,小型计算机系统接口),一种用于计算机和智能设备之间(硬盘、软驱、光驱、打印机、扫描仪等)连接标准。
iSCSI(Internet Small Computer System Interface,Internet 小型计算机系统接口),又称为IP-SAN,是IBM公司研究开发的IP SAN技术,该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,基于TCP/IP的协议连接iSCSI服务端(Target)和客户端(Initiator),使得封装后的SCSI数据包可以在互联网传输,最终实现iSCSI服务端提供存储给客户端。
通常,iSCSI使用专用的10 Gb以太网或更好的网络,以最大程度地提高性能。
从物理服务器到存储的电缆通常封闭在数据中心内,并且理想情况下不直接连接到LAN网络,所以SAN流量通常不加密,以最大程度地提高性能。 为了实现WAN安全,iSCSI管理员可以使用IPsec加密流量。
iSCSI 架构
iSCSI服务是C/S架构。访问的iSCSI目标在客户端系统上显示为本地且未格式化的SCSI快设备,等同于通过SCSI布线、FC直连或FC交换光线连接的设备。
-
Initiator,iSCSI客户端,通常以软件方式部署,也可以使用iSCSI Host Bus Adapters (HBAs) (HBA)硬件。 Initiator必须具有唯一的名称(请参见IQN)。
-
Target,iSCSI服务器上的iSCSI存储资源。 Target必须具有唯一的名称(请参见IQN)。 每个目标都提供一个或多个块设备或逻辑单元(LUN-logical units)。 在大多数情况下,Target只提供一个设备,但一台服务器可以提供多个目标。
-
IQN(iSCSI Qualified Name)全球唯一的名称,用于标识发起者和目标。 IQN具有以下格式:
iqn.YYYY-MM.com.reversed.domain:name_string
- YYYY-MM,年和月。示例,2020年6月为2020-06。该日期有助于确保IQN唯一性。
- com.reversed.domain,反向域名。 例如,
server.redhat.fun
的反向域名为cloud.laoma.www
。 - name_string,用于标识您管理的特定目标。 如果服务器只具有一个目标,则有时会省略此名称。
-
Portal,指定服务器监听的地址和端口,例如,172.25.250.50:3260。
-
LUN(Logical Unit Number),代表Target提供的块设备。 每个目标可以提供一个或多个LUN。
-
ACL(Access Control List),使用Initiator的IQN限制客户端访问Target。
-
TPG(Target Portal Group),是目标的完整配置,包括Portal,LUN和ACL。 几乎所有目标都使用一个TPG,但是高级配置有时可能会定义多个TPG。
-
discovery,查询服务器上有Target列表。
-
login,向Target验证,验证通过后即可以使用Target服务器提供的块设备。
配置 iSCSI Targets
配置 iSCSI Targets需要安装以下软件:
- targetd,服务端软件。
- targetcli,用于配置targetd服务。
# 安装软件
[root@server ~ 14:35:32]# yum install -y targetd targetcli# 启用并启动服务
[root@server ~ 14:36:18]# systemctl enable target --now # 配置防火墙
[root@server ~ 14:36:35]# firewall-cmd --permanent --add-service=iscsi-target
[root@server ~ 14:36:44]# firewall-cmd --reload
当您不带任何选项运行targetcli时,该命令将进入交互模式。
在以下示例中,使用ls命令显示当前布局。
[root@server ~ 14:36:56]# targetcli
Warning: Could not load preferences file /root/.targetcli/prefs.bin.
targetcli shell version 2.1.53
Copyright 2011-2013 by Datera, Inc and others.
For help on commands, type 'help'./> ls
o- / ...........................................................................o- backstores ................................................................| o- block ...................................................................| o- fileio ..................................................................| o- pscsi ...................................................................| o- ramdisk .................................................................o- iscsi .....................................................................o- loopback ..................................................................
/>
配置 backstore 对象
backstore类型:
- block:服务器中的块设备,例如磁盘驱动器,磁盘分区或逻辑卷。
- fileio:本地文件系统中的常规文件。targetcli将该文件用作磁盘映像。
- pscsi:物理SCSI设备。 这种类型的存储允许客户端通过网络访问服务器上的物理SCSI设备。
- ramdisk:内存中的磁盘设备。 这种类型的存储不会持久存储数据。 服务器重新启动后,数据将丢失。
要使用targetcli创建后备存储,请使用其create命令。 该命令的行为取决于您在配置树中的当前位置。
示例:
/> cd backstores/block
/backstores/block> ls
o- block .......................................................................
/backstores/block> create sdb /dev/sdb
Created block storage object sdb using /dev/sdb.
等同于
/> /backstores/block create sdb /dev/sdb
Created block storage object sdb using /dev/sdb.
配置 Target IQN
在/iscsi伪目录中,创建IQN,将您选择的IQN名称作为其第一个参数。
/backstores/block> cd /iscsi
/iscsi> ls
o- iscsi .......................................................................
/iscsi> create iqn.2025-08.cloud.sh.server:sdb
Created target iqn.2025-08.cloud.sh.server:sdb.
Created TPG 1.
Global pref auto_add_default_portal=true
Created default portal listening on all IPs (0.0.0.0), port 3260.
/iscsi> ls
o- iscsi .......................................................................o- iqn.2025-08.cloud.sh.server:sdb ...........................................o- tpg1 ....................................................................o- acls ..................................................................o- luns ..................................................................o- portals ...............................................................o- 0.0.0.0:3260 ........................................................
配置 LUN
/iscsi> cd iqn.2025-08.cloud.sh.server:sdb/tpg1/luns
/iscsi/iqn.20...sdb/tpg1/luns>
/iscsi/iqn.20...sdb/tpg1/luns> create /backstores/block/sdb
Created LUN 0.
配置 ACL
创建ACL,以允许客户端启动程序访问目标。在Red Hat Enterprise Linux上,启动器的IQN存储在/etc/iscsi/initiatorname.iscsi文件中。
/iscsi/iqn.20...sdb/tpg1/luns> cd ../acls
/iscsi/iqn.20...sdb/tpg1/acls> create iqn.2025-08.cloud.sh.client
Created Node ACL for iqn.2025-08.cloud.sh.client
Created mapped LUN 0.
配置 Portal
/iscsi/iqn.20...sdb/tpg1/acls> cd ../portals/
/iscsi/iqn.20.../tpg1/portals> ls
o- portals ....................................................... [Portals: 1]o- 0.0.0.0:3260 ........................................................ [OK]
/iscsi/iqn.20.../tpg1/portals> delete 0.0.0.0 3260
Deleted network portal 0.0.0.0:3260
/iscsi/iqn.20.../tpg1/portals> create 10.1.8.10 3260
Using default IP port 3260
Created network portal 10.1.8.10:3260.
保存配置
退出targetcli shell时,该命令将配置保存在/etc/target/saveconfig.json文件中。
/iscsi/iqn.20.../tpg1/portals> exit
Global pref auto_save_on_exit=true
Configuration saved to /etc/target/saveconfig.json
非交互式管理 Targets
[root@server ~ 16:58:18]# targetcli /backstores/block create sdb /dev/sdb
Created block storage object sdb using /dev/sdb.[root@server ~ 16:58:30]# targetcli /iscsi create iqn.2025-08.cloud.sh.server:sdb
Created target iqn.2025-08.cloud.sh.server:sdb.
Created TPG 1.
Global pref auto_add_default_portal=true
Created default portal listening on all IPs (0.0.0.0), port 3260.[root@server ~ 16:58:39]# targetcli /iscsi/iqn.2025-08.cloud.sh.server:sdb/tpg1/luns \
> create /backstores/block/sdb
Created LUN 0.[root@server ~ 16:58:49]# targetcli /iscsi/iqn.2025-08.cloud.sh.server:sdb/tpg1/acls \
> create iqn.2025-08.cloud.sh.client
Created Node ACL for iqn.2025-08.cloud.sh.client
Created mapped LUN 0.[root@server ~ 16:58:58]# targetcli /iscsi/iqn.2025-08.cloud.sh.server:sdb/tpg1/portals \
> delete 0.0.0.0 3260
Deleted network portal 0.0.0.0:3260root@server ~ 16:59:06]# targetcli /iscsi/iqn.2025-08.cloud.sh.server:sdb/tpg1/portals \
> create 10.1.8.10 3260
Using default IP port 3260
Created network portal 10.1.8.10:3260[root@server ~ 16:59:15]# targetcli saveconfig
Configuration saved to /etc/target/saveconfig.json
提示:与交互式使用targetcli不同,命令行模式必须显式运行saveconfig子命令以保存配置。
访问 iSCSI 存储
iSCSI 启动器通常以软件方式实现。 使用基于软件的iSCSI启动器需要连接到具有足够带宽的现有以太网网络,以承载存储流量。
您也可以使用硬件启动器-主机总线适配器(HBA),从而减轻了其他系统资源的负担。
准备系统
配置iSCSI客户端启动程序需要安装iscsi-initiator-utils软件包,该软件包包括iscsi和iscsid服务以及**/etc/iscsi/iscsid.conf和/etc/iscsi/initiatorname.iscsi**配置文件。
[root@client ~ 17:00:05]# yum install -y iscsi-initiator-utils
作为iSCSI启动器,客户端需要其自己的唯一iSCSI合格名称(IQN)。在安装iscsi-initiator-utils的过程中,该软件包生成唯一的IQN,并存储到/etc/iscsi/initiatorname.iscsi文件中。 管理员通常需要更改该名称。
[root@client ~ 17:01:21]# vim /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2025-08.cloud.sh.client
/etc/iscsi/iscsid.conf文件包含您连接的目标的默认设置。 这些设置包括iSCSI超时,重试以及用于身份验证的用户名和密码参数。
软件包安装会自动配置iscsid服务,以便启动器在系统启动时自动重新连接到任何已发现的目标。 每当您修改启动程序的配置文件时,请重新启动iscsid服务。
连接 iSCSI 目标
在使用远程设备之前,首先需要发现目标。 发现过程使用/etc/iscsi/iscsid.conf中的配置将目标信息和设置存储在/var/lib/iscsi/nodes/目录中。
您可以使用以下命令执行远程目标的发现:
iscsiadm -m discovery -t st -p portal_ip[:port]
参数说明:
- portal_ip参数是目标门户的IP地址。
- 如果未指定port参数,它将使用默认端口3260。
示例:
[root@client ~ 17:02:19]# iscsiadm -m discovery -t st -p server
10.1.8.10:3260,1 iqn.2025-08.cloud.sh.server:sdb
要使用列出的目标之一,请使用以下命令登录到该目标:
iscsiadm -m node -T Target -p portal_ip[:port] -l
示例:
[root@client ~ 17:02:46]# iscsiadm -m node -T iqn.2025-08.cloud.sh.server:sdb -l
Logging in to [iface: default, target: iqn.2025-08.cloud.sh.server:sdb, portal: 10.1.8.10,3260] (multiple)
Login to [iface: default, target: iqn.2025-08.cloud.sh.server:sdb, portal: 10.1.8.10,3260] successful.
此时,系统将检测到新的SCSI块设备,就好像它是本地连接的硬盘驱动器一样。 您可以使用以下命令查看新设备,该命令以打印级别3显示有关当前iSCSI登录会话的信息。
[root@client ~ 17:03:49]# iscsiadm -m session -P 3
iSCSI Transport Class version 2.0-870
version 6.2.0.874-22
Target: iqn.2025-08.cloud.sh.server:sdb (non-flash)Current Portal: 10.1.8.10:3260,1Persistent Portal: 10.1.8.10:3260,1**********Interface:**********Iface Name: defaultIface Transport: tcpIface Initiatorname: iqn.2025-08.cloud.sh.clientIface IPaddress: 10.1.8.11Iface HWaddress: <empty>Iface Netdev: <empty>SID: 1iSCSI Connection State: LOGGED INiSCSI Session State: LOGGED_INInternal iscsid Session State: NO CHANGE*********Timeouts:*********Recovery Timeout: 120Target Reset Timeout: 30LUN Reset Timeout: 30Abort Timeout: 15*****CHAP:*****username: <empty>password: ********username_in: <empty>password_in: ********************************Negotiated iSCSI params:************************HeaderDigest: NoneDataDigest: NoneMaxRecvDataSegmentLength: 262144MaxXmitDataSegmentLength: 262144FirstBurstLength: 65536MaxBurstLength: 262144ImmediateData: YesInitialR2T: YesMaxOutstandingR2T: 1************************Attached SCSI devices:************************Host Number: 32 State: runningscsi32 Channel 00 Id 0 Lun: 0Attached scsi disk sdb State: running
或者,您可以查看dmesg
,tail /var/log/messages
或ls -l /dev/disk/by-path/*iscsi*
命令的输出。 该登录过程在重新启动后将保持不变。 因此,启动后块设备将自动可用。
格式化 iSCSI 设备
如果发现的块设备已经具有分区,文件系统或LVM卷,则可以使用常规命令(如mount)访问该数据。 您可以使用lsblk --fs命令检查设备。
[root@client ~ 17:04:30]# lsblk -fs
NAME FSTYPE LABEL UUID MOUNTPOINT
sda1 xfs 7878aba8-e3eb-4373-af5a-f27f683ecab6 /boot
└─sda
sdb xfs 797bba1b-1203-498a-93cc-f43f106a836d
sr0
centos-root xfs 1a65de2c-c391-4bb3-ab7a-49de9b694035 /
└─sda2 LVM2_member TF5nsh-oCZ2-3ETj-6pCD-0a9n-2GEV-SGwPZT └─sda
centos-swap swap 688d2a60-823c-42f1-b65b-097f77afe1f1 [SWAP]
└─sda2 LVM2_member TF5nsh-oCZ2-3ETj-6pCD-0a9n-2GEV-SGwPZT └─sda
多个启动程序同时从同一目标安装同一文件系统,会导致文件系统损坏或尝试读取数据时出现不一致。 本地文件系统(例如ext4或XFS)不支持从多个系统并发安装。如果需要允许从多个系统同时访问基于iSCSI的块设备,请使用群集文件系统(例如GFS2)。
如果磁盘为空,则可以对其进行格式化,创建分区或将其用作LVM物理卷。
# 假设客户端发现的设备名称是/dev/sdb
[root@client ~ 17:05:13]# mkfs.xfs /dev/sdb
持久化挂载
在/etc/fstab中的iSCSI目标上持久地挂载文件系统时,请确保遵循以下建议:
- 使用带有–fs选项的lsblk命令来确定文件系统UUID,然后使用该UUID挂载文件系统。 不要使用设备名称(
/dev/sd*
)。 设备的名称取决于 iSCSI 设备通过网络响应的顺序,因此设备名称可能会在引导之后更改。如果在 /etc/fstab 中使用设备名称,则系统可能会将设备挂载在错误的挂载点下。 - 在/etc/fstab中使用 _netdev 挂载选项。 因为iSCSI依赖网络访问远程设备,所以此选项可确保在网络和启动器启动之前,系统不会尝试挂载文件系统。
示例:
UUID="10f8d2d4-e412-4808-88c9-153f4c7b4696" /data xfs defaults,_netdev 0 0
还需要确保服务iscsi开机自动启动,该服务默认是开机自动启动的。
[root@client ~ 17:06:09]# systemctl enable iscsi
断开目标连接
要停止使用iSCSI目标,请执行以下步骤:
-
确保没有使用目标提供的任何设备。 例如,卸载文件系统。
-
从/etc/fstab等位置删除对目标的所有持久引用。
-
从iSCSI目标注销。
[root@client ~ 17:06:33]# iscsiadm -m node -T iqn.2025-08.cloud.sh.server:sdb \ > -p server:3260 -u Logging out of session [sid: 1, target: iqn.2025-08.cloud.sh.server:sdb, portal: 10.1.8.10,3260] Logout of [sid: 1, target: iqn.2025-08.cloud.sh.server:sdb, portal: 10.1.8.10,3260] successful
-
删除 iSCSI目标的本地记录,以使启动器在引导过程中不会自动登录到目标。
[root@client ~ 17:07:20]# iscsiadm -m node -T iqn.2025-08.cloud.sh.server:sdb \ > -p 10.1.8.10:3260 -o delete
故障处理
如果发现成功,但是启动器登录到发现的目标时遇到问题,则该问题很可能与访问控制或身份验证有关。客户端上的IQN与服务器上的IQN不匹配会导致目标登录失败。
如果问题是由于客户端上的启动器IQN不正确引起的,请在客户端的/etc/iscsi/initiatorname.iscsi文件中修复IQN,然后重新启动iscsid服务以使更改生效。
原因:iscsid 服务缓存了之前客户端扫描时使用的IQN。
处理方法:停止 iscsid 服务,释放之前客户端扫描时使用的IQN。
[root@client ~ 17:07:59]# systemctl stop iscsid# 重新发现
[root@client ~ 17:08:55]# iscsiadm -m discovery -t st -p server
10.1.8.10:3260,1 iqn.2025-08.cloud.sh.server:sdb# 重新登录
[root@client ~ 17:09:17]# iscsiadm -m node -T iqn.2025-08.cloud.sh.server:sdb -l
Logging in to [iface: default, target: iqn.2025-08.cloud.sh.server:sdb, portal: 10.1.8.10,3260] (multiple)
Login to [iface: default, target: iqn.2025-08.cloud.sh.server:sdb, portal: 10.1.8.10,3260] successful.