Exchange Server 2003群集系统方案（EX2000类似）精典收藏

tlczwyj · 发表于 2004-9-8 10:38:52

Exchange Server 2003 
群集系统方案 
2004-07-03 
目录 
 
1、需求场景 3 
2、配置方案 4 
2.1 方案一：标准配置 4 
2.2 方案二：精简配置 5 
3、安装配置步骤 6 
3.1 Windows Server 2003群集安装配置 6 
A、配置服务器与网络 6 
B、配置磁盘阵列柜 8 
C、配置服务器群集 9 
D、验证Windows Server 2003群集 13 
3.2 Exchange Server 2003群集安装配置 14 
A、Exchange 2003安装的Active Directory准备 14 
B、每个节点上安装Exchange Server 2003企业版 19 
C、创建配置Exchange 2003群集虚拟服务器 31 
1、需求场景 
许多企业采用了Exchange Server来提供企业邮件系统和办公系统后台协作服务，随着企业运作对邮件系统与办公系统的依赖，如何提高这些系统的高可靠性、高可用性已越来越引起企业的关注。 
为满足企业系统高可用性容错业务需求，我们推荐用户采用Windows Server 2003企业版、Exchange Server 2003企业版来构建其邮件应用与协作办公平台。由于Windows Server 2003以及Exchange Server 2003企业版中内置Cluster群集功能，外加一共享磁盘柜或SAN，2台服务器就能实现群集配置，节点服务器1与节点服务器2互为热备地对外提供服务，即充分利用了服务器硬件资源，又大大提高了整个业务应用与协作办公系统的高可用性，如下图所示： 
2、配置方案 
由于微软的Cluster群集配置必须要有域环境支持，依据域控制器是否有独立的物理服务器来承担，配置方案可分为两大类，暂且称为标准配置与精简配置，具体情况如下。 
2.1 方案一：标准配置 
此配置中，2台域控制器独立，承担AD域用户验证、DNS服务等功能。 
2.2 方案二：精简配置 
某些情况下，用户的环境无域存在，且仅有此2台服务器，此时可尝试将2台群集服务器兼作AD域控制器与DNS服务器。此混装精简配置方式会降低系统的可靠性与可用性，微软强烈建议采用独立的域控制器。 
3、安装配置步骤 
为清楚理解起见，下面以精简配置方案为例，来解说系统的安装配置并验证其可行性。 
3.1 Windows Server 2003群集安装配置 
Windows Server 2003的群集配置较Windows Server 2000又有了些简化，下面为2台DELL PowerEdge 4400，1台PowerVault 211S磁盘阵列柜为例，介绍其安装配置过程。 
两台服务器配置：2个9G SCSI 硬盘，1块DELL PERC 2/DC CARD，磁盘柜接在SCSI CARD上，一块集成的INTEL 8255X-BASED PCI网卡 ,一块INTEL PRO 100+ 网卡。 
磁盘阵列柜配置：6块9G SCSI 硬盘 
1根对接网线，2根网线，一台HUB 
在群集安装配置过程中，两台服务器开机/关机与磁盘陈列柜的加电/断电应遵循一定的次序，否则极有可能造成磁盘阵列柜损坏，其大体顺序如下： 
步骤节点1 节点2 磁盘 
阵列柜说明 
安装配置服务器与网络开机开机断电确保磁盘陈列柜存储设备断电，群集中的两台节点服务器开机安装Windows Server 2003企业版，然后配置网络。 
安装配置共享磁盘阵列柜（1）开机关机加电所有的节点服务器关机，共享磁盘柜加电，然后第一个节点服务器开机。 
安装配置共享磁盘阵列柜（2）关机开机加电关闭第一个节点服务器，然后第二个节点服务器开机。 
配置群集的第一个服务器节点开机关机加电所有的节点服务器关机，然后第一个节点服务器开机，然后启动Windows群集配置向导，开始配置群集。 
配置群集第二个服务器节点开机开机加电第一个节点服务器群集配置成功后，保持开机状态，第二个节点服务器开机，然后启动Windows群集配置向导，加入群集系统。 
群集安装后验证开机开机加电所有的节点保持开机状态。 
其详细安装配置步骤如下所示： 
A、配置服务器与网络 
 将两台服务器MS-Clus-01a和MS-Clus-01b连起来：两块INTEL 8255X-BASED PCI网卡用心跳线连接起来，两块INTEL PRO 100 +用2根网线接到HUB上； 
 两台服务器都打开，在两台服务器MS-Clus-01a和MS-Clus-01b上分别安装 Windows Server 2003企业版； 
 将服务器MS-Clus-01a配置为域控制器，取域名为（MyCompany.COM.CN）；并配置两块网卡的网络连接名与IP地址：INTEL 8255X-BASED PCI网卡设为“心跳连接”，IP为10.0.0.1，而INTEL PRO 100 + 设为“Public”，IP为192.0.0.1； 
 将服务器MS-Clus-01b作为域控制器加入到服务器Mycompany.COM.CN域中，并配置网络连接名与IP地址：INTEL 8255X-BASED PCI网卡设为“心跳连接”，IP为10.0.0.2，而INTEL PRO 100 + 设为“Public”，IP为192.0.0.2； 
 在MS-Clus-01b域控制上配置DNS服务，使其与MS-Clus-01a能互为复制； 
 重新启动服务器MS-Clus-01a和MS-Clus-01b，按 CTRL+M进入DELL PREC 2/DC 中配置PREC CARD： 
 将CLUSTER MODE 设置为ENABLE，方法：BJECTS---ADAPTER--- CLUSTRE MODE； 
 将PERC 2/DC的 BIOS设置为 DISABLE(实际上选ENABLE)； 
 将PERC 2/DC卡的 INITIATOR ID设置为服务器 MS-Clus-01a为 6，服务器MS-Clus-01b为7（注意Initiator ID必须为不一样）； 
 D. 退出PREC 卡设置，将服务器MS-Clus-01a和MS-Clus-01b关闭。 
B、配置磁盘阵列柜 
 将PowerVault 211S用SCSI线与服务器MS-Clus-01a的PREC 2/DC 相连。进入PREC 2/DC的BIOS配置磁盘阵列柜(PV 211S)的RAID,6块磁盘划分2组，2块做RAID1,4块做RAID5，然后选择INITIALIZE设置； 
 退出BIOS设置； 
 MS-Clus-01a开机进入WINDOWS 2003后，开始配置共享磁盘，其步骤如下： 
 点击开始菜单 -> 程序 -> 管理工具 -> 计算机管理。 
 点击[磁盘管理]，在右边面板中查看当前使用的磁盘。 
 自动显示签名和升级磁盘向导，否则右键点击灰色[磁盘0]并且点击[签名]。 
 点击[下一步]。 
 选择所有磁盘，点击[下一步]。 
 如果磁盘不需要进行升级，则取消选择所有选择的磁盘，点击[下一步]。 
 点击[完成]。 
 磁盘读写时必须作为基本状态。如果他们是动态，则右键点击每个磁盘，然后选择[还原到基本磁盘]。 
 右键点击第一个磁盘（磁盘0）并且选择[创建磁盘]。 
 点击[下一步]。 
 核对[主分区]是否被选择，然后点击[下一步]。 
 核对是否为最大磁盘空间可以使用，然后点击[下一步]。 
 分配第一个磁盘的盘符为Z，然后点击[下一步]。 
 核对NTFS格式文件系统被选择，然后点击[下一步]。 
 点击[完成]。 
 第一个磁盘格式完后，重复上述步骤，为每个磁盘创建驱动器，并且选择最后可用驱动器盘符。 
 关闭服务器MS-Clus-01a； 
注意：赋予的盘符最好从Z盘开始，同时要将认到的Z盘的状态，由动态设为基本状态，这样才能在下面的安装群集服务时才能通过。修改方法如下：右击我的电脑—管理--磁盘管理，右击磁盘0，选择设为基本状态。 
 关闭服务器MS-Clus-01a，将PowerVault 211S用SCSI线与服务器MS-Clus-01b的PREC 2/DC 相连，打开服务器MS-Clus-01b，在服务器MS-Clus-01b上配置共享磁盘，在这过程中保持服务器MS-Clus-01a关闭。其配置过程如下： 
 进入MS-Clus-01b 的PREC 2/DC的BIOS，因为服务器MS-Clus-01a已经将PowerVault 211S做了RAID，并且将硬盘格式化了，因而在服务器MS-Clus-01b上不用重做RAID，只用保存即可； 
 重新启动服务器MS-Clus-01b，并且已系统管理员的身份登录； 
 点击开始菜单 -> 程序 -> 管理工具 -> 计算机管理，然后选择[磁盘管理]； 
 右键点击[磁盘0]，选择[更改驱动器名和路径]； 
 点击[编辑]； 
 在指派驱动器号，改变当前盘符去选择盘符Z，然后点击[确定]； 
 点击[是]，进行确认改变驱动器盘符； 
 重复上述步骤，更改剩下的共享磁盘； 
 关闭MS-Clus-01b。 
C、配置服务器群集 
 在服务器MS-Clus-01a配置集群节点 
 启动服务器MS-Clus-01a； 
 单击[开始]—[管理工具]—[群集管理器]； 
 选择[创建新群集]，出现“新建服务器群集向导”，单击[下一步]； 
 键入群集名为“MS-Clus-01”，然后点击[下一步]； 
 输入计算机名为“MS-Clus-01a”, 然后点击[下一步]； 
 向导将分析配置，成功完成后可查看日志与详细信息，点击[下一步]； 
 输入群集虚拟IP地址“192.0.0.3”，[下一步]，输入群集服务账号（用户名与密码，为简化测试起见，该账号隶属于Domain Admins组），单击[下一步]； 
 　在“建议的群集配置”页中，点击[下一步]； 
 向导进入“正在创建群集”，创建成功后，点击[下一步]，然后[完成]； 
 群集MS-Clus-01创建完成，并配置了第一个节点MS-Clus-01a，如下所示； 
 在服务器MS-Clus-01b上配置群集节点（保持MS-Clus-01a为开机状态） 
 启动服务器MS-CLus-01b，进入磁盘管理器，可见到2共享磁盘如下： 
 单击[开始]—[管理工具]—[群集管理器]，选择“添加节点到群集”，出现“添加节点向导”，单击[下一步]； 
 选择计算机MS-Clus-01b添加到“所选计算机”栏内，单击[下一步]； 
 “添加节点向导”过渡到“正在分析配置”，完成后单击[下一步]； 
 输入群集服务账号密码，[先一步]，出现“建议”的群集配置，[下一步]； 
 向导开始添加节点到群集，完成后显示“已完成任务”，单击[下一步]，然后[完成]； 
D、验证Windows Server 2003群集 
 打开[群集管理器]，由于节点MS-Clus-01a先安装，“群集组”为MS-Clus-01a所有，在其上单击鼠标右键，选择[移动组]； 
 “群集组”从节点MS-Clus-01脱机，MS-Clus-01b联机挂起，最终到MS-Clus-01b联机状态，整个过程约30秒时间； 
“群集组”从群集节点MS-Clus-01a移动到节点MS-Clus-01b，说明群集安装成功，能够实现自动容错切换，具体到群集资源与参数等如何配置，这里不做讨论。至此，Windows Server 2003企业版双机群集功能配置完成。 
3.2 Exchange Server 2003群集安装配置 
在群集中部署 Exchange 与在非群集组织中部署 Exchange 相似，仅多了一个手动配置Exchange虚拟服务器的步骤，具体来说，步骤如下： 
 Exchange 2003安装的Active Directory准备 
 每个节点上安装 Exchange Server 2003企业版 
 创建配置Exchange 2003群集虚拟服务器 
A、Exchange 2003安装的Active Directory准备 
这一步同非群集的安装完全相识，为实现Exchange 2003能在域中安装，需在Active Directory域控制器上运行ForesPrep与DomainPrep，扩展AD域的Schema架构。 
运行 ForestPrep 
在目录林中的任意位置安装 Exchange 2003 之前，必须扩展 Windows Active Directory 架构。要完成此任务，必须运行 ForestPrep。(注意只有在组织中首次安装 Exchange 2003时，才需运行ForestPrep。如果组织中已安装了 Exchange 2003，则不需要运行 ForestPrep。)，安装截屏如下： 
 在MS-Clus-01a或MS-Clus-01b上放入Exchange Server 2003企业版安装光盘，界面启动后，选择“Exchange 部署工具”；“Exchange Server 部署工具”界面，选择“部署第一台Exchange 2003服务器”—〉“安装全新的Exchange 2003”—〉“立即运行ForestPrep”； 
 “Microsoft Exchange 安装向导”启动，单击[下一步]； 
 “许可协议”界面，选择“我同意”，单击[下一步]； 
 “组件选择”界面，确保“ForesPrep”被选择，单击[下一步]； 
 “Microsoft Exchange 服务器管理员账户”界面，输入帐户名，单击[下一步]； 
 组件开始安装，耐心等待；安装完成后，单击[完成]即可； 
运行 DomainPrep 
必须为每一个将要安装 Exchange 2003 的Windows Server 2003 域运行 DomainPrep。但是，在运行 DomainPrep 之前，ForestPrep必须已完成架构更新的复制。（注意：只有在域中首次安装 Exchange 2003 时，才需要运行 DomainPrep。），其安装截屏如下： 
 在节点服务器MS-Clus-01a的“Exchange Server 部署工具”界面，单击“立即运行DomainPrep”，启动“Microsoft Exchange安装向导”，单击[下一步]； 
 “许可协议”界面，选择“我同意”，单击[下一步]； 
 “组件选择”界面，确保“DomainPrep”操作选中，单击[下一步]—>[确定]，然后等待安装，完成时会显示安装完成界面，单击[完成]即可； 
B、每个节点上安装Exchange Server 2003企业版 
使用 ForestPrep 扩展了Schema架构，并使用 DomainPrep让域做好准备之后，即可开始在群集节点上安装 Exchange Server 2003企业版。安装时，应确保以下几项： 
 每个节点都在运行群集服务； 
 每个节点安装启用必需的Windows服务； 
 安装Microsoft分布式事务协调器； 
 在群集每个节点上先后安装Exchange 2003； 
确保每个节点都在运行群集服务 
要在群集中的服务器上成功安装 Exchange 2003，群集节点必须安装并运行Windows群集服务。 
1. 登录到群集中的任意节点，如MS-Clus-01a； 
2. 打开“群集管理器”； 
3. 确保所有群集节点都已“联机”。 
每个节点安装并启用必需的 Windows 服务 
Exchange 2003 安装程序要求在服务器上安装并启用下列组件和服务： 
• .NET Framework 
• ASP.NET 
• Internet 信息服务 (IIS) 
• World Wide Web 服务 
• 简单邮件传输协议 (SMTP) 服务 
• 网络新闻传输协议 (NNTP) 服务 
 在Windows控制面板中，启动“添加或删除程序”，选择“添加/删除Windows组件”，选择“应用程序服务器”，单击[详细信息(D)…]； 
 “应用程序服务器”界面，选择“ASP.NET”与“Internet 信息服务（IIS）”，定位于“Internet 信息服务（IIS）”上，单击[详细信息(D)…]，然后选择“Internet 信息服务管理器”、“NNTP Service”与“SMTP Service”，单击[确定]—〉[确定]—〉[下一步]，进行Windows组件安装与更新。 
安装 Microsoft 分布式事务协调器 
在运行 Windows Server 2003的服务器上安装 Exchange 2003 之前，必须首先在群集上安装 Microsoft 分布式事务协调器 (MSDTC)。 
1. 登录到群集中的任意节点，如MS-Clus-01a； 
2. 单击“开始”，指向“所有程序”，再指向“管理工具”，然后单击“群集管理器”； 
3. 在“群集组”下，以鼠标右键单击“群集组”，指向“新建”，再单击“资源”； 
4. 在“新建资源”的“名称”框中，键入名称，如“MSDTC”；在“资源类型”列表中，选择“分布式事务协调器（DTC）”，在“组”列表中，确保选中了“群集组”，然后单击[下一步]； 
5. 验证所有节点（MS-CLUS-01A与MS-CLUS-01B）都已出现在“可能的所有者”列表中，然后单击“下一步”； 
6. 选择仲裁磁盘“磁盘Z:”和“群集名”资源作为依存资源，单击[完成]。 
7. 以鼠标右键单击“群集组”，再单击“联机”，使得分布式事务协调器资源“MSDTC”联机在线。 
每个节点运行 Exchange 安装程序 
此任务是在每个节点上安装 Exchange 2003 的群集版本。在节点上安装 Exchange 2003 之前，建议将该节点所拥有的所有群集资源移至另一个节点（要点：请在一个节点上完成 Exchange 2003 安装之后，再开始在另一个节点上安装）。 
 在节点MS-Clus-01a上的“Exchange Server 部署工具”界面，单击“立即运行安装程序”，启动安装向导； 
 “组件选择”界面，确保操作选择“典型”，单击[下一步]；然后选择“新建 Exchange 组织”，单击[下一步]；输入组织名，如“MyCompany组织”，单击[下一步]； 
 输入简单组织名，如“MyCompanyOrg”，单击[下一步]；选择“我同意”，单击[下一步]；输入简单管理组名，如“MyCompanyOrg”，点击[下一步]； 
 
 “安装摘要”界面，点击[下一步]，Exchange组件开始安装，耐心等待，安装完成后，单击[完成]即可； 
 
 然后转到群集另一节点MS-Clus-01b，启动“Exchange Server 部署工具”，单击“立即运行安装程序”，启动Exchange安装向导； 
 “组件选择”界面，确保操作选择“典型”，单击[下一步]；选择“我同意”，单击[下一步]；“安装摘要”界面，单击[下一步]； 
 Exchange组件开始安装，耐心等待，安装完成后，单击[完成]即可； 
 
C、创建配置Exchange 2003群集虚拟服务器 
在群集上配置 Exchange 2003的最后一步是创建 Exchange 群集虚拟服务器，此步骤包含下列任务： 
 创建用来容纳 Exchange 虚拟服务器的组； 
 创建 IP 地址资源； 
 创建网络名称资源； 
 向 Exchange虚拟服务器添加磁盘资源； 
 创建 Exchange 2003系统助理资源； 
创建用来容纳 Exchange 虚拟服务器的组 
要创建 Exchange 虚拟服务器（即带有 Exchange 资源的Windows Server 2003 群集组），必须创建静态 IP 地址、唯一的网络名、共享物理磁盘和 Exchange 系统助理资源。 
在任意服务器节点（如MS-Clus-01a）启动“群集管理器”，新建一个“组”来容纳Exchange虚拟服务器资源；由于本试验中，共享磁盘柜仅划分了2个磁盘，因此就借用原有的“群集组”来安装配置Exchange虚拟服务器，将“群集组”更名为“群集&Exchange组”，如下图。 
创建 IP 地址资源 
1. 在“群集管理器”控制台中，以鼠标右键单击在“群集&Exchange组”，再指向“新建”，然后单击“资源”； 
2. 新建资源向导将启动。在“名称”框中，键入“MS-Clus-Exch IP”，其中，MS-Clus-Exch是 Exchange 虚拟服务器的名称；在“资源类型”列表中，选中“IP 地址”；“组”框选择“群集&Exchange组”，然后单击[下一步]； 
3. 在“可能的所有者”界面，在“可能的所有者”下，确保所有群集节点都已列出，然后单击[下一步]； 
 
4. 在“依存”界面，在“资源依存”下面，验证没有列出任何资源，然后单击[下一步]； 
5. 在“TCP/IP 地址参数”对话框中，在“地址”框中，键入 Exchange 虚拟服务器的静态 IP地址（注意：强烈建议 Exchange 虚拟服务器拥有自己专用的静态 IP 地址，该地址应当与群集管理器中定义的所有其他资源（包括仲裁磁盘资源）分开）；在“子网掩码”框中，验证 Exchange 虚拟服务器的子网掩码正确无误；在“网络”列表中，验证“Public”已选中；确保已选中“为此地址启用 NetBIOS”复选框（如果此地址禁用 NetBIOS，则基于 NetBIOS 的网络客户端将不能通过此 IP 地址访问群集服务），然后单击[完成]。 
 
创建网络名称资源 
1. 以鼠标右键单击“群集&Exchange组”，指向“新建”，再单击“资源”。 
2. 新建资源向导启动，在“名称”框中，输入“MS-Clus-Exch Network Name”；“资源类型”列表中，选中“网络名称”。验证组框选中“群集&Exchange组”，单击[下一步]； 
3. 在“可能的所有者”界面，在“可能的所有者”下，验证已列出所有节点，单击[下一步]； 
4. 在“依存”界面，在“可用资源”下，为 Exchange 虚拟服务器选中“MS-Clus-Exch IP”资源，然后单击“添加”，再单击[下一步]； 
5. 在“网络名称参数”对话框中，在“名称”框中，输入“MS-Clus-Exch”，单击[完成]。 
向Exchange虚拟服务器添加磁盘资源 
必须为与 Exchange群集虚拟服务器关联的每个磁盘添加一个磁盘资源。这一节包括下列步骤： 
• 如果要添加的磁盘资源已存在，执行移动现有磁盘资源； 
• 如果要添加的磁盘资源还不存在，执行创建新磁盘资源； 
• 如果正在使用已装入的驱动器，请执行添加已装入驱动器； 
由于本试验中，共享磁盘柜仅划分了2个磁盘，其中已Y:盘用作mail数据库数据存储，因此Exchange虚拟服务器磁盘资源就借助仲裁磁盘Z：盘来实现。 
创建 Exchange 2003 系统助理资源 
1. 在“群集管理器”控制台内，以鼠标右键单击“群集&Exchange组”，然后单击“联机”； 
2. 以鼠标右键单击“群集&Exchange组”，指向“新建”，再单击“资源”，启动新建资源向导，在“名称”框中，键入“Exch System Attendant - <MS-Clus-Exch>”；“资源类型”列表中，选中“Microsoft Exchange System Attendant”；验证“组”框已选择“群集&Exchange组”，然后单击[下一步]； 
3. 在“可能的所有者”界面，在“可能的所有者”下，验证所有节点已列出，单击[下一步]； 
4. 在“依存”界面，在“可用资源”下，为该Exchange 虚拟服务器选中“网络名称”和“物理磁盘”资源，然后单击“添加”，单击[下一步]； 
5. 在“Exchange 管理组”界面，在“管理组名称”列表中，选中“第一个管理组”，然后单击[下一步]。 
6. 在“Exchange 路由组”界面，在“路由组名称”列表中，选中“第一个管理组/第一个路由组”，然后单击[下一步]； 
7. 在“数据目录”界面的“输入数据目录路径”框中，验证数据目录位置在共享磁盘（本试验中为Z:盘）；Exchange 将使用在该步骤中选中的驱动器来存储事务日志文件、默认公用存储文件和邮箱存储文件（pub1.edb、pub1.stm、priv1.edb 和 priv1.stm），单击[下一步]—〉[完成]—〉[确定]； 
8. 在成功创建 Exchange 系统助理资源之后，Exchange 系统助理将为 Exchange 群集虚拟服务器自动创建下列其他资源： 
• Exchange 信息存储实例 
• Exchange 邮件传输代理实例 
• Exchange 路由服务实例 
• SMTP 虚拟服务器实例 
• Exchange HTTP 虚拟服务实例 
• Exchange MS 搜索实例 
9. 创建 Exchange 虚拟服务器之后，在“群集管理器”中，以鼠标右键单击“群集&Exchange组”，然后单击“联机”。 
 
至此，Exchange 2003群集服务器安装配置完成，有关Exchange 2003群集系统的安装配置详细事项，请参阅“Exchange Server 2003 Deployment Guide”

yinjie · 发表于 2004-9-8 21:07:40

<a target=_blank href=http://www.winmag.com.cn/forum/bestview.asp?boardid=12&id=1048>http://www.winmag.com.cn/forum/bestview.asp?boardid=12&id=1048</a> 
 
转载请注明出处,谢谢~

抽象派 · 发表于 2004-9-9 10:44:28

收下了。谢谢分享

dull · 发表于 2005-5-7 15:05:27

哇,太复杂了吧

85501188 · 发表于 2005-5-7 22:34:33

先保存备用吧,以后应该能用上的

chinesecai · 发表于 2006-11-5 12:04:05

强烈希望有标准配置的方案
AD1＋AD2
EX-CLUSTER

nbskymaster · 发表于 2007-7-5 13:34:03

不怎么明白,学习中
为了数据安全,太复杂了点,对于新手难弄啊

pater · 发表于 2007-7-5 14:19:08

為了自己了，為了將來。。。還是COPY一下，，，

brian_19 · 发表于 2007-7-27 09:42:05

谢谢分享啊

skypeng · 发表于 2008-7-23 09:48:41

		自动登录	找回密码
密码			会员注册

Exchange Server 2003群集系统方案（EX2000类似）精典收藏

re:http://www.winmag.co...

re:收下了。谢谢分享

re:哇,太复杂了吧

re:先保存备用吧,以后应该能用上的