12
返回列表 发新帖
楼主: Sky-Tiger

构建大型云计算平台分布式技术的实践

[复制链接]
论坛徽章:
350
2006年度最佳版主
日期:2007-01-24 12:56:49NBA大富翁
日期:2008-04-21 22:57:29地主之星
日期:2008-11-17 19:37:352008年度最佳版主
日期:2009-03-26 09:33:53股神
日期:2009-04-01 10:05:56NBA季后赛大富翁
日期:2009-06-16 11:48:01NBA季后赛大富翁
日期:2009-06-16 11:48:01ITPUB年度最佳版主
日期:2011-04-08 18:37:09ITPUB年度最佳版主
日期:2011-12-28 15:24:18ITPUB年度最佳技术原创精华奖
日期:2012-03-13 17:12:05
11#
 楼主| 发表于 2014-8-2 19:36 | 只看该作者
获取产品分发包
在开始之前,您需要获取上面列出的每个软件产品。 您的计算机上必须有 30GB 的磁盘可用空间用于分发包和创建的虚拟机。
您可以通过公司获取这些产品和技术的分发包,也可以通过提供的网络进行下载。无论采用哪种方法,您都需要获取产品的许可证。列表中的前三个产品都有免费的限时许可证,Eclipse 许可证是免费的,没有时间限制。有关每个产品的其他链接,请参考本教程的 参考资料 部分。
注意:确保您的 Red Hat Enterprise Linux、IBM InfoSphere Streams 和 Eclipse 版本相同(32 位或者 64 位)。
VMware Workstation for Windows, release 7,或者 VMware Fusion for Mac OS X, version 3。
请参考 http://www.vmware.com/products/ 获取 VMware 产品。该分发包是一个可执行的安装程序,约有 400MB。根据操作系统的不同,该软件包的名称类似于 VMware-workstation-full-7.0.1-227600.exe(用于 Microsoft Windows)或 Vmware-Fusion-3.0.0-204229.dmg(用于 Mac OS X)。
Red Hat Enterprise Linux, release 5。
请参考 https://www.redhat.com/rhel/server/ 获取 Red Hat Enterprise Linux 产品。该分发包是一个 3,330MB 的 DVD 磁盘映像。64 位版本类似于 RHEL5.4-Server-20090819.0-x86_64-DVD.iso。
IBM InfoSphere Streams, release 1.2。
请参考 https://www14.software.ibm.com/w ... e=SWG-STREAMS_TRIAL 获取 IBM InfoSphere Streams 的试用版。该分发包是一个约 300MB 的压缩目录归档文件。它的名称为 Streams-1.2.0-i386-el5-trial.tar.gz(32 位版本)或者 Streams-1.2.0-x86_64-el5-trial.tar.gz(64 位版本)。
如果您使用 IBM InfoSphere Streams 试用版,您还需要从获取分发包的网站下载许可证文件。许可证文件名为 LicenseCert_1.0.0.0.trial.txt。
Eclipse 集成开发平台 3.5 版以及用于 Eclipse 的 IMP 技术 0.1.v201001291500 版。
Eclipse 分发包是一个约 160MB 的压缩目录归档文件。64 位版本的名称类似于 eclipse-SDK-3.5.2-linux-gtk-x86_64.tar.gz。
您还需要用于 Eclipse 平台的 IMP 技术,下载地址是 http://download.eclipse.org/technology/imp/。InfoSphere Streams 需要 IMP 技术 v0.1.v201001291500 版。IMP 技术分发包是一个约 45MB 的压缩目录归档文件,名称为 org.eclipse.imp.update_0.1.v201001291500.zip。

使用道具 举报

回复
论坛徽章:
350
2006年度最佳版主
日期:2007-01-24 12:56:49NBA大富翁
日期:2008-04-21 22:57:29地主之星
日期:2008-11-17 19:37:352008年度最佳版主
日期:2009-03-26 09:33:53股神
日期:2009-04-01 10:05:56NBA季后赛大富翁
日期:2009-06-16 11:48:01NBA季后赛大富翁
日期:2009-06-16 11:48:01ITPUB年度最佳版主
日期:2011-04-08 18:37:09ITPUB年度最佳版主
日期:2011-12-28 15:24:18ITPUB年度最佳技术原创精华奖
日期:2012-03-13 17:12:05
12#
 楼主| 发表于 2014-8-2 19:36 | 只看该作者
安装 VMware
VMware Workstation(用于 Microsoft Windows 操作系统)或 VMware Fusion(用于 Mac OS X 操作系统)允许您为计算机创建虚拟机。在该虚拟机中,您还可以运行 Red Hat Enterprise Linux,这是 InfoSphere Streams 需要的操作系统。
教程的这个部分概述安装 VMware 的步骤。有关更多详细信息,请参考本教程 参考资料 部分的 VMware Workstation 用户手册 链接或者 VMware Fusion 入门 手册。
定位 VMware 分发包
定位您的 VMware 分发包。根据操作系统的不同,分发包的名称可能类似于 VMware-workstation-full-7.0.1-227600.exe(用于 Microsoft Windows),也可能类似于 Vmware-Fusion-3.0.0-204229.dmg(用于 Mac OS X)。
该文件包含 VMware 安装程序。
安装 VMware Workstation 或 VMware Fusion
从分发包安装 VMware Workstation 或 VMware Fusion 产品的过程与在计算机安装其他产品的过程是一样的。
按照评估或购买许可证的指南获取许可证密钥。要激活产品,启动 VMware 应用程序。然后,在菜单栏中选择 VMware > License ...。
复制许可证密钥并粘贴到 “Licensing” 对话框的 Serial Number 字段中。

使用道具 举报

回复
论坛徽章:
350
2006年度最佳版主
日期:2007-01-24 12:56:49NBA大富翁
日期:2008-04-21 22:57:29地主之星
日期:2008-11-17 19:37:352008年度最佳版主
日期:2009-03-26 09:33:53股神
日期:2009-04-01 10:05:56NBA季后赛大富翁
日期:2009-06-16 11:48:01NBA季后赛大富翁
日期:2009-06-16 11:48:01ITPUB年度最佳版主
日期:2011-04-08 18:37:09ITPUB年度最佳版主
日期:2011-12-28 15:24:18ITPUB年度最佳技术原创精华奖
日期:2012-03-13 17:12:05
13#
 楼主| 发表于 2014-8-2 19:36 | 只看该作者
安装和配置 Red Hat Enterprise Linux
Red Hat Enterprise Linux 为 InfoSphere Streams 和 Eclipse 提供操作系统。
按照本节以下的步骤在 VMware 提供的虚拟机上安装 Red Hat Enterprise Linux。有关更多信息,请参考本教程的 参考资料 部分获取 Red Hat Enterprise Linux 安装指南 和 部署指南 的链接。
注意:Red Hat Enterprise Linux、InfoSphere Streams 和 Eclipse 既有 32 位也有 64 位版本。您可以使用这 2 个版本,但所有 3 个产品必须使用相同的版本。
定位 Red Hat Enterprise Linux 分发包
定位 Red Hat Enterprise Linux 分发包文件。该文件包含一个 DVD 磁盘映像,其中包含了 Red Hat Enterprise Linux 安装程序。64 位版本类似于 RHEL5.4-Server-20090819.0-x86_64-DVD.iso。
开始安装 Red Hat Enterprise Linux
按照这些步骤在计算机中创建虚拟机,并开始在其中安装 Red Hat Enterprise Linux。您的计算机磁盘驱动器上需要 20GB 的空闲空间用于虚拟机磁盘。
启动上一节中安装的 VMware 应用程序。
在 VMware 菜单栏,选择 File > New ...。
在 “Create a new virtual machine” 对话框中,单击 continue without a disc。
在 “Installation Media” 对话框,单击 Use operating system installation disc image file,选择包含 Red Hat Enterprise Linux 分发包的 .iso 文件(图 2),然后单击 Continue。
图 2. VMware Installation Media 是一个 RHEL DVD 映像
Installation Media 对话框,高亮显示该步骤的选择。
在 “Choose Operating System” 对话框,验证 Operating System 字段设置为 Linux。
同样,在 “Choose Operating System” 对话框,验证 Version 字段设置为 Red Hat Enterprise Linux 5 或 Red Hat Enterprise Linux 5 64-bit,具体根据您下载的是 32 位还是 64 位版本,然后单击 Continue。
看到出现提供自动安装 Linux 的对话框时,选择手动安装。可以取消选择 Use Easy Install 选项(图 3),或者选择 I will install the operating system later。这可以确保您可以看到下文描述的所有 Red Hat Enterprise Linux 安装对话框。
图 3. 禁用 VMware Linux Easy Install 选项
Linux Easy Install 选项,没有选择 Use Easy Install 选项
在 “Finish” 对话框,接受默认的虚拟机配置。
在 “RED HAT ENTERPRISE LINUX 5” 对话框,访问启动提示符并按 Enter/Return 键。
在 “CD Found” 对话框,验证选择了 Skip(使用键盘而不是鼠标),然后按 Enter/Return 键。
在 “Language Selection” 对话框,单击 Next。
在 “Installation Number” 对话框,选择 Skip entering installation number,单击 OK,然后单击 Skip。
在 “Partition Table” 警告对话框,单击 Yes。
在 “Partitioning Layout” 对话框,验证选择了 Remove Linux partitions on selected drive and create default layout,单击 Next,然后单击 Yes。
在 “Network Devices” 对话框,验证定义并激活了名为 eth0 的虚拟 ethernet 设备(图 4),然后单击 Next。
图 4. 正在验证 ethernet 的 RHEL 界面
Network Devices 对话框,展示定义并激活了名为 eth0 的设备
在 “Region” 对话框,选择本地时间区域并单击 Next。
在 “Root Account” 对话框,输入密码两次,并单击 Next。 务必记住该密码 —— 本教程的后续步骤中需要输入几次。
在 “Software Customization” 对话框,选择 Software Development 选项(图 5),选择 Customize now,然后单击 Next。
图 5. 正在选择软件开发包的 RHEL
Software Customization 对话框,选择了 Software Development。
在 “Software Packages” 对话框,接受每个类别的最后一个默认包以及您需要的其他包,然后单击 Next。
再次单击 Next 启动 Linux 安装过程。Linux 安装过程可能需要 15 到 20 分钟,不需要进一步交互。
Linux 安装过程提示您重启时,执行。
完成安装的 Red Hat Enterprise Linux
在 Linux 安装过程重启之后,按照以下步骤完成 Red Hat Enterprise Linux 的安装。
在 “Welcome” 对话框,接受默认值并单击 Forward。
在 “License Agreement” 对话框,接受默认值并单击 Forward。
在 “Firewall” 对话框,验证选择了 SSH 服务(图 6),单击 Forward,然后单击 Yes。
图 6. 正在启动 SSH 服务的 RHEL
Firewall dialog with SSH selected.
在 “SELinux Setting” 对话框,选择 Permissive(图 7)。(需要选择 Enforcing 或 Disabled。)单击 Forward,然后单击 Yes。(有关 SELinux 的更多信息,请参见本教程的 SELinux 注意事项 部分。)
图 7. 正在更改 SELinux 的 RHEL
图 7. 正在更改 SELinux 的 RHEL
在 “Kdump” 对话框,接受默认值并单击 Forward。
在 “Date and Time” 对话框,设置日期和本地时间,然后单击 Forward。
在 “Software Updates” 对话框,选择 No, I prefer to register at a later time,单击 Forward,单击 No, thanks,然后再次单击 Forward。
在 “Create User” 对话框,不要输入任何名称或密码,只需要单击 Forward,然后单击 Continue。
在 “Sound Card” 对话框,单击 Play 进行测试,然后单击 Forward。
在 “Additional CDs” 对话框,单击 Finish。
如果收到提示,按提示再次重启 Linux。
Linux 重启之后,它将提示您登录,使用用户名 root 和在 “Root Account” 对话框中指定的密码(上一节中介绍的步骤)。作为根用户登录时,必须执行以下步骤配置 Linux。但是,InfoSphere Streams 不需要根权限。本教程的后续步骤将指导您如何为 InfoSphere Streams 创建 Linux 用户帐户。

使用道具 举报

回复
论坛徽章:
350
2006年度最佳版主
日期:2007-01-24 12:56:49NBA大富翁
日期:2008-04-21 22:57:29地主之星
日期:2008-11-17 19:37:352008年度最佳版主
日期:2009-03-26 09:33:53股神
日期:2009-04-01 10:05:56NBA季后赛大富翁
日期:2009-06-16 11:48:01NBA季后赛大富翁
日期:2009-06-16 11:48:01ITPUB年度最佳版主
日期:2011-04-08 18:37:09ITPUB年度最佳版主
日期:2011-12-28 15:24:18ITPUB年度最佳技术原创精华奖
日期:2012-03-13 17:12:05
14#
 楼主| 发表于 2014-8-2 19:37 | 只看该作者
安装 VMware 工具
通过在 Linux 虚拟机安装 VMware 工具包,您可以访问 Linux 和 Windows(或 Mac OS X)之间的便捷访问以执行通用用户任务。
在安装 VMware Tools 包之前,请确保 Red Hat Enterprise Linux 磁盘映像与虚拟机的 CD/DVD 驱动器断开了连接。如果没有,您可以右键单击其 Linux Desktop 按钮,然后从上下文菜单中选择 Eject 来断开连接。
磁盘映像从虚拟 CD/DVD 驱动器弹出后,按照以下步骤安装 VMware Tools 包。
在 VMware 菜单栏,选择 Virtual Machine > Install VMware Tools(图 8)。
图 8. 正在装载 VMware Tools DVD 映像的 RHEL
VMware 的 Virtual Machine > Install VMware Tools 选择路径。
当 Linux Desktop 上出现 “VMware Tools” 窗口时,双击其按钮,使用 Archive Manager 打开 VMwareTools -xxxx.tar.gz 包。
在 Archive Manager 中,选择 vmware-tools-distrib 包并将其解压到 Linux Desktop。
双击其按钮在桌面上打开 vmware-tools-distrib 文件夹。
双击文件夹中按钮运行 vmware-install.pl 程序,然后单击 run in terminal(图 9)。
图 9.正在执行 VMware Tools 安装程序的 RHEL
屏幕截图,展示执行第 2 步到第 5 步之后在桌面上打开的窗口和对话框。
对于 vmware-install.pl 程序出现的每个终端窗口提示,按 Enter/Return 键接受默认值。
设置网络主机名和域名
按照以下步骤设置 Linux 虚拟机的主机名(例如 yourhost)和域名(例如 yourdomain.com),并将其绑定到名为 eth0 的虚拟 ethernet 设备的 IP 地址。
使用 Linux Desktop 菜单栏并选择 Applications > Accessories > Terminal 打开 Linux Terminal 窗口(不是 Mac OS X Terminal 窗口)。
要查找虚拟 ethernet 适配器的 IP 地址,在 Linux Terminal 窗口中输入以下命令:
/sbin/ifconfig -a

在 eth0 后面一行,inet addr 之后的就是虚拟机 ethernet 设备的 IP 地址。该地址的范围为 192.168.xxx.yyy,如图 10 所示。
图 10. 显示虚拟 ethernet IP 地址的 RHEL
Linux Terminal 窗口,高亮显示 /sbi/ifconfig 命令得到的 IP 地址部分
在 Linux Desktop 菜单栏,选择 System > Administration > Network 打开 “Network Configuration” 窗口。提示时,输入根用户的密码。
在 “Network Configuration” 窗口,单击 DNS 选项卡。
在 Hostname 字段,以 yourhost.yourdomain.com 格式输入主机名和主机域(图 11)。
图 11.正在配置 /etc/sysconfig/network 文件的 RHEL
Network Configuration 窗口,选择了 DNS 选项卡,并以 myhost.mydomain.com 形式输入主机名
在 Network Configuration 菜单栏,选择 File > Save。
您的主机名和主机域现在保存在 /etc/sysconfig/network 文件中,该文件如下所示:
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=yourhost.yourdomain.com
单击 Hosts 选项卡。
单击 New 按钮显示 “Add / Edit Hosts entry” 窗口,然后按照以下描述填写,如图 12 所示:
在 Address 字段中,输入虚拟 ethernet 适配器的 IP 地址。这个地址的格式您在步骤 2 中已经确定,格式为 192.168.xxx.yyy。
在 Hostname 字段,输入您在 DNS 选项卡中输入的 Hostname 字段。
在 Aliases 字段,输入您的主机名(例如,yourhost)。
图 12.正在配置 /etc/hosts 文件的 RHEL
Add / Edit Hosts entry 窗口,带有本步骤中介绍的 Address、Hostname 和 Aliases 字段
单击 “Add / Edit Hosts entry” 窗口上的 OK 按钮,然后在 Network Configuration 菜单栏选择 File > Save。
您的主机名、主机域和 IP 地址现在已经保存在 /etc/hosts 文件中,该文件如下所示:
127.0.0.1       localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6
192.168.199.135 yourhost.yourdomain.com yourhost
按照以下步骤重启 Linux 网络接口:
访问 Linux Desktop 菜单栏并选择 System > Administration > Server Settings > Services 打开 “Service Configuration” 窗口。
获得提示时,再次输入根密码。
在 Background Services 选项卡,滚动整个服务列表,选择 network 然后验证勾选了 左边的复选框。
单击列表顶部的 Restart 按钮。
出现指示成功重启网络的对话框时,单击 OK。
在 Linux Terminal 窗口输入以下命令,验证正确设置了所有的主机名、域名和 IP 地址,并确认它们都打印指示的值:
hostname  --fqdn        ... should print 'yourhost.yourdomain.com'
hostname  --short       ... should print 'yourhost'
hostname  --domain      ... should print 'yourdomain.com'
hostname  --ip-address  ... should print '192.168.xxx.yyy'
ping yourhost... should print 'PING yourhost.yourdomain.com (192.168.xxx.yyy)'

使用道具 举报

回复
论坛徽章:
350
2006年度最佳版主
日期:2007-01-24 12:56:49NBA大富翁
日期:2008-04-21 22:57:29地主之星
日期:2008-11-17 19:37:352008年度最佳版主
日期:2009-03-26 09:33:53股神
日期:2009-04-01 10:05:56NBA季后赛大富翁
日期:2009-06-16 11:48:01NBA季后赛大富翁
日期:2009-06-16 11:48:01ITPUB年度最佳版主
日期:2011-04-08 18:37:09ITPUB年度最佳版主
日期:2011-12-28 15:24:18ITPUB年度最佳技术原创精华奖
日期:2012-03-13 17:12:05
15#
 楼主| 发表于 2014-8-2 19:37 | 只看该作者
创建 Linux 用户帐户
接下来,需要为 InfoSphere Streams 创建一个 Linux 用户帐户。
如果您的计算机运行的是 Mac OS X,并且您希望在虚拟机和计算机之间共享文件,那么您应该使用计算机用户帐户的用户名和用户编号创建 Linux 用户帐户。如果不是 Mac OS X,则可以使用任何 Linux 用户名称并接受默认的用户编号。
如果需要查找您的 Mac OS X 用户编号,则可以在计算机上打开 Terminal 窗口(不是虚拟机)并输入以下命令:
id
uid= 后面的数字就是您的用户编号。
按照以下步骤创建一个 Linux 用户帐户。
在 Linux Desktop 菜单栏,选择 System > Administration > Users and Groups。
在 “User Manager” 窗口,单击 Add User。
输入用户名和密码。
选择 Specify user ID manually。
输入用户编号。
单击 OK。
登录 Linux 用户帐户
剩下的 Linux 配置步骤可以通过您的 Linux 用户帐户完成。按照以下步骤注销根帐户,并以刚刚创建的 Linux 用户登录。
在 Linux Desktop 菜单栏,选择 System > Log out 'root' ...。
注销之后,当 Linux 提示您再次登录时,输入 Linux 用户名和密码登录 Linux 用户帐户。
为您的 Linux 用户帐户创建 SSH 密钥对
按照以下步骤为您的 Linux 用户帐户创建 SSH 密钥对。
在 Linux Desktop 菜单栏,选择 Applications > Accessories > Terminal 打开 Linux Terminal 窗口。
要创建 SSH 密钥对,在 Linux Terminal 窗口中输入以下命令:
ssh-keygen -t dsa
提示时按 Enter/Return,直到完成 ssh-keygen 程序为止。
在 Linux Terminal 窗口输入以下命令:
cat ./.ssh/id_dsa.pub >> ./.ssh/authorized_keys
chmod 0600 ./.ssh/*
验证 SSH 是否正常运行 —— 在 Linux Terminal 窗口提示符输入以下命令,确定所有的响应都是您的用户名:
ssh localhost whoami
ssh yourhost whoami
ssh yourhost.yourdomain.com whoami
ssh 192.168.xxx.yyy whoami

使用道具 举报

回复
论坛徽章:
350
2006年度最佳版主
日期:2007-01-24 12:56:49NBA大富翁
日期:2008-04-21 22:57:29地主之星
日期:2008-11-17 19:37:352008年度最佳版主
日期:2009-03-26 09:33:53股神
日期:2009-04-01 10:05:56NBA季后赛大富翁
日期:2009-06-16 11:48:01NBA季后赛大富翁
日期:2009-06-16 11:48:01ITPUB年度最佳版主
日期:2011-04-08 18:37:09ITPUB年度最佳版主
日期:2011-12-28 15:24:18ITPUB年度最佳技术原创精华奖
日期:2012-03-13 17:12:05
16#
 楼主| 发表于 2014-8-2 19:37 | 只看该作者
安装其他 Linux RPM 包
在安装 InfoSphere Streams 本身之前,需要在虚拟机行安装很多它所依赖的 Linux 软件包,称为 RPM。这些包有些已经在上述 Linux 安装过程中选择 Software Development 安装。以下步骤安装几个随 Red Hat Enterprise Linux 一起分发的包。RPM 必须使用根用户特权才能安装。在本教程的后面部分,您可以使用 InfoSphere Streams 分发更多的包。
访问 VMware 菜单栏并选择 Virtual Machine > CD/DVD > Connect CD/DVD 重新连接下载到虚拟机 CD/DVD 的磁盘映像。
在 Linux Desktop 菜单栏,选择 Applications > Accessories > Terminal 打开 Linux Terminal 窗口。
在 Linux Terminal 窗口输入以下命令:
su
cd /media/red-hat-enterprise-linux-disc-image/Server/
rpm -ivh binutils-devel-*.rpm
rpm -ivh libicu-devel-*.rpm
rpm -ivh libtool-ltdl-*.rpm
rpm -ivh perl-Digest-*.rpm
rpm -ivh perl-XML-Parser-*.rpm         
rpm -ivh perl-XML-Simple-*.rpm
rpm -ivh perl-XML-NamespaceSupport-*.rpm
rpm -ivh perl-XML-SAX-*.rpm
exit

输入 su 命令后,将提示您输入根用户密码。同时,注意 cd 命令可能包含空格字符,应该使用斜杠字符进行转义。
更新 emacs 编辑器(可选)
如果您使用 emacs 文本编辑器,您需要更新 Red Hat Enterprise Linux 默认安装的版本(21.4.1)。
按照以下步骤将 emacs 更新到最新版(23.1.1)。
在 Linux Desktop 菜单栏,选择 Applications > Accessories > Terminal 打开 Linux Terminal 窗口。
在 Linux Terminal 窗口,输入以下命令:
su
wget http://ftp.gnu.org/pub/gnu/emacs/emacs-23.1.tar.gz
tar -xvzf emacs-23.1.tar.gz
cd emacs-23.1
./configure
make
make install
exit

在输入 su 命令之后,将提示输入根用户命令。
更新并启动 emacs 之后,您需要启用新的窗口装饰。要做到这一点,访问 emacs 菜单栏并选择 Options > Show/Hide > Fringe > On the Right。 然后选择 Options > Show/Hide > Fringe > Buffer Boundaries > In Right Fringe。

使用道具 举报

回复
论坛徽章:
350
2006年度最佳版主
日期:2007-01-24 12:56:49NBA大富翁
日期:2008-04-21 22:57:29地主之星
日期:2008-11-17 19:37:352008年度最佳版主
日期:2009-03-26 09:33:53股神
日期:2009-04-01 10:05:56NBA季后赛大富翁
日期:2009-06-16 11:48:01NBA季后赛大富翁
日期:2009-06-16 11:48:01ITPUB年度最佳版主
日期:2011-04-08 18:37:09ITPUB年度最佳版主
日期:2011-12-28 15:24:18ITPUB年度最佳技术原创精华奖
日期:2012-03-13 17:12:05
17#
 楼主| 发表于 2014-8-2 19:38 | 只看该作者
安装 IBM InfoSphere Streams
InfoSphere Streams 包含流式处理运行时和 Streams Studio,后者是一组 Eclipse 平台插件,可以协助您开发流式处理应用程序。按照本节的步骤执行后,您将在 Linux 主目录看到以下两个子目录:
Streams 运行时程序子目录为 /home/username/InfoSphereStreams/
Streams 运行时配置子目录为 /home/username/.streams/
InfoSphere Streams 有 32 位和 64 位版本。确保您选择的版本与虚拟机中安装的 Red Hat Enterprise Linux 版本匹配。
教程本节提供对 InfoSphere Streams 安装过程的概述。有关更多详细信息,请访问本教程的 参考资料 部分,查看 InfoSphere Streams 安装和管理指南、 Studio 安装和用户指南 和在线文档的链接。
定位 InfoSphere Streams 分发包
定位 InfoSphere Streams 分发包。 这是一个压缩目录归档文件,名为 Streams-1.2.0-i386-el5-trial.tar.gz(用于 32 位版本)或 Streams-1.2.0-x86_64-el5-trial.tar.gz(用于 64 位版本)。该包包含 InfoSphere Streams 安装程序以及 InfoSphere Streams 依赖的其他 Linux 软件包。
按照以下步骤将分发包解压到虚拟机的 Linux 系统。
将 InfoSphere Streams 分发包复制到虚拟机的磁盘驱动器。例如,您可以从计算机桌面将 tar.gz 文件拖动到 Linux Desktop。
双击分发包的 Linux Desktop 按钮启动 Archive Manager。
单击 Extract 将分发包解压缩到临时目录。分发包的 Archive Manager 创建的临时目录包含 InfoSphere Streams 安装程序(名为 InfoSphereStreamsSetup.bin 的文件)和子目录(名为 rpm)。rpm 子目录包含其他称为 RPM 的 Linux 软件包,并在其名称后面带有 .rpm。
安装其他 Linux RPM 包
在安装 InfoSphere Streams 之前,按照这些步骤安装几个 InfoSphere Streams 依赖的 Linux 软件包(名为 RPM)。这些必需的 RPM 位于解压 InfoSphere Streams 分发包时创建的临时目录的 rpm 子目录中。
在 Linux Desktop 菜单栏,选择 Applications > Accessories > Terminal 打开 Linux Terminal 窗口。
在 Linux Terminal 窗口输入以下命令:
su
cd .../your-temporary-directory/rpm/
rpm -ivh ibm-java-*.rpm
rpm -ivh graphviz-*.rpm
rpm -ivh perl-Statistics-Descriptive-*.rpm
exit

输入 su 命令之后,将提示您输入根用户密码。图 13 展示了运行这些命令时的桌面情况。
图 13. 正在安装其他 RPM 的 Streams
屏幕截图,安装其他 RPM 时的桌面情况
创建 ParserDetails.ini 文件
按照以下步骤创建 ParserDetails.ini 文件。您必须在安装 perl-XML RPM 之后,且在安装 InfoSphere Streams 之前创建该文件。
在 Linux Desktop 菜单栏,选择 Applications > Accessories > Terminal 打开 Linux Terminal 窗口。
在 Linux Terminal 窗口输入以下命令:
su
perl -MXML::SAX -e "XML::SAX->add_parser(q(XML::SAX::PurePerl))->save_parsers()"
exit
输入 su 命令之后,将提示您输入根用户密码。perl 命令将创建一个 /usr/lib/perl5/vendor_perl/5.8.8/XML/SAX/ParserDetails.ini 文件。有关该步骤的更多详细信息,请参考 http://perl-xml.sourceforge.net/faq/#parserdetails.ini
安装 InfoSphere Streams 运行时
按照以下步骤安装 InfoSphere Streams 运行时。
双击 InfoSphereStreamsSetup.bin 程序(可以解压到 InfoSphere Streams 分发包的临时目录)的 Desktop 按钮,并在询问是运行文件还显示内容的对话框上单击 Run(图 14)
图 14. 执行安装程序的 Streams
屏幕截图,展示询问您是运行 InfoSphereStreamsSetup.bin 安装程序还是显示其内容的对话框
如果遇到 SELinux 警告对话框,单击 Continue。(有关 SELinux 的更多信息,请参见本教程的 SELinux 注意事项 一节)。
在安装的 Dependencies 步骤中,该安装程序将检查是否安装了 InfoSphere Streams 需要的所有包,以及这些包的水平是否正确(图 15)。确认所有包的状态都是 Requirement met,并单击 Next。
图 15.正在检查 RPM 依赖关系的 Streams
安装程序 Dependencies 步骤的屏幕截图,所有包的状态都为 Requirement met
接受每个后续对话框的默认值,并单击 Next 直到安装程序完成。
安装程序完成后,在 RHEL 主目录中编辑 .bashrc 文件,并将以下行附加到文件最后部分:
source $HOME/InfoSphereStreams/bin/streamsprofile.sh -s
export JAVA_HOME=/opt/ibm/java-x86_64-60
export PATH=.:$JAVA_HOME/bin:$PATH
要激活添加到 .bashrc 文件的行,注销然后再使用您的 Linux 用户帐户登录。
如有必要,激活试用许可证
如果您使用的是 IBM InfoSphere Streams 试用版,则需要按照以下步骤激活试用许可证。
在 Linux Desktop 菜单栏,选择 Applications > Accessories > Terminal 打开 Linux Terminal 窗口。
在 Linux Terminal 窗口,输入以下命令:
cd .../your-temporary-directory/Licenses/
streamtool checklicense
exit

该消息确认已经激活了试用许可证:The Streams product license check passed。

使用道具 举报

回复
论坛徽章:
350
2006年度最佳版主
日期:2007-01-24 12:56:49NBA大富翁
日期:2008-04-21 22:57:29地主之星
日期:2008-11-17 19:37:352008年度最佳版主
日期:2009-03-26 09:33:53股神
日期:2009-04-01 10:05:56NBA季后赛大富翁
日期:2009-06-16 11:48:01NBA季后赛大富翁
日期:2009-06-16 11:48:01ITPUB年度最佳版主
日期:2011-04-08 18:37:09ITPUB年度最佳版主
日期:2011-12-28 15:24:18ITPUB年度最佳技术原创精华奖
日期:2012-03-13 17:12:05
18#
 楼主| 发表于 2014-8-2 19:38 | 只看该作者
安装 Eclipse 和 InfoSphere Streams Studio
InfoSphere Streams 包含流式处理运行时和 Streams Studio,后者是一组 Eclipse 平台插件,可以协助您开发流式处理应用程序。现在您已经安装了运行时,可以安装 Eclipse 和 InfoSphere Streams Studio 了。按照本节的步骤执行后,您将在 Linux 主目录中看到以下两个子目录:
Streams Studio 程序的子目录为 /home/username/eclipse/
配置文件和应用程序的子目录为 /home/username/workspace/
InfoSphere Streams 和 Eclipse 有 32 位和 64 位两个版本。确保您选择的版本与虚拟机上安装的 Red Hat Enterprise Linux 版本匹配。
教程的本节概述 Eclipse 的安装过程。有关更多详细信息,请参考本教程的 参考资料 部分查看 Workbench 用户指南 和 Eclipse 在线文档的链接。
安装 Eclipse 集成开发环境
定位 Eclipse 分发包。64 位版本的名称类似于 eclipse-SDK-3.5.2-linux-gtk-x86_64.tar.gz。
该分发包文件包含一个压缩目录,其中包含 Eclipse 集成开发平台。Eclipse 没有安装程序;要安装它,您只需要将分发包解压到您的主目录并从该目录启动 Eclipse 即可。按照以下步骤将分发包解压到虚拟机的 Linux 系统中。
将 Eclipse 分发包复制到虚拟机的磁盘驱动器。例如,您可以将 tar.gz 文件从您的计算机桌面拖动到 Linux Desktop。
双击 Eclipse 的 Desktop 按钮启动 Archive Manager。
单击 Extract 将分发包解压缩到您的主目录(而不是 Linux Desktop)。
Archive Manager 创建的 /home/username/eclipse 目录包含名为 /home/username/eclipse/eclipse 的程序。这是用来启动 Eclipse 集成开发平台的程序。
安装用于 Eclipse 的 IMP 技术
按照以下步骤安装用于 Eclipse 的 IMP 技术。
定位名为 IMP org.eclipse.imp.update_0.1.v201001291500.zip 的 IMP 技术分发文件,并将其复制到虚拟机的磁盘驱动器。例如,您可以将文件从您的计算机桌面拖动到 Linux Desktop。
单击 /home/username/eclipse/eclipse 按钮启动 Eclipse。
在 Eclipse 菜单栏,选择 Help > Install New Software …。
在 “Install” 对话框,单击 Add ...。
在 “Add Site” 对话框,单击 Archive..., 选择 IMP 技术分发文件,然后单击 OK。
从可用软件包列表(图 16)中,选择以下内容:
在 IMP 下,选择 IMP Runtime (Incubation), version 0.1.103
在 IMP Prerequisites 下,选择 LPG Runtime, version 2.0.17
然后单击 Next。
图 16. 正在安装 IMP 技术的 Eclipse
可用软件对话框,复选框选择了 IMP Runtime (incubation) and LPG Runtime
单击后续对话框的 Next,直到安装程序完成。
提示时重启 Eclipse。
安装 InfoSphere Streams Studio
在 Eclipse 重启之后,按照以下步骤安装 InfoSphere Streams Studio 插件。
在 Eclipse 菜单栏,选择 Help > Install New Software …。
在 “Install” 对话框,单击 Add ...。
在 “Add Site” 对话框,单击 Local ...,选择 /home/username/InfoSphereStreams/eclipse 目录,然后单击 OK。
在可用的软件包列表中(图 17),选择所有 4 个 InfoSphere Streams 名称:
InfoSphere Streams Core Libraries
InfoSphere Streams External Libraries
InfoSphere Streams Studio
InfoSphere Streams Studio Graph Views
然后单击 Next。
图 17. 正在安装 InfoSphere Streams Studio 的 Eclipse
可用软件对话框,复选框选择了所有 4 个 InfoSphere Streams 项
单击后续对话框的 Next,直到安装程序完成。
获得提示时重启 Eclipse。
安装其他 Eclipse 开发工具(可选)
重启 Eclipse 之后,您可能需要安装其他 Eclipse 开发工具。
例如,如果您计划开发用于 InfoSphere Streams 的用户定义运算符 (UDOP) 或者用户定义函数,则需要安装 Eclipse C/C++ Development Tools (CDT)。它的插件可以通过 Eclipse 更新站点 http://download.eclipse.org/releases/galileo 的 “编程语言” 部分进行安装。
又如,如果您计划开发用于 InfoSphere Streams 的用户定义内置运算符 (UBOP) 或 Perl/Spade 混合模式应用程序(DMM 源代码),那么您需要安装 Eclipse Perl Integration (EPIC) 工具。它的插件可以通过 Eclipse 更新站点 http://e-p-i-c.sf.net/updates/testing 进行安装。

使用道具 举报

回复
论坛徽章:
350
2006年度最佳版主
日期:2007-01-24 12:56:49NBA大富翁
日期:2008-04-21 22:57:29地主之星
日期:2008-11-17 19:37:352008年度最佳版主
日期:2009-03-26 09:33:53股神
日期:2009-04-01 10:05:56NBA季后赛大富翁
日期:2009-06-16 11:48:01NBA季后赛大富翁
日期:2009-06-16 11:48:01ITPUB年度最佳版主
日期:2011-04-08 18:37:09ITPUB年度最佳版主
日期:2011-12-28 15:24:18ITPUB年度最佳技术原创精华奖
日期:2012-03-13 17:12:05
19#
 楼主| 发表于 2014-8-2 19:38 | 只看该作者
验证安装
现在,您已经在计算机的虚拟机中创建了自包含的 InfoSphere Streams 开发环境。按照本节以下步骤验证正确安装和配置了所有产品,以便它们能够合作处理工作。
运行一个示例应用程序
为了验证所有 4 个产品都安装正确,并且能够合作处理工作,我们运行一个 InfoSphere Streams 提供的示例应用程序。例如,vwap 应用程序使用示例数据消耗预先记录的股票市场 feed,并通过比较证券的加权平均价格 (VWAP) 的竞价情况来检测几种指定证券的特价情况。该示例应用程序没有输出内容。
以下是运行 vwap 应用程序的步骤。
在 Eclipse 菜单栏,选择 Window > Open Perspective > Other ...。
在 “Open Perspective” 对话框,选择 InfoSphere Streams Studio 并单击 OK。
在 Eclipse 菜单栏,选择 File > Import …。
在 “Import” 对话框,扩展 InfoSphere Streams Studio 项,选择 Existing SPADE Application into Workspace,然后单击 Next。
在 “SPADE Application Import Wizard” 对话框,单击 Browse ...,导航到 /home/username/InfoSphereStreams/samples/apps,然后单击 OK。
在 SPADE Applications 字段,选择 vwap 实例应用程序并单击 Finish。
在 “Project Explorer” 面板,扩展 vwap 项目,然后选择 vwap.dps 源文件。
同样,在 “Project Explorer” 面板,双击 vwap.dps 源文件,然后确认源编辑器、Outline 视图、Application Graph 视图和 Application Graph Detail 视图,所有这些视图都用某种方式显示,如图 18 所示。
图 18. 示例应用程序源代码的 Studio 视图
Eclipse 环境屏幕截图,展示所有源代码编辑器、Outline 视图、Application Graph 视图和 Aplication Graph Detail 视图
右键单击 vwap.dps 源文件。在上下文菜单(图 19)上,选择 Run as > Submit SPADE Application to Streams instance。
图 19. 运行实例应用程序的 Studio
vwap.dps 源代码文件的上下文菜单,选择了 Run as > Submit SPADE Application to Streams instance
在 “Confirm Launch” 对话框,单击 OK。 “Console” 面板展示要编译和执行的应用程序。
当 “Streams Live Graph” 面板展示应用程序流图时,验证所有运算符都为绿色,并且连接了运算符之间的所有流(图 20)。
图 20. 验证示例应用程序运行的 Studio
Streams Live Graph 面板,所有运算符都为绿色,并连接了所有流
要停止应用程序,右键单击 vwap.dps 源文件显示其上下文菜单。在上下文菜单,选择 Run as > Stop Streams instance。
运行失败的示例应用程序
有关流式处理应用的程序应用程序开发工作流的简要指南,请按照以下步骤进行编译,并运行失败的应用程序。
在 Eclipse 菜单栏,选择 Window > Open Perspective > Other ...。
在 “Open Perspective” 对话框,选择 InfoSphere Streams Studio 并单击 OK。
要创建关键应用程序,右键单击空的 “Project Explorer” 面板显示上下文菜单,然后选择 New > SPADE Application Project。
将以下运算符添加到骨架 dps 文件的最后:
stream aStream(anInteger: Integer , aFloat: Float , aString: String)
:= Source() ["file:///anInputFile.csv", csvformat, nodelays] {}
Nil := Sink(aStream) ["file:///anOutputFile.csv", csvformat, nodelays] {}
要编译并执行 Spade 应用程序,访问 “Project Explorer” 面板并右键单击 dps 文件。通过上下文菜单,选择 Run As ... > Submit SPADE Application to Streams instance。
编译并执行应用程序之后,验证出现了 Streams Live Graph view,以及它类似于 Spade Application Graph 视图。
在几秒钟内,Streams Live Graph 视图的 Source 运算符的颜色将从绿色变为红色。这表示运算符失败。在该场景中失败是符合预期的。
要揭示此类 PE 失败的原因,将游标移动到红色的 Source 运算符上,等待弹出对话框出现,并记住 PE 编号,即标记的 PE Id(图 21) 。
图 21. 确认测试应用程序中失败 PE 的 Studio
Streams Live Graph 视图,鼠标位于失败的 Source 运算符上,信息对话框中 PE Id 显示为 4
启动 File Browser。访问 Linux Desktop 菜单栏并选择 Applications > System Tools > File Browser。
导航到包含 PE 日志的目录。在 File Browser 中,选择 File System > tmp > streams.spade@username > jobs > 0。
打开失败 PE 的记录。例如,如果 PE 编号为 4,您可以双击名为 pe4.pa.out 的文件。
查看出现在日志文件开始处的 ERROR ... Exception 消息。例如,图 22 展示的消息显示:failed to properly open workload file '.../data/anInputFile.csv'。 Source 运算符失败是因为它的输入文件没有退出。该错误是意料之中,因为您尚未创建该输入文件。
图 22. 定位 PE 日志中错误记录的 Studio
pe4.pa.out 日志文件,显示示例错误消息:failed to properly open workload file '.../data/anInputFile.csv'
取消失败的作业。返回 Eclipse,右键单击 “Project Explorer” 面板中的 dps 文件。在上下文菜单中,选择 Run As … > Cancel SPADE Application on Streams Instance。
要创建丢失的 data/anInputFile.csv 文件,在 “Project Explorer” 面板中右键单击 data 目录。在上下文菜单中,选择 New > File。
在 “New File” 对话框,在 File name 字段中输入 anInputFile.csv,并单击 Finish。
在 .../data/anInputFile.csv 编辑器面板中,输入包含整数、浮点、逗号字符分隔的字符串,如下所示:
1,1.1111,one
2,2.2222,two
3,3.3333,three
重新运行 Spade 应用程序。右键单击 dps 文件,在上下文菜单中,选择 Run As ... > Submit SPADE Application to Streams instance。
要验证应用程序现在正常运行,扩展 “Project Explorer” 面板中的数据目录,并确认它现在包含名为 anOutputFile.csv 的文件。
双击 anOutputFile.csv 文件并确认 .../data/anInputFile.csv 编辑器中展示的内容与示例输入匹配(图 23)。
图 23. 验证测试应用程序正在运行的 Studio
示例 anOutputFile.csv 文件的内容匹配建议的实例内容。
停止 Streams 运行时。在 “Project Explorer” 面板中右键单击 dps 文件,在其上下文菜单中选择 Run As ... > Stop Streams Instance。
SELinux 注意事项
本教程建议您安装 Linux 时将 SELinux (Security Enhanced Linux) 设置为 Permissive。如果有些应用程序请求访问系统资源不当,SELinux 限制可能会导致出现警告。发生这种情况时将出现一个弹出对话框。要了解哪些应用程序导致出现警告、遇到什么限制会出现警告以及如何解决该问题,请访问 Linux Desktop 菜单栏,然后选择 Applications > System Tools > SELinux Troubleshooter。
settroubleshoot 浏览器显示了有关每个 SELinux 警告的详细信息。
部署应用程序的 Linux 生产服务器可能将 SELinux 设置为 Enforcing。如果是这样,您需要将虚拟机中的 SELinux 也设置为 Enforcing。SELinux 设置为 Enforcing 时,应该使用 Linux 根用户特权安装 InfoSphere Streams。
如果需要将 SELinux 设置更改为 Enforcing,请访问 Linux Desktop 菜单栏,并选择 System > Administration > SELinux Management。提示时输入您的 Linux 根密码。在 “SELinux Administration” 对话框,将 Current Enforcing Mode 字段从 Permissive 更改为 Enforcing。
您可能必须重启虚拟机才能激活对 Enforcing 的更改。您还需要使用根用户特权在 /opt/ibm/ 系统目录中重新安装 InfoSphere Streams。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表