我们本篇文章主要讲述如何去同步远程服务器中的HDP数据源到本地，并将其作为局域网yum安装源。基本环境信息 — 由于是通过HDP数据源安装HDP组件，我们只需要在一台机器上运行即可，我们这里部署到了和ambari-common(该节点压力较小)节点在一起。不过在实际的线上环境我们推荐将其分开部署。主机名 IP 版本 ambari-common 10.10.0.201 CentOS 7 HDP数据源配置 — 登录到 ambari-common 节点中 ssh ambari-common -p 22 if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } ambari-common需要在本地 /etc/hosts 文件中配置相应服务器映射，否则无法直接使用登录操作下载hortonworks官方提供的HDP仓库源在下载前我们需要检验是否安装 wget 命令行，如果没有安装此命令，使用以下命令安装它 sudo yum install wget if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } 使用以下命令下载hortonworks官方提供的HDP仓库源 wget -nv http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/hdp.repo -O /etc/yum.repos.d/hdp.repo if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } -O 指定的是我们下载文件到的本地路径，注意这里是大写的O不是0 hdp的官方源的格式为 hdp/<OsVersion>/<HDPVersionRegex>/updates/<HDPVersion>/hdp.repo 如果我们需要安装其他系统的或者其他版本的源只需要修改 <OsVersion> 和 <HDPVersionRegex> (hdp大版本), <HDPVersion> (hdp绝对版本) 需要注意的是 /etc/yum.repos.d/hdp.repo 路径尽量不要修改，这样方便我们记住hdp的源所在系统的位置。安装源配置文件下载完成后需要进行源的校验 sudo yum repolist if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } 返回类似如下响应 HDP-2.4.2.0 HDP-UTILS-1.1.0.20 源标识 HDP-2.4.2.0 HDP-UTILS-1.1.0.20 if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } 这标志着我们的hdp安装源配置文件是可用的。 HDP数据源同步 — 创建本地需要存放安装包文件路径 sudo mkdir -p /var/www/html/hdp/centos7/ if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } -p 命令标志我们需要进行递归创建文件夹我们建议您的命名格式和我们类似 <源名称>/<系统版本> 进入刚刚创建的目录中 cd /var/www/html/hdp/centos7/ if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } 当然我们也可以使用 && 组合命令模式开始同步远程服务资源到本地 reposync -r HDP-2.4.2.0 if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } -r 是告诉系统要进行递归同步 HDP-2.4.2.0 指的是我们刚刚使用源检测命令返回的源标识此时会去hortonworks官网进行同步，同步的速度具体是根据主机的网络而定。或者可以使用后台同步方式： nohup reposync -r HDP-2.4.2.0 >> sync-hdp.log & if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } 或者可以使用screen命令进行窗口session模式同步。文件总大小大约在 5-6GB 。 HDP-UTILS数据源同步 — 创建本地需要存放安装包文件路径 sudo mkdir -p /var/www/html/hdp-utils/centos7/ if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } -p 命令标志我们需要进行递归创建文件夹我们建议您的命名格式和我们类似 <源名称>/<系统版本> 进入刚刚创建的目录中 cd /var/www/html/hdp-utils/centos7/ if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } 当然我们也可以使用 && 组合命令模式开始同步远程服务资源到本地 reposync -r HDP-UTILS-1.1.0.20 if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } -r 是告诉系统要进行递归同步 HDP-UTILS-1.1.0.20 指的是我们刚刚使用源检测命令返回的源标识此时会去hortonworks官网进行同步，同步的速度具体是根据主机的网络而定。或者可以使用后台同步方式： nohup reposync -r HDP-UTILS-1.1.0.20 >> sync-hdp-utils.log & if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } 或者可以使用screen命令进行窗口session模式同步。文件总大小大约在 500MB-2GB 。如果出现 Error: /var/run/yum.pid 已被锁定，PID为 <XXXX> 的另一个程序正在运行。的信息，我们可以忽略，这是因为系统只允许yum单线程运行。等待上一个yum同步完成后进行再次同步。构建内网HDP源 — 生成本地资源库 createrepo /var/www/html/hdp/centos7/HDP-2.4.2.0 if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } 会出现类似如下反馈信息 Spawning worker xxx with xxx pkgs Workers Finished Saving Primary metadata Saving file lists metadata Saving other metadata Generating sqlite DBs Sqlite Dbs complete if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } 出现以上提示信息时，标志着我们的本地针对于hdp的库信息已经构建完成。启动提供mirror源的http服务 service httpd start if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } 当然也可以使用以下命令启动服务 /bin/systemctl start httpd.service if(window.hljsLoader && !document.currentScript.parentNode.hasAttribute('data-s9e-livepreview-onupdate')) { window.hljsLoader.highlightBlocks(document.currentScript.parentNode); } 校验源是否可以使用http服务对外开放浏览器打开 http://ambari-common/hdp/centos7/HDP-2.4.2.0 HDP-UTILS本地私有源制作，重复此步骤修改为HDP-UTILS路径即可。这里我们是不需要添加端口信息的，因为http服务的默认端口就是80，浏览器打开后会出现一个文件浏览器，会显示一些文件以及目录列表，当然也可以使用nginx去做mirror源。

Apache Ambari实战-6-构建 HDP 私有源

qianmoQ

我们本篇文章主要讲述如何去同步远程服务器中的HDP数据源到本地，并将其作为局域网yum安装源。

基本环境信息

—

由于是通过HDP数据源安装HDP组件，我们只需要在一台机器上运行即可，我们这里部署到了和ambari-common(该节点压力较小)节点在一起。不过在实际的线上环境我们推荐将其分开部署。

主机名	IP	版本
ambari-common	10.10.0.201	CentOS 7

HDP数据源配置

—

登录到ambari-common节点中

ssh ambari-common -p 22

ambari-common需要在本地/etc/hosts文件中配置相应服务器映射，否则无法直接使用登录操作

下载hortonworks官方提供的HDP仓库源

在下载前我们需要检验是否安装wget命令行，如果没有安装此命令，使用以下命令安装它

sudo yum install wget

使用以下命令下载hortonworks官方提供的HDP仓库源

wget -nv http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.2.0/hdp.repo -O /etc/yum.repos.d/hdp.repo

-O指定的是我们下载文件到的本地路径，注意这里是大写的O不是0

hdp的官方源的格式为hdp/<OsVersion>/<HDPVersionRegex>/updates/<HDPVersion>/hdp.repo

如果我们需要安装其他系统的或者其他版本的源只需要修改<OsVersion>和<HDPVersionRegex>(hdp大版本),<HDPVersion>(hdp绝对版本)

需要注意的是/etc/yum.repos.d/hdp.repo路径尽量不要修改，这样方便我们记住hdp的源所在系统的位置。

安装源配置文件下载完成后需要进行源的校验

sudo yum repolist

返回类似如下响应

HDP-2.4.2.0
HDP-UTILS-1.1.0.20
源标识
HDP-2.4.2.0
HDP-UTILS-1.1.0.20

这标志着我们的hdp安装源配置文件是可用的。

HDP数据源同步

—

创建本地需要存放安装包文件路径

sudo mkdir -p /var/www/html/hdp/centos7/

-p命令标志我们需要进行递归创建文件夹

我们建议您的命名格式和我们类似<源名称>/<系统版本>

cd /var/www/html/hdp/centos7/

当然我们也可以使用&&组合命令模式

开始同步远程服务资源到本地

reposync -r HDP-2.4.2.0

-r是告诉系统要进行递归同步

HDP-2.4.2.0指的是我们刚刚使用源检测命令返回的源标识

此时会去hortonworks官网进行同步，同步的速度具体是根据主机的网络而定。

或者可以使用后台同步方式：

nohup reposync -r HDP-2.4.2.0 >> sync-hdp.log &

或者可以使用screen命令进行窗口session模式同步。文件总大小大约在5-6GB。

HDP-UTILS数据源同步

—

创建本地需要存放安装包文件路径

sudo mkdir -p /var/www/html/hdp-utils/centos7/

-p命令标志我们需要进行递归创建文件夹

我们建议您的命名格式和我们类似<源名称>/<系统版本>

cd /var/www/html/hdp-utils/centos7/

当然我们也可以使用&&组合命令模式

开始同步远程服务资源到本地

reposync -r HDP-UTILS-1.1.0.20

-r是告诉系统要进行递归同步

HDP-UTILS-1.1.0.20指的是我们刚刚使用源检测命令返回的源标识

此时会去hortonworks官网进行同步，同步的速度具体是根据主机的网络而定。

或者可以使用后台同步方式：

nohup reposync -r HDP-UTILS-1.1.0.20 >> sync-hdp-utils.log &

或者可以使用screen命令进行窗口session模式同步。文件总大小大约在500MB-2GB。

如果出现Error: /var/run/yum.pid 已被锁定，PID为 <XXXX> 的另一个程序正在运行。的信息，我们可以忽略，这是因为系统只允许yum单线程运行。等待上一个yum同步完成后进行再次同步。

构建内网HDP源

—

生成本地资源库

createrepo /var/www/html/hdp/centos7/HDP-2.4.2.0

会出现类似如下反馈信息

Spawning worker xxx with xxx pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite Dbs complete

出现以上提示信息时，标志着我们的本地针对于hdp的库信息已经构建完成。

启动提供mirror源的http服务

service httpd start

当然也可以使用以下命令启动服务

/bin/systemctl start httpd.service

校验源是否可以使用http服务对外开放

浏览器打开http://ambari-common/hdp/centos7/HDP-2.4.2.0

HDP-UTILS本地私有源制作，重复此步骤修改为HDP-UTILS路径即可。

这里我们是不需要添加端口信息的，因为http服务的默认端口就是80，浏览器打开后会出现一个文件浏览器，会显示一些文件以及目录列表，当然也可以使用nginx去做mirror源。

小助手

Apache Ambari实战-6-构建 HDP 私有源这篇文章引发了一场有趣的讨论。在这篇文章中，作者介绍了如何使用Apache Ambari构建HDP私有源以实现更好的软件版本控制和部署管理。

有些人参与讨论，提出了一些有关使用私有源的疑问。他们认为维护私有源可能会增加工作量，并且可能导致一些安全性问题。他们还担心私有源可能会限制用户使用最新的软件版本，从而导致技术上的落后。

然而，也有人持不同意见。他们认为使用私有源可以提供更好的控制和管理软件版本。他们指出，使用私有源可以避免因为依赖于外部源而导致软件版本不一致的问题。此外，私有源还可以提供一个稳定和经过测试的软件环境，有助于避免生产环境中的故障。

讨论还涉及到私有源的安全性问题。有人认为，私有源可以通过实施适当的安全控制措施来确保软件的安全性。例如，使用防火墙和访问控制列表来限制对私有源的访问。此外，还可使用加密来保护数据传输和存储的安全。

对于私有源可能限制用户使用最新软件版本的担忧，也有人提出解决方案。他们认为可以在私有源中添加更新通道，用于提供最新的软件版本。这样一来，用户可以根据自己的需求选择使用稳定版本或最新版本的软件。

总的来说，使用私有源的优缺点是有争议的。一方面，私有源可以提供更好的软件版本控制和部署管理。另一方面，维护私有源可能会增加工作量，并且需要一些安全控制措施。然而，讨论中提出了一些解决方案和建议，可以减轻一些问题并提高私有源的可用性和安全性。

就我个人而言，我认为私有源是一个非常有价值的工具，特别是在大规模软件部署环境中。它可以提供更好的控制和管理软件版本，有助于确保生产环境的稳定性和安全性。然而，我也认识到维护私有源可能需要一些额外的工作，以及必要的安全控制措施。因此，我认为在使用私有源之前，应该仔细评估其优缺点，并根据具体情况做出决策。