Presto 环境部署 - Coordinator | Works 配置

qianmoQ

依赖	版本
Presto	0.221
CentOS	7.x
Java	1.8.0_212+

创建相关使用文件夹并授权(根据自己实际服务器环境选择)

sudo mkdir -p /hadoop/data12/presto
sudo chown -R presto:presto /hadoop/data12/presto
sudo - presto

从Presto官网下载安装包

wget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.221/presto-server-0.221.tar.gz

解压并重命名文件夹

tar -xvzf presto-server-0.221.tar.gz && mv presto-server-0.221 server

创建node.properties配置

mkdir /hadoop/data12/presto/server/etc && cd /hadoop/data12/presto/server/etc && vim /hadoop/data12/presto/server/etc/node.properties

在node.properties配置文件写入以下内容

node.environment=presto_cluster
node.id=presto-coordinator
node.data-dir=/hadoop/data12/presto/data

node.environment: 环境的名称.集群中的所有Presto节点必须具有相同的环境名称
node.id: Presto安装的唯一标识符.对于每个节点,这必须是唯一的.这个标识符应该在重新启动或升级Presto时保持一致.如果在一台机器上运行多个Presto安装(即在同一台机器上运行多个节点),则每个安装必须具有唯一标识符
node.data-dir: 数据目录的位置(文件系统路径).Presto将在这里存储日志和其他数据

创建jvm.config改配置文件用于JVM调优处理

vim /hadoop/data12/presto/server/etc/jvm.config

在配置文件写入以下内容

-server
-Xmx3G
-XX:+UseConcMarkSweepGC
-XX:+ExplicitGCInvokesConcurrent
-XX:+CMSClassUnloadingEnabled
-XX:+AggressiveOpts
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p
-XX:ReservedCodeCacheSize=150M

具体的jvm参数可参照JVM官网配置

创建config.properties改配置文件用于配置Presto服务

vim /hadoop/data12/presto/server/etc/config.properties

在配置文件写入以下内容

coordinator=true
node-scheduler.include-coordinator=false
http-server.http.port=17979
discovery-server.enabled=true
discovery.uri=http://c2-dsj-hadoop165.bj:17979

coordinator: 允许该Presto实例充当协调器,以便接受来自客户端的查询并管理查询执行
node-scheduler.include-coordinator: 允许在协调器上调度工作.对于较大的集群,协调器上的处理工作可能会影响查询性能,因为机器的资源无法用于调度,管理和监视查询执行的关键任务
http-server.http.port: 指定HTTP服务器的端口.Presto使用HTTP进行所有内部和外部通信
discovery-server.enabled: Presto使用发现服务查找集群中的所有节点.每个Presto实例在启动时向发现服务注册自己.为了简化部署并避免运行附加服务,Presto协调器可以运行发现服务的嵌入式版本.它与Presto共享HTTP服务器,因此使用相同的端口
discovery.uri: 发现服务器的URI.因为我们已经在Presto协调器中启用了discovery,所以这应该是Presto协调器的URI.这个URI不能以斜线结束.

启动服务

/hadoop/data12/presto/server/bin/launcher start

查询相关log日志

tail -f /hadoop/data12/presto/data/var/log/server.log

配置works很简单,只需要修改config.properties配置文件,将coordinator=true修改为false, discovery-server.enabled=true注释掉
修改node.properties将node.id配置为集群中唯一值即可

小助手

Presto环境部署 - Coordinator | Works配置：争议与感谢

Presto是一个强大的分布式SQL查询引擎，逐渐在许多大型组织中受到广泛关注和使用。然而，关于Presto环境部署方面的配置选项，尤其是Coordinator和Works节点的配置，一直以来存在着一些争议和讨论。

有些人认为，在Presto集群中将Coordinator和Works节点部署在不同的物理机器上是最佳实践。他们认为，在将Coordinator和Works节点分离的情况下，可以提高查询性能，并避免单点故障。这种部署方式可以确保Coordinator节点专注于SQL查询解析和计划生成，而Works节点则负责实际执行查询操作。这样的配置能够有效地提高整个集群的吞吐量和可扩展性。

然而，另一些人认为将Coordinator和Works节点部署在同一台物理机器上也是可行的。他们提出，对于小规模的Presto集群，将Coordinator和Works节点部署在同一台机器上可以减少部署和维护的复杂性。这种配置方式可以节省机器资源，并且对于一些简单的查询任务来说，性能差异并不明显。此外，将Coordinator和Works节点的部署合二为一，还可以减少网络延迟的影响，并提高查询的执行效率。

在Presto社区中，这个问题已经引起了广泛的讨论。许多用户分享了他们在不同配置下的实际经验和性能测试结果。这些数据对于正在考虑部署Presto环境的用户来说非常有价值，可以在做出决策时提供参考。

总的来说，Presto环境部署中Coordinator和Works节点的配置方式存在争议，取决于具体情况和需求。在选择最佳配置时，需要综合考虑集群规模、查询复杂性、资源约束等因素。无论选择哪种配置方式，都应该根据实际情况进行性能测试，并定期优化和调整系统配置，以保证Presto集群的高性能和稳定性。

（以上内容参考了Presto社区中的相关讨论）