过去,我只在本地计算机上玩Node.js,所以我只有使用单进程Node.js应用程序的经验。现在,我想创建一个可以在网络上发布的Web应用程序。

该Web应用程序将类似于多人游戏-使用Socket.IO进行客户端-服务器通信,使用Express处理HTTP请求,使用grunt进行任务管理,等等-我也想将其他NPM包也用于各种任务。

我想将此应用程序的体系结构设计为

  • 启用水平可伸缩性(后来,当我有很多访问者时,我不必重写整个应用程序)
  • 最小化对不同执行环境的依赖(以最大程度地提高可移植性)

  • 如何使用Node实现此目的?

    我想高层架构将包括:
  • 不同的服务器进程(每个进程将运行Express的实例并处理传入的HTTP请求)。
  • 某处应该有一个负载均衡器
  • (可选):后台处理,它可以定期运行并处理“共享数据”

  • 由于我的应用程序将是一个多人游戏应用程序,每个用户都可以与其他在线用户进行交互,因此我应该将一些共同状态(“共享数据”)存储在可以在这些进程之间共享的位置。

    为简单起见,起初我不必保留此共享数据,所以我认为我应该使用像Redis这样的内存数据存储。

    总体情况如下所示:

    这种设计提出了一些问题:

    如何生成流程?

    我应该使用Node的child_process还是cluster模块并手动启动工作进程?顺便说一句,是否有可能完全手动启动这些程序,例如,如果我将应用程序部署到HerokuNodejitsu

    或: is there a better way to store these information in a config file?
    我的意思是,如果我可以不通过编辑代码而是配置条目来配置多少服务器实例,那会更好。

    系统界限?

    如果我手动生成进程,那么(我猜)所有进程都将在同一台(虚拟)服务器上运行。

    如果该服务器具有4个CPU内核,则最多可以产生4个Node实例,因为如果产生更多,CPU将进行上下文切换,这将破坏整体性能。

    如果我需要更多流程实例,该怎么办?假设我需要100个服务器实例。我是否必须将我的应用程序部署到25台服务器,并在每台服务器上生成4个进程?

    在我看来,像Nodejitsu这样的托管服务会以某种方式向您隐藏此系统边界层,但我看不到它在实际中是如何工作的。

    特别是存在此“共享数据”提供程序组件。我猜想此提供程序(如Redis服务器)必须在其他服务器上运行,以便所有进程都可以使用。但是在这种情况下,它很容易成为瓶颈,不是吗?

    负载均衡器?

    如果我使用某些托管服务,是否必须自己设置负载平衡器层?

    编辑:

    回答一些实际问题:第一步,我要无缝处理4-500个并发用户(Socket.IO连接)。这是我可以实际实现的访客数量。

    但是我很好奇,是否有可能(如果是,怎么办?)设计可以轻松扩展的应用程序体系结构。假设我的网站从一天到第二天将变得很流行,第二天我必须服务数千个用户,而不是与数百个并发用户打交道。

    据我所知,Heroku和Nodejitsu之类的云托管服务可以很容易地适应这些情况-您只需要增加worker / dynos /之类的数量即可-但只有在拥有正确的应用程序体系结构的情况下,它才有效。

    关于共享数据:我不想保留它。我只想将其保留在内存中。一方面,由于Socket.IO,需要一些共享的数据提供程序-一个用户将能够向另一个“节点”中的用户发送消息。为此,我将使用Redis作为共享数据提供程序。 Redis需要处理的事务数等于使用Socket.IO发送/接收的消息量,约1000-1500消息/秒。

    另一方面,需要一些共享数据提供程序,因为我想基于多个条件来连接用户。稍后,后台进程将定期重新计算/优化那些连接的概率(“权重”)。我已经有了一些想法,如何实现有效的数据结构来处理对该内存表的快速插入/删除。因此,“共享数据提供者”组件将包含一些可以存储这些连接的服务器端代码(也许是Node.js)。

    我知道这是TL; DR,但希望它能回答您有关该问题的所有技术问题。 :)

    最佳答案

    好的,这要经历很多事情。首先,您的关注点分离是适当的,您需要一种流程进行通信的方式,这可以通过Redis实例或其他pub / sub或req / res系统(redis,kue,zmq等)进行。注意:如果您的数据/消息使用量显着增长,则可能仍需要分片,至少应尽可能多。如果使用更复杂的消息队列系统(兔子或其他AMQP),则可以缓解此问题。

    看来您主要关心的是流程管理。通常,如果您使用的是Heroku,则应该能够在每个节点上扩展单个进程,但是仍然需要外部的协调器节点。如果您是自托管主机(不是通过heroku或类似主机),则应查看pm2forever ...然后可以启动多个实例...

    在大多数情况下,您的物流/基础设施问题将根据您的需求而有所不同。更不用说涉及CI / CD,docker等的新策略。或您的数据库使用。

    07-24 09:51
    查看更多