发送给EventMachine pubsub订阅者

时间:2017-02-27 15:49:29

标签: ruby websocket redis eventmachine

Stack:Ruby 2.3.1,Rack,thin

简单的websocket服务器:

require 'redis'
require 'em-hiredis'
require 'faye/websocket'
require 'json'

ws_channel = {}

App = lambda do |env|
$redis ||= EM::Hiredis.connect('redis://127.0.0.1:6379')

if Faye::WebSocket.websocket?(env)
ws = Faye::WebSocket.new(env, nil,
                         headers: {'Access-Control-Allow-Origin' => '*'},
                         ping: 15
)

ws.on :open do |event|
  puts 'client connected'
  query_string = event.current_target.env['REQUEST_PATH'].gsub(/[^a-z0-9\-_\/]/, '')
  ws_channel[query_string] ||= EM::Channel.new

  pubsub = $redis.pubsub

  puts "subscribing to ws channel: ws:#{query_string}"
  sid = ws_channel[query_string].subscribe do |msg|
    puts "WS -> ws:#{query_string}/ #{sid} #{ws_channel[query_string]}"
    ws.send msg
  end

  puts "subscribing to redis: #{query_string}"
  pubsub.subscribe(query_string) do |msg|
    puts "REDIS -> ws:#{query_string}/"
    $redis.setex(query_string, 60, msg)
    ws_channel[query_string].push msg
  end

  EventMachine.add_periodic_timer(5) do
    ws.send ({ :ts => Time.now.to_i}.to_json) if ws
  end

  ws.on :close do |event|
    puts "client ##{query_string} disconnected"
    pubsub.unsubscribe(query_string) if pubsub
    ws_channel[query_string].unsubscribe(sid) if ws_channel[query_string]
    ws = nil
    pubsub = nil
  end
end

ws.rack_response
end
end

config.ru:

require 'rubygems'
require 'bundler/setup'
require 'logger'
require File.expand_path('../app', __FILE__)
Faye::WebSocket.load_adapter('thin')

run App

启动服务器:

bundle exec thin -p 9292 -R config.ru start

问题条件:

  1. 从同一IP建立到同一WS通道的多个连接(多个浏览器选项卡在同一台计算机上打开相同的游戏)。
  2. 从WS服务器推送单个数据会导致数据到达每个SUBSCRIBER的次数与订阅者一样多。
  3. 如果其中一个选项卡已刷新(与WS服务器的连接关闭并重新打开),则后续数据推送不会导致数据重复。
  4. 建立新连接后,#2的场景重新出现。
  5. 我对此的解决方法是在连接打开时取消订阅/重新订阅。这样:

    pubsub = $redis.pubsub
    pubsub.unsubscribe(query_string) if pubsub
    pubsub = $redis.pubsub
    

    但这引入了另一个问题:当标签关闭时,数据停止到达其他标签大约30秒。 WS连接永远不会关闭我可以在JS控制台中看到5秒ping。

    redis-cli $> PUBSUB NUMSUB <channel> 
    
    • 这显示只有一个订阅该频道,无论订阅多少订阅者

    目标功能:

    1. 多个客户端(订阅者)从同一IP连接到同一个频道。
    2. 每个订阅者都会收到WS服务器推送的数据的一份副本
    3. 客户端断开连接/新客户端连接不会导致其他客户端出现任何服务中断。

2 个答案:

答案 0 :(得分:0)

为每个WS连接创建一个唯一的EM通道,并在ws.close上取消订阅特定的proc并且似乎完成了这项工作:

require 'redis'
require 'em-hiredis'
require 'faye/websocket'
require 'json'

App = lambda do |env|
$redis ||= EM::Hiredis.connect('redis://127.0.0.1:6379')
$pubsub ||= $redis.pubsub

if Faye::WebSocket.websocket?(env)
ws = Faye::WebSocket.new(env, nil,
                         headers: {'Access-Control-Allow-Origin' => '*'},
                         ping: 15
)

ws.on :open do |event|
  puts 'client connected'

  query_string = event.current_target.env['REQUEST_PATH'].gsub(/[^a-z0-9\-_\/]/, '')
  channel = EM::Channel.new

  puts "subscribing to ws channel: ws:#{query_string}"
  sid = channel.subscribe do |msg|
    puts "WS -> ws:#{query_string}/ #{sid} #{channel}"
    ws.send msg
  end

  puts "subscribing to redis: #{query_string}"
  subs = {}; r_callback = rand(Time.now.to_i)
  subs[r_callback] = Proc.new { |msg|
    puts "REDIS -> ws:#{query_string}/"
    $redis.setex(query_string, 60, msg)
    channel.push msg
  }
  $pubsub.subscribe(query_string, subs[r_callback])
  #puts $pubsub.inspect

  ws.on :close do |event|
    puts "client ##{query_string} disconnected"
    $pubsub.unsubscribe_proc(query_string, subs[r_callback]) if $pubsub
    puts "Unsubscribed proc: #{subs[r_callback]}"
    channel.unsubscribe(sid) if channel
    ws = nil
  end
end

ws.rack_response
end
end

答案 1 :(得分:0)

修改

我认为em-hiredis实际上为Redis订阅回收了相同的连接和线程......我不确定是否是这种情况,但如果是这样,那么下面的答案可能是一种过度杀伤。

我仍然建议遵循建议的设计,因为它仍然可以节省大量资源。

<强>原始

我不确定我是否了解目标功能,但我确实认为代码中存在设计问题。我也相信解决这个问题会产生正确的行为。

虽然这是由EM层抽象出来的,但每个Redis订阅客户端需要1个新线程和1个新TCP / IP连接(到Redis服务器)。自从我为此阅读代码库以来,可能的事情发生了变化,但不知怎的,我怀疑它......

...新的(主要是休眠)线程并不像新进程那样昂贵(我认为它们每个线程的成本略高于1Mib,主要用于堆栈分配),TCP / IP连接有限。

即使这不是一个问题(并且我认为Redis连接器的更新版本可以解决这个问题),从TCP / IP连接多次读取应用程序仍然有点浪费资源(?)应用程序已拥有的数据副本。

更好的设计会:

  1. 为应用程序中的所有事件创建全局Redis通道。此全局通道可用于跨进程发布应用程序范围的广播。

  2. 为每个应用程序进程创建一个私有Redis通道。此通道可用于特定Websocket客户端之间的直接通信(使用其主机进程)。

  3. 为每个Websocket客户端分配一个进程唯一ID(可以是一个简单的分子)。

    与特定于进程的UUID通道一起,此本地ID将允许每个Websocket连接的唯一全局标识符(进程UUID是&#34;拥有&#34;连接的进程的通道)。

  4. 创建一个监听两个频道(全局和私有频道)和&#34;发送&#34;消息到过程中的最终目的地。

    &#34;调度员&#34;应该忽略来自它自己的进程的任何消息,以防止双重处理(这允许单个进程应用程序避免使用Redis)。

  5. 这个设计是我在the Plezi framework中实现的,它的资源效率允许Plezi同时为大量客户提供服务。

    这是使用Plezi的一个简单示例,因为我对Faye / EM API不太满意。将此示例保存为config.ru文件,并使用iodine(或rackup)命令从shell运行:

    require 'plezi'
    require 'redis'
    # uncomment and update URL
    # ENV['PL_REDIS_URL'] = "redis://my.host:6389/0"
    
    class TimeAndEcho
      def index
        "return the client page using `:render` or as a simple string".freeze
      end
      def on_open
        # `id` is inherited from Plezi using a Controller module mixin
        puts "New connection with UUID (process+client): #{id}"
      end
      def on_message data
        # The data is sent to everyone EXCEPT self:
        broadcast :handle_message, data
        write "sent"
      end
      # broadcasting invokes a non-inherited method.. we will simply write the info
      def handle_message data
        # write is "inherited" using a module mixin when the class is used as a Websocket controller.
        write data
      end
    end
    
    Plezi.route '/', TimeAndEcho
    # Idione's timer is in milliseconds.
    Iodine.run_every(5000) do
      TimeAndEcho. broadcast(:handle_message, { :ts => Time.now.to_i}.to_json)
    end
    # Set the Rack application
    run Plezi.app
    

    在此示例中,上面详述的调度逻辑由Plezi框架使用MessageDispatch module实现,Redis and a pub/sub thread使用Websocket-Rack specification draft发送和接收消息。

    请注意,运行此示例需要POSIX系统(Linux / macOS / BSD)和iodine服务器。

    iodine实现了提议的{{3}},而Plezi使用此原生Websocket设计是出于性能原因。