http2 / grpc问题

[yjhjstz]

Describe the bug (描述bug)
[E2004]remote_window_left is not enough, data_size=629370 [R1][E2004]remote_window_left is not enough, data_size=629370
W0403 10:03:43.719316 12510 http2_rpc_protocol.cpp:206] Unknown setting, id=65027 value=1

To Reproduce (复现方法)
http2 client连 grpc服务端，传输大小600KB

Expected behavior (期望行为)

Versions (各种版本)
OS: centos 7
Compiler: gcc4.8
brpc: 0.9.5
protobuf: 3.5

Additional context/screenshots (更多上下文/截图)

传输数据大了，该怎么改？

[yjhjstz]

@zyearn

[zyearn]

原因：目前brpc client的h2setting是和req一起发过去的，这时用的是默认大小，如果超过这个值，就发不出去，那么client的h2setting也发不出去，server端的h2setting也不会回复给client，server端的window size就不能传到client

workaround：

1. 设置好server端的windowsize
2. client先发一个小包，让h2的setting包交换好，然后再发你的业务包

[yjhjstz]

server端是 grpc 服务，怎么改动windowsize？

[zyearn]

这个你要看grpc的文档了

[yjhjstz]

有更优雅的方式吗？

[kaydxh]

server设置了windows大小，好像还是不行

[zyearn]

@kaydxh Client还需要先发一个小的包，比如访问下内置服务/health

[supernovaer]

@kaydxh Client还需要先发一个小的包，比如访问下内置服务/health

试了下，先发个小包再发大包，确实没有windows size的问题了。
但是，如果brpc端配置protocol=h2:grpc，connection_type=single，一段时间没有请求->连接断开之后，直接发大包，就又出现windows size的问题了，必须重新再发一个小包。

可惜server端grpc没有内置的/health服务，小包这个trick还不太好应用。

总的来说，是一个解决办法，但比较麻烦，不够完美。

[supernovaer]

client h2setting里默认的window_size可以改大吗？
手动把h2_client_stream_window_size、h2_client_connection_window_size两个参数设大也不行

[zyearn]

这两个值是可以设置的，确保下server是否收到了，以及正确返回了。然后看一下 ip:port/connections 中client channel的socket页面（有链接可以点），在页面里找到agent_socket_id，然后看一下ip:port/sockets/<agent_socket_id>里的h2 local setting是不是正确

[supernovaer]

在进程启动的时候直接通过gflag配置h2_client_connection_window_size=10485760为10M，h2_client_stream_window_size也是10M，但通过页面 ip:port/sockets/<agent_socket_id>里的h2 local setting，仍然是默认值：conn_window_size=1M、stream_window_size=256K。
看来是没有修改成功。

[zyearn]

我本地试了下，是可以正确设置的，把你起client程序的命令发一下吧

[supernovaer]

client端进程启动流程大概是这样的：
brpc::Server server; server.AddService(xxx); brpc::ServerOptions options; options.h2_settings.stream_window_size=brpc::policy::FLAGS_h2_client_stream_window_size; options.h2_settings.connection_window_size=brpc::policy::FLAGS_h2_client_connection_window_size; (这两个size的赋值是新加的，好像没什么用）server.Start(ip:port, &options);

client请求grpc的流程大概是这样的：
分别申请brpc::Controller cntl、Channel对象 channel，brpc::ChannelOptions options; options.protocol="h2:grpc"; options.connection_type="single";channel.Init(grpc_ip:port, &options);然后定义grpc服务proto service对应的xxx_Stub stub(&channel); stub.service_name(&cntl, &req, &rsp, NULL);

[supernovaer]

gdb断点看了下，进到H2StreamContext::ConsumeWindowSize这个函数的时候，第一个判断条件就没通过，_remote_window_left已经小于size了。

实际各个变量的情况如下图：

与H2StreamContext关联的H2Context对象_conn_ctx的_unack_local_settings里面初始化几个的window_size变量，值都是对的，是我通过h2_client_stream_window_size、h2_client_connection_window_size这两个gflag传进去的值，均>10M。
但是_remote_window_left的值却很小，百K级别，并且在第一次请求的时候，_remote_window_left就这么小了，导致一直报 ”remote_window_left is not enough“的错。

另外，每次请求虽然失败了，但最后还是触发了H2Context::OnSettings，从grpc server端ParseH2Settings(H2Settings* out, butil::IOBufBytesIterator& it, size_t n)这个函数也执行到了out->stream_window_size = value;这里，value也是M级别的，跟grpc server的配置是吻合的。
const int64_t window_diff =
static_cast<int64_t>(_remote_settings.stream_window_size)
- old_stream_window_size; window_diff的计算结果正常，也成功触发了AddWindowSize，但是下一次请求仍然是”remote_window_left is not enough“

[zyearn]

FLAGS_h2_client_stream_window_size这个值是代表client的配置，一般是写在起程序的conf里的，不是赋给ServerOptions.h2_settings的，该值是server端的配置。一般用法是这样的，./client --h2_client_stream_window_size=xxx --h2_client_connection_window_size=yyy