Add Mysql Protocol by yanglimingcn · Pull Request #2093 · apache/brpc

yanglimingcn · 2023-01-17T09:29:43Z

Add Mysql Protocol, support text protocol, transaction, support prepare statement.

issue #209

What problem does this PR solve?

Issue Number:

Problem Summary:

What is changed and the side effects?

Changed:

Side effects:

Performance effects(性能影响):
Breaking backward compatibility(向后兼容性):

Check List:

Please make sure your changes are compilable(请确保你的更改可以通过编译).
When providing us with a new feature, it is best to add related tests(如果你向我们增加一个新的功能, 请添加相关测试).
Please follow Contributor Covenant Code of Conduct.(请遵循贡献者准则).

…action, not support prepare statement. issue apache#209

yanglimingcn · 2023-01-17T09:33:10Z

mysql的prepared statement协议的支持。
遇到的两个问题解决方案如下：
1、prepared statement首先是在某个连接上创建一个statement id，后续操作可以根据这个statement id向这个连接发送后续的请求。同一个语句在每个连接上的statement id是不同的。在pooled模式下，每次RPC选择的连接是不同的，所以需要记录SocketId和statement id的关系，我们这里称为id_map。但是一个SocketId有可能关闭，然后又重新建立起来，这个新SocketId对应的连接没有这个statement id。id_map没有机制可以做到同步更新，保存的SocketId与statement id关系信息是旧的关系。这样就会产生问题。
这个问题的修改方式是，给socketid对应的fd一个唯一的版本号，每次通过stmt_id找到socketid的时候对比一下版本号，版本号一致说明fd没有变化，版本号不一致说明fd变化过。
2、目前还不能支持single模式，唯一的原因就是auth部分，正常auth多个请求会竞争发送auth，后续操作就不需要发送auth了，auth不用等待服务端应答，就可以让其他请求继续发送。但是mysql的auth和这个逻辑不通，mysql的auth首先接收mysql-server发送过来的salt，客户端根据salt加密密码，再把加密后的密码发送给服务端。这样的逻辑如果不等待服务端应答就解锁别的请求，就会出现发送auth的请求落后于正常的请求，导致消息乱序。
这个目前就先不支持single模式了。

wwbmmm · 2023-01-18T06:03:06Z

docs/cn/mysql_client.md

@@ -0,0 +1,562 @@
+[MySQL](https://www.mysql.com/)是著名的开源的关系型数据库，为了使用户更快捷地访问mysql并充分利用bthread的并发能力，brpc直接支持mysql协议。示例程序：[example/mysql_c++](https://github.com/brpc/brpc/tree/master/example/mysql_c++/)
+
+**注意**：只支持MySQL 4.1 及之后的版本的文本协议，支持事务，不支持Prepared statement。目前支持的鉴权方式为mysql_native_password，使用事务的时候不支持single模式。


现在是不是支持Prepared statement了

wwbmmm · 2023-01-18T06:07:07Z

docs/cn/mysql_client.md

+
+- 请求类型必须为MysqlRequest，回复类型必须为MysqlResponse，否则CallMethod会失败。不需要stub，直接调用channel.CallMethod，method填NULL。
+- 调用request.Query()传入要执行的命令，可以批量执行命令，多个命令用分号隔开。
+- 依次调用response.reply(X)弹出操作结果，根据返回类型的不同，选择不同的类型接收，如：MysqlReply::Ok，MysqlReply::Error，const MysqlReply::Columnconst MysqlReply::Row等。


Columnconst 中间少了个逗号

wwbmmm · 2023-01-18T06:11:27Z

docs/cn/mysql_client.md

+事务可以保证在一个事务中的多个RPC请求最终要么都成功，要么都失败。
+
+```c++
+rpc::Channel channel;


这一段初始化Channel的代码可以略去

wwbmmm · 2023-01-18T06:18:37Z

docs/cn/mysql_client.md

+
+##### libmysqlclient实现（100线程）
+
+./mysql_press -thread_num=50 -op_type=1 -use_bthread=true


50应改成100

wwbmmm · 2023-01-18T06:22:31Z

example/mysql_c++/CMakeLists.txt

@@ -0,0 +1,148 @@
+cmake_minimum_required(VERSION 2.8.10)


加上license

wwbmmm · 2023-01-23T09:33:21Z

src/brpc/policy/mysql_authenticator.cpp

+    }
+    const char* delim1 = "&";
+    std::vector<size_t> idx;
+    for (size_t p = params.find(delim1); p != butil::StringPiece::npos;


可以使用butil::StringSplitter或butil::SplitString

wwbmmm · 2023-01-23T09:42:59Z

src/brpc/policy/mysql_protocol.cpp

+
+DEFINE_bool(mysql_verbose, false, "[DEBUG] Print EVERY mysql request/response");
+
+void MysqlParseAuthenticator(const butil::StringPiece& raw,


这几个函数是不是可以在mysql_authenticator.h里声明一下

wwbmmm · 2023-01-23T10:03:10Z

src/brpc/policy/mysql_authenticator.cpp

+    return true;
+}
+
+void MysqlParseAuthenticator(const butil::StringPiece& raw,


是不是可以实现成MysqlAuthenticator::ParseFromString 这样更对称一些

wwbmmm · 2023-01-23T10:04:19Z

src/brpc/policy/mysql_auth_hash.h

+std::string mysql_build_mysql41_authentication_response(const std::string& salt_data,
+                                                        const std::string& password);
+
+std::string mysql_build_sha256_authentication_response(const std::string& salt_data,


这个哪里用到了

wwbmmm · 2023-01-23T10:12:44Z

src/brpc/mysql_reply.h

+    _type = MYSQL_RSP_UNKNOWN;
+    _data.padding = 0;
+}
+inline void MysqlReply::Swap(MysqlReply& other) {


加个空行，下同

wwbmmm · 2023-01-24T08:04:44Z

src/brpc/mysql_reply.cpp

+    return rc;
+}
+
+ParseError MysqlReply::Field::ParseBinaryDataTime(butil::IOBuf& buf,


DataTime -> DateTime

wwbmmm · 2023-01-24T08:24:22Z

src/brpc/mysql_common.h

+    MYSQL_SET_FLAG = 0x0800,
+};
+
+enum MysqlServerStatus : uint16_t {


这个哪里用了

wwbmmm · 2023-01-24T08:31:07Z

src/brpc/mysql_command.cpp

+namespace brpc {
+
+namespace {
+const uint32_t max_allowed_packet = 67108864;


用全大写命名吧

wwbmmm · 2023-01-24T08:38:56Z

src/brpc/mysql_command.cpp

+        if (seq == 0) {
+            const uint32_t old_size = outbuf->size();
+            outbuf->append(head);
+            size -= outbuf->size() - old_size;


为什么不直接用size -= head.size()呢

wwbmmm · 2023-01-24T08:40:31Z

src/brpc/mysql_command.cpp

+
+}  // namespace
+
+butil::Status MysqlMakeCommand(butil::IOBuf* outbuf,


这个叫MysqlMakeCommandPacket会不会更合适

wwbmmm · 2023-01-24T08:56:22Z

src/brpc/mysql_statement_inl.h

+typedef butil::FlatMap<SocketId, MysqlStatementId> MysqlStatementKVMap;
+typedef butil::DoublyBufferedData<MysqlStatementKVMap> MysqlStatementDBD;
+
+inline size_t my_init_kv(MysqlStatementKVMap& m) {


这个不用放在头文件里吧，放在mysql_statement.cpp里就行了

wwbmmm · 2023-01-24T09:05:01Z

src/brpc/mysql.h

+//       LOG(INFO) << response.reply(0);
+//   }
+
+class MysqlStatementStub {


这个类是不是放在mysql_statment.h里更合适

wwbmmm · 2023-01-24T09:16:27Z

src/brpc/mysql_command.cpp

+    return MakePacket(outbuf, head, func, edata);
+}
+
+butil::Status MysqlMakeExecuteData(MysqlStatementStub* stmt,


这个作为MysqlStatementStub的成员函数会不会更合适

wwbmmm · 2023-01-24T09:26:54Z

src/brpc/controller.h


 const int32_t UNSET_MAGIC_NUM = -123456789;

+// if controller want to reserve a sock after RPC, set BIND_SOCK_ACTIVE


这个ACTIVE不是很好理解，是不是可以叫BIND_SOCK_RESERVE

chenBright · 2023-07-19T09:02:56Z

src/brpc/controller.cpp

+        if (!tmp_sock || (!is_health_check_call() && !tmp_sock->IsAvailable())) {
+            SetFailed(EHOSTDOWN, "Not connected to bind socket yet, server_id=%" PRIu64,
+                      tmp_sock->id());


tmp_sock为NULL，tmp_sock->id()会coredump吧？

jiangdongzi · 2025-07-15T09:59:02Z

求教, mysql协议现在是什么状态了呢

yanglimingcn · 2025-07-15T10:55:53Z

求教, mysql协议现在是什么状态了呢

目前没时间开发这个，有兴趣可以贡献一下。

Add Mysql Protocol, only support text protocol now, not support trans…

1601be4

…action, not support prepare statement. issue apache#209

wwbmmm reviewed Jan 23, 2023

View reviewed changes

wwbmmm reviewed Jan 24, 2023

View reviewed changes

chenBright reviewed Jul 19, 2023

View reviewed changes

		@@ -0,0 +1,562 @@
		[MySQL](https://www.mysql.com/)是著名的开源的关系型数据库，为了使用户更快捷地访问mysql并充分利用bthread的并发能力，brpc直接支持mysql协议。示例程序：[example/mysql_c++](https://github.com/brpc/brpc/tree/master/example/mysql_c++/)

		注意：只支持MySQL 4.1 及之后的版本的文本协议，支持事务，不支持Prepared statement。目前支持的鉴权方式为mysql_native_password，使用事务的时候不支持single模式。


		##### libmysqlclient实现（100线程）

		./mysql_press -thread_num=50 -op_type=1 -use_bthread=true


		DEFINE_bool(mysql_verbose, false, "[DEBUG] Print EVERY mysql request/response");

		void MysqlParseAuthenticator(const butil::StringPiece& raw,


		} // namespace

		butil::Status MysqlMakeCommand(butil::IOBuf* outbuf,


		const int32_t UNSET_MAGIC_NUM = -123456789;

		// if controller want to reserve a sock after RPC, set BIND_SOCK_ACTIVE

Conversation

yanglimingcn commented Jan 17, 2023

What problem does this PR solve?

What is changed and the side effects?

Check List:

Uh oh!

yanglimingcn commented Jan 17, 2023

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

jiangdongzi commented Jul 15, 2025

Uh oh!

yanglimingcn commented Jul 15, 2025

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

4 participants