在 Android 设备上部署一个 LLM（大语言模型）并通过 Binder 通信提供服务
在 Android 设备上部署一个 LLM（大语言模型）并通过 Binder 通信提供服务，需要以下几个步骤。具体实现是通过定义一个 Android HAL 服务，并且在 init.rc 文件中启动该服务。我们将一步一步解释如何实现一个可通过 Binder 通信的服务（如 vendor.te.aimodel-service）。
一 实现步骤概述
- 编写 AIDL 接口文件：定义服务的接口，通过 AIDL 文件定义。
- 实现 HAL 服务的 C++ 类：继承生成的 AIDL 接口，完成服务的功能实现。
- 编写
Android.bp文件：定义模块的构建规则。 - 编写服务的
init.rc文件：定义服务的启动命令及权限。 - 构建和编译：将服务编译到 Android 系统中，并将其安装到
/vendor分区。 - 编写客户端应用：验证服务是否可以正常通过 Binder 调用。
1. 编写 AIDL 文件
在 AIDL 文件中，我们需要定义服务接口。例如，我们可以定义如下的接口：
IAImodel.aidl
package vendor.te.aimodel;// 示例接口，定义基本的方法
interface IAImodel {// 例如，一个初始化大模型的方法int nlmInit(in int contextLengthType, in int modelType, in String configJson);// 一个简单的查询方法，传入请求并获得响应String nlmQuery(in String query, in boolean isStream);// 异步查询方法，传入回调接口void queryAsync(in String query, in boolean isStream, IQueryCallback callback);
}
IQueryCallback.aidl
package vendor.te.aimodel;// 回调接口
interface IQueryCallback {void onResult(String response, boolean finish);
}
编写 AIDL 文件的要点：
- 这些文件定义了服务的接口和回调机制。
- AIDL 文件编写完成后，Android 构建系统会根据这些文件生成对应的 Java 和 C++ 代码，用于客户端和服务端通信。
2. 实现 HAL 服务的 C++ 类
在 HAL 层，我们通过继承 AIDL 自动生成的 C++ 基类来实现具体的服务。我们在 C++ 中实现 IAImodel 的方法，加载 LLM 模型，并通过 Binder 提供服务。
VendorAImodel.cpp
#include "VendorAImodel.h"
#include <android/binder_manager.h>
#include <android/binder_process.h>namespace aidl::vendor::te::aimodel {// 构造函数
VendorAImodel::VendorAImodel() {// 初始化和加载 LLM 模型等操作// 加载动态库 /vendor/lib64/llm.soso_handle_libqualla_llm = init_load_so_files("/vendor/lib64/llm.so");init_func = (init_t)find_so_funtion(so_handle_libqualla_llm, "_Z4inE");
}// 实现接口方法 nlmInit
ndk::ScopedAStatus VendorAImodel::nlmInit(ContextLengthType in_ctxLen