clipper是一个开源的低延时的预测系统，地址为http://clipper.ai/  ， 是加州大学伯克利分校RISE Lab开发并开源的，下面是使用过程中的一些笔记，特此记录。

 

一、clipper使用的redis库说明

enum RedisDBTable { REDIS_STATE_DB_NUM = 1, REDIS_MODEL_DB_NUM = 2, REDIS_CONTAINER_DB_NUM = 3, REDIS_RESOURCE_DB_NUM = 4, REDIS_APPLICATION_DB_NUM = 5, REDIS_METADATA_DB_NUM = 6, // used to store Clipper configuration metadata REDIS_APP_MODEL_LINKS_DB_NUM = 7, }; redis库序号名称说明数据类型keyvalue1 REDIS_STATE_DB_NUM 状态string

rec-keras-app-serving:0:0

 

{\"y_hat\":\"-1\"}2 REDIS_MODEL_DB_NUM 模型信息hashrec-keras-mod-serving:1

1) "load" 2) "0.000000" 3) "container_name" 4) "hub.mfwdev.com/recommend/rec-serving-online-rec-keras-mod-serving:1" 5) "input_type" 6) "strings" 7) "labels" 8) "" 9) "model_data_path" 10) "DEPRECATED" 11) "model_version" 12) "1" 13) "model_name" 14) "rec-keras-mod-serving" 15) "batch_size" 16) "1" 17) "valid" 18) ""

3 REDIS_CONTAINER_DB_NUM 容器信息hashrec-keras-mod-serving,1,0

1) "model_id" 2) "rec-keras-mod-serving:1" 3) "model_name" 4) "rec-keras-mod-serving" 5) "model_version" 6) "1" 7) "model_replica_id" 8) "0" 9) "zmq_connection_id" 10) "0" 11) "batch_size" 12) "1" 13) "input_type" 14) "strings"

4 REDIS_RESOURCE_DB_NUM     5 REDIS_APPLICATION_DB_NUM app信息hashrec-keras-app-serving

1) "input_type" 2) "strings" 3) "policy" 4) "DefaultOutputSelectionPolicy" 5) "default_output" 6) "-1" 7) "latency_slo_micros" 8) "1000000"

6 REDIS_METADATA_DB_NUM meta信息stringCURRENT_MODEL_VERSION:rec-keras-mod-serving17 REDIS_APP_MODEL_LINKS_DB_NUM app&model连接信息setrec-keras-app-servingrec-keras-mod-serving

 

二、clipper架构图

 

 

 

组件作用依赖项目重要程度clipper management

提供HTTP 接口，供clipper admin调用；写入数据到redis中。

具体代码参考 management_frontend_main.cpp

redis db prometheus monitoring存储需要监控的信息；别的应用通过api向prometheus提交数据query processor 和 model containeer 向prometheus汇报信息 query processor

请求入口，提供HTTP接口和RPC接口。采用redis 的PSUBSCRIBE，监控redis中的数据变更，来动态的修改APP、MODEL、APP和MODEL之间的关系；

同时汇报信息到prometheus

prometheus、model container model containermodel的容器，会根据query processor的地址，主动连接到query processor。并定期向query processor发送心跳prometheus 

 

query processor 和 model container之间，采用了ZeroMQ的方式来通讯。可以认为query processor侧，将用户的请求放入到ZeroMQ队列中，然后model container 是消费方，轮询的方式，从ZeroMQ队列取数据来消费， 并将结果返回到query processor中

 

三、ModelContainer监控部分说明

1、ModelContainer

在rpc.py中，通过 python -m  clipper_admin.metrics.server    的方式，启动了单独的一个python进程。

在该python进程中，主要做了两件事情：

a、启动了一个redis-server，采用pub/sub的方式，来存储metric 信息

b、启动了一个http server，开启了1390端口，该端口是prometheus 拉取metric信息的接口。

2、model container中的metric信息，通过 

import clipper_admin.metrics as metrics 的方式，调用 add_metric 和 report_metric ，这两个函数，都是把数据放入到了redis中。通过异步的方式，由1.b 里面的python程序来消费。

 

 

四、query-frontend部分监控说明

1、query-frontend 本身提供了 http://ip:1337/metrics 接口，来查询metrics信息

2、frontend-exporter 是一个python程序，里面利用了 prometheus_client 的python api，暴露了1390端口，请求1390端口的时候，会请求query-frontend的metrics接口把数据做个转换，然后露出。

 

五、query-frontend流程图

 

 

六、clipper github代码更新之后重新安装流程

clipper客户端安装在了10.1.4.171服务器

 

1、切换到root账号，切换目录

cd /root/clipper/clipper

2、拉取最新代码，确保是master分支

git pull 

3、激活到py36环境

conda activate py36

4、卸载老的clipper_admin

pip uninstall clipper-admin

5、安装最新版本的clipper_admin

pip install git+file:///root/clipper/clipper#subdirectory=clipper_admin

 

七、query-frontend代码修改之后编译

登录10.163.1.131 机器

1、切换到root账号，切到目录

cd /root/clipper/clipper

2、执行docker build指令

docker build --build-arg CODE_VERSION=a66648a301 --build-arg REGISTRY=clipper -t query_frontend:develop -f dockerfiles/QueryFrontendDockerfile ./

3、打tag

docker tag query_frontend:develop hub.mfwdev.com/recommend/query_frontend:develop

4、push 

docker push hub.mfwdev.com/recommend/query_frontend:develop