Knative 實(shí)戰(zhàn)：基于 Knative Serverless 技術(shù)實(shí)現(xiàn)天氣服務(wù)

提到天氣預(yù)報(bào)服務(wù)，我們第一反應(yīng)是很簡單的一個(gè)服務(wù)啊，目前網(wǎng)上有大把的天氣預(yù)報(bào) API 可以直接使用，有必要去使用 Knative 搞一套嗎？殺雞用牛刀？先不要著急，我們先看一下實(shí)際的幾個(gè)場景需求：

場景需求1：根據(jù)當(dāng)?shù)貧v年的天氣信息，預(yù)測明年大致的高溫到來的時(shí)間

場景需求2：近來天氣多變，如果明天下雨，能否在早上上班前，給我一個(gè)帶傘提醒通知

場景需求3：領(lǐng)導(dǎo)發(fā)話：最近經(jīng)濟(jì)不景氣，公司財(cái)務(wù)緊張，那個(gè)服務(wù)器，你們提供天氣、路況等服務(wù)的那幾個(gè)小程序一起用吧，但要保證正常提供服務(wù)。

從上面的需求，我們其實(shí)發(fā)現(xiàn)，要做好一個(gè)天氣預(yù)報(bào)的服務(wù)，也面臨內(nèi)憂（資源緊缺）外患（需求增加），并不是那么簡單的。不過現(xiàn)在更不要著急，我們可以使用 Knative 幫你解決上面的問題。

關(guān)鍵詞：天氣查詢、表格存儲(chǔ)，通道服務(wù)，事件通知

場景需求

首先我們來描述一下我們要做的天氣服務(wù)場景需求：

1. 提供對外的天氣預(yù)報(bào) RESTful API

根據(jù)城市、日期查詢（支持未來 3 天）國內(nèi)城市天氣信息

不限制查詢次數(shù)，支持較大并發(fā)查詢（1000）

2. 天氣訂閱提醒

訂閱國內(nèi)城市天氣信息，根據(jù)實(shí)際訂閱城市區(qū)域，提醒明天下雨帶傘

使用釘釘進(jìn)行通知

整體架構(gòu)

有了需求，那我們就開始如何基于 Knative 實(shí)現(xiàn)天氣服務(wù)。我們先看一下整體架構(gòu)：

通過 CronJob 事件源，每隔 3個(gè) 小時(shí)定時(shí)發(fā)送定時(shí)事件，將國內(nèi)城市未來3天的天氣信息，存儲(chǔ)更新到表格存儲(chǔ)

提供 RESTful API 查詢天氣信息

通過表格存儲(chǔ)提供的通道服務(wù)，實(shí)現(xiàn) TableStore 事件源

通過 Borker/Trigger 事件驅(qū)動(dòng)模型，訂閱目標(biāo)城市天氣信息

根據(jù)訂閱收到的天氣信息進(jìn)行釘釘消息通知。如明天下雨，提示帶傘等

提供對外的天氣預(yù)報(bào) RESTful API

對接高德開放平臺(tái)天氣預(yù)報(bào) API

查詢天氣的 API 有很多，這里我們選擇高德開放平臺(tái)提供的天氣查詢 API，使用簡單、服務(wù)穩(wěn)定，并且該天氣預(yù)報(bào) API 每天提供 100000 免費(fèi)的調(diào)用量，支持國內(nèi) 3500 多個(gè)區(qū)域的天氣信息查詢。另外高德開放平臺(tái)，除了天氣預(yù)報(bào)，還可以提供 ip 定位、搜索服務(wù)、路徑規(guī)劃等，感興趣的也可以研究一下玩法。 登錄高德開放平臺(tái): https://lbs.amap.com， 創(chuàng)建應(yīng)用，獲取 Key 即可：

獲取Key之后，可以直接通過url訪問：https://restapi.amap.com/v3/weather/weatherInfo?city=110101&extensions=all&key=<用戶key>，返回天氣信息數(shù)據(jù)如下：

{ ????"status":"1", ????"count":"1", ????"info":"OK", ????"infocode":"10000", ????"forecasts":[ ????????{ ????????????"city":"杭州市", ????????????"adcode":"330100", ????????????"province":"浙江", ????????????"reporttime":"2019-09-24?20:49:27", ????????????"casts":[ ????????????????{ ????????????????????"date":"2019-09-24", ????????????????????"week":"2", ????????????????????"dayweather":"晴", ????????????????????"nightweather":"多云", ????????????????????"daytemp":"29", ????????????????????"nighttemp":"17", ????????????????????"daywind":"無風(fēng)向", ????????????????????"nightwind":"無風(fēng)向", ????????????????????"daypower":"≤3", ????????????????????"nightpower":"≤3" ????????????????}, ????????????????... ????????????] ????????} ????] }

定時(shí)同步并更新天氣信息

同步并更新天氣信息

該功能主要實(shí)現(xiàn)對接高德開放平臺(tái)天氣預(yù)報(bào) API， 獲取天氣預(yù)報(bào)信息，同時(shí)對接阿里云表格存儲(chǔ)服務(wù)（TableStore），用于天氣預(yù)報(bào)數(shù)據(jù)存儲(chǔ)。具體操作如下：

接收 CloudEvent 定時(shí)事件

查詢各個(gè)區(qū)域天氣信息

將天氣信息存儲(chǔ)或者更新到表格存儲(chǔ)

在 Knative 中，我們可以直接創(chuàng)建服務(wù)如下：

apiVersion:?serving.knative.dev/v1alpha1 kind:?Service metadata: ??name:?weather-store ??namespace:?default spec: ??template: ????metadata: ??????labels: ????????app:?weather-store ??????annotations: ????????autoscaling.knative.dev/maxScale:?"20" ????????autoscaling.knative.dev/target:?"100" ????spec: ??????containers: ????????-?image:?registry.cn-hangzhou.aliyuncs.com/knative-sample/weather-store:1.2 ??????????ports: ????????????-?name:?http1 ??????????????containerPort:?8080 ??????????env: ??????????-?name:?OTS_TEST_ENDPOINT ????????????value:?http://xxx.cn-hangzhou.ots.aliyuncs.com ??????????-?name:?TABLE_NAME ????????????value:?weather ??????????-?name:?OTS_TEST_INSTANCENAME ????????????value:?${xxx}? ??????????-?name:?OTS_TEST_KEYID ????????????value:?${yyy} ??????????-?name:?OTS_TEST_SECRET ????????????value:?${Pxxx} ??????????-?name:?WEATHER_API_KEY ????????????value:?xxx

關(guān)于服務(wù)具體實(shí)現(xiàn)參見 GitHub 源代碼：https://github.com/knative-sample/weather-store

創(chuàng)建定時(shí)事件

這里或許有疑問：為什么不在服務(wù)中直接進(jìn)行定時(shí)輪詢，非要通過 Knative Eventing 搞一個(gè)定時(shí)事件觸發(fā)執(zhí)行調(diào)用？那我們要說明一下，Serverless 時(shí)代下就該這樣玩-按需使用。千萬不要在服務(wù)中按照傳統(tǒng)的方式空跑這些定時(shí)任務(wù)，親，這是在持續(xù)浪費(fèi)計(jì)算資源。 言歸正傳，下面我們使用 Knative Eventing 自帶的定時(shí)任務(wù)數(shù)據(jù)源（CronJobSource），觸發(fā)定時(shí)同步事件。 創(chuàng)建 CronJobSource 資源，實(shí)現(xiàn)每 3 個(gè)小時(shí)定時(shí)觸發(fā)同步天氣服務(wù)（weather-store），WeatherCronJob.yaml 如下：

apiVersion:?sources.eventing.knative.dev/v1alpha1 kind:?CronJobSource metadata: ??name:?weather-cronjob spec: ??schedule:?"0?*/3?*?*?*" ??data:?'{"message":?"sync"}' ??sink: ????apiVersion:?serving.knative.dev/v1alpha1 ????kind:?Service ????name:?weather-store

執(zhí)行命令：

kubectl?apply?-f?WeatherCronJob.yaml

現(xiàn)在我們登錄阿里云表格存儲(chǔ)服務(wù)，可以看到天氣預(yù)報(bào)數(shù)據(jù)已經(jīng)按照城市、日期的格式同步進(jìn)來了。

提供天氣預(yù)報(bào)查詢 RESTful API

有了這些天氣數(shù)據(jù)，可以隨心所欲的提供屬于我們自己的天氣預(yù)報(bào)服務(wù)了（感覺像是承包了一塊地，我們來當(dāng)?shù)刂鳎?，這里沒什么難點(diǎn)，從表格存儲(chǔ)中查詢對應(yīng)的天氣數(shù)據(jù)，按照返回的數(shù)據(jù)格式進(jìn)行封裝即可。 在 Knative 中，我們可以部署 RESTful API 服務(wù)如下：

apiVersion:?serving.knative.dev/v1alpha1 kind:?Service metadata: ??name:?weather-service ??namespace:?default spec: ??template: ????metadata: ??????labels: ????????app:?weather-service ??????annotations: ????????autoscaling.knative.dev/maxScale:?"20" ????????autoscaling.knative.dev/target:?"100" ????spec: ??????containers: ????????-?image:?registry.cn-hangzhou.aliyuncs.com/knative-sample/weather-service:1.1 ??????????ports: ????????????-?name:?http1 ??????????????containerPort:?8080 ??????????env: ??????????-?name:?OTS_TEST_ENDPOINT ????????????value:?http://xxx.cn-hangzhou.ots.aliyuncs.com ??????????-?name:?TABLE_NAME ????????????value:?weather ??????????-?name:?OTS_TEST_INSTANCENAME ????????????value:?${xxx}? ??????????-?name:?OTS_TEST_KEYID ????????????value:?${yyy} ??????????-?name:?OTS_TEST_SECRET ????????????value:?${Pxxx}

具體實(shí)現(xiàn)源代碼 GitHub 地址：https://github.com/knative-sample/weather-service查詢天氣 RESTful API:

請求URL GET /api/weather/query

參數(shù): cityCode：城市區(qū)域代碼。如北京市區(qū)域代碼：110000 date：查詢?nèi)掌?。如格式?019-09-26

返回結(jié)果

{ ????"code":200, ????"message":"", ????"data":{ ????????"adcode":"110000", ????????"city":"北京市", ????????"date":"2019-09-26", ????????"daypower":"≤3", ????????"daytemp":"30", ????????"dayweather":"晴", ????????"daywind":"東南", ????????"nightpower":"≤3", ????????"nighttemp":"15", ????????"nightweather":"晴", ????????"nightwind":"東南", ????????"province":"北京", ????????"reporttime":"2019-09-25?14:50:46", ????????"week":"4" ????} }

查詢：杭州，2019-09-26天氣預(yù)報(bào)信息示例 測試地址：http://weather-service.default.knative.kuberun.com/api/weather/query?cityCode=330100&date=2019-11-06另外城市區(qū)域代碼表可以在上面提供的源代碼 GitHub 中可以查看，也可以到高德開放平臺(tái)中下載：https://lbs.amap.com/api/webservice/download

天氣訂閱提醒

首先我們介紹一下表格存儲(chǔ)提供的通道服務(wù)。通道服務(wù)（Tunnel Service）是基于表格存儲(chǔ)數(shù)據(jù)接口之上的全增量一體化服務(wù)。通道服務(wù)為您提供了增量、全量、增量加全量三種類型的分布式數(shù)據(jù)實(shí)時(shí)消費(fèi)通道。通過為數(shù)據(jù)表建立數(shù)據(jù)通道，您可以簡單地實(shí)現(xiàn)對表中歷史存量和新增數(shù)據(jù)的消費(fèi)處理。通過數(shù)據(jù)通道可以進(jìn)行數(shù)據(jù)同步、事件驅(qū)動(dòng)、流式數(shù)據(jù)處理以及數(shù)據(jù)搬遷。這里事件驅(qū)動(dòng)正好契合我們的場景。

自定義 TableStore 事件源

在 Knative 中自定義事件源其實(shí)很容易，可以參考官方提供的自定義事件源的實(shí)例：https://github.com/knative/docs/tree/master/docs/eventing/samples/writing-a-source。 我們這里定義數(shù)據(jù)源為 AliTablestoreSource。代碼實(shí)現(xiàn)主要分為兩部分：

資源控制器-Controller：接收 AliTablestoreSource 資源，在通道服務(wù)中創(chuàng)建 Tunnel。

事件接收器-Receiver：通過 Tunnel Client 監(jiān)聽事件，并將接收到的事件發(fā)送到目標(biāo)服務(wù)( Broker）

關(guān)于自定義 TableStore 事件源實(shí)現(xiàn)參見 GitHub 源代碼：https://github.com/knative-sample/tablestore-source

部署自定義事件源服務(wù)如下： 從 https://github.com/knative-sample/tablestore-source/tree/master/config 中可以獲取事件源部署文件，執(zhí)行下面的操作

kubectl?apply?-f?200-serviceaccount.yaml?-f?201-clusterrole.yaml?-f?202-clusterrolebinding.yaml?-f?300-alitablestoresource.yaml?-f?400-controller-service.yaml?-f?500-controller.yaml?-f?600-istioegress.yaml

部署完成之后，我們可以看資源控制器已經(jīng)開始運(yùn)行：

[root@iZ8vb5wa3qv1gwrgb3lxqpZ?config]#?kubectl?-n?knative-sources?get?pods NAME?????????????????????????????????READY???STATUS????RESTARTS???AGE alitablestore-controller-manager-0???1/1?????Running???0??????????4h12m

創(chuàng)建事件源

由于我們是通過 Knative Eventing 中 Broker/Trigger 事件驅(qū)動(dòng)模型對天氣事件進(jìn)行處理。首先我們創(chuàng)建用于數(shù)據(jù)接收的 Broker 服務(wù)。

創(chuàng)建 Broker

apiVersion:?eventing.knative.dev/v1alpha1 kind:?Broker metadata: ??name:?weather spec: ??channelTemplateSpec: ????apiVersion:?messaging.knative.dev/v1alpha1 ????kind:?InMemoryChannel

創(chuàng)建事件源實(shí)例

這里需要說明一下，創(chuàng)建事件源實(shí)例其實(shí)就是在表格存儲(chǔ)中創(chuàng)建通道服務(wù)，那么就需要配置訪問通道服務(wù)的地址、accessKeyId和accessKeySecret，這里參照格式：{ "url":"https://xxx.cn-beijing.ots.aliyuncs.com/", "accessKeyId":"xxxx","accessKeySecret":"xxxx" } 設(shè)置并進(jìn)行base64編碼。將結(jié)果設(shè)置到如下 Secret 配置文件alitablestore 屬性中：

apiVersion:?v1 kind:?Secret metadata: ??name:?alitablestore-secret type:?Opaque data: ??#?{?"url":"https://xxx.cn-beijing.ots.aliyuncs.com/",?"accessKeyId":"xxxx","accessKeySecret":"xxxx"?} ??alitablestore:?""

創(chuàng)建 RBAC 權(quán)限

apiVersion:?rbac.authorization.k8s.io/v1 kind:?ClusterRoleBinding metadata: ??name:?eventing-sources-alitablestore subjects: -?kind:?ServiceAccount ??name:?alitablestore-sa ??namespace:?default roleRef: ??apiGroup:?rbac.authorization.k8s.io ??kind:?ClusterRole ??name:?eventing-sources-alitablestore-controller --- apiVersion:?v1 kind:?ServiceAccount metadata: ??name:?alitablestore-sa secrets: -?name:?alitablestore-secret

創(chuàng)建 AliTablestoreSource 實(shí)例，這里我們設(shè)置接收事件的 sink 為上面創(chuàng)建的 Broker 服務(wù)。

--- apiVersion:?sources.eventing.knative.dev/v1alpha1 kind:?AliTablestoreSource metadata: ??labels: ????controller-tools.k8s.io:?"1.0" ??name:?alitablestoresource spec: ??#?Add?fields?here ??serviceAccountName:?alitablestore-sa ??accessToken: ????secretKeyRef: ??????name:?alitablestore-secret ??????key:?alitablestore ??tableName:?weather ??instance:?knative-weather ??sink: ????apiVersion:?eventing.knative.dev/v1alpha1 ????kind:?Broker ????name:?weather

創(chuàng)建完成之后，我們可以看到運(yùn)行中的事件源：

[root@iZ8vb5wa3qv1gwrgb3lxqpZ?config]#?kubectl?get?pods NAME??????????????????????????????????????????????????????????????READY???STATUS??????RESTARTS???AGE tablestore-alitablestoresource-9sjqx-656c5bf84b-pbhvw?????????????1/1?????Running?????0??????????4h9m

訂閱事件和通知提醒

創(chuàng)建天氣提醒服務(wù)

如何進(jìn)行釘釘通知呢，我們可以創(chuàng)建一個(gè)釘釘?shù)娜航M（可以把家里人組成一個(gè)釘釘群，天氣異常時(shí)，給家人一個(gè)提醒），添加群機(jī)器人:

獲取 webhook :

這里我們假設(shè)北京(110000)，日期：2019-10-13, 如果天氣有雨，就通過釘釘發(fā)送通知提醒，則服務(wù)配置如下：

apiVersion:?serving.knative.dev/v1beta1 kind:?Service metadata: ??name:?day-weather spec: ??template: ????spec: ??????containers: ??????-?args: ????????-?--dingtalkurl=https://oapi.dingtalk.com/robot/send?access_token=xxxxxx ????????-?--adcode=110000 ????????-?--date=2019-10-13 ????????-?--dayweather=雨 ????????image:?registry.cn-hangzhou.aliyuncs.com/knative-sample/dingtalk-weather-service:1.2

關(guān)于釘釘提醒服務(wù)具體實(shí)現(xiàn)參見 GitHub 源代碼：https://github.com/knative-sample/dingtalk-weather-service

創(chuàng)建訂閱

最后我們創(chuàng)建 Trigger訂閱天氣事件，并且觸發(fā)天氣提醒服務(wù)：

apiVersion:?eventing.knative.dev/v1alpha1 kind:?Trigger metadata: ??name:?weather-trigger spec: ??broker:?weather ??subscriber: ????ref: ??????apiVersion:?serving.knative.dev/v1alpha1 ??????kind:?Service ??????name:?day-weather

訂閱之后，如果北京(110000)，日期：2019-10-13, 天氣有雨，會(huì)收到如下的釘釘提醒：

這里其實(shí)還有待完善的地方：

是否可以基于城市進(jìn)行訂閱（只訂閱目標(biāo)城市）？

是否可以指定時(shí)間發(fā)送消息提醒（當(dāng)天晚上 8 點(diǎn)準(zhǔn)時(shí)推送第 2 天的天氣提醒信息）？

有興趣的可以繼續(xù)完善當(dāng)前的天氣服務(wù)功能。

總結(jié)

通過上面的介紹，大家對如何通過 Knative 提供天氣查詢、 訂閱天氣信息，釘釘推送通知提醒應(yīng)該有了更多的體感，其實(shí)類似的場景我們有理由相信通過 Knative Serverless 可以幫你做到資源利用游刃有余。歡迎持續(xù)關(guān)注。