提到天氣預(yù)報(bào)服務(wù),我們第一反應(yīng)是很簡單的一個(gè)服務(wù)啊,目前網(wǎng)上有大把的天氣預(yù)報(bào) API 可以直接使用,有必要去使用 Knative 搞一套嗎?殺雞用牛刀?先不要著急,我們先看一下實(shí)際的幾個(gè)場景需求:
場景需求1:根據(jù)當(dāng)?shù)貧v年的天氣信息,預(yù)測明年大致的高溫到來的時(shí)間
場景需求2:近來天氣多變,如果明天下雨,能否在早上上班前,給我一個(gè)帶傘提醒通知
場景需求3:領(lǐng)導(dǎo)發(fā)話:最近經(jīng)濟(jì)不景氣,公司財(cái)務(wù)緊張,那個(gè)服務(wù)器,你們提供天氣、路況等服務(wù)的那幾個(gè)小程序一起用吧,但要保證正常提供服務(wù)。
從上面的需求,我們其實(shí)發(fā)現(xiàn),要做好一個(gè)天氣預(yù)報(bào)的服務(wù),也面臨內(nèi)憂(資源緊缺)外患(需求增加),并不是那么簡單的。不過現(xiàn)在更不要著急,我們可以使用 Knative 幫你解決上面的問題。
關(guān)鍵詞:天氣查詢、表格存儲(chǔ),通道服務(wù),事件通知
場景需求
首先我們來描述一下我們要做的天氣服務(wù)場景需求:
1. 提供對外的天氣預(yù)報(bào) RESTful API
根據(jù)城市、日期查詢(支持未來 3 天)國內(nèi)城市天氣信息
不限制查詢次數(shù),支持較大并發(fā)查詢(1000)
2. 天氣訂閱提醒
訂閱國內(nèi)城市天氣信息,根據(jù)實(shí)際訂閱城市區(qū)域,提醒明天下雨帶傘
使用釘釘進(jìn)行通知
整體架構(gòu)
有了需求,那我們就開始如何基于 Knative 實(shí)現(xiàn)天氣服務(wù)。我們先看一下整體架構(gòu):
通過 CronJob 事件源,每隔 3個(gè) 小時(shí)定時(shí)發(fā)送定時(shí)事件,將國內(nèi)城市未來3天的天氣信息,存儲(chǔ)更新到表格存儲(chǔ)
提供 RESTful API 查詢天氣信息
通過表格存儲(chǔ)提供的通道服務(wù),實(shí)現(xiàn) TableStore 事件源
通過 Borker/Trigger 事件驅(qū)動(dòng)模型,訂閱目標(biāo)城市天氣信息
根據(jù)訂閱收到的天氣信息進(jìn)行釘釘消息通知。如明天下雨,提示帶傘等
提供對外的天氣預(yù)報(bào) RESTful API
對接高德開放平臺(tái)天氣預(yù)報(bào) API
查詢天氣的 API 有很多,這里我們選擇高德開放平臺(tái)提供的天氣查詢 API,使用簡單、服務(wù)穩(wěn)定,并且該天氣預(yù)報(bào) API 每天提供 100000 免費(fèi)的調(diào)用量,支持國內(nèi) 3500 多個(gè)區(qū)域的天氣信息查詢。另外高德開放平臺(tái),除了天氣預(yù)報(bào),還可以提供 ip 定位、搜索服務(wù)、路徑規(guī)劃等,感興趣的也可以研究一下玩法。 登錄高德開放平臺(tái): https://lbs.amap.com, 創(chuàng)建應(yīng)用,獲取 Key 即可:
獲取Key之后,可以直接通過url訪問:https://restapi.amap.com/v3/weather/weatherInfo?city=110101&extensions=all&key=<用戶key>,返回天氣信息數(shù)據(jù)如下:
{ ????"status":"1", ????"count":"1", ????"info":"OK", ????"infocode":"10000", ????"forecasts":[ ????????{ ????????????"city":"杭州市", ????????????"adcode":"330100", ????????????"province":"浙江", ????????????"reporttime":"2019-09-24?20:49:27", ????????????"casts":[ ????????????????{ ????????????????????"date":"2019-09-24", ????????????????????"week":"2", ????????????????????"dayweather":"晴", ????????????????????"nightweather":"多云", ????????????????????"daytemp":"29", ????????????????????"nighttemp":"17", ????????????????????"daywind":"無風(fēng)向", ????????????????????"nightwind":"無風(fēng)向", ????????????????????"daypower":"≤3", ????????????????????"nightpower":"≤3" ????????????????}, ????????????????... ????????????] ????????} ????] }
定時(shí)同步并更新天氣信息
同步并更新天氣信息
該功能主要實(shí)現(xiàn)對接高德開放平臺(tái)天氣預(yù)報(bào) API, 獲取天氣預(yù)報(bào)信息,同時(shí)對接阿里云表格存儲(chǔ)服務(wù)(TableStore),用于天氣預(yù)報(bào)數(shù)據(jù)存儲(chǔ)。具體操作如下:
接收 CloudEvent 定時(shí)事件
查詢各個(gè)區(qū)域天氣信息
將天氣信息存儲(chǔ)或者更新到表格存儲(chǔ)
在 Knative 中,我們可以直接創(chuàng)建服務(wù)如下:
apiVersion:?serving.knative.dev/v1alpha1 kind:?Service metadata: ??name:?weather-store ??namespace:?default spec: ??template: ????metadata: ??????labels: ????????app:?weather-store ??????annotations: ????????autoscaling.knative.dev/maxScale:?"20" ????????autoscaling.knative.dev/target:?"100" ????spec: ??????containers: ????????-?image:?registry.cn-hangzhou.aliyuncs.com/knative-sample/weather-store:1.2 ??????????ports: ????????????-?name:?http1 ??????????????containerPort:?8080 ??????????env: ??????????-?name:?OTS_TEST_ENDPOINT ????????????value:?http://xxx.cn-hangzhou.ots.aliyuncs.com ??????????-?name:?TABLE_NAME ????????????value:?weather ??????????-?name:?OTS_TEST_INSTANCENAME ????????????value:?${xxx}? ??????????-?name:?OTS_TEST_KEYID ????????????value:?${yyy} ??????????-?name:?OTS_TEST_SECRET ????????????value:?${Pxxx} ??????????-?name:?WEATHER_API_KEY ????????????value:?xxx
關(guān)于服務(wù)具體實(shí)現(xiàn)參見 GitHub 源代碼:https://github.com/knative-sample/weather-store
創(chuàng)建定時(shí)事件
這里或許有疑問:為什么不在服務(wù)中直接進(jìn)行定時(shí)輪詢,非要通過 Knative Eventing 搞一個(gè)定時(shí)事件觸發(fā)執(zhí)行調(diào)用?那我們要說明一下,Serverless 時(shí)代下就該這樣玩-按需使用。千萬不要在服務(wù)中按照傳統(tǒng)的方式空跑這些定時(shí)任務(wù),親,這是在持續(xù)浪費(fèi)計(jì)算資源。 言歸正傳,下面我們使用 Knative Eventing 自帶的定時(shí)任務(wù)數(shù)據(jù)源(CronJobSource),觸發(fā)定時(shí)同步事件。 創(chuàng)建 CronJobSource 資源,實(shí)現(xiàn)每 3 個(gè)小時(shí)定時(shí)觸發(fā)同步天氣服務(wù)(weather-store),WeatherCronJob.yaml 如下:
apiVersion:?sources.eventing.knative.dev/v1alpha1 kind:?CronJobSource metadata: ??name:?weather-cronjob spec: ??schedule:?"0?*/3?*?*?*" ??data:?'{"message":?"sync"}' ??sink: ????apiVersion:?serving.knative.dev/v1alpha1 ????kind:?Service ????name:?weather-store
執(zhí)行命令:
kubectl?apply?-f?WeatherCronJob.yaml
現(xiàn)在我們登錄阿里云表格存儲(chǔ)服務(wù),可以看到天氣預(yù)報(bào)數(shù)據(jù)已經(jīng)按照城市、日期的格式同步進(jìn)來了。
提供天氣預(yù)報(bào)查詢 RESTful API
有了這些天氣數(shù)據(jù),可以隨心所欲的提供屬于我們自己的天氣預(yù)報(bào)服務(wù)了(感覺像是承包了一塊地,我們來當(dāng)?shù)刂鳎?,這里沒什么難點(diǎn),從表格存儲(chǔ)中查詢對應(yīng)的天氣數(shù)據(jù),按照返回的數(shù)據(jù)格式進(jìn)行封裝即可。 在 Knative 中,我們可以部署 RESTful API 服務(wù)如下:
apiVersion:?serving.knative.dev/v1alpha1 kind:?Service metadata: ??name:?weather-service ??namespace:?default spec: ??template: ????metadata: ??????labels: ????????app:?weather-service ??????annotations: ????????autoscaling.knative.dev/maxScale:?"20" ????????autoscaling.knative.dev/target:?"100" ????spec: ??????containers: ????????-?image:?registry.cn-hangzhou.aliyuncs.com/knative-sample/weather-service:1.1 ??????????ports: ????????????-?name:?http1 ??????????????containerPort:?8080 ??????????env: ??????????-?name:?OTS_TEST_ENDPOINT ????????????value:?http://xxx.cn-hangzhou.ots.aliyuncs.com ??????????-?name:?TABLE_NAME ????????????value:?weather ??????????-?name:?OTS_TEST_INSTANCENAME ????????????value:?${xxx}? ??????????-?name:?OTS_TEST_KEYID ????????????value:?${yyy} ??????????-?name:?OTS_TEST_SECRET ????????????value:?${Pxxx}
具體實(shí)現(xiàn)源代碼 GitHub 地址:https://github.com/knative-sample/weather-service查詢天氣 RESTful API:
請求URL GET /api/weather/query
參數(shù): cityCode:城市區(qū)域代碼。如北京市區(qū)域代碼:110000 date:查詢?nèi)掌?。如格式?019-09-26
返回結(jié)果
{ ????"code":200, ????"message":"", ????"data":{ ????????"adcode":"110000", ????????"city":"北京市", ????????"date":"2019-09-26", ????????"daypower":"≤3", ????????"daytemp":"30", ????????"dayweather":"晴", ????????"daywind":"東南", ????????"nightpower":"≤3", ????????"nighttemp":"15", ????????"nightweather":"晴", ????????"nightwind":"東南", ????????"province":"北京", ????????"reporttime":"2019-09-25?14:50:46", ????????"week":"4" ????} }
查詢:杭州,2019-09-26天氣預(yù)報(bào)信息示例 測試地址:http://weather-service.default.knative.kuberun.com/api/weather/query?cityCode=330100&date=2019-11-06另外城市區(qū)域代碼表可以在上面提供的源代碼 GitHub 中可以查看,也可以到高德開放平臺(tái)中下載:https://lbs.amap.com/api/webservice/download
天氣訂閱提醒
首先我們介紹一下表格存儲(chǔ)提供的通道服務(wù)。通道服務(wù)(Tunnel Service)是基于表格存儲(chǔ)數(shù)據(jù)接口之上的全增量一體化服務(wù)。通道服務(wù)為您提供了增量、全量、增量加全量三種類型的分布式數(shù)據(jù)實(shí)時(shí)消費(fèi)通道。通過為數(shù)據(jù)表建立數(shù)據(jù)通道,您可以簡單地實(shí)現(xiàn)對表中歷史存量和新增數(shù)據(jù)的消費(fèi)處理。通過數(shù)據(jù)通道可以進(jìn)行數(shù)據(jù)同步、事件驅(qū)動(dòng)、流式數(shù)據(jù)處理以及數(shù)據(jù)搬遷。這里事件驅(qū)動(dòng)正好契合我們的場景。
自定義 TableStore 事件源
在 Knative 中自定義事件源其實(shí)很容易,可以參考官方提供的自定義事件源的實(shí)例:https://github.com/knative/docs/tree/master/docs/eventing/samples/writing-a-source。 我們這里定義數(shù)據(jù)源為 AliTablestoreSource。代碼實(shí)現(xiàn)主要分為兩部分:
資源控制器-Controller:接收 AliTablestoreSource 資源,在通道服務(wù)中創(chuàng)建 Tunnel。
事件接收器-Receiver:通過 Tunnel Client 監(jiān)聽事件,并將接收到的事件發(fā)送到目標(biāo)服務(wù)( Broker)
關(guān)于自定義 TableStore 事件源實(shí)現(xiàn)參見 GitHub 源代碼:https://github.com/knative-sample/tablestore-source
部署自定義事件源服務(wù)如下: 從 https://github.com/knative-sample/tablestore-source/tree/master/config 中可以獲取事件源部署文件,執(zhí)行下面的操作
kubectl?apply?-f?200-serviceaccount.yaml?-f?201-clusterrole.yaml?-f?202-clusterrolebinding.yaml?-f?300-alitablestoresource.yaml?-f?400-controller-service.yaml?-f?500-controller.yaml?-f?600-istioegress.yaml
部署完成之后,我們可以看資源控制器已經(jīng)開始運(yùn)行:
[root@iZ8vb5wa3qv1gwrgb3lxqpZ?config]#?kubectl?-n?knative-sources?get?pods NAME?????????????????????????????????READY???STATUS????RESTARTS???AGE alitablestore-controller-manager-0???1/1?????Running???0??????????4h12m
創(chuàng)建事件源
由于我們是通過 Knative Eventing 中 Broker/Trigger 事件驅(qū)動(dòng)模型對天氣事件進(jìn)行處理。首先我們創(chuàng)建用于數(shù)據(jù)接收的 Broker 服務(wù)。
創(chuàng)建 Broker
apiVersion:?eventing.knative.dev/v1alpha1 kind:?Broker metadata: ??name:?weather spec: ??channelTemplateSpec: ????apiVersion:?messaging.knative.dev/v1alpha1 ????kind:?InMemoryChannel
創(chuàng)建事件源實(shí)例
這里需要說明一下,創(chuàng)建事件源實(shí)例其實(shí)就是在表格存儲(chǔ)中創(chuàng)建通道服務(wù),那么就需要配置訪問通道服務(wù)的地址、accessKeyId和accessKeySecret,這里參照格式:{ "url":"https://xxx.cn-beijing.ots.aliyuncs.com/", "accessKeyId":"xxxx","accessKeySecret":"xxxx" } 設(shè)置并進(jìn)行base64編碼。將結(jié)果設(shè)置到如下 Secret 配置文件alitablestore 屬性中:
apiVersion:?v1 kind:?Secret metadata: ??name:?alitablestore-secret type:?Opaque data: ??#?{?"url":"https://xxx.cn-beijing.ots.aliyuncs.com/",?"accessKeyId":"xxxx","accessKeySecret":"xxxx"?} ??alitablestore:?"
創(chuàng)建 RBAC 權(quán)限
apiVersion:?rbac.authorization.k8s.io/v1 kind:?ClusterRoleBinding metadata: ??name:?eventing-sources-alitablestore subjects: -?kind:?ServiceAccount ??name:?alitablestore-sa ??namespace:?default roleRef: ??apiGroup:?rbac.authorization.k8s.io ??kind:?ClusterRole ??name:?eventing-sources-alitablestore-controller --- apiVersion:?v1 kind:?ServiceAccount metadata: ??name:?alitablestore-sa secrets: -?name:?alitablestore-secret
創(chuàng)建 AliTablestoreSource 實(shí)例,這里我們設(shè)置接收事件的 sink 為上面創(chuàng)建的 Broker 服務(wù)。
--- apiVersion:?sources.eventing.knative.dev/v1alpha1 kind:?AliTablestoreSource metadata: ??labels: ????controller-tools.k8s.io:?"1.0" ??name:?alitablestoresource spec: ??#?Add?fields?here ??serviceAccountName:?alitablestore-sa ??accessToken: ????secretKeyRef: ??????name:?alitablestore-secret ??????key:?alitablestore ??tableName:?weather ??instance:?knative-weather ??sink: ????apiVersion:?eventing.knative.dev/v1alpha1 ????kind:?Broker ????name:?weather
創(chuàng)建完成之后,我們可以看到運(yùn)行中的事件源:
[root@iZ8vb5wa3qv1gwrgb3lxqpZ?config]#?kubectl?get?pods NAME??????????????????????????????????????????????????????????????READY???STATUS??????RESTARTS???AGE tablestore-alitablestoresource-9sjqx-656c5bf84b-pbhvw?????????????1/1?????Running?????0??????????4h9m
訂閱事件和通知提醒
創(chuàng)建天氣提醒服務(wù)
如何進(jìn)行釘釘通知呢,我們可以創(chuàng)建一個(gè)釘釘?shù)娜航M(可以把家里人組成一個(gè)釘釘群,天氣異常時(shí),給家人一個(gè)提醒),添加群機(jī)器人:
獲取 webhook :
這里我們假設(shè)北京(110000),日期:2019-10-13, 如果天氣有雨,就通過釘釘發(fā)送通知提醒,則服務(wù)配置如下:
apiVersion:?serving.knative.dev/v1beta1 kind:?Service metadata: ??name:?day-weather spec: ??template: ????spec: ??????containers: ??????-?args: ????????-?--dingtalkurl=https://oapi.dingtalk.com/robot/send?access_token=xxxxxx ????????-?--adcode=110000 ????????-?--date=2019-10-13 ????????-?--dayweather=雨 ????????image:?registry.cn-hangzhou.aliyuncs.com/knative-sample/dingtalk-weather-service:1.2
關(guān)于釘釘提醒服務(wù)具體實(shí)現(xiàn)參見 GitHub 源代碼:https://github.com/knative-sample/dingtalk-weather-service
創(chuàng)建訂閱
最后我們創(chuàng)建 Trigger訂閱天氣事件,并且觸發(fā)天氣提醒服務(wù):
apiVersion:?eventing.knative.dev/v1alpha1 kind:?Trigger metadata: ??name:?weather-trigger spec: ??broker:?weather ??subscriber: ????ref: ??????apiVersion:?serving.knative.dev/v1alpha1 ??????kind:?Service ??????name:?day-weather
訂閱之后,如果北京(110000),日期:2019-10-13, 天氣有雨,會(huì)收到如下的釘釘提醒:
這里其實(shí)還有待完善的地方:
是否可以基于城市進(jìn)行訂閱(只訂閱目標(biāo)城市)?
是否可以指定時(shí)間發(fā)送消息提醒(當(dāng)天晚上 8 點(diǎn)準(zhǔn)時(shí)推送第 2 天的天氣提醒信息)?
有興趣的可以繼續(xù)完善當(dāng)前的天氣服務(wù)功能。
總結(jié)
通過上面的介紹,大家對如何通過 Knative 提供天氣查詢、 訂閱天氣信息,釘釘推送通知提醒應(yīng)該有了更多的體感,其實(shí)類似的場景我們有理由相信通過 Knative Serverless 可以幫你做到資源利用游刃有余。歡迎持續(xù)關(guān)注。
評(píng)論
查看更多