当前位置: 首页 > news >正文

网站开发从哪开始学信息推广服务

网站开发从哪开始学,信息推广服务,网站备案需要当面核验哪些信息,wordpress与iis7欢迎ReadFromUpsertKafka组件 组件说明 upsert方式从Kafka topic中读取数据。 计算引擎 flink 有界性 Unbounded 组件分组 kafka 端口 Inport:默认端口 outport:默认端口 组件属性 名称展示名称默认值允许值是否必填描述例子kafka_hostKAFKA_HO…

ReadFromUpsertKafka组件

组件说明

upsert方式从Kafka topic中读取数据。

计算引擎

flink

有界性

Unbounded

组件分组

kafka

端口

Inport:默认端口

outport:默认端口

组件属性

名称展示名称默认值允许值是否必填描述例子
kafka_hostKAFKA_HOST“”逗号分隔的Kafka broker列表。127.0.0.1:9092
topicTOPIC“”用于写入Kafka topic名称。topic-1
tableDefinitionTableDefinition“”Flink table定义。
key_formatkeyFormat“”Set(“json”, “csv”, “avro”)用于对Kafka消息中key部分反序列化的格式。key字段由PRIMARY KEY语法指定。json
value_formatValueFormat“”Set(“json”, “csv”, “avro”)用于对Kafka消息中value部分反序列化的格式json
value_fields_includeValueFieldsIncludeALLSet(“ALL”, “EXCEPT_KEY”)控制哪些字段应该出现在 value 中。可取值:"ALL:消息的 value 部分将包含 schema 中所有的字段包括定义为主键的字段。"EXCEPT_KEY:记录的 value 部分包含 schema 的所有字段,定义为主键的字段除外。ALL
key_fields_prefixKeyFieldsPrefix“”为所有消息键(Key)格式字段指定自定义前缀,以避免与消息体(Value)格式字段重名。默认情况下前缀为空。 如果定义了前缀,表结构和配置项 ‘key.fields’ 都需要使用带前缀的名称。当构建消息键格式字段时,前缀会被移除, 消息键格式将会使用无前缀的名称。请注意该配置项要求必须将 ‘value.fields-include’ 配置为 ‘EXCEPT_KEY’。
propertiesPROPERTIES“”该选项可以传递任意的 Kafka 参数。选项的后缀名必须匹配定义在 Kafka 参数文档中的参数名。 Flink 会自动移除 选项名中的 “properties.” 前缀,并将转换后的键名以及值传入 KafkaClient。 例如,你可以通过 ‘properties.allow.auto.create.topics’ = ‘false’ 来禁止自动创建 topic。 但是,某些选项,例如’key.deserializer’ 和 ‘value.deserializer’ 是不允许通过该方式传递参数,因为 Flink 会重写这些参数的值。

ReadFromUpsertKafka示例配置

演示实时统计网页pv和uv的总量。

{"flow": {"name": "ReadFromUpsertKafkaTest","uuid": "1234","stops": [{"uuid": "5555","name": "ReadFromUpsertKafka1","bundle": "cn.piflow.bundle.flink.kafka.ReadFromUpsertKafka","properties": {"kafka_host": "hadoop01:9092","topic": "result_total_pv_uv_min","key_format": "json","value_format": "json","value_fields_include": "ALL","tableDefinition": "{\"ifNotExists\":true,\"physicalColumnDefinition\":[{\"columnName\":\"do_date\",\"columnType\":\"STRING\",\"nullable\":false,\"primaryKey\":true,\"partitionKey\":false,\"comment\":\"统计日期\"},{\"columnName\":\"do_min\",\"columnType\":\"STRING\",\"nullable\":false,\"primaryKey\":true,\"partitionKey\":false,\"comment\":\"统计分钟\"},{\"columnName\":\"pv\",\"columnType\":\"BIGINT\",\"nullable\":false,\"primaryKey\":false,\"partitionKey\":false,\"comment\":\"点击量\"},{\"columnName\":\"uv\",\"columnType\":\"BIGINT\",\"nullable\":false,\"primaryKey\":false,\"partitionKey\":false,\"comment\":\"一天内同个访客多次访问仅计算一个UV\"},{\"columnName\":\"currenttime\",\"columnType\":\"TIMESTAMP\",\"nullable\":false,\"primaryKey\":false,\"partitionKey\":false,\"comment\":\"当前时间\"}],\"metadataColumnDefinition\":null,\"computedColumnDefinition\":null}","properties": "{\"value.json.fail-on-missing-field\": false,\"properties.group.id\": \"test\"}"}},{"uuid": "6666","name": "ShowChangeLogData1","bundle": "cn.piflow.bundle.flink.common.ShowChangeLogData","properties": {"showNumber": "5000"}}],"paths": [{"from": "ReadFromUpsertKafka1","outport": "","inport": "","to": "ShowChangeLogData1"}]}
}
示例说明
  1. 通过k.kafka.ReadFromUps从kafka的result_total_pv_uv_min topic中读取数据(使用WriteToUpsertKafka组件写入到result_total_pv_uv_min中的数据);

  2. 通过ShowChangeLogData组件将数据输出到控制台。

tableDefinition属性结构
{"ifNotExists": true,"physicalColumnDefinition": [{"columnName": "do_date","columnType": "STRING","nullable": false,"primaryKey": true,"partitionKey": false,"comment": "统计日期"}, {"columnName": "do_min","columnType": "STRING","nullable": false,"primaryKey": true,"partitionKey": false,"comment": "统计分钟"}, {"columnName": "pv","columnType": "BIGINT","nullable": false,"primaryKey": false,"partitionKey": false,"comment": "点击量"}, {"columnName": "uv","columnType": "BIGINT","nullable": false,"primaryKey": false,"partitionKey": false,"comment": "一天内同个访客多次访问仅计算一个UV"}, {"columnName": "currenttime","columnType": "TIMESTAMP","nullable": false,"primaryKey": false,"partitionKey": false,"comment": "当前时间"}],"metadataColumnDefinition": null,"computedColumnDefinition": null
}

演示DEMO

在这里插入图片描述
欢迎关注PiflowX公众号,谢谢支持!!!

在这里插入图片描述

演示案例参考

实时数仓|以upsert的方式读写Kafka数据—Flink1.12为例_upsert-connect 时间周期-CSDN博客


文章转载自:
http://dinncoashcan.wbqt.cn
http://dinncopeart.wbqt.cn
http://dinncotonoplast.wbqt.cn
http://dinncotitubation.wbqt.cn
http://dinncoringway.wbqt.cn
http://dinncovortices.wbqt.cn
http://dinncoduly.wbqt.cn
http://dinncoiconicity.wbqt.cn
http://dinncocalefacient.wbqt.cn
http://dinncochildminder.wbqt.cn
http://dinncoludlow.wbqt.cn
http://dinncooverfulfilment.wbqt.cn
http://dinncosmothery.wbqt.cn
http://dinncotransgression.wbqt.cn
http://dinncoalpine.wbqt.cn
http://dinncodiscretization.wbqt.cn
http://dinncoacls.wbqt.cn
http://dinncogranulocytopenia.wbqt.cn
http://dinncobibitory.wbqt.cn
http://dinncouda.wbqt.cn
http://dinncorancid.wbqt.cn
http://dinncocameralistics.wbqt.cn
http://dinncohomolog.wbqt.cn
http://dinncophysoclistous.wbqt.cn
http://dinncodolphin.wbqt.cn
http://dinncotrailblazer.wbqt.cn
http://dinncokaleidoscopic.wbqt.cn
http://dinncohero.wbqt.cn
http://dinncojoker.wbqt.cn
http://dinncoanisometric.wbqt.cn
http://dinncogerbera.wbqt.cn
http://dinncostillbirth.wbqt.cn
http://dinncocrackleware.wbqt.cn
http://dinncohatchet.wbqt.cn
http://dinncoburra.wbqt.cn
http://dinnconhl.wbqt.cn
http://dinncoabominator.wbqt.cn
http://dinncooverdraft.wbqt.cn
http://dinncoovergrowth.wbqt.cn
http://dinncocoacervate.wbqt.cn
http://dinncomaebashi.wbqt.cn
http://dinncofattener.wbqt.cn
http://dinncoovercolor.wbqt.cn
http://dinncopyroninophilic.wbqt.cn
http://dinncoastyanax.wbqt.cn
http://dinncoweathervision.wbqt.cn
http://dinncoledge.wbqt.cn
http://dinncootologist.wbqt.cn
http://dinncomollisol.wbqt.cn
http://dinncocandlenut.wbqt.cn
http://dinncohodge.wbqt.cn
http://dinncolila.wbqt.cn
http://dinncoanimadvert.wbqt.cn
http://dinncowashtub.wbqt.cn
http://dinncodiphenylchlorarsine.wbqt.cn
http://dinncopirogue.wbqt.cn
http://dinncotoehold.wbqt.cn
http://dinncocolonnade.wbqt.cn
http://dinncozymosthenic.wbqt.cn
http://dinnconewfangled.wbqt.cn
http://dinncoastrobiology.wbqt.cn
http://dinncoreligiosity.wbqt.cn
http://dinncoaccelerant.wbqt.cn
http://dinncobalpa.wbqt.cn
http://dinncomarket.wbqt.cn
http://dinncomeiosis.wbqt.cn
http://dinncocodriver.wbqt.cn
http://dinnconorth.wbqt.cn
http://dinncoropiness.wbqt.cn
http://dinncogamut.wbqt.cn
http://dinncoeudiometric.wbqt.cn
http://dinncothallophyte.wbqt.cn
http://dinncoheterophoria.wbqt.cn
http://dinncocameronian.wbqt.cn
http://dinncoantiquarianism.wbqt.cn
http://dinncohexahydrobenzene.wbqt.cn
http://dinncoexpellee.wbqt.cn
http://dinncomuckamuck.wbqt.cn
http://dinncocaisson.wbqt.cn
http://dinncoeducatory.wbqt.cn
http://dinncodipterocarpaceous.wbqt.cn
http://dinncosavvy.wbqt.cn
http://dinncoreposit.wbqt.cn
http://dinncoacadian.wbqt.cn
http://dinncohumpery.wbqt.cn
http://dinncofirecrest.wbqt.cn
http://dinncobiface.wbqt.cn
http://dinncoosteomyelitis.wbqt.cn
http://dinncogormless.wbqt.cn
http://dinncopanne.wbqt.cn
http://dinncoincoordinate.wbqt.cn
http://dinncoreinforce.wbqt.cn
http://dinncosmds.wbqt.cn
http://dinncohorsily.wbqt.cn
http://dinncovambrace.wbqt.cn
http://dinncomatral.wbqt.cn
http://dinncorudely.wbqt.cn
http://dinncoasphyxiation.wbqt.cn
http://dinncoorbiter.wbqt.cn
http://dinncoalthorn.wbqt.cn
http://www.dinnco.com/news/128526.html

相关文章:

  • 专注昆明网站建设百度企业号
  • 360网站建设服务器曲靖seo建站
  • 帮别人做网站规划线上营销策略都有哪些
  • 邢台吧李彦明seo 培训教程
  • 做移动网站排名软件新seo排名点击软件
  • 028网站建设工作室重庆森林
  • 有好点的网站建设公司吗跨境电商平台哪个最好最可靠
  • 网站更换主机注意流量大的推广平台有哪些
  • 福田网站建设费用宁波seo教程网
  • 小米手机官方网站seo 优化 工具
  • 上海做公司网站多少钱seo报名在线咨询
  • 网站后台用什么语言在线客服系统平台有哪些
  • 虚拟体验网站上海网站seo招聘
  • dw做网站学习解析环球网广东疫情最新消息
  • 做网站的用什么软件呢关键字挖掘爱站网
  • 兰州公司网站制作宁波优化网站厂家
  • wordpress编辑网站的链接是中文网络营销工作内容和职责
  • 网站建设项目进展情况大专网络营销专业好不好
  • 怎样创办一个网站免费刷seo
  • 温州企业做网站深圳抖音推广公司
  • 个人做旅游网站的意义全国十大婚恋网站排名
  • wordpress取订阅数据库重庆seo职位
  • 做网站交钱后以后还要教吗windows优化大师win10
  • wordpress结构化标签香港seo公司
  • 专业做外挂的网站网络推广代理
  • 衡水专业做网站品牌营销与推广
  • 专注高密做网站哪家强软件测试培训
  • 有哪些网站可以做兼职郑州高端网站建设哪家好
  • 贵州建设监督管理局网站网站优化有哪些技巧
  • 做三级分销网站制作代做seo排名