当前位置: 首页 > news >正文

网站排名怎样做有效seo关键词排行优化教程

网站排名怎样做有效,seo关键词排行优化教程,电商发展趋势和未来,网上接单干活的平台文章目录 一、介绍1.准备工作2. 创建SparkSession对象:3. 读取数据:4. 数据处理与分析:5. 停止SparkSession: 二、示例1.读取解析csv数据2.解析计算序列数据map\flatmap 三、问题总结1.代码问题2.配置问题 一、介绍 PySpark是Apa…

文章目录

  • 一、介绍
    • 1.准备工作
    • 2. 创建SparkSession对象:
    • 3. 读取数据:
    • 4. 数据处理与分析:
    • 5. 停止SparkSession:
  • 二、示例
    • 1.读取解析csv数据
    • 2.解析计算序列数据map\flatmap
  • 三、问题总结
    • 1.代码问题
    • 2.配置问题

一、介绍

PySpark是Apache Spark的Python API,它允许开发人员使用Python编写并运行分布式大数据处理应用程序。通过PySpark,开发人员可以利用Spark的强大功能和高性能,同时享受Python编程语言的灵活性和易用性。

1.准备工作

pip install pyspark

2. 创建SparkSession对象:

from pyspark.sql import SparkSessionspark = SparkSession.builder \.appName("example-app") \.getOrCreate()

3. 读取数据:

df = spark.read.csv("test.csv", header=True)

4. 数据处理与分析:

result = df.groupBy("column").count().show()

5. 停止SparkSession:

spark.stop()

二、示例

1.读取解析csv数据

下面是一个简单的示例,演示了如何使用PySpark进行数据处理和分析:

from pyspark.sql import SparkSession# 创建SparkSession对象
spark = SparkSession.builder.appName("example").getOrCreate()# 读取CSV文件
df = spark.read.csv("C:/Users/39824/Desktop/test.csv", header=True)# 对数据进行筛选和聚合操作
result = df.filter(df["age"] > 25).groupBy("department").count()
# 显示结果
result.show()
# 停止SparkSession
spark.stop()

在这个示例中,我们首先创建了一个SparkSession对象,然后使用该对象读取了一个CSV文件。接着,我们对数据进行了筛选和聚合操作,并最终显示了结果。最后,我们停止了SparkSession以释放资源。
输出:
在这里插入图片描述

2.解析计算序列数据map\flatmap

from pyspark import SparkConf, SparkContextconf = SparkConf().setAppName("create rdd").setMaster("local[*]")
sc = SparkContext(conf=conf)rdd = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9])rdd1 = rdd.map(lambda x: x * 10)
print(rdd1.collect())rdd_str = sc.parallelize(["java.io.FileNotFoundException", "sc.setLogLevel(newLevel)", "hadoop.home.dir"])rdd_str1 = rdd_str.map(lambda x: x.split("."))
print(f"map解析的结果是:{rdd_str1.collect()}")rdd_str2 = rdd_str.flatMap(lambda x: x.split("."))
print(f"flatMap解析的结果是:{rdd_str2.collect()}")

输出:

[10, 20, 30, 40, 50, 60, 70, 80, 90]
map解析的结果是:[['java', 'io', 'FileNotFoundException'], ['sc', 'setLogLevel(newLevel)'], ['hadoop', 'home', 'dir']]
flatMap解析的结果是:['java', 'io', 'FileNotFoundException', 'sc', 'setLogLevel(newLevel)', 'hadoop', 'home', 'dir']

使用 PySpark 创建了一个 RDD,并对其进行了 map 和 flatMap 转换:

  1. 使用 sc.parallelize() 方法创建了一个整数类型的 RDD,其中包含数字1到9。
  2. 对 RDD 进行 map 转换,将每个元素乘以10。
  3. 使用 print 函数输出 map 后的结果。
  4. 使用 sc.parallelize() 方法创建了一个字符串类型的 RDD,其中包含三个字符串。
  5. 对 RDD 进行 map 转换,将每个字符串按照 “.” 分隔成多个子字符串。
  6. 使用 print 函数输出 map 后的结果。
  7. 对 RDD 进行 flatMap 转换,将每个字符串按照 “.” 分隔成多个子字符串,并将所有子字符串扁平化为一维列表。

总结:

  • map 函数将输入 RDD 的每个元素应用于给定的函数,并返回一个新的 RDD,其中包含函数应用后的结果。
  • flatMap 函数与 map 函数类似,但它的输出是一个扁平化的结果。也就是说,对于每个输入元素,函数可以返回一个或多个输出元素,并将所有输出元素进行扁平化。
  • 可以使用 collect() 函数将 RDD 中的所有元素收集到本地计算机上,并将其作为列表返回。需要注意的是,如果 RDD 中的元素非常多,则可能会导致内存不足或性能问题。

PySpark提供了丰富的数据处理和分析功能,同时也具备了Python编程语言的灵活性和易用性,使得开发人员能够以简洁的方式编写大规模数据处理应用程序。

三、问题总结

1.代码问题

报错:
在这里插入图片描述

Traceback (most recent call last):File "D:\demo\pyspark_demo\demo.py", line 3, in <module>conf = SparkConf.setAppName("create rdd").setMaster("local[*]")
TypeError: SparkConf.setAppName() missing 1 required positional argument: 'value'

报错中直接指出具体报错行,经过检查发现SparkConf没有写括号
更正代码:

conf = SparkConf().setAppName("create rdd").setMaster("local[*]")

2.配置问题

报错:

java.io.IOException: Cannot run program "python3": CreateProcess error=3, 系统找不到指定的路径。

在这里插入图片描述
解决方式:
找到本地的python.exe,copy之后改名字python3.exe。重启解决~~~~(真是意想不到!!!!)

http://www.dinnco.com/news/5772.html

相关文章:

  • 自制软件生成器宁波seo深度优化平台
  • 自己做图片上传网站网络推广100种方式
  • 网站水军怎么做郑州网站优化渠道
  • 珠宝网站建设公司英文外链seo兼职
  • 阜阳网站建设简述什么是网络营销
  • 做网站信科网站建设温州网站优化推广方案
  • .net 手机网站开发软文广告投放平台
  • 可以做网络兼职的网站泰州百度seo
  • 百度竞价做网站seo网络科技有限公司
  • 北京高端网站建设重庆seo的薪酬水平
  • 彩票网站建设柏如何点击优化神马关键词排名
  • 唐山市网站建设电商平台如何推广运营
  • 小企业做网站多少钱知名网页设计公司
  • 可靠的广州做网站一台电脑赚钱的门路
  • 网站建设工作总结培训云建站模板
  • 淘宝做的网站可靠吗西安百度网站排名优化
  • 培训机构停课seo主要做哪些工作
  • 男男床做第一次视频网站产品推广渠道有哪些方式
  • 网站制seo整站优化服务教程
  • 学校网站开发图片素材市场营销毕业后找什么工作
  • 员工入职 在哪个网站做招工如何优化搜索引擎的准确性
  • 怎么用java 做网站如何进行线上推广
  • 丐网一键生成logo免费360优化大师
  • wordpress 加载流程百度seo课程
  • 宁波外贸网站设计公司软件开发公司有哪些
  • 如东建设网站百度浏览器下载安装
  • 网站建设网页制线上宣传渠道和宣传方式
  • 电子商务网站硬件建设的核心营销型网站建设企业
  • 网站建设费应计入什么科目站牛网是做什么的
  • 重庆市干部公示网如何进行网站性能优化?