Python

Polars与pandas差异对比

April 15, 2025
Python, Polars, Pandas, DataFrame, Rust, Arrow, NumPy, Pip, Pypi

如果您有关注过去一年中 Python DataFrame 的进展，那么您一定听说过 Polars，专为处理大型数据集而设计的强大 DataFrame 库。

Preview-page

与 Spark、Dask 和 Ray 等处理大型数据集的其他库有所不同，Polars 在单台机器上使用，也因此引起许多与 pandas 的比较。 事实上，Polars 在许多重要方面都与 pandas 存在差异，包括数据处理方式以及最佳应用。 下文将探讨这两种 DataFrame 库的技术细节区别，并分析其各自优点和局限。

如果您想听 Polars 的缔造者 Ritchie Vink 亲口讲述，您可以在此处找到我们对他的采访！

为什么使用 Polars 而不是 pandas？ #

两个字：性能。 Polars 从一开始就速度极快，执行常见运算的速度是 pandas 的 5 到 10 倍。 另外，Polars 运算的内存需求明显小于 pandas：pandas 需要数据集大小的 5 到 10 倍左右的 RAM 来执行运算，而 Polars 需要 2 到 4 倍。

您可以在这里了解 Polars 与其他 DataFrame 库的性能对比。 对于常见运算，Polars 的速度是 pandas 的 10 到 100 倍，也是最快的 DataFrame 库之一。 此外，在内存不足错误之前，它可以处理比 pandas 更大的数据集。

...

首页

March 9, 2025
Python, Pyda, Dataanalysis, 数据分析, 大数据, Python大数据, NumPy, Pandas, Polars, Matplotlib, Seaborn, 机器学习, 数据挖掘

Python数据分析 #

Python 是进行数据分析的强大工具，拥有丰富的库和工具，以下为你详细介绍 Python 数据分析的相关内容，包含基本流程、常用库以及一个简单示例。

基本流程 #

  1. 数据收集：从各种来源获取数据，如文件（CSV、Excel 等）、数据库、API 接口等。
  2. 数据清洗：处理缺失值、重复值、异常值等，确保数据的质量和一致性。
  3. 数据探索：使用统计方法和可视化技术对数据进行初步探索，了解数据的分布、特征和关系。
  4. 数据分析：运用各种分析方法，如描述性统计分析、相关性分析、机器学习算法等，从数据中提取有价值的信息。
  5. 数据可视化：将分析结果以直观的图表形式展示出来，如柱状图、折线图、散点图等，便于理解和沟通。
  6. 结果呈现：将数据分析的结果整理成报告或文档，向相关人员进行汇报。

常用库 #

  • NumPy：提供了高效的多维数组对象和各种数学函数，是许多数据分析库的基础。
  • Pandas：用于数据处理和分析，提供了 DataFrame 和 Series 等数据结构，方便进行数据的读取、清洗、转换和分析。
  • Polars：速度极快的DataFrame库，用于操作结构化数据。核心基于Rust开发，可用于Python， R和NodeJS。
  • Matplotlib：是 Python 中最常用的绘图库，可用于创建各种类型的静态图表。
  • Seaborn：基于 Matplotlib 构建的高级可视化库，提供了更美观、更简洁的绘图接口。
  • Scikit-learn：用于机器学习和数据挖掘，提供了各种机器学习算法和工具，如分类、回归、聚类等。

使用Python批量检测URL状态码

November 10, 2023
Python, Github, URL状态码, 403, 200, Requests, Pip

想要找到3位长度的github ID，可以对用户页URL进行探测，找到所有不可用的就有可能没有注册。

使用python很简单能实现以上需求。

首先安装pip requests

import requests
for x1 in range(97,123):   
    for x2 in range(97,123):
        for x3 in range(97,123):
            url='https://github.com/'+chr(x1)+chr(x2)+chr(x3)
            r=requests.get(url)
            print(url,r.status_code)

其中range(97,123)就是遍历a-z

运行结果如下：

root@bwg:~# python3 ./gid.py
https://github.com/aaa status 200
https://github.com/aab status 200
https://github.com/aac status 200
https://github.com/aad status 200
https://github.com/aae status 200
https://github.com/aaf status 200
https://github.com/aag status 200
https://github.com/aah status 200
... ...

logo