数据分析工具之-Polars
· 3 min read
在此前的官网和 APP 数据分析工作中，一直使用 Pandas 这个老牌的工具。但遇到一些问题，比如针对大数据集预处理时速度慢，内存占用大。速度慢可以通过多线程处理去解决，但这样就需要分块处理，或使用 dask 等中间层，内存占用在 Pandas 的前提下，暂时无解。
由于存在上述问题，准备在业务数据分析时引 入 Polars，更好利用起来目前有限的 CPU 和内存资源。
在此前的官网和 APP 数据分析工作中，一直使用 Pandas 这个老牌的工具。但遇到一些问题，比如针对大数据集预处理时速度慢，内存占用大。速度慢可以通过多线程处理去解决，但这样就需要分块处理，或使用 dask 等中间层，内存占用在 Pandas 的前提下，暂时无解。
由于存在上述问题，准备在业务数据分析时引 入 Polars，更好利用起来目前有限的 CPU 和内存资源。