文件:
main.py
# 数据处理脚本
import pandas as pd
# 读取数据
def load_data():
"""加载加工资源数据"""
df = pd.read_csv('data.csv')
print(f"数据加载完成,共 {len(df)} 条记录")
return df
# 数据清洗
def clean_data(df):
"""数据清洗处理"""
# 去除空值
df = df.dropna()
# 去重
df = df.drop_duplicates()
print(f"数据清洗完成,剩余 {len(df)} 条记录")
return df
# 数据转换
def transform_data(df):
"""数据转换处理"""
# 添加处理时间
df['process_time'] = pd.Timestamp.now()
# 字段重命名
df = df.rename(columns={'old_name': 'new_name'})
print("数据转换完成")
return df
# 主函数
if __name__ == '__main__':
try:
data = load_data()
data = clean_data(data)
data = transform_data(data)
# 保存结果
data.to_csv('output.csv', index=False)
print("处理完成,结果已保存")
except Exception as e:
print(f"处理失败:{e}")
运行日志
2026-07-10 10:30:00 [INFO] 开始执行脚本...
2026-07-10 10:30:01 [INFO] 数据加载完成,共 10000 条记录
2026-07-10 10:30:02 [INFO] 数据清洗完成,剩余 9856 条记录
2026-07-10 10:30:03 [INFO] 数据转换完成
2026-07-10 10:30:04 [INFO] 处理完成,结果已保存