Question

我有两个数据帧。我将以循环的形式解释我的要求 - 因为这是我将问题可视化的方式。我意识到可以有另一种解决方案，所以如果可以采取不同的方式，请随时分享！我是Pandas的新手，所以我在努力解决这个问题。提前感谢您查看我的问题!!

我有2个数据框，有3列：ID，ODO，ODOLength。 ODOLength是我使用的每个ODO记录的运行差异：abs(Df1['Odo'] - Df1['Odo'].shift(-1))

OldDataSet = {'id' : [10,20,30,40,50,60,70,80,90,100,110,120,130,140],'Odo': [-1.09,1.02,26.12,43.12,46.81,56.23,111.07,166.38,191.27,196.41,207.74,231.61,235.84,240.04], 'OdoLength':[2.11,25.1,17,3.69,9.42,54.84,55.31,24.89,5.14,11.33,23.87,4.23,4.2,4.09]}

NewDataSet = {'id' : [1000,2000,3000,4000,5000,6000,7000,8000,9000,10000,11000,12000,13000,14000],'Odo': [1.51,2.68,4.72,25.03,42,45.74,55.15,110.05,165.41,170.48,172.39,190.35,195.44,206.78], 'OdoLength':[1.17,2.04,20.31,16.97,3.74,9.41,54.9,55.36,5.07,1.91,17.96,5.09,11.34,23.89]}

FinalResultDataSet = {'DFOneId':[10,20,30,40,50,60,70,80,90,100,110], 'DFTwoID' : [1000,3000,4000,5000,6000,7000,8000,11000,12000,13000,14000], 'OdoDiff': [2.6,3.7,1.09,1.12,1.07,1.08,1.02,6.01,0.92,0.97,0.96], 'OdoLengthDiff':[0.94,4.79,0.03,0.05,0.01,0.06,0.05,6.93,0.05,0.01,0.02], 'OdoAndLengthDiff':[1.66,1.09,1.06,1.07,1.06,1.02,0.97,0.92,0.87,0.96,0.94]}


df1= pd.DataFrame(OldDataSet)

df2 = pd.DataFrame(NewDataSet)

FinalDf = pd.DataFrame(FinalResultDataSet)

如何获取FinalDF的逻辑如下：从df1中取出Odo和OdoLen，并从df2中的每个Odo和OdoLen列中减去它。取差值的最小值并匹配它们。对于Df1和Df2的下一个比较，从没有匹配的第一个Df2记录开始。如果Df2值不是最小值，则为当前Df1值正在进行比较，然后DF2的记录未包含在最终数据集中。例如，将Df1 ID 20-与Df2 ID 2000进行比较，最终结果为21.4（（DfOne.ODO：1.02-DfTwo.ODO：2.68） - （DfOneODOLen：25.1-DfTwo.ODoLen-2.04）= 21.4），但是当Df1 ID 20与Df2 3000比较时，最终差异为1.09（（DfOne.ODO：1.02-DfTwo.ODO：4.72） - （DfOneODOLen：25.1-DfTwo.ODoLen-20.31）= 1.06）。在这种情况下，Df2 ID 3000与DF1 ID 20匹配，Df2 ID - 2000因此而被丢弃差异更大。此时DF2 ID 2000不考虑任何其他匹配。因此，下一个DF1记录比较将从DF2 ID 4000开始，因为这是下一个没有匹配的值。

正如我所说，我对所有建议持开放态度！

谢谢！

Answer 1

您可以使用merge_asof

第1步：合并数据框

df1['match']=df1.Odo+df1.OdoLength
df2['match']=df2.Odo+df2.OdoLength

out=pd.merge_asof(df1,df2,on='match',direction='nearest')
out.drop_duplicates(['id_y'])
Out[728]:
     Odo_x  OdoLength_x  id_x   match   Odo_y  OdoLength_y   id_y
0    -1.09         2.11    10    1.02    1.51         1.17   1000
1     1.02        25.10    20   26.12    4.72        20.31   3000
2    26.12        17.00    30   43.12   25.03        16.97   4000
3    43.12         3.69    40   46.81   42.00         3.74   5000
4    46.81         9.42    50   56.23   45.74         9.41   6000
5    56.23        54.84    60  111.07   55.15        54.90   7000
6   111.07        55.31    70  166.38  110.05        55.36   8000
7   166.38        24.89    80  191.27  172.39        17.96  11000
8   191.27         5.14    90  196.41  190.35         5.09  12000
9   196.41        11.33   100  207.74  195.44        11.34  13000
10  207.74        23.87   110  231.61  206.78        23.89  14000

第2步

然后，您可以执行以下操作来获取新列

out['OdoAndLengthDiff']=out.OdoLength_x-out.OdoLength_y+out.Odo_x-out.Odo_y

BTW 在您获得所有新值后，我没有删除该列，您可以使用out=out.drop([columns],1)

删除它

熊猫比较两个数据框架

1 个答案: