我有以userID，categoryID和date作为输入值的代码。我想检查条目是否有效，例如如果userID甚至确实存在于我的数据集中。
它按照我的方式工作，但是我必须等待几秒钟（！）直到执行主程序。
var_uid = int(input("Please enter a user ID: "))
var_catid = input("Please enter a category ID: ")
var_date = input("Please enter a date to restrict the considered data (YYYY-MM-DD): ")
if (~var_uid in df_data['UserID'].values) :
print("There is no such user with this UserID. Please enter a different UserID.")
elif (~df_data['CategoryID'].str.contains(var_catid).any()) :
print("There is no such category with this CategoryID. Please enter a different CategoryID")
else:
### I convert my date to datetime object to be able to do some operations with it. ###
date = pd.to_datetime(var_date)
s_all = df_data[df_data.columns[7]]
s_all_datetime = pd.to_datetime(s_all)
df_data['UTCtime'] = s_all_datetime
min_date_str = "2012-04-03"
min_date = pd.to_datetime(min_date_str)
max_date_str = "2013-02-16"
max_date = pd.to_datetime(max_date_str)
if (date < min_date or date > max_date) :
print("There is noch such date. Please enter a different date from 2012-04-03 until 2013-02-16")
else:
some code
我知道，stackoverflow不是用于完成工作的，实际上我的代码有效。不过，您至少可以暗示一下什么是更快的实现吗？数据帧有23万行，如果我的程序必须在每个if子句上运行它，那当然不是最好的方法。
我以为我可以提取例如
UserID列的唯一值，将其保存在列表中，并使用我的if子句进行检查。但
df_data['UserID'].unique.tolist()
不起作用。
谢谢你的帮助。
/ EDIT：这是
df_data.info()和df_data.head()<class 'pandas.core.frame.DataFrame'>
RangeIndex: 227428 entries, 0 to 227427
Data columns (total 8 columns):
UserID 227428 non-null int64
VenueID 227428 non-null object
CategoryID 227428 non-null object
CategoryName 227428 non-null object
Latitude 227428 non-null float64
Longitude 227428 non-null float64
TimezoneOffset 227428 non-null int64
UTCtime 227428 non-null object
dtypes: float64(2), int64(2), object(4)
memory usage: 13.9+ MB
None
头：
UserID VenueID CategoryID CategoryName Latitude Longitude TimezoneOffset UTCtime
0 470 49bbd6c0f964a520f4531fe3 4bf58dd8d48988d127951735 Arts & Crafts Store 40.719810 -74.002581 -240 Tue Apr 03 18:00:09 +0000 2012
1 979 4a43c0aef964a520c6a61fe3 4bf58dd8d48988d1df941735 Bridge 40.606800 -74.044170 -240 Tue Apr 03 18:00:25 +0000 2012
2 69 4c5cc7b485a1e21e00d35711 4bf58dd8d48988d103941735 Home (private) 40.716162 -73.883070 -240 Tue Apr 03 18:02:24 +0000 2012
3 395 4bc7086715a7ef3bef9878da 4bf58dd8d48988d104941735 Medical Center 40.745164 -73.982519 -240 Tue Apr 03 18:02:41 +0000 2012
4 87 4cf2c5321d18a143951b5cec 4bf58dd8d48988d1cb941735 Food Truck 40.740104 -73.989658 -240 Tue Apr 03 18:03:00 +0000 2012
最佳答案
考虑创建查找索引，然后您将获得日志速度访问。这是一个例子：
import pandas as pd
import numpy as np
n = int(1e6)
np.random.seed(0)
df = pd.DataFrame({
'uid': np.arange(n),
'catid': np.repeat('foo bar baz', n),
})
较慢的版本：
>>> %timeit for i in range(n // 2, n // 2 + 1000): i in df.uid.values
1 loop, best of 3: 2.32 s per loop
但是，您可以预先计算索引：
>>> uids = pd.Index(df.uid.values)
>>> %timeit for i in range(n // 2, n//2 + 1000): i in uids
1000 loops, best of 3: 412 µs per loop
哇，太快了。让我们看看创建索引需要多长时间：
>>> %timeit uids = pd.Index(df.uid.values)
10000 loops, best of 3: 22.5 µs per loop
您还可以使用
set（尽管对于UserID这样的整数，其使用熊猫索引的速度更快），例如对于CategoryID，您可以预先计算：>>> catids = set(s for catid in df.catid.values for s in catid.split())
然后检查
>>> catid in catids
将会更快。
关于python - 如何更快地使“值在数据框列中”，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/37470503/