python - Django 预取与最大值过滤器相关

我们有一对模型看起来(大致)是这样的:

class Machine(models.Model):
    machine_id = models.CharField(max_length=10)
    # Other irrelevant fields

    @property
    def latest_update(self):
        if self.machineupdate_set.count() == 0:
            return None
        return self.machineupdate_set.order_by('-update_time')[:1].get()

class MachineUpdate(models.Model):
    machine = models.ForeignKey(Machine)
    update_time = models.DateTimeField(auto_now_add=True)
    # Other irrelevant fields

每当我们从数据库加载 Machine 时，我们总是最终使用该机器的 latest_update。当我们第一次实现这个时，我们有很多机器，每台机器的更新数量很少，所以为了提高性能(通过减少查询计数)，我们为 Machine 的模型管理器添加了一个简单的默认预取:

class MachineManager(models.Manager):

    def get_queryset(self):
        return super(MachineManager, self).get_queryset().prefetch_related('machineupdate_set')

然而，事情已经发生了变化，现在我们有大量与每台机器相关的更新，预取查询开始成为一个问题(在长查询执行时间和内存消耗方面)。

我们正在寻找一种更智能的方式来预取所需数据，因为我们真正需要预取的是每台机器的最新更新，而不是全部。查看 Django prefetch_related docs 后，看起来我们可以将 get_queryset 中的 MachineManager 更改为如下所示:

def get_queryset(self):
    latest_update_query = MachineUpdate.objects.order_by('-update_time')[:1]
    latest_update_prefetch = models.Prefetch('machineupdate_set', queryset=latest_update_query, to_attr='_latest_update')
    return super(MachineManager, self).get_queryset().prefetch_related(latest_update_prefetch)

然后修改 latest_update 以使用预取填充的新属性。但是，这不起作用，因为每当我们使用它过滤 Machine 查询时，我们都会得到一个错误:AssertionError: Cannot filter a query once a slice has been taken.
谁能提出这个问题的解决方案，以便我们可以有效地为每台机器加载 latest_update？我们不确定如何解决我们在上述预取最新更新的尝试中遇到的问题。

(仅供引用 - 我们已经考虑向 is_latest_update 添加一个 MachineUpdate bool 字段，我们可以对其进行过滤，或者在 latest_update 上添加一个 Machine 外键引用，但是我们希望避免必须维护这些冗余信息)。

最佳答案

我看到 MachineUpdate.update_time 有 auto_now_add=True 。所以我们可以使用每个 Max(MachineUpdate.id) 组的 Machine 来获取最后一个 MachineUpdate 。正确的？如果那是 True checkout 以下代码:

class MachineManager(models.Manager):
    pass

class MachineQueryset(models.QuerySet):
    def with_last_machineupdate(self):
        return self.prefetch_related(models.Prefetch('machineupdate_set',
            queryset=MachineUpdate.objects.filter(
                id__in=Machine.objects \
                    .annotate(last_machineupdate_id=models.Max('machineupdate__id')) \
                    .values_list('last_machineupdate_id', flat=True) \
            ),
            #notice the list word
            to_attr='last_machineupdate_list'
        ))


class Machine(models.Model):
    machine_id = models.CharField(max_length=10)
    objects = MachineManager.from_queryset(MachineQueryset)()

    @property
    def latest_update(self):
        if hasattr(self, 'last_machineupdate_list') and len(self.last_machineupdate_list) > 0:
            return self.last_machineupdate_list[0]
        return None

class MachineUpdate(models.Model):
    machine = models.ForeignKey(Machine)
    update_time = models.DateTimeField(auto_now_add=True)

    def __unicode__(self):
        return str(self.update_time)

用法:

machines = Machine.objects.filter(...).with_last_machineupdate()

如果不是这种情况，例如我们不能使用 Max('machineupdate__id')，我们需要坚持使用 update_time 字段。然后稍微优化的解决方案(但仍然获得每个 MachineUpdates 的所有 Machine )如下所示:

class MachineManager(models.Manager):
    def get_queryset(self):
        return super(MachineManager, self).get_queryset() \
            .prefetch_related(models.Prefetch('machineupdate_set',
                queryset=MachineUpdate.objects.order_by('-update_time')
            ))

class Machine(models.Model):
    machine_id = models.CharField(max_length=10)
    objects = MachineManager()

    @property
    def latest_update(self):
        #this will not make queries
        machine_updates = self.machineupdate_set.all()
        if len(machine_updates) > 0:
            return machine_updates[0]
        return None

关于python - Django 预取与最大值过滤器相关，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/28810649/