我有一个animals
表,大约有300万条记录。在其他几列中,该表有一个id
、name
和owner_id
列。我有一张有250万条记录的表格。该表只有一个animal_breeds
和animal_id
列。
我试图找到与特定breed
相关联的不同breed
值,但查询大约需要20秒。以下是问题:
SELECT DISTINCT `breed`
FROM `animal_breeds`
INNER JOIN `animals` ON `animals`.`id` = `animal_breeds`.`animal_id`
WHERE `animals`.`owner_id` = ? ;
这些表格有所有适当的索引。我不能通过在
owner_id
表中添加breed
列来取消表的规格化,因为可以将动物指定为多个品种。对于其他一些具有一对多关系的大型表,我也有这个问题。有没有更有效的方法来实现我想要的?这似乎是一个非常简单的问题,但除了预先计算和缓存结果之外,我似乎无法找到实现这一点的最佳方法。
这是我的查询的解释输出。注意
animals
id select_type table partitions type possible_keys key key_len ref rows filtered Extra
1 "SIMPLE" "a" NULL "ref" "PRIMARY,animals_animal_id_index" "animals_animal_id_index" "153" "const" 1126303 100.00 "Using index; Using temporary"
1 "SIMPLE" "ab" NULL "ref" "animal_breeds_animal_id_breed_unique,animal_breeds_animal_id_index,animal_breeds_breed_index" "animal_breeds_animal_id_breed_unique" "5" "pedigreeonline.a.id" 1 100.00 "Using index"
根据请求,这里是create table语句(我从
Using temporary
表中删除了一些不相关的列和索引)。我相信animals
表上的animal_breeds_animal_id_index
索引是多余的,因为表上有唯一的键,但是我们可以暂时忽略它,只要它没有导致问题:)CREATE TABLE `animals` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`name` varchar(150) COLLATE utf8_unicode_ci NOT NULL,
`owner_id` varchar(50) COLLATE utf8_unicode_ci DEFAULT NULL,
PRIMARY KEY (`id`),
KEY `animals_animal_id_index` (`owner_id`,`id`),
KEY `animals_name_index` (`name`),
) ENGINE=InnoDB AUTO_INCREMENT=2470843 DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci
CREATE TABLE `animal_breeds` (
`animal_id` int(10) unsigned DEFAULT NULL,
`breed` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL,
UNIQUE KEY `animal_breeds_animal_id_breed_unique` (`animal_id`,`breed`),
KEY `animal_breeds_animal_id_index` (`animal_id`),
KEY `animal_breeds_breed_index` (`breed`),
CONSTRAINT `animal_breeds_animal_id_foreign` FOREIGN KEY (`animal_id`) REFERENCES `animals` (`id`) ON DELETE CASCADE ON UPDATE CASCADE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci
任何帮助都将不胜感激。谢谢!
最佳答案
有了数据方面的知识,您可以尝试以下方法:
SELECT
b.*
FROM
(
SELECT
DISTINCT `breed`
FROM
`animal_breeds`
) AS b
WHERE
EXISTS (
SELECT
*
FROM
animal_breeds AS ab
INNER JOIN animals AS a ON ab.animal_id = a.id
WHERE
b.breed = ab.breed
AND a.owner_id = ?
)
;
其思想是不需要任何过滤就可以得到不同品种的短列表(对于小列表,这将非常快),然后使用相关子查询进一步过滤列表。由于列表很短,只执行很少的子查询,它们只检查存在的任何分组的速度要快得多(差异=分组)。
只有当你的单子很短的时候,这才有效。
根据您的答案随机生成数据,上面的查询给出了以下执行计划:
id select_type table partitions type possible_keys key key_len ref rows filtered Extra
1 PRIMARY <derived2> ALL 2 100.00
3 SUBQUERY a ref PRIMARY,animals_animal_id_index animals_animal_id_index 153 const 1011 100.00 Using index
3 SUBQUERY ab ref animal_breeds_animal_id_breed_unique,`animal_breeds_animal_id_index`,animal_breeds_animal_id_index `animal_breeds_animal_id_index` 5 test.a.id 2 100.00 Using index
2 DERIVED animal_breeds range animal_breeds_animal_id_breed_unique,`animal_breeds_breed_index`,animal_breeds_breed_index `animal_breeds_breed_index` 1022 2 100.00 Using index for group-by
或者,您可以尝试创建这样的WHERE子句:
...
WHERE
b.breed IN (
SELECT
ab.breed
FROM
animal_breeds AS ab
INNER JOIN animals AS a ON ab.animal_id = a.id
WHERE
a.owner_id = ?
)