让我们考虑以下Python源代码;

def package_data(pkg, roots):
    data = []
    for root in roots:
        for dirname, _, files in os.walk(os.path.join(pkg, root)):
            for fname in files:
                data.append(os.path.relpath(os.path.join(dirname, fname), pkg))

    return {pkg: data}


我想从此源代码中提取所有功能和API调用。我找到了a similar question and solution。我运行了此处给出的解决方案,并生成了输出[os.walk, data.append]。但是我正在寻找以下输出[os.walk, os.path.join, data.append, os.path.relpath, os.path.join]

在分析以下解决方案代码后,我了解到,这可以访问第一个括号之前的每个节点,并放下其余所有内容。

import ast

class CallCollector(ast.NodeVisitor):
    def __init__(self):
        self.calls = []
        self.current = None

    def visit_Call(self, node):
        # new call, trace the function expression
        self.current = ''
        self.visit(node.func)
        self.calls.append(self.current)
        self.current = None

    def generic_visit(self, node):
        if self.current is not None:
            print("warning: {} node in function expression not supported".format(
                  node.__class__.__name__))
        super(CallCollector, self).generic_visit(node)

    # record the func expression
    def visit_Name(self, node):
        if self.current is None:
            return
        self.current += node.id

    def visit_Attribute(self, node):
        if self.current is None:
            self.generic_visit(node)
        self.visit(node.value)
        self.current += '.' + node.attr

tree = ast.parse(yoursource)
cc = CallCollector()
cc.visit(tree)
print(cc.calls)


谁能帮我修改此代码,以便该代码可以遍历括号内的API调用?

N.B:这可以在python中使用正则表达式来完成。但这需要大量的体力劳动才能找到合适的API调用。因此,我正在借助抽象语法树查找某些内容。

最佳答案

不知道这是最好还是最简单的解决方案,但至少它确实可以按照您的情况工作:

import ast

class CallCollector(ast.NodeVisitor):
    def __init__(self):
        self.calls = []
        self._current = []
        self._in_call = False

    def visit_Call(self, node):
        self._current = []
        self._in_call = True
        self.generic_visit(node)

    def visit_Attribute(self, node):
        if self._in_call:
            self._current.append(node.attr)
        self.generic_visit(node)

    def visit_Name(self, node):
        if self._in_call:
            self._current.append(node.id)
            self.calls.append('.'.join(self._current[::-1]))
            # Reset the state
            self._current = []
            self._in_call = False
        self.generic_visit(node)


给你的例子:

['os.walk', 'os.path.join', 'data.append', 'os.path.relpath', 'os.path.join']


问题是您必须在所有generic_visit中执行一个visit以确保您正确行走树。之后,我还使用列表作为current来加入(反向)。

我发现一个不适用于此方法的案例是链式操作,例如:d.setdefault(10, []).append(10)



以防万一您对我如何找到该解决方案感兴趣:

假设节点访问者的实现非常简单:

import ast

class CallCollector(ast.NodeVisitor):
    def generic_visit(self, node):
        try:
            print(node, node.id)
        except AttributeError:
            try:
                print(node, node.attr)
            except AttributeError:
                print(node)
        return super().generic_visit(node)


这将打印很多内容,但是,如果查看结果,将会看到一些模式,例如:

...
<_ast.Call object at 0x000001AAEE8FFA58>
<_ast.Attribute object at 0x000001AAEE8FFBE0> walk
<_ast.Name object at 0x000001AAEE8FF518> os
...




...
<_ast.Call object at 0x000001AAEE8FF160>
<_ast.Attribute object at 0x000001AAEE8FF588> join
<_ast.Attribute object at 0x000001AAEE8FFC50> path
<_ast.Name object at 0x000001AAEE8FF5C0> os
...


因此,首先访问呼叫节点,然后访问属性(如果有),最后访问名称。因此,当您访问一个呼叫节点时,您必须重置状态,将所有属性附加到该节点上,如果遇到名称节点,则必须停止。

一个人可以在generic_visit中完成它,但最好在方法visit_Call中执行它,然后再从这些方法中调用generic_visit



可能需要注意一点:这对于简单的情况非常有用,但是一旦变得不平凡,就无法可靠地工作。例如,如果导入子包怎么办?如果将函数绑定到局部变量该怎么办?如果您称getattr结果为结果怎么办?列出用Python进行静态分析调用的函数可能是不可能的,因为除了常见的问题之外,还存在框架破解和动态分配(例如,如果某些导入或调用的函数在模块中重新分配了名称os)。

关于python - 如何提取Python源代码中使用的所有函数和API调用?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/51449914/

10-10 14:07
查看更多