python-django框架中使用docker和elasticsearch配合实现搜索功能

注意：系统环境为Ubuntu18

一、docker安装

　　0：如果之前有安装过docker使用以下命令卸载：

sudo apt-get remove docker docker-engine docker.io containerd runc

　　docker安装官网参考：

https://docs.docker.com/install/linux/docker-ce/ubuntu/

　　1：首先更新apt

sudo apt-get update

　　2:添加证书安装包以允许apt通过HTTPS：

sudo apt-get install \

    apt-transport-https \

    ca-certificates \

    curl \

    gnupg-agent \

    software-properties-common

　　3：添加docker官方密钥

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

　　4：添加仓库

sudo add-apt-repository \

   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \

   $(lsb_release -cs) \

   stable"

　　5：安装docker ce

sudo apt-get install docker-ce docker-ce-cli containerd.io

　　6：测试

sudo docker run hello-world

　　7：添加当前系统用户到docker用户组

sudo usermod -aG docker 用户名　　

docker 拓展命令：

　　docker images ：查看所有启动成功的镜像

　　docker ps -a :查看所有

　　docker logs 容器id ：查看容器日志

　　docker 如果启动容器失败，就先删除容器，删除目录，再次执行安装。

二、使用docker安装Elasticsearch

1：获取镜像

docker image pull delron/elasticsearch-ik:2.4.6-1.0　　

　如果pull拉取很慢可以从我的百度云中下载，然后传到Linux系统中然后使用docker命令导入

链接：https://pan.baidu.com/s/1zXBR_uHSFxK5xNxklGV1pQ
提取码：96iw

docker load -i elasticsearch-ik-2.4.6_docker.tar

　查看本地仓库是否有这个镜像

docker images

或

docker image ls

　　将下载的elasticsearch.zip上传到Linux系统中的家目录，然后解压。在目录中的elasticsearch/config/elasticsearch.yml第54行更改IP地址为0.0.0.0，端口改为8002，默认为9002

　　解压命令：

unzip elasticsearch.zip

　

2：创建docker容器并运行

　根据拉取到本地的镜像创建容器，需要将elasticsearch/config配置文件所在目录修改为你自己的路径

docker run -dti --network=host --name=elasticsearch -v /home/上面上传后解压出来的文件路径地址/elasticsearch/config:/usr/share/eleaticsearh/config delron/elasticsearch-ik:2.4.6-1.0

　　查看是否创建成功,如果STATUS为Up则创建成功

docker container ls -a 或 docker ps -a

　　

测试 curl 127.0.0.1:8002

3：进入项目的虚拟环境中，安装以下包

pip install django-haystack

pip install elasticsearch==2.4.1

　　

4：在django项目配置,在settings.py文件中加入下面配置。

4-1：在INSTALLED_APPS节点中注册haystack

INSTALLED_APPS = [

    ...

    'haystack',

    ...

]

4-2：加入配置

# 建立连接
ELASTICSEARCH_DSL = {
　　'default':{
　　　　'host':'127.0.0.1:8002'　　
　　},
}
# 配置Haystack

HAYSTACK_CONNECTIONS = {

    'default': {

        'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',

        'URL': 'http://127.0.0.1:8002/',  # 此处为elasticsearch运行的服务器ip地址，端口号固定为9200

        'INDEX_NAME': 'mysite',  # 指定elasticsearch建立的索引库的名称

    },

}

# 当添加、修改、删除数据时，自动生成索引,当数据库改变时候，会自动更新索引

HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor' 
# 每页显示多少条数据
HAYSTACK_SEARCH_RESULTS_PER_PAGE = 20

5：建立索引

在需要创建索引的实体中创建search_indexes.py(文件名固定写法)

　　

5-1:search_indexes.py文件内容如下：

from haystack import indexes

from .models import News  # 导入模型类

# 建索引类

# 模型名称+Index（固定的）

class NewsIndex(indexes.SearchIndex, indexes.Indexable):

    '''

    News索引数据库模型

    '''

    # 这个主要是使用5-2来建立索引

    text = indexes.CharField(document=True, use_template=True)

    # 以下是为了在使用时 news.id 如果没有写就需要news.object.id

    id = indexes.IntegerField(model_attr='id')

    title = indexes.CharField(model_attr='title')

    digest = indexes.CharField(model_attr='digest')

    content = indexes.CharField(model_attr='content')

    image_url = indexes.CharField(model_attr='image_url')

    def get_model(self):

        '''

        返回建立索引模型

        '''

        return News

    def index_queryset(self, using=None):

        '''

        返回要建立索引的数据查询集

        :param using:

        :return:

        '''

        return set.get_model().objects.filter(is_delete=False, tag_id=1)

        # return set.get_model().objects.filter(is_delete=False,tag_id=[1,2,3,4,5])

　　

5-2：创建模板

# 需要在templates文件夹中创建一个search/indexes/app名称/模型名称小写_text.txt文件（固定结构）

　　

news_text.txt内容为：需要建立的索引

6：生成索引

通过xshell进入项目进入虚拟环境执行

python manage.py rebuild_index

　　

7： 分页搜索接口/方法

7-1

from haystack.views import SearchView as _SearchView

from .models import News  # 导入模型类

from .models import HotNews

from mysite import setttings

from django.core.paginator import Paginator, EmptyPage, PageNotAnInteger

from django.shortcuts import render

from django.views import View

class SearchView(_SearchView):

    # 模板文件

    template = 'news/search.html'

    # 重写响应方式，如果请求参数为空，返回模型News的热门新闻数据，否则根据参数q搜索相关数据

    def create_response(self):

        kw = self.request.GET.get('q', '')

        if not kw:

            show_all = True

            hot_news = HotNews.objects.select_related(

                'News'

            ).only(

                'news__title',

                'news__image_url',

                'news__id'

            ).filter(

                is_delete=False

            ).order_by(

                'priority',

                '-news__clicks'

            )

            paginator = Paginator(hot_news, setttings.HAYSTACK_SEARCH_RESULTS_PER_PAGE)

            try:

                page = paginator.page(int(self.request.GET.get('page', 1)))

            except PageNotAnInteger:

                # 如果参数page的数据类型不是整数，则返回第一页数据

                page = paginator.page(1)

            except EmptyPage:

                # 用户访问的页数大于实际的页数，则返回最后一页的数据

                page = paginator.page(paginator.num_pages)

            return render(self.request, self.template, locals())

        else:

            show_all = False

            qs = super(SearchView, self).create_response()

            return qs

7-2：在app中的urls中设置url

path('search/',view.SearchView(),name='search')

7-3：前端部分代码

         <div class="content">

                    <!-- search-list start -->

                    {% if not show_all %}

                        <div class="search-result-list">

                            <h2 class="search-result-title">

                                搜索结果 <span style="font-weight: 700;color: #ff6620;">{{ paginator.num_pages }}</span>页

                            </h2>

                            <ul class="news-list">

                                {% for one_news in page.object_list %}

                                    <li class="news-item clearfix">

                                        <a href="{% url 'news:detail' one_news.id %}" class="news-thumbnail"

                                           target="_blank">

                                            <img src="{{ one_news.object.image_url }}">

                                        </a>

                                        <div class="news-content">

                                            <h4 class="news-title">

                                                <a href="{% url 'news:detail' one_news.id %}">

                                                    {% highlight one_news.title with query %}

                                                </a>

                                            </h4>

                                            <p class="news-details">{% highlight one_news.digest with query %}</p>

                                            <div class="news-other">

                                                <span class="news-type">{{ one_news.object.tag.name }}</span>

                                                <span class="news-time">{{ one_news.object.update_time }}</span>

                                                <span

                                                        class="news-author">{% highlight one_news.object.author.username with query %}

                                      </span>

                                            </div>

                                        </div>

                                    </li>

                                {% endfor %}

                            </ul>

                        </div>

                    {% else %}

                        <div class="news-contain">

                            <div class="hot-recommend-list">

                                <h2 class="hot-recommend-title">热门推荐</h2>

                                <ul class="news-list">

                                    {% for one_hotnews in page.object_list %}

                                        <li class="news-item clearfix">

                                            <a href="#" class="news-thumbnail">

                                                <img src="{{ one_hotnews.news.image_url }}">

                                            </a>

                                            <div class="news-content">

                                                <h4 class="news-title">

                                                    <a href="{% url 'news:detail' one_hotnews.news.id %}">{{ one_hotnews.news.title }}</a>

                                                </h4>

                                                <p class="news-details">{{ one_hotnews.news.digest }}</p>

                                                <div class="news-other">

                                                    <span class="news-type">{{ one_hotnews.news.tag.name }}</span>

                                                    <span class="news-time">{{ one_hotnews.update_time }}</span>

                                                    <span class="news-author">{{ one_hotnews.news.author.username }}</span>

                                                </div>

                                            </div>

                                        </li>

                                    {% endfor %}

                                </ul>

                            </div>

                        </div>

                    {% endif %}

                    <!-- search-list end -->

                    <!-- news-contain start -->

                    {# 分页导航 #}

                    <div class="page-box" id="pages">

                        <div class="pagebar" id="pageBar">

                            <a class="a1">{{ page.paginator.count }}条</a>

                            {# 上一页的URL地址 #}

                            {% if page.has_previous %}

                                {% if query %}

                                    <a href="{% url 'news:search' %}?q={{ query }}&page={{ page.previous_page_number }}"

                                       class="prev">上一页</a>

                                {% else %}

                                    <a href="{% url 'news:search' %}?page={{ page.previous_page_number }}" class="prev">上一页</a>

                                {% endif %}

                            {% endif %}

                            {# 列出所有的URL地址 #}

                            {% for num in page.paginator.page_range|slice:":10" %}

                                {% if num == page.number %}

                                    <span class="sel">{{ page.number }}</span>

                                {% else %}

                                    {% if query %}

                                        <a href="{% url 'news:search' %}?q={{ query }}&page={{ num }}"

                                           target="_self">{{ num }}</a>

                                    {% else %}

                                        <a href="{% url 'news:search' %}?page={{ num }}" target="_self">{{ num }}</a>

                                    {% endif %}

                                {% endif %}

                            {% endfor %}

                            {# 如果页数大于10，则打两点 #}

                            {% if page.paginator.num_pages > 10 %}

                                ..

                                {% if query %}

                                    <a href="{% url 'news:search' %}?q={{ query }}&page={{ page.paginator.num_pages }}"

                                       target="_self">{{ page.paginator.num_pages }}</a>

                                {% else %}

                                    <a href="{% url 'news:search' %}?page={{ page.paginator.num_pages }}"

                                       target="_self">{{ page.paginator.num_pages }}</a>

                                {% endif %}

                            {% endif %}

                            {# 下一页的URL地址 #}

                            {% if page.has_next %}

                                {% if query %}

                                    <a href="{% url 'news:search' %}?q={{ query }}&page={{ page.next_page_number }}"

                                       class="next">下一页</a>

                                {% else %}

                                    <a href="{% url 'news:search' %}?page={{ page.next_page_number }}"

                                       class="next">下一页</a>

                                {% endif %}

                            {% endif %}

                        </div>

                    </div>

                    <!-- news-contain end -->

                </div>

　　

7-4：高亮及分页样式

/* === current index start === */

#pages {

	padding: 32px 0 10px;

}

.page-box {

	text-align: center;

    /*font-size: 14px;*/

}

#pages a.prev, a.next {

	width: 56px;

	padding: 0

}

#pages a {

	display: inline-block;

	height: 26px;

	line-height: 26px;

	background: #fff;

	border: 1px solid #e3e3e3;

	text-align: center;

	color: #333;

	padding: 0 10px

}

#pages .sel {

	display: inline-block;

	height: 26px;

	line-height: 26px;

	background: #0093E9;

	border: 1px solid #0093E9;

	color: #fff;

	text-align: center;

	padding: 0 10px

}

.highlighted{

    color:coral;

    mso-ansi-font-weight: bold;

}

/* === current index end === */

　　

8:效果图