bigdata介绍
概述sql可以处理500到1000万的数据,搭建30-100台集群,大数据集群5000台以上上万。无法在一定时间范围内用常规软件工具(mysql,javaEE等)进行捕捉处理/管理的数据集合。需要新的处理模式才能具有更强的决策力/洞察发现力和流程优化能力的海量和高增长和多样化信息资产。海量数据的存储和读取分析计算。 bigData特点 1.volume大量(人类说过的话5EB) 2.velocit
概述sql可以处理500到1000万的数据,搭建30-100台集群,大数据集群5000台以上上万。无法在一定时间范围内用常规软件工具(mysql,javaEE等)进行捕捉处理/管理的数据集合。需要新的处理模式才能具有更强的决策力/洞察发现力和流程优化能力的海量和高增长和多样化信息资产。海量数据的存储和读取分析计算。 bigData特点 1.volume大量(人类说过的话5EB) 2.velocit
配置文件配置方式 1.单个配置 1flask.config[‘xxx’] = xxx 2.可以像django一样文件配置 1234DEBUG = TrueTESTING = TrueDATABASE_URI='127.0.0.1:XXX'flask.config.from_pyfile(‘某个文件setting’) 3.类配置 生产环境一
DButils pip install DBUtils pooledDB提供线程间可共享的数据库连接,并自动管理连接,创建好一批连接池,供所有线程共享使用。总数就那么多个。 创建方式123456789101112131415161718192021222324252627282930import pymysqlpymysql.install_as_MySQLdb()from dbutils.po
12345678910111213141516171819202122232425262728293031323334353637383940414243444546from werkzeug.wsgi import DispatcherMiddlewarefrom werkzeug.serving import run_simplefrom flask import Flaskfrom werk
整体设计架构 flask只提供核心的一小部分功能,其它的功能由它的插件进行扩充,由bluepoint实现水平扩展flask需要自己去diy,比如整体架构的设计、sql使用哪一种、登录认证怎么写、缓存。 django大而全,从app划分,到session、authenticate、orm、后台管理系统都已经做好了模板,提供的很全面 路由系统 flask路由系统使用装饰器进行路由注册,也可以通过
信号量 orm mysql增加之前记录一条日志怎么做?用装饰器的话为了保证原子性,无法在接口处装饰,必须在orm.save中去装饰,但这样就会很麻烦,需要调用很多接口自定义1个sql_save的信号,在save成功的源码中加上信号 部分源码flask自己并不支持信号,需要安装插件 1234567891011121314151617181920212223242526272829303132333
上下文分类 请求上下文:包括request和session,保存请求相关的信息 request:封装客户端发送的请求报文数据 session:用于记住请求之间的数据,通过签名的cookie实现,常用来记住用户登录状态 程序上下文:包括current_app和g,为了更好的分离程序的状态,应用起来更加灵活,方便调测等 current_app:指向处理请求的当前程序实例,比如获取配置,经常会用cu
使用12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697# -*- coding:
docker镜像解析概念轻量级、可执行的独立软件包,用来打包软件环境和基于运行环境开发的软件(整体打包)(层层叠加的整体) uninonFS镜像分层union File system联合文件系统,支持对文件系统的修改作为一次次的提交来一层层叠加。Docker 镜像由一些松耦合的只读镜像层组成,Docker负责堆叠这些镜像层,并且将它们表示为单个统一的对象。 一个tomcat镜像有600M,它包括
生成镜像- docker build -f filename -t name:version . - docker commit -a=’xxx’(作者) -m=’xxxx’(命名空间) 容器id 名字:版本号 docker push步骤(可参考阿里云文档)- 1.创建镜像仓库 - 2.docker login --username= registry.cn-hangzhou.aliyuns.co