本文目录一览：
- 1、如何用python 七牛上传文件
- 2、pip 怎么安装lldb
- 3、如何用 Python 爬取需要登录的网站
- 4、将项目通过git上传到bitbucket仓库 （附图）
- 5、如何在CentOS6上安装Python2.7和Python3.3
如何用python 七牛上传文件
首先要安装一个qiniu的包，下面是示例代码
from qiniu import Auth, put_data, put_file
accessKey = "xxx"
secretKey = "xxx"
def upload_data(data, bucket_name):
#生成上传凭证
q = Auth(accessKey, secretKey)
key = str(int(time() * 1000))
token = q.upload_token(bucket_name, key)
#上传文件
retData, respInfo = put_data(token, key, data)
return 'xxx.clouddn.com/' + key
with open('meelo.jpg', 'rb') as f:
url = upload_data(f.read(), 'xxxx')
会返回上传文件的url
pip 怎么安装lldb
为了使用jupyter notebook 记录学习python中的代码和笔记，遂安装jupyter
使用pip 安装，因为python环境是新的，缺少很多东西。在安装过程中，遇到很多问题
1、安装setuptools 下载地址
下载解压，在解压目录运行命令行
python setup.py install
2、安装ipython pip install ipython
3、安装vcforpython27
4、安装jupyter pip install jupyter
如何用 Python 爬取需要登录的网站
最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作。它没有我想象中那么简单，因此我决定为它写一个辅助教程。
在本教程中，我们将从我们的bitbucket账户中爬取一个项目列表。
教程中的代码可以从我的 Github 中找到。
我们将会按照以下步骤进行：
提取登录需要的详细信息
执行站点登录
爬取所需要的数据
在本教程中，我使用了以下包（可以在 requirements.txt 中找到）：
Python
1
2
requests
lxml
步骤一：研究该网站
打开登录页面
进入以下页面 “bitbucket.org/account/signin”。你会看到如下图所示的页面（执行注销，以防你已经登录）
仔细研究那些我们需要提取的详细信息，以供登录之用
在这一部分，我们会创建一个字典来保存执行登录的详细信息：
1. 右击 “Username or email” 字段，选择“查看元素”。我们将使用 “name” 属性为 “username” 的输入框的值。“username”将会是 key 值，我们的用户名/电子邮箱就是对应的 value 值（在其他的网站上这些 key 值可能是 “email”，“ user_name”，“ login”，等等）。
2. 右击 “Password” 字段，选择“查看元素”。在脚本中我们需要使用 “name” 属性为 “password” 的输入框的值。“password” 将是字典的 key 值，我们输入的密码将是对应的 value 值（在其他网站key值可能是 “userpassword”，“loginpassword”，“pwd”，等等）。
3. 在源代码页面中，查找一个名为 “csrfmiddlewaretoken” 的隐藏输入标签。“csrfmiddlewaretoken” 将是 key 值，而对应的 value 值将是这个隐藏的输入值（在其他网站上这个 value 值可能是一个名为 “csrftoken”，“ authenticationtoken” 的隐藏输入值）。列如：“Vy00PE3Ra6aISwKBrPn72SFml00IcUV8”。
最后我们将会得到一个类似这样的字典：
Python
1
2
3
4
5
payload = {
"username": "lt;USER NAMEgt;",
"password": "lt;PASSWORDgt;",
"csrfmiddlewaretoken": "lt;CSRF_TOKENgt;"
}
请记住，这是这个网站的一个具体案例。虽然这个登录表单很简单，但其他网站可能需要我们检查浏览器的请求日志，并找到登录步骤中应该使用的相关的 key 值和 value 值。
步骤2：执行登录网站
对于这个脚本，我们只需要导入如下内容：
Python
1
2
import requests
from lxml import html
首先，我们要创建 session 对象。这个对象会允许我们保存所有的登录会话请求。
Python
1
session_requests = requests.session()
第二，我们要从该网页上提取在登录时所使用的 csrf 标记。在这个例子中，我们使用的是 lxml 和 xpath 来提取，我们也可以使用正则表达式或者其他的一些方法来提取这些数据。
Python
1
2
3
4
5
login_url = "n/?next=/"
result = session_requests.get(login_url)
tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]
**更多关于xpath 和lxml的信息可以在这里找到。
接下来，我们要执行登录阶段。在这一阶段，我们发送一个 POST 请求给登录的 url。我们使用前面步骤中创建的 payload 作为 data 。也可以为该请求使用一个标题并在该标题中给这个相同的 url 添加一个参照键。
Python
1
2
3
4
5
result = session_requests.post(
login_url,
data = payload,
headers = dict(referer=login_url)
)
步骤三：爬取内容
现在，我们已经登录成功了，我们将从 bitbucket dashboard 页面上执行真正的爬取操作。
Python
1
2
3
4
5
url = '/overview'
result = session_requests.get(
url,
headers = dict(referer = url)
)
为了测试以上内容，我们从 bitbucket dashboard 页面上爬取了项目列表。我们将再次使用 xpath 来查找目标元素，清除新行中的文本和空格并打印出结果。如果一切都运行 OK，输出结果应该是你 bitbucket 账户中的 buckets / project 列表。
Python
1
2
3
4
5
tree = html.fromstring(result.content)
bucket_elems = tree.findall(".//span[@class='repo-name']/")
bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]
print bucket_names
你也可以通过检查从每个请求返回的状态代码来验证这些请求结果。它不会总是能让你知道登录阶段是否是成功的，但是可以用来作为一个验证指标。
例如：
Python
1
2
result.ok # 会告诉我们最后一次请求是否成功
result.status_code # 会返回给我们最后一次请求的状态
将项目通过git上传到bitbucket仓库 （附图）
OK，现在bitbucket和android studio上都已经创建好了仓库！
显示如下就表示成功了
现在在bitbucket上就可以看到我们的项目源码了，哈哈，上传成功！
如何在CentOS6上安装Python2.7和Python3.3
如何在CentOS 6上同时安装Python 2.7和Python 3.3
本文将介绍如何在CentOS 6上安装Python 2.7和3.3。下面以Python 2.7.6和Python 3.3.5为例进行说明，但本人实测该教程同样适合于Python3.4.0.
CentOS 6自带了Python 2.6.6（CentOS 7则自带了Python 2.7）和一些非常好用的功能，如yum。但是，注意不要随便升级自带的Python以免yum不可用。 新版本将安装在/usr/local目录下以避免和自带的版本冲突。
虽然“我”只在64位的CentOS 6.5进行了尝试，但该教程应该适用于所有的CentOS 6版本（本人按此教程在CentOS 7上亦成功安装Python3.4）。
下面的示例命令您最好以root身份运行或者在命令前加sudo赋予权限。但注意，若不是以root身份执行的话，make 与make install最好分开执行，并且都在前面加sudo，连着写，如sudo make make install的话会在make install过程中报权限不足问题，因为sudo不作用于后面的make install。
安装前准备
编译Python之前您最好先安装一系列的开发工具和一些拓展库，虽然不是必须的，但这样Python才能依赖这些工具和拓展库展示它强悍的功能。下面是利用yum进行工具和拓展库安装的示例命令，直接copy执行即可（注意部分命令显示不全，但可以通过移动光标查看和复制）。
yum groupinstall "Development tools"
yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
该考虑的因素
在您编译和安装Python之前，有些东西您是应该知道或考虑的。如下。
Unicode编码
Python编码问题历史悠久，但不用过多关注，知道它目前支持Unicode编码即可（Python3中默认的）。考虑到兼容性等原因，除非有特殊的理由，您最好配置下Python 3.2和更早的版本，使其支持UTF-32编码，虽然会增加小小的内存代价。在Python 2.7中您可以通过在configure时添加选项 --enable-unicode=ucs4 进行配置，而在Python 3.2中是--with-wide-unicode选项。
Shared library（动态共享库）
目前大部分的Linux系统自带的Python都是以共享库的方式编译的, 此外，某些第三方工具例如mod_wsgi和Blender，没有Python的共享库还运行不了，所以，您最好还是把Python编译成动态共享库吧。为了以共享库方式编译Python，您必须指明共享库的路径。您有两种选择：
在configure命令后面添加:LDFLAGS="-Wl,-rpath /usr/local/lib"从而将库路径直接编译进Python中。
以记事本方式打开 /etc/ld.so.conf ，然后在文件最后添加新行：/usr/local/lib 。紧接着运行命令 /sbin/ldconfig 更新动态链接器。 添加后的文件内容在CentOS 6.5 如下:
/etc/ld.so.conf
1
2
include ld.so.conf.d/*.conf
/usr/local/lib
使用 “make altinstall” 而不是make install
切记，在安装自定义版本的Python时， make altinstall 命令是必须的！如果您使用一般的 make install 命令，呵呵，您将会在解压编译的目录下看到两个命名一样但版本不同的python，这有可能会导致一些意想不到的bug哦，具体是什么作者没说，我也不知道。
下载，编译，安装Python
如下命令可用于下载、编译和安装Python。注意，如果您打算安装后手动修改 /etc/ld.so.conf 文件以更新动态链接器，那么下面的 LDFLAGS 参数您就可以去掉了。
1
2
3
4
5
6
7
8
9
10
11
12
13
# Python 2.7.6:
wget
tar xf Python-2.7.6.tar.xz
cd Python-2.7.6
./configure --prefix=/usr/local --enable-unicode=ucs4 --enable-shared LDFLAGS="-Wl,-rpath /usr/local/lib"
make make altinstall（此处切记，要么以root运行，要么分开执行！）
# Python 3.3.5:
wget
tar xf Python-3.3.5.tar.xz
cd Python-3.3.5
./configure --prefix=/usr/local --enable-shared LDFLAGS="-Wl,-rpath /usr/local/lib"
make make altinstall（此处切记，要么以root运行，要么分开执行！）
执行上述命令之后，您可以在/usr/local/bin/python2.7 或 /usr/local/bin/python3.3 中找到新安装的Python。而Python 2.6.6则可能在/usr/bin/python, /usr/bin/python2 或 /usr/bin/python2.6找到。
下载和安装Setuptools + pip
Setuptools 早已取代 Distribute 成为Python官方的拓展包管理器，以用于从Python Package Index安装拓展功能包。 不同版本的Python需要的Setuptools版本不同。建议您也通过Setuptools安装 pip，它提供了一些额外在安装拓展功能包时很有用的功能。
以下的命令可用于安装最新版Setuptools 和 pip。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# First
get the setup script for Setuptools:
wget
# Then
install it for Python 2.7 and/or Python 3.3:
python2.7ez_setup.py
python3.3ez_setup.py
# Now
install pip using the newly installed setuptools:
easy_install-2.7pip
easy_install-3.3pip
# With
pip installed you can now do things like this:
pip2.7install[packagename]
pip2.7install--upgrade[packagename]
pip2.7uninstall[packagename]
安装的拓展功能包在 /usr/local/lib/pythonX.Y/site-packages/ 中可以找到(X.Y 是Python的版本号)。
接下来干嘛?
如果您使用 Python 2.7，强烈建议您安装 virtualenv 并学会使用它，它可用于创建独立的 Python 环境。如果您使用 Python 3.3的话就可以省心些，它已被内置了。
不同的 Python 运行环境(也叫沙盒) 可以有自己的 Python 版本和拓展功能包，就是说不同的Python安装和运行的目录不同，也可以为每个版本的Python安装对应的名称一样但版本不同的拓展包。 这在开发多个功能不同的项目或在同一个项目中需要用到不同版本的Python是会很有用的。
创建您第一个独立的Python环境
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# Install
virtualenv for Python 2.7 and create a sandbox called my27project:
pip2.7installvirtualenv
virtualenv-2.7my27project
# Use
the built-in pyvenv program in Python 3.3 to create a sandbox called my33project:
pyvenv-3.3my33project
# Check
the system Python interpreter version:
python--version
# This
will show Python 2.6.6
# Activate
the my27project sandbox and check the version of the default Python interpreter in it:
sourcemy27project/bin/activate
python--version
# This
will show Python 2.7.6
deactivate
# Activate
the my33project sandbox and check the version of the default Python interpreter in it:
sourcemy33project/bin/activate
python--version
# This
will show Python 3.3.5
deactivate
当你使用 virtualenv创建一个运行沙盒时，它会自动在沙盒环境中为您安装setuptools和 pip （听起来不错，可以还没尝试过）。但如果您使用 pyvenv 的话，您就必须自己动手安装了。也简单，激活沙盒之后通过运行下载的z_setup.py文件去安装即可。
