本文目录一览:
- 1、s3 的sdk aws提供python版本的了吗
- 2、AWS Lambda Layer For Python Pakage
- 3、如何在AWS运行Jupyter Notebook
- 4、aws怎么用?
- 5、如何运行Python脚本这是我上传在AWS SSH会话的应用程序的一部分
- 6、aws上cpu利用率怎么用python采集
s3 的sdk aws提供python版本的了吗
直接使用按类型的AWS云平台不就行了,何必选择第三方的呢。
AWS支持多种开发语言,提供Java、Rupy、Python、PHP、Windows .NET 以及Android和iOS的工具集。工具集中包含各种语言的SDK,程序自动部署以及各种管理工具。另外,AWS通过CloudWatch系统提供丰富的监控功能。
AWS Lambda Layer For Python Pakage
这里使用Anaconda 来创建Python Package 包
注意:python 版本最好和Lambda的Python版本对应
最好每次安装少量的包,因为Lambad 对Layer的尺寸有限制, 而每个Lambda 可以使用5个Layer。分开安装是比较好的策略
找到 conda 新环境 的 (my_env)的文件夹,Windows 一般在 :
所有package 必须放在 python 目录下, 否则 Lambda不认
my_layer.zip
| python/numpy
| python/numpy-***.dist-info
C:\Users\ your_user_name \.conda\envs
evns 下一般有多个路径, 找到新建evn 的名字。将 Lib 下 site-packages 文件夹打成zip 包。
该Zip包就是要上传到Layer 的压缩包。
关于文件尺寸
以下限制至2020-11-01有效,以后可能会发生变动。
在Lambda 中选择Layers, 进入Layers 页面后, 选择
“Create layer”
在上传页面,上传Zip(如果是S3导入, 填写S3上Zip 文件路径)
成功后, 可以在Layer 列表中看到刚刚创建的Layer
选择一个Function , 点击 “Add a layer” 即可
Layer 是针对某个具体的Function 加的,Function可以根据不同的功能,选择合适的Layer。
个人感觉Lambda 的Layer就像是 App 的动态加载库。
如何在AWS运行Jupyter Notebook
作者:胡贲
链接:
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
以下是主要步骤,前提是,拥有一个虚拟机,并且有ssh账号登陆。没有的同学可以自己在阿里云之类的服务商处申请,个人推荐地1元试用逗1个月的微软云。一般这些主机服务商都会提供一个基本的教程,因此从设置主机直到创建账号,ssh登陆都应该不是什么问题。
接下来,下载miniconda,一个科学计算环境管理软件,Anaconda的最小发型版本(假设运行的是64位Linux 虚拟机):
wget ""
然后安装:
sudo bash Miniconda-latest-Linux-x86_64.sh
然后通过miniconda的环境管理软件,conda安装必要被ipython和ipython-notebook.
conda install ipython
conda install ipython-notebook
接下来,我们需要创建一个名为nbserver的配置。
ipython profile create nbserver
这将创建一个文件夹,其中包含一些原始的配置文件。我们跳转到这个文件夹进行一些配置
cd ~/.ipython/profile_nbserver/
由于ipython Notebook要求https连接,因此我们需要创建一个ssl证书。
openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem
命令执行后根据提示输入信息就好,当然,这个证书并未获得认证,因此用chrome之类的浏览器访问的时候会得到一些错误信息,这个问题我们一会儿说。接下来我们创建一个密文的密码。
python -c "import IPython;print IPython.lib.passwd()"
运行之后进入一个创建密码hash值的小程序,根据提示输入你想用的安全口令:
Enter password:
Verify password:
sha1:b86e933199ad:a02e9592e59723da722.. #这是我的密码的hash值,后段被删除,你的密码得到的结果应该不同
然后开始编辑配置文件,通过vi编辑文件的命令如下:
vi ipython_notebook_config.py
这个文件可能不存在,那么通过vi创建一个,配置文件的内容如下:
c = get_config()
# 所有matplotlib的图像都通过iline的方式显示
c.IPKernelApp.pylab = 'inline'
# 这一行指向我们刚刚创建的ssl证书
c.NotebookApp.certfile = u'/home/azureuser/.ipython/profile_nbserver/mycert.pem'
# 给出刚刚创建的密码的哈希值
c.NotebookApp.password = u'sha1:b86e933199ad:a02e9592e5 etc... '
c.NotebookApp.ip = '*'
# 给出运行的端口,ipython默认为8888
c.NotebookApp.port = 8888
# 禁止在运行ipython的同时弹出浏览器
c.NotebookApp.open_browser = False
编辑完成以后按两次shift+z 保存退出
配置完毕以后就可以运行ipython Notebook的服务端了:
jupyter notebook --config=/home/azureuser/.ipython/profile_nbserver/ipython_notebook_config.py #给出你刚才创建的nbserver路径,这里为微软azure云默认的情况
当然,微软云还需要配置一下服务器端的endpoint,将云主机的https端口(443)指向内部的8888端口。
在你的浏览器地址栏输入:
这时候会遇到https提示根证书并非认证证书,不用管这个提示继续进入,voila,你的ipython Notebook server架好啦!
输入你刚才创建的密码,就可以开始像在本地一样使用了。
aws怎么用?
可以用的,打比方你想用它来做个单机网站,先打开AWS,在电脑的右下角会有个绿色的三角形图标,然后右键点击选择开启AWS服务,然后在浏览器的网址输入栏里输入127.0.0.1/这里加上你想打开的文件名即可浏览,这里必须注意:你必须把AWS复制到你想打开的文件在同一个文件夹里才能打开,,,累死我手动打的给个满意答案吧
如何运行Python脚本这是我上传在AWS SSH会话的应用程序的一部分
secureCRT支持运行.js和.vbs以及.py格式的脚本,无奈mac上识别前两个格式的脚本只能写一写Python脚本,
举个简单的例子,利用脚本直接ssh连接一台机器,
在View菜单中勾选Button Bar让这个菜单在下方显示出来,
在下方的Default右方右键出现一个菜单点击New Button按钮,在显示框的Function一栏选择Run Script中间选择编写好的.py文件 !
aws上cpu利用率怎么用python采集
#!/usr/bin/python
# -*- coding:utf8 -*-
__author__ = 'chenwx'
def cpu_rate():
import time
def cpu_r():
f = open(“/proc/stat”,“r”)
for f_line in f:
break
f.close()
f_line = f_line.split(“ ”)
f_line_a=[]
for i in f_line:
if i.isdigit():
i=int(i)
f_line_a.append(i)
total = sum(f_line_a)
idle = f_line_a[3]
return total,idle
total_a,idle_a=cpu_r()
time.sleep(2)
total_b,idle_b=cpu_r()
sys_idle = idle_b - idle_a
sys_total = total_b - total_a
sys_us = sys_total - sys_idle
cpu_a = (float(sys_us)/sys_total)*100
return cpu_a
# print cpu_rate()