分类
dev

Docker in Production 笔记

In production

docker-workshop-thought-works

上周六参加了thoughtworks的docker workshop活动, 主要探讨了docker技术在生产环境应用的问题.

前面介绍了一下容器相关技术, 如Linux Container(lxc), 也介绍了namespace隔离等等.

还有docker的架构:

docker-architecture

然后又有部分常见的docker使用技术, 如docker compose, 使用compose.yml文件指定容器的创建, 以及整体管理等.

进阶

文件系统的挂载, 包括数据卷挂载(-v), 以及制作+使用数据容器的思路方向.

容器网络模型, host内的bridge, 跨host的overlay, 以及sandbox/endpoint定义.

docker-network

也扩展了一下安全性问题. (docker真的权限...太高了)

多主机部署于服务发现

Consul服务发现.

Registrator服务注册.

Docker Swarm集群.

日志/监控

docker logs的使用局限.

一点关于实际应用的思考

在docker的助力下,将每个服务,做成一个容器,然后跑在公司所有的主机上,这样的微服务架构想想就知道才是当下最合理的方式。

借助cluster解决方案,可以将公司的多服务器主机的资源合起来利用,并能更好的应对服务故障。

而容器微服务,在开发本地调试,一旦通过测试可以发布,发布的过程也是简单而不会出错。

构建好如上讲述的服务注册+发现,更能动态获取服务地址,自动完成服务之间的连接,才称得上是科学做法。

而服务状态监控,健康检查,日志收集处理,这些服务构建好,才能真的在出错时及时追溯问题,更能通过预警邮件及时知道问题。

一个产品环境,必须是科学专业的环境,而不是单单能运行就行。

分类
stuff

Rust-Lang Notes | Day 2

General

变量

变量默认是不可变immutable的.

let x = 5;
x = 6; // ERROR: re-assignment of immutable variable

mut关键字声明可变的变量.

let mut x = 5;
x = 6;

常量 constants

声明常量使用const关键字, 且不允许使用mut.

常量不光默认不能变,它总是不能变.

而且必须注明值的类型.

const MAX_POINTS: u32 = 100_000;
// 声明一个常量MAX_POINTS, 值是100,000.

常量在整个程序生命周期中都有效,位于它声明的作用域之中.

这使得常量可以作为多处代码使用的全局范围的值.

将用于整个程序的硬编码的值声明为常量对后来的维护者了解值的意义很用帮助。它也能将硬编码的值汇总一处,为将来可能的修改提供方便。

隐藏(Shadowing)

重复使用let关键字来隐藏.

分类
dev

Rust-Lang Notes

Rust语言学习笔记

Installation 安装

习惯的

$ brew search rust
==> Searching local taps...
rust       rustc-completion       rustup-init      uncrustify

然后顺手就可以:

$ brew install rust

这样安装完之后是可以使用rustc等的.

然而缺少rustup工具, 也因为brew同一管理路径的原因, 缺失~/.cargo目录, (不知道为啥没有至少一个软连接?).

所以出于学习阶段(在我还没弄清谁更好时), 先使用官方的方法(况且cargo是Rust的package manager):

如果brew安装过的, 别忘了先brew uninstall rust卸载掉.

$ curl https://sh.rustup.rs -sSf | sh
info: downloading installer

Welcome to Rust!

This will download and install the official compiler for the Rust programming
language, and its package manager, Cargo.

It will add the cargo, rustc, rustup and other commands to Cargo's bin
directory, located at:

  /Users/blodely/.cargo/bin

This path will then be added to your PATH environment variable by modifying the
profile files located at:

  /Users/blodely/.profile
  /Users/blodely/.zprofile

You can uninstall at any time with rustup self uninstall and these changes will
be reverted.

Current installation options:

   default host triple: x86_64-apple-darwin
     default toolchain: stable
  modify PATH variable: yes

1) Proceed with installation (default)
2) Customize installation
3) Cancel installation
1

info: syncing channel updates for 'stable-x86_64-apple-darwin'
info: latest update on 2017-08-31, rust version 1.20.0 (f3d6973f4 2017-08-27)
info: downloading component 'rustc'
 35.1 MiB /  35.1 MiB (100 %) 121.6 KiB/s ETA:   0 s
info: downloading component 'rust-std'
 49.0 MiB /  49.0 MiB (100 %) 128.0 KiB/s ETA:   0 s
info: downloading component 'cargo'
  2.6 MiB /   2.6 MiB (100 %) 124.8 KiB/s ETA:   0 s
info: downloading component 'rust-docs'
  3.6 MiB /   3.6 MiB (100 %) 115.2 KiB/s ETA:   0 s
info: installing component 'rustc'
info: installing component 'rust-std'
info: installing component 'cargo'
info: installing component 'rust-docs'
info: default toolchain set to 'stable'

  stable installed - rustc 1.20.0 (f3d6973f4 2017-08-27)


Rust is installed now. Great!

To get started you need Cargo's bin directory ($HOME/.cargo/bin) in your PATH
environment variable. Next time you log in this will be done automatically.

To configure your current shell run source $HOME/.cargo/env

这里当然猴急的运行source $HOME/.cargo/env,

再就测试一下:

$ rustc --version
rustc 1.20.0 (f3d6973f4 2017-08-27)

一切正常.

Hello, world

$ vim main.rs

然后录入:

fn main() {
    println!("Hello, world!~");
}

编译:

$ rustc main.rs

运行二进制文件:

$ ./main
Hello, world!~

Cargo

Cargo命令给出的解释是: Rust's package manager.

好吧, 使用Cargo来创建一个工程看看.

$ cargo new hello_cargo --bin
    Created binary (application) `hello_cargo` project

这样就创建了一个binary即应用程序(而不是一个库)的工程了.

cd进去发现, 还给默认初始化成一个git仓库了.

$ git status
On branch master

Initial commit

Untracked files:
  (use "git add <file>..." to include in what will be committed)

    .gitignore
    Cargo.toml
    src/

文件结构已归好, 还增加git ignore文件.

查阅文档, --vcs参数可控制此项.

然后这个Cargo.toml文件类型让我为之一震...

toml = Tom's Obvious, Minimal Language GithubRepo

$ cat Cargo.toml
[package] # 段落标题; 配置一个包
name = "hello_cargo"
version = "0.1.0"
authors = ["Luo Yu <indie.luo@gmail.com>"]

[dependencies] # 项目依赖的crates列表(crate: Rust代码包)

构建与运行:

$ cargo build # cargo run
   Compiling hello_cargo v0.1.0 (file:///Users/blodely/Desktop/hello_cargo)
    Finished dev [unoptimized + debuginfo] target(s) in 3.27 secs
$ ./target/debug/hello_cargo
Hello, world!

Author

Luo Yu

indie.luo@gmail.com

Tuesday, September 12, 2017

分类
dev

iOS 11 | Natural Language Processing

CoreML

iOS 11推出的新framework - CoreML, ML即Machine Learning.

官方给出的架构如下图:

CoreML-framework-arc

如图可见, 该框的几个实现包括Vision, 还有NLP.

NLP (Natural Language Processing)

常有功能:

  • Language Identification
  • Named Entity Recognition

架构:

NLP-arch

这么一来, 封装后使用变得简单.

NSLinguisticTagger

分类
dev

Emacs 新手笔记

Learning Emacs

还在Kotei的时候, 跟着一个Tuts+教程, 花了4天熟悉Vim.
从此入了Vim阵营, 感叹它在啥环境下都有.
那时也留下了学习emacs的念想.
这么多年过去, 是时候付诸实践啦~

会持续在此更新相关笔记.

注解

C代表Ctrl

M代表Meta键(Alt键)

Operations

终止emacs会话C-x C-c

退出正在键入的命令C-g

Screen-moving Operations

下一屏C-v, 上一屏M-v

光标所在字符的 居中/居上/居下C-l

Cursor-moving Operations

前一行C-p (Previous line)
退一格C-b (Backward)
进一格C-f (Forward)
下一行C-n (Next line)

进一词M-f (Forward)
退一词M-b (Backward)

行头C-a
行尾C-e
句头M-a
句尾M-e

篇头M-<
篇尾M->
<>键都处于上键位置, 所以输入时是需要按住Shift键.

位移命令可接受数字参数, 使用C-u录入数字, 然后会被重复作用到后续的位移命令上.
按住M输入数字也等同于此操作.
例如C-u 8 C-f会前进8个字符.

Author

Luo Yu
Friday, September 8, 2017

分类
dev

Bluemix 试用

Bluemix 试用

账号

官网注册一下bluemix的账号, 如果之前注册过IBM的账号的话, 可以直接拿来登录并激活该功能.

(有部分Script似乎在墙外, 最好翻一下操作).

创建空间

首次登入, 会被告知试用天数, 和简单的收费介绍, 大概就是超出免费使用额的时候进行收费.

然后呢, 会有一个指引, 来创建"组织名称">"空间名称". 这里也会选择服务器物理位置. 自动给我匹配了一个“悉尼”, 看似最近的也只有这个了.

创建服务

选一个服务吧. 各类应用容器...(这样算, 一个服务一份钱?).

因为要部署的是Hubot, 一个NodeJS做的程序, 所以这里就直接选个CloudFoundry的Node.js应用类型就行啦.

同样, 创建好名称, 比如我这里就叫“nodejshubot”.

创建完后, 系统会自动为你启动该服务.

准备工具

bluemix环境已有, 接下来就是获取hubot并部署到该服务中.

那这个环境是一个CloudFoundry环境, 就需要它的交互工具.

在macOS中, 还是老一套, 用Homebrew来安装吧:

brew install cloudfoundry/tap/cf-cli

使用cf命令测试了一下,

$ cf
cf version 6.30.0+decf883fc.2017-09-01, Cloud Foundry command line tool
Usage: cf [global options] command [arguments...] [command options]

挺正常的.

然后还需要git和node环境, 如果你还没有的话.

下载安装过Xcode的, 都会由Command Line Tools附带安装了git.

node环境, 也是可以直接brew install的.

获取Hubot

$ git clone git@github.com:hubotio/hubot.git
Cloning into 'hubot'...
remote: Counting objects: 8746, done.
remote: Total 8746 (delta 0), reused 0 (delta 0), pack-reused 8746
Receiving objects: 100% (8746/8746), 1.91 MiB | 117.00 KiB/s, done.
Resolving deltas: 100% (4926/4926), done.

官方解释到:

如果要部署到 Bluemix,设置 manifest.yml 文件会很有用。manifest.yml 包含有关应用程序的基本信息,例如名称、要为每个实例分配的内存量以及路径。

那我们就在这个项目里创建一个manifest.yml文件, name呢就是我们的应用程序名称.

---
applications:
- name: nodejshubot
  command: ./bin/hubot --adapter slack
  instances: 1
  memory: 256M

部署应用程序

到了用Cloud Foundry CLI的地方啦.

cf api <API-endpoint>

API-endpoint呢 则是前面选好的区域, 比如我选的悉尼.

API 端点 区域
https://api.ng.bluemix.net 美国南部
https://api.eu-gb.bluemix.net 英国
https://api.au-syd.bluemix.net 悉尼

实际使用:

$ cf api https://api.au-syd.bluemix.net
Setting api endpoint to https://api.au-syd.bluemix.net...
OK

api endpoint:   https://api.au-syd.bluemix.net
api version:    2.75.0
Not logged in. Use 'cf login' to log in.

那么就是OK的了, 都提示好让我直接login:

$ cf login
API endpoint: https://api.au-syd.bluemix.net

Email> blodely@gmail.com
Password>

Authenticating...
OK

Targeted org blodelyAtSyd

Targeted space dev

API endpoint:   https://api.au-syd.bluemix.net (API version: 2.75.0)
User:           blodely@gmail.com
Org:            blodelyAtSyd
Space:          dev

这就可以从程序目录push应用程序到bluemix了(感觉这个架构很重):

$ cf push
Using manifest file /Users/blodely/Desktop/bluemixhubot/hubot/manifest.yml

Updating app nodejshubot in org blodelyAtSyd / space dev as blodely@gmail.com...
OK

Uploading nodejshubot...
Uploading app files from: /Users/blodely/Desktop/bluemixhubot/hubot
Uploading 85K, 64 files
Done uploading
OK

Stopping app nodejshubot in org blodelyAtSyd / space dev as blodely@gmail.com...
OK

Starting app nodejshubot in org blodelyAtSyd / space dev as blodely@gmail.com...
Downloading liberty-for-java_v3_11-20170710-0312...
# 省略省略大段的远端环境自动下载配置的信息...
Staging complete
Uploading droplet, build artifacts cache...
Uploading build artifacts cache...
Uploading droplet...
Uploaded build artifacts cache (1.2M)
Uploaded droplet (18.8M)
Uploading complete
Destroying container
Successfully destroyed container

0 of 1 instances running, 1 starting
1 of 1 instances running

App started


OK

App nodejshubot was started using this command `npm start`

Showing health and status for app nodejshubot in org blodelyAtSyd / space dev as blodely@gmail.com...
OK

requested state: started
instances: 1/1
usage: 256M x 1 instances
urls: nodejshubot.au-syd.mybluemix.net
last uploaded: Sat Sep 2 04:10:43 UTC 2017
stack: cflinuxfs2
buildpack: SDK for Node.js(TM) (ibm-node.js-6.11.1, buildpack-v3.13-20170725-1347)

     state     since                    cpu    memory          disk          details
#0   running   2017-09-02 12:12:13 PM   0.2%   48.7M of 256M   75.4M of 1G

这就push成功,应用也启动了.

状态也列举出来在最后面, manifest中写到的一样, 指派了256M内存的使用(???).

Author

骆昱, September 2, 2017

indie.luo@gmail.com

分类
dev

Kitura framework

Index

Kitura
使用Kitura框架
部署到服务器
Author

Kitura

不用多介绍了,Kitura差不多是一岁了. 来自IBM的Swift框架(on server-side).

自Swift开源以来,大家都在进行各个平台的尝试.

相关较成熟的解决方案有Perfect框架, Kitura则相对来说较为轻量级.

Official site, Github.

现在的优势是该Swift框架在IBM的Bluemix上已有应用服务了,当然Swift容器也有的.

使用Kitura框架

照例使用Swift Package Manager创建:

swift package init --type executable

修改Package.swift,添加Kitura框架的依赖:

import PackageDescription

let package = Package(
    name: "myFirstProject",
    dependencies: [
        .Package(url: "https://github.com/IBM-Swift/Kitura.git", majorVersion: 1, minor: 7)
    ])

Build一下:

swift build

首次Build就会看到一个个依赖包被克隆下来啦.

修改Main.swift文件,添加服务入口:

import Kitura

// Create a new router
let router = Router()

// Handle HTTP GET requests to /
router.get("/") {
    request, response, next in
    response.send("Hello, World!")
    next()
}

// Add an HTTP server and connect it to the router
Kitura.addHTTPServer(onPort: 8080, with: router)

// Start the Kitura runloop (this call never returns)
Kitura.run()

然后就可以跑起程序试试了:

swift build
.build/debug/myFirstProject

部署到服务器 deploy

这里有个比较坑的地方, 追根溯源, 还是来自Apple的. 目前Swift给出的包都是为了Ubuntu环境准备的, 有14.04LTS, 有16.04LTS的. 其他环境得自己编译.

这里呢, 我偷懒点, 使用最爱的docker来部署.

ibmcom/swift-ubuntu是一个Swift Ready的Ubuntu14环境,可以直接拿来用.

作者 Author

骆昱/Luo Yu, indie.luo@gmai.com

Saturday, September 2, 2017

分类
stuff

docker fan

 

I AM A DOCKER FAN, ALL CAPS.

 

I ❤️ Docker