강2월드

---

 

203. Prerequisite - Docker Networking

도커를 사용하면 여러가지 네트워킹 옵션이 존재한다.

None

도커를 none 네트워크 옵션으로 실행하면 그 어떤 네트워크랑 연결되지 않는다. 

외부로 접근 불가 

멀티 컨테이너로 만들어도 서로 통신 못한다.

host

호스트 네트워킹을 하면 컨테이너가 호스트의 네트워크에 연결되어 사용가능하다.

80번포트를 사용하는 앱을 배포하면 이용 가능할 것이다. 특별한 포트 포워딩 없이 사용가능

똑같이 컨테이너를 생성해도 같은 호스트 ,포트 네트워크를 동시에 공유할 수 없다. 

 

Bridge

bridge 모드로 생성하는 경우 사설네트워크가 생성된다.

172.17.0.0 을 기본으로 갖고 컨테이너가 추가될때 마다 ip를 부여받는다.

도커가 설체되면 bridge라는 사설 네트워크를 설치한다.

docker 에서 볼 때는 bridge 이지만 호스트에서는 docker0라는 이름으로 생성된다.

호스트가 ip link add docker0 type bridge 한 것처럼 docker가 사설 네트워크를 만든다.

브릿지 네트워크는 인터페이스와 같으면서도 컨테이너,네임스페이스 안에서는 스위치 역할을 한다. 

docker 0 는 down 상태이며 172.17.0.1/24 ip 를 갖는다.

docker run nginx 로 컨테이너를 실행 후

ip netns 검색 

docker inspect로 확인하면 netns 가 생긴 것을 알 수 있다.

컨테이너와 브릿지 네트워크 docker0를 어떻게 연결 시킬까? 

docker0 인터페이스 vethbblc343@if7

vethbb~의 위치는 당연히 docker0에 있다 

컨테이너 netns 에서 link 명령을 하면 인터페이스를 확인할 수 있다.

컨테이너의 네트워크 인터페이스는 eth0@if8 이다.

컨테이너의 addr 을 확인해보면 ip 를 배정 받았다고 뜬다.

172.17.0.3/16

컨테이너가 추가될때마다 가상 인터페이스도 추가된다. 

도커 내부에서 컨테이너에 접속하면 가능하지만 외부에서는 접속불가능하다.

그래서 도커 컨테이너를 실행할때 포트포워딩 옵션을 넣어줘야한다. 

8080으로 들어오면 80 포트로 이동 

192.168.1.0:8080 으로 접속 가능해진다. 

도컨도 iptables 명령과 같은 효과 

똑같이 iptables 가 생성된 것을 확인할 수 있다. 

---

204. Prerequisite - CNI 

이전에 배운 것

도커도 사실 비슷한 원리다. 

rkt, mesos, k8s 다 비슷한 방식을 따른다. 

어차피 중복되는 내용인데 통합시키면 어떨까? 

bridge 로 묶었다.

bridge 명령어로  netns 에 있는 컨테이너를 연결시킬 수 있다.

bridge add <cid> <namespace> 

이다.

cni 로 쉽게 구성할 수 있다.

cni 규칙들 

플러그인 (프로그램들) 의 규칙

cni 규칙과 플러그인 규칙을 지켜야한다.

cni는 여러 플러그인을 지원한다. 

도커는 cni를 갖지 않고 독립적으로 cnm 을 갖는다. 

도커도 네트워크를 생성하고 브릿지로 연겨하면 된다. 

---

205. Cluster networking

IP & FQDN

마스터 노드와 워커 노드 각각의 ip, 인터페이스,호스트네임, 맥어드레스를 갖는다.

마스터노드의 kube-api 와 통신한다.

kubelet은 10250 포트를 듣는다. 

컴포넌트들의 포트번호

마스터 노드끼리 소통시에도 사용

Ports and Protocols | Kubernetes

 

Ports and Protocols

When running Kubernetes in an environment with strict network boundaries, such as on-premises datacenter with physical network firewalls or Virtual Networks in Public Cloud, it is useful to be aware of the ports and protocols used by Kubernetes components.

kubernetes.io

포트 번호가 있다.

기본적인 네트워크 명령들

---

207. Practice Test - Explore Kubernetes Environment

1. How many nodes are part of this cluster?

Including the controlplane and worker nodes.

2개

 

2. What is the Internal IP address of the controlplane node in this cluster?

192.6.192.12

 

3. What is the network interface configured for cluster connectivity on the controlplane node? 

 

node-to-node communication

 

ip a 명령어

eth0 이다. 

 

4. What is the MAC address of the interface on the controlplane node?

02:42:c0:06:c0:0c

 

5. What is the IP address assigned to node01?

192.6.192.3

 

6. What is the MAC address assigned to node01?

 

ip a 로 하면 확인 불가능하다.

 

워커 노드는 마스터 노드와 같은 인터페이스를 사용한다. 

eth0 를 통해서 mac addr 를 찾자.

 

7. We use Containerd as our container runtime. What is the interface/bridge created by Containerd on this host?

cni0

 

8. What is the state of the interface cni0?

 

up

 

9. If you were to ping google from the controlplane node, which route does it take?

default 가 172.25.0.1 게이트웨이를 사용

 

10. What is the port the kube-scheduler is listening on in the controlplane node?

 

10259 를 쓴다. 

 

netstat -nplt

 

11. Notice that ETCD is listening on two ports. Which of these have more client connections established?

2379

 

12. Correct! That's because 2379 is the port of ETCD to which all control plane components connect to. 2380 is only for etcd peer-to-peer connectivity. When you have multiple controlplane nodes. In this case we don't.

 

 

---

209. Pod networking

쿠버네티스 파드들은 어떻게 통신할까?

Networking Model

모든 파드들은 ip를 가지고 파드들은 다른 파드와 통신가능하다. 

nat 없이 

지난 시간에 했던거 복습해보자

마스터, 워커 상관없이 노드들이 연결되어있다. 

노드들에 각자 netns 가 있다.

브릿지 네트워크를 생성한다.

ip link add v-net-0 type bridge 

브릿지 네트워크 켜기 

ip link set dev v-net-0 up

브릿지 네트워크에 ip 부여하기

ip addr add 10.244.1.1/24 dev v-net-0

net-script.sh 파일을 만들어서 스크립트화 할 수 있다.

 

컨테이너 (netns 안의) 와 브릿지 네트워크 연결되었다.

파란 파드에서 보라색 파드에 접속하고 싶다면?

ping 은 안간다. 

라우터 추가해야 하나?

먼저 노드 단에서 라우터를 추가한다. 

ip route add 10.244.2.2 via 192.168.1.12

이제 ping 응답이 가능해진다.

노드단에서 브릿지 네트워크 ip 의 라우터를 다 추가한다.

모든 노드에서 라우터를 일일히 추가하는 것보다 라우터에서 정의하는것이 좋다. 

하나의 가상 네트워크 10.244.0.0/16

cni가 쉽게 해준다.

노드에 컨테이너가 생기면 kubelet이 확인하고 명령을 실행한다.

---

210. CNI in kubernetes

선수 지식

cni 규칙 

 

Configuring CNI

CNI 구성하기 

View kubelet options

kubelet에서 cni 옵션을 볼 수 있다. 

opt/cni/bin 폴더에서 여러 플러그인을 확인 가능

/etc/cni/net.d 에서 어느 플러그인이 사용될지 보여준다.

플러그인 구성파일이다. 

 

---

211. CNI weave

weaveworks는 cni 플러그인 중 하나이다. 

다른 컨테이너로 패킷 보내기 

라우팅 테이블을 사용하는데  더 좋은 방법이 없을까?

 

사무실이라고 가정하고 

office 1에서 office 3 로 보낼때 

 

알아서 잘 가겠지?

노드가 많아진다면? 

 

운송회사에 위임하자

weaverworks 직원을 각 나라에 상주 시킨다. 

각각의 직원들 통신망을 갖고 있다.

컨테이너에서 패킷을 보내려고하면

에이전트가 패킷을 가로채고 

패킹하고 

weaverworks 가 대신 보내준다.

마찬가지로 weaveworks가 서비스, 에이전트를 노드에 심는다. 

 

에이전트끼리 각자 네트워크를 형성한다. 

컨테이너에서 패킷을 보낼려고 하면 에이전트가 가로채서 보낸다. 

Deploy Weave

kubectl apply 를 통해서 weave 데몬을 생성할 수 있다. 

log 를 통해 트러블 슈팅

---

212. Practice Test - Explore CNI

1. Inspect the kubelet service and identify the container runtime endpoint value is set for Kubernetes.

 

 

ps aux | grep kubelets 

 

 --container-runtime-endpoint=unix:///var/run/containerd/containerd.sock 

 

2. What is the path configured with all binaries of CNI supported plugins?

ls /opt/cni/bin 

이 경로에 모든  플러그인이 있다. 

 

 

3. Identify which of the below plugins is not available in the list of available CNI plugins on this host?

 

cisco

 

4. What is the CNI plugin configured to be used on this kubernetes cluster?

/etc/cni/net.d 

현재 사용중인 플러그인이 뜬다.

 

 

5. What binary executable file will be run by kubelet after a container and its associated namespace are created?

 

flannel 이 실행된다.

 

---

214. Practice Test - Deploy Network Solution

 1.  In this practice test we will install weave-net POD networking solution to the cluster. Let us first inspect the setup.

We have deployed an application called app in the default namespace. What is the state of the pod?

not running

 

 

2. Inspect why the POD is not running.

 

ip 할당 문제

 

3. Deploy weave-net networking solution to the cluster.

 

NOTE: - We already have provided a weave manifest file under the /root/weave directory.

원래는 weavenet github에서 가져와야한다. 

 

---

196. Networking - Section Introduction

이번 챕터는 배워야하는 선수 지식이 좀 많다.

 

 

198. Prerequisite - Switching Routing

네트워킹 파트를 공부하는데 있어 필요한 선수지식

Switcing, routing, dns, network namespace, docker networking 

 

Switching

두개의 호스트를 연결할려면 무엇이 필요할까? 

스위치에 연결해야한다. 스위치에 연결하기 위해선 각 호스트 인터페이스가 필요하다. 

ip link 명령어로 인터페이스를 확인할 수 있다.

eth0 라는 인터페이스를 사용한다.

스위치의 ip 주소가 192.168.1.0 이라고 가정하고 

ip addr add 로 호스트에 ip를 할당해보자

호스트 a 가 b로 ping 을 날리면 통신이 된다. 

Routing

비슷한 다른 네트워크 통신할려면 어떻해야할까?

192.168.1.11 에서 192.168.2.10 으로 통신할려면?

두 네트워크를 잇기 위해서 라우터를 사용한다. 

라우터도 마찬가지로 두 네트워크에 ip를 할당한다.

192.168.1.1과 192.168.2.1

b에서 c 로 패킷을 보내려고 할때 라우터의 위치는 어떻게 알까?

라우터는 네트워크에 있는 또 다른 디바이스로 인식된다. 어떻게 구분하는가

 

Gateway

 

게이트웨이가 있어야 외부 네트워크로 나갈 수 있다. 

 

호스트 b 에서 routes 명령을 해도 아무런 정보가 없다.

게이트웨이가 구성 안된 상태라서 외부에 접속 할 수 없다.

route 를 추가해줘야한다.  

2번 네트워크 스위치 ip 192.168.2.0 을   네트워크  1 라우터 ip 192.168.1.1 을 통해

(라우터를 등록하는 과정)

 

라우터가 등록되었다.

 

네트워크 2 에서 네트워크 1에 접속하고 싶으면 마찬가지로 라우터를 등록해야한다.

다른 네트워크로 가고 싶을때마다 라우터에 등록해야한다면 엄청나게 복잡할 것이다.

그대신

라우터가 인터넷 게이트웨이를 가졌다고 생각하고 default 라우터로 지정한다. 

default 대신에 0.0.0.0 로 표기해도 된다.

모든 네트워크를 의미

만약 네트워크 2에서 네트워크1 로 가는 라우터, 외부 인터넷 접속을 하는 라우터를 분리하고 싶다면

 

192.168.1.0 으로 가능 라우터 하나

0.0.0.0 외부로 가능 라우터 하나 

두개를 등록한다.

a,b,c 호스트가 있고 

a,b 같은 스위치 b,c 같은 스위치에 있다.

스위치로부터 ip를 부여받고 

b는 두개의 ip를 배정받는다. 

a가 c 와 통신하고 싶다면 어떻해야하는가?

 

호스트a 192.168.1.5 에서 ping 을 날려보자 

192.168.2.5 로 보내면 접속불가이다.

라우터가 없기 때문에 어떻게 가는지 모른다. 

먼저 호스트 a에서 route를 추가한다.

 192.168.2.0 스위치로 가는 라우터는 192.168.1.6 

a에서 c로 패킷을 보내고 c 가 응답을 하기 위해 

마찬가지로 192.168.1.0 네트워크로 가기 위해 192.168.2.6 네트워크에 연결한다. 

이제 호스트 a에서 ping은 보내지지만 응답이 없다? 

 

다른 인터페이스끼리 한번에 패킷이 전달 되지 않는다고 한다. ( 리눅스 보안 때문?)

호스트 b 는 eth0, eth1 두개의 인터페이스를 가지고 있다. 

cat /proc/sys/net/ipv4/ip_forward 를 실행하면 0 의 값을 가진다.

해당 값을 1로 바꾼다. 

이제 다른 인터페이스라도 패킷 전달이 가능해진다.

ping 응답 가능

리부트하면 초기화 되기 때문에 /etc/sysctl.conf 로 가서 값을 변경하면 값이 유지된다.

 

명령어 정리

 

ip link - 인터페이스 확인

ip addr add - ip 할당하기

ip route - 라우터 확인하기

ip route add - 라우터 추가하기

cat /proc/sys/net/ipv4/ip_forward - 다른 인터페이스끼리 패킷 전달 허용 

 

---

199. Prerequisite - DNS

호스트 a와 호스트 b 가 있다. 

a에서 ping 날리면 응답이 오지만 호스트 네임 db 로 지정하고 보내면 모른다.

etc/hosts 파일에 192.168.1.11 은 db 라고 등록하고 ping db를 날리면 응답이 온다.

문제는 여기서 정한 이름이 호스트 a에서만 정해진 약속이라는 점

b의 호스트 네임을 변경해도 여전히 db 에 접속하능하고 

google.com 이름으로 정해도 핑이 보내진다.

 

Name Resolution

이름을 함부로 정한 것을 name Resolution 이라고 한다. 

호스트 c 가 추가된다면 etc/hosts 파일을 세번 수정해야한다. 

호스트가 많이 추가되면 지옥이다.

하나의 ip가 변경되면 변경을 수도 없이 해야한다.

모든 호스트의 etc/hosts 를 수정하는 것이 아닌 해당 역할을 중앙에서 처리하는 하나의 서버에 위임한다.

DNS

이제 모든 호스트이 dns 서버에 접속한다!

대신 모든 호스트의 /etc/resolv.cof 파일에 nameserver 정보가 담긴다.

pind db로 핑을 날릴 수도 있다. 

 

이제 /etc/hosts 파일을 일일히 수정할 필요없다. 

test 용 서버를 두고 싶을때 하나의 호스트의 etc/hosts 파일만 수정하고 해당 호스트에서만 접속하게 한다. 

이런 용도도 있다.

 

이름이 중첩됬을때는?

호스트 a 에 192.168.1.115 를 test로 

dns 서버에 192.168.1.116 이 test로 

같은 이름인 경우에는...

먼저 local  을 선택하고 접속이 불가하면 dns의 경로로 간다. 

우선 순위를 바꾸고 싶다면

/etc/nsswithc.conf 를 수정한다.

files 는 로컬 dns

순서를 바꾸면 dns 먼저 탐색하게 할 수 있다. 

etc/hosts, nameserver 둘 다 없는 도메인을 입력하면 접속 실패가 뜬다. 

.8nameserver 에 구글이 운영하는 공용 네임서버 8.8.8.8 에 등록하거나 

dns 서버에 forward all t0 8.8.8.8 을 입력하여 외부로 보낼 수 있다.

이제 외부로 갈 수 있다.

Domain Names

top level domain

맨 뒤에 오는 거 

 

google 앞에 오는 www, drive , email 이런 건 서브 도메인이라고 한다.

apps.google.com 을 접속한다고 가정하면

먼저 local dns는 google이 뭔지도 모른다. 

. root DNS 로 접근한다. 

.com 등의 탑 레벨 도메인으로 간후 

google dns 로 간다. 

google dns 에서 apps 가 누군지 확인하면 216.58.221.78 의 ip 주소가 나온다. 

해당 주소를 로컬 캐시에 저장하고  다음번 접속시 저장된 ip를 사용하여 빠르게 접속한다. 

 

 Record Types

 

nslookup

 

nslookup은 로컬 etcd/hosts 파일을 확인하지 않는다. dns서버만 쿼리한다. 

ping 대신 lookup, dig 으로 통신 상태 확인 가능하다. 

 

 

dig

---

201. Prerequisite - Network Namespaces

 

리눅스 네트워크 네임스페이스에 대해 배워볼거다. 

집을 방으로 분리하듯이 호스트는 네임스페이스를 이용하여 격리시킨다.

컨테이너를 네임스페이스로 감싼다.

컨테이너 안에서 ps aux 

호스트에서 ps aux 에서

프로세스 root 를 똑같이 감시할 수 있으나 다른 프로세스 id를 갖는다. 

(호스트 관리자는 네임스페이스안의 프로세스도 볼 수 있다.)

 

Network Namespace

호스트가 lan 과 연결될때 routing 테이블 과 arp 테이블을 갖는다.

네임스페이스 안에 컨테이너를 생성

컨테이너를 라우팅 테이블에 대한 정보를 어떻게 알고 통신할까?

컨테이너도 가상 인터페이스와 라우팅, arp 테이블을 갖는다!

Create Network NS

in netns add  명령어로 netns 를 추가한다.

Exec in network ns

ip link 로 인터페이스를 확인 할 수 있다. 

netns 로 들어가서 인터페이스를 확인 할려면?

ip netns exec red ip link

ip -n red link

 

exec 으로 접속해서 확인하거나 -n 옵션으로 확인하거나

호스트에서는 인터페이스 두개 다 확인가능하고 

netns 로 들어가서 확인하면 한개만 확인가능하다.

 

arp 테이블을 확인할때도 마찬가지 

호스트에서는 다 확인가능하지만

netns 에선 해당 arp 만 확인가능

라우팅 테이블도 똑같다. 

 

두개의 netns 링크

다른 두개의 netns 인터페이스를 연결하고 싶다면 ? 

먼저 호스트에서 가상 인터페이스를 두개 만든다. 

ip link add veth-red type veth peer name veth-blue

veth 하나를 netns 로 옮긴다.

ip link set veth-red netns red

나머지 veth를 netns로 옮긴다.

ip link set veth-red netns blue

네임스페이스 인터페이스에 ip를 부여한다.

ip -n red addr add 192.168.15.1 dev veth-red

마지막으로 link set up 명령을 통해 인터페이스를 사용 가능하게 만든다 .

ip -n red link set veth-red

핑을 날리거나 arp 테이블을 확인할 수 있다.

호스트에서 arp 를 날리면 netns 의 arp, 인터페이스를 확인할 수 없다.

 

netns 가 여러개라면?

netns 가 여러개라면 위의 작업을 수동으로 하기 힘들 것이다.

대신 가상 스위치를 구성하는 것이 효율적이다. 

Virtual Switch 만들기

리눅스 브릿지, 오픈 스위치 등을 사용할 수 있다.

 

Linux Bridge

호스트에서 bridge 타입 가상 인터페이스를 만든다. 

ip link add v-net-0 type bridge

호스트에서 ip link 하면 인터페이스로 확인 가능하다. 

down 상태 

 

ip link set dev v-net-0 up 으로 인터페이스를 켠다. 

 

스위치에 모두 연결하기 전에 이전에 만든 link를 없애준다. 

ip -n red link del veth-red

인터페이스를 가상의 인터페이스와 링크한다.

ip link add veth-red type veth peer name veth-red-br

veth-red-br 은 이름만 존재

인터페이스를 netns 로 이동시키고

ip link set veth-red netns red

나머지 가상의 인터페이스를 가상 스위치에 설치한다.

ip link set veth-red-br master v-net-0

블루도 마찬가지

인터페이스에 ip를 부여한다.

ip -n red addr add 192.168.15.1 dev veth-red

마지막으로 인터페이스를 켠다

ip -n red link set veth-red up

 

4개의 host 다 연결되었다고 가정

호스트에서 netns red 의 ip 192.168.15.1 로 ping 때리면 안간다.

같은 네임스페이스가 아니기 때문

호스트에서 가상 스위치에 ip를 부여한다.

ip addr add 192.168.15.5/24 dev v-net-0

 

기존에 다른 netsns 에 ip를 부여했기 때문에 5번이 아닐까 싶네

스위치도 하나의 디바이스로 인식하기 때문에 ip를 가진다.

이제 호스트에서 red netns 로 ping 이 보내진다. 

가상 스위치로 라우팅 되서 가능한 것 같다.

해당 네트워크는 네임스페이스 안에 있기 때문에 외부로 접근할 수 없다.

외부로 나갈려면 호스트의 포트를 통해서 나가야한다.

외부의 192.168.1.3 으로 접속할려면 어떻게 해야 하는가

블루 netns 에서 192.168.1.3 에 접속해보자 

ip netns exec blue pin 192.168.1.3

라우트 명령으로 라우팅 확인해보자

ip netns exec blue route

가상 스위치로 가는 라우터만 가지고 있다.

네트워크 접속 불가라고 뜬다.

 

어떻게해야할까

가상 스위치에 연결된 가상 인터페이스가 호스트에 있는 또 다른 인터페이스라고 생각하면 된다. 

블루 netns 에서 192.168.1.3 으로 가능 라우터를 추가할려면 

ip netns exec blue ip route add 192.168.1.0/24 via 192.168.15.5 

라우터를 추가한다. 

스위치 192.168.1.0 으로 가는데 있어 가상 스위치 인터페이스의 ip는 게이트웨이가 되어준다. 

이제 블루 netns 에서 192.168.1.3 으로 ping 을 날리면 가지만 응답이 없다. 

(리눅스에선 다른 인터페이스끼리 한번에 패킷 전달이 안된다. ... 인 줄 알았으나...)

 

블루 netns 에선 192.168.1.3 까지 라우팅 경로를 알고 있으나 

192.168.1.3 입장에서는 어느 경로로 응답해야하는지 정보가 없다.

 

호스트에 

iptables -t nat -A POSTROUTING -s 192.168.15.0/24 -j MASQUERADE 

를 추가한다.

해당 패킷을 받으면 호스트로부터 받은 패킷이라고 생각한다.(netns 로부터 온것이 아닌)

이제 응답을 받을 수 있다.

스위치가 인터넷과 연결되어있고

블루 netns 에서 8.8.8.8 로 접속할려고 하면 실패한다.

라우터 등록이 안되어있기 때문에

 

default 게이트웨이를 설정함으로써 해결할 수 있다.

외부 인터넷으로부터 응답을 받을 수 있다.

호스트에서 블루netns 로 핑을 보내면 가지만 외부 호스트 192.168.1.3 에서 보내면 접근 불가이다.

호스트에서 포트 포워딩 하는 방법이 있다.

ip tables -t nat -A PREROUTING --dport 80 --to-destination 192.168.15.2:80 -j DNAT