Citrix NetScaler Two Arm Mode SNIP Record Issue

在Citrix的環境中，NetScaler提供了良好的接入點解決方案，但是也造成了一些稽核上的困境。

有客戶面臨到經過了NetScaler後無法正確取得Source IP的困擾，即Web Server透過NetScaler (Two-Arm Mode)做Loadbalance後，無法看到Client IP Address的問題，只能看到SNIP(NetScaler的Ssub Net IP Address)的問題。
我們提供了下述解決方式：

官方網站參考連結
http://support.citrix.com/proddocs/topic/netscaler-load-balancing-93/ns-lb-advancedsettings-cip-tsk.html

To insert client IP address in the client request by using the configuration utility In the navigation pane, expand Load Balancing, and then click Services. In the details pane, select the service for which you want to add the client IP address in the request, and then click Open. In the Configure Service dialog box, click the Advanced tab. Under Settings, select the Client IP check box. In the Header text box, type the header tag (for example, X-Forwarded-for). Click OK.

我寫Code的一個好友跟我說，可以透過下述ASP.NET語法去取得相關IP位址資訊，請您的AP Team可以嘗試看看。

string clientIP = GetClientIP();         ///         /// 取得正確的Client端IP         ///

        ///
        protected string GetClientIP()
        {
            //判所client端是否有設定代理伺服器
            if (Request.ServerVariables["HTTP_VIA"] == null)  
                return Request.ServerVariables["REMOTE_ADDR"].ToString();
            else
                return Request.ServerVariables["HTTP_X_FORWARDED_FOR"].ToString(); 
        }

---

        private static string RetrieveIP(HttpRequest request)
        {
            string ip = request.ServerVariables["HTTP_X_FORWARDED_FOR"];
            if (ip == null || ip.Trim() == string.Empty)
            {
                ip = request.ServerVariables["REMOTE_ADDR"];
            }
            return ip;
        }

參考連結

http://blog.xuite.net/linriva/blog/51056880-%5BASP.NET%5D%E5%8F%96%E5%BE%97%E6%AD%A3%E7%A2%BA%E7%9A%84Client%E7%AB%AFIP+~+%E8%BD%89%E8%B2%BC

經Lab測試結果與客戶驗證證明此法有效。

關於VMWare網路(Networking)連接埠

ESXi/vCenter連接埠功能

• 連接埠902

vCenter伺服器使用這個連接埠將資送往管理的ESXi伺服器，ESXi伺服器上的監聽程式(vmware-authed)會處理這些流量。

• 連接埠903

vCenter客戶端與Web客戶端使用這個連接埠，已透過TCP/IP提供虛擬機器到終端使用者的滑鼠鍵盤畫面(Mouse keyboard screen，MKS)服務。當存取是透過在vCenter客戶端的控制台或是Web，這個連接埠還可以處理所有虛擬機器的互動。

• 連接埠443

vCenter客戶端，Web客戶端和軟體開發工具包(Software Development Kit，SDK)都使用該連接埠發送資料到vCenter管理的ESXi伺服器。這個連接埠也是可以用來讓您繞過vCenter伺服器直接連接到ESXi伺服器。透過Tomcat或是SDK實體，客戶端將可以連線到ESXi伺服器，而ESXi伺服器上運行的程式(vmware-hostd)將會處理這些流量。

功能面連接埠

• 連接埠443

提供虛擬機器的移轉(Migrations)、預先佈建(Provisioning)流量與管理

• 連接埠8182

在ESXi主機間提供高可用性流量，HA使用

• 連接埠8000

提供vMotion的請求

網路架構設計幾個重要的原則

1. 可以雙就不要選單
一對，通常就代表了提供容錯的機制，這對於一個需要高可靠性的網路拓樸架構有其必要性。
當一個定點必須建立新的機櫃或機房時，能夠選兩台設備的就不要選一台；這原則在伺服端也適用。
比如說，如果需求要40個點位含未來擴充可能性，而此時一台48Port的報價與兩台24Port的性能相若、價格也接近，如果我是網路規畫的設計者，要選後者，以達到高HA的可能，兩台就能分散風險，一台48Port設備如果陣亡，代表你後面直接衝擊影響40個用戶使用網路，而且要找得到可以頂替48Port網路設備並不容易，如果他還是使用POE Switch就更加麻煩。

2. 集中控管與降低階層
虛擬化可以建置的很徹底，而集中化管理是最重要的一環，所以IP位址的分配與路由就很重要，在區域網路內儘量保持透通性，讓管理變得方便，可能話儘量把拓樸圖跟邏輯架構圖劃出，保持架構的完整性與透通性質。並維護特定的網段作為網管用途，並確保連通性，不要使用預設的vlan1網段增加其安全性。
以前會提倡三層式網路架構，現在則會建議將階層數降低，越少越好，當client出口到Internet時，Hop數是越少越好，每多一層裝置要通過，都一定會有Throughput的問題。

3. 實體安全與應用安全
很多人再強調資安的時候都誤以為是網路的問題，問題是，很多時候根本不是。實際上，實體安全非常重要，當你將網路設備暴露於一個高危險的環境，例如：人來人往的場所，此時你就要思考該備的實體安全，是否要上鎖防盜？是否會被人誤用或竄改設定？是否有可能被有心人士亂搞？(例如：小HUB接成LOOP)
接下來是應用層級的安全，在強大的硬體防火牆都擋不住應用程式的漏洞(Ex:後門被開啟)、作業系統漏洞跟資料庫語法的缺失(Ex:SQL Injection)，這跟資安有關係，但是他跟網路並沒有關係，因為這些東西並不是由網路所衍生出來的漏洞。

4. 實際與虛擬頻寬同時考慮
請務必在任何一層都考慮架構跟流量，還有網路連線怎麼走？ 不要等到設備已經買好再來考慮，虛擬頻寬能吃到的量一定卡在實體頻寬上，不可能實體頻寬只有100，但是虛擬頻寬能跑到giga的可能。而且有些設備以頻寬計算license，例如：Loadbalance設備；而有些設備可以限制或保證頻寬，例如：FW的Context的限制頻寬用量，Router的QOS功能等。
還有從伺服器角度來看，單一服務的流量上限會卡在單一實體裝置上，不會因為你虛擬裝置用實體頻寬綁成一捆，就能全吃，這觀念是錯誤的。

5. 備份與災難復原
這是在網路架構設計上，最應該被重視的一個點，先想任何端點災難發生時，應該如何處置，怎樣能夠最迅速的恢復網路運作，當這個架構可以經得起挑戰的時候，就表示該網路架構以堅不可催。他跟第一點互相輝映，當然還有更重要的是除了網路以外，伺服器、資料庫與應用服務跟虛擬化架構也要同時的考慮進去，這樣才會是一個災難復原的完整解決方案。古人有云:未雨綢繆，便是此意。

如何在Switch上啟用snmp設定

以snmp-server為主要指令

C3750(Config)#snmp-server community RO

指的是SNMP協定時互相溝通的密碼
RO指的是Read Only (SNMP工具不允許修改設定)
RW指的是Read and Write (SNMP工具可以修改設定)

C3750(config)#snmp-server group SNMP_ROA v3 priv match exact

1.設定SNMP Group 名： SNMP_ROA  
2.Version ： V3   
3.最高的priv

C3750(config)#snmp-server user cater SNMP_ROA v3 auth MD5 cisco12345 priv des56 test12345

這行設定跟PRTG設定有關聯，一定要記清楚

1.使用者          ：cater
2.隸屬Group為：SNMP_ROA
3.驗證模式       ：MD5
4.密碼(MD5)    ：cisco12345   (PRTG要求要8碼以上)
5.Priv驗證密碼 ：test12345     (PRTG要求要8碼以上)

C3750(config)#snmp-server host 192.168.3.100 version 3 priv cater

1.指定SNMP SERVER：192.168.3.100
2.使用Version 3
3.使用Priv 模式，使用者為cater

Cisco學習資訊分享: 端點身分識別和授權定義與實施，Cisco ISE 產品介紹影片

Cisco學習資訊分享: 端點身分識別和授權定義與實施，Cisco ISE 產品介紹影片: From June 16~17, 2001. Green Island, 綠島 Cisco Identity Services Engine (ISE) 提供端點(Endpoints)在接入企業網路時，使用者的身分識別，和網路授權政策的定義和實施。這些功能，是以統一的管理介面，和分散式的佈署來完成。我們可以從以下的影片，瞭解這項產品所要解決的主要問題。

影片重點解析

1:17, ISE是授權政策定義、控制、和報表產生的統一來源。
1:25, ISE所提供的服務，包括身份識別(Authentication), 授權 (Authorization)，和使用歷程紀錄(Accounting)
1:35, 包括端點使用網路的姿態檢查 (Posture)，例如，檢查端點是否具有最新的病毒碼。
1:41, 包括端點的特性側寫(Profiler)，例如，辨認端點是PC還是iPhone。
1:48, 包括來賓用戶管理(Guest Management)。
2:04, ISE = ACS + NAC. ISE 包含兩者所有的功能，但是管理統一化，而且佈署模式更簡單。
2:28, 包含兩種包裝，包括(1)Base Package 這種包裝基本上就是 ACS + NAC Guest Server.
2:36, 和(2) Advanced package. 這種包裝基本上就是 Base Package + NAC Appliance 和NAC Profiler.
2:48, Cisco 原有的NAC佈署，不是所有的情境都需要立刻轉換成 ISE。例如，原有的 NAC 僅僅是小規模的局部佈署，只提供簡單的單一進出管制點(Choke Point).
3:07, Cisco NAC 新版的產品硬體，跟ISE完全一樣。只需要更換軟體，就能變成ISE產品。

後記

很多企業都開始準備推動，員工攜帶自己的IT產品到公司內使用 (Bring Your Own Device, BYOD)。或者是為了法規遵循，企業必須追蹤所有網路活動的「使用者身份」。這時候身份識別和授權定義與實施的系統，將是不可缺少的基本元件。
如果管制的技術必須包括有線、無線、和VPN，再加上分散式佈署模式，我目前的理解只有 Cisco ISE符合以上需求。
尚未採購的NAC佈署，建議直接從ISE開始。

*此文為引用，作者為連結上部落格主，非本人所著，特此聲明。

思科AP三角定位實際應用成果

這是Cisco Wireless Control System下轄七部Cisco Wireless LAN Controller，控制500顆左右的Wireless AP(Thin AP架構，有效Roaming)，利用Location Server計算三角定位後所有區域內上網行動裝置的動態示意圖，所有點位都是會移動。可以查看細節更是驚人，包含 登入PC名稱、網域的驗證、拿到的IP、用何種無線網路規格連上(a,b,g,n)、目前存取的AP與SSID資訊、連線時間、最近十筆連上記錄 都可以顯示。定位會有些許的上下樓層落差是目前技術上待改善的問題，不過已經算是相當精確了，因為在建置過程中是有輸入平面圖比例尺的。

PS：大顆綠點就是AP，藍點就是行動裝置，圖中顏色就是AP訊號強弱囉！

常見的網路架構

*紅線代表光纖、黑線代表一般網路線、藍\紫線代表堆疊線或特殊線(也有可能是一般光纖或網路線)，當然圖中省略了防火牆、負載平衡等設備，僅列出網路基礎建設的設備。

通常在竹科的公司為了產線網路都要求能做到7*24的高可用性(High Availability, HA)，都會要求在更新案或是建置案上，要求一個完善的Solution去解決任何硬體故障時候的切換，所以網路架構都會是一個相當固定的模式，例如上圖，網路架構通常大同小異，當然實際公司或組織的拓樸都會比這還來得複雜，有很多時候被受限在拉線長度(Cat 5e僅能拉100M內)、傳輸距離(光纖物理特性)、設備功能上被迫調整網路架構而損失部分的線路容錯。

在Core(核心層)網路，技術上除了Routing(路由)跟其他Layer 4服務外，HSRP與VRRP所提供技術非常重要。

在Distribution與Access Layer(或稱為Edge)這兩層上，關鍵技術是STP(Spanning Tree Protocol)相關協定(RSTP、PVST…)與Vlan、VTP、Trunk、帶Tag、Etherchannel等。

安全性部分則是以ACL(Access Control List)與Port Security為主。

網路高可用性(HA)通常包含幾個部分：任一裝置或結點(Device/Node)、任一連接埠或模組(Port/Module)、任一線路(Line)的損壞或故障，都必須在有限時間內以硬體內部機制自動回復原有網路服務。

因此每當任何符合HA的網路架構建置案完工後，通常會進行HA測試，包含任一層網路裝置的斷電與復電測試、層與層之間的拔線測試，以底層Client連外Internet的Ping來檢視連外服務是否會受到影響，Ping掉包數量多寡，耗時多久能回復正常網路運作作為驗收參考的重要資料，做不到的時候將無法驗收。

這張圖描繪了底層Switch使用雙線路連接Distribution的情況，這種情況較著重在效能運作上(每台底層Switch皆提供Redundant Uplink)，但是所耗費成本較高(很多時候不切實際)，而頂層設備仍是接近Mesh情況較為常見。

當然，任何的網路架構都會將Performance(效能)、Cost(成本)、Security(安全性)、Convenience(方便性)幾個大方向列入重要考量，這些點無法同時兼顧只能視著User的需求進行調整，基於工程師立場只能給與User建議與可行的解決方案而不會涉入報價與成本，通常工程師追尋的是最適解答，而非最佳解答，因為這幾項因素都有互斥的因子存在，而在設計網路架構上，工程師通常還需要考慮到網路架構的彈性與擴張，如果一個客戶要做長久，彈性與擴張是必定要列入考量的點。如果有機會與User談網路架構的時候，務必釐清需求，很多時候會存在著資訊落差，一個專有名詞所代表的意義在各專業領域上會有所不同，很容易出現誤解(例如：Trunk這名詞在網路跟伺服器上就有明顯的不同)。

上圖就是幾種下層常見網路拓樸方式，分別代表泛用單環、效能傾向的雙層架構與高成本雙環三種，可以思考一下效能與成本間的差異，以及如何被實作。

上圖代表伺服器連接網路設備的架構圖，通常會配合Teaming建置，可以進行Lab實測，之前有實測過幾種，還有幾種需要待測，例如：Switch Stacking後的Server設Teaming情況。有興趣的，仍可以實測一下幾種架構在運作上的差異性、容錯的差別，附帶一提，Cisco Nexus系列會有VPCs的連接方式。

Router VS L3 Switch

1. L3 switch主要是支援Ethernet, router可以支援到其他的L3 protocol (AppleTalk / IPX) 

2. L3 switch通常內建的port density都比較高 (8 port以上), router則是有模組可以換不同的port type. 

3. L3 switch比較會有光纖port, router則要高階機種才會有. 

4. L3 switch的QoS設定比較注重LAN QoS或是voice end point, router比較注重於packet marking/shaping的功能 

5. 同價位的L3 switch的throughput通常比router高 

6. Router有較多的路由(route)的微調功能, L3 Switch較少 

7. 低階Cisco L3 switch (3550/3560/3750)沒有NAT的功能, router只要是1700系列就有了 

8. Router可以跑firewall IOS, 有Stateful packet inspection, L3 switch則沒有 

L3 Switch 多數用在大型的企業內網，而且需要高速交換內網資料使用，而不是拿來當作出口設備，出口設備的位置通常還會是FW或是Router，並不會是L3 Switch。

以C3750X來說已經夠資格當作Building Core，建築物單位的核心出口網路，但是不是企業的出口，重點還是在於功能支持度上，以C3750X來說，最多就能做到路由交換、ACL相關功能，但是仍然比不上專門的防火牆，多數對外連接的協定也沒有辦法支援，例如：C3750X的IOS並不支援PPPoE、NAT等等重要的連外服務，但是目前多數公司傾向換成L3 Switch的原因是因為多數WAN上的路由協定都交由ISP處理掉了，但是FW的功能L3 Switch仍舊不足，還是需要落地式45或65系列的FW模組或是Cisco ASA比較合適。

網路工程案件相關文件

需求分析 想要(Want)、需要(Need)、必要(Require)區分 – 進行產品介紹(Product)、售前規劃(Presale)
Statement of work 工作項目需求內容/更新 – 持續修正SOW DOC(SOW有可能具有兩種含意，另一種是Scope of work，兩者類似)，以下紅字為行動，黑字是紅字行動後產出的文件。
Site Survey – 現場勘驗狀況，電力供應(瓦數、電源線長度)、已佈線線路狀況、機櫃櫃位空間(上機所需U數、是否能先上機避免長時間斷線)，佈線難易度初步評估，以及是否需要理線。
Site Check Report - 產出客戶環境報告、實際場景拍照並確認環境是否可以預先進行設備上機作業(先上設備開機後才進行跳線)、Cabling線路品質測報書、AP無線(Wireless)部分方面進行訊號測試(有佈無線需求時進行)。
Lab – 設備各項功能性測試、設定，Ex:客戶環境模擬連接方式測試、L2、L3功能性測試，異質廠牌互連測試、需求功能性測試、路由功能測試、安全性測試等等，按客戶需求產出Lab測試報告。

Topology Change變動情況 – Before and After施工前後/建置案新拓墣 (通常用Office Visio進行編輯)

Logic Topology (邏輯拓樸)：邏輯的接線架構運作圖、VLAN存取情況

Physical Topology (實體拓樸)：實機的接線架構圖、機器所在的機櫃位置(樓面、管道間)、AP佈設平面圖(點位表)

Access Port (插孔表/接線圖)：依照存取VLAN不同進行設計規劃(機器所在樓面位置不同而修正)

Action Plan (行動計劃)：安裝硬體清冊、安裝地點、VLAN插孔表、樓面狀況設備位置對映表、拓樸圖、除錯計畫、復原計畫、攜帶工具一覽表、團隊分工任務清單、參與人聯繫表、作業確認表、功能性確認表、斷復線測試表(HA測試表)

Scope of work 工作範圍 – 巨細靡遺的施工的項目、開箱照、時間表(甘特圖) 施工的先後順序、安排等等(團隊、跨夜的施工請務必安排休息時間，以及是否需要提前抵達預作準備)，意外回復(Recovery Solution)作業、收工交通住宿問題。

Action Plan – 按照行動計畫執行施工任務。

驗收報告書：Follow list – 後續待完成任務清單、Training Plan – 教育訓練計畫、Maintain Plan – 後續維護計畫與注意事項

以上相關文件、開箱照片、竣工照片檔案、所有設備設定檔案、驗收清單、合約外承諾待執行事項…等。

輕鬆搞懂首站備援(VRRP) – 首站(戰)即決戰；一站(戰)定乾坤

Virtual Router Redundancy Protocol (VRRP) is a non-proprietary (but allegedly patented and licensed ^[1]) redundancy protocol described in RFC 3768 designed to increase the availability of the default gateway servicing hosts on the same subnet. This increased reliability is achieved by advertising a "virtual router" (an abstract representation of master and backup routers acting as a group) as a default gateway to the host(s) instead of one physical router. Two or more physical routers are then configured to stand for the virtual router, with only one doing the actual routing at any given time. If the current physical router that is routing the data on behalf of the virtual router fails, an arrangement is made for another physical router to automatically replace it. The physical router that is currently forwarding data on behalf of the virtual router is called the master router. Physical routers standing by to take over from the master router in case something goes wrong are called backup routers.

VRRP can be used in Ethernet, MPLS and token ring networks. Implementations for IPv6 are in development, but not yet stable (i.e. keepalived 1.2.x). RFC 5798 handles VRRP (version 3) for both IPv4 and IPv6 networks. VRRP provides information on the state of a router, not the routes processed and exchanged by that router. Each VRRP instance is limited, in scope, to a single subnet. It does not advertise IP routes beyond that subnet or affect the routing table in any way.

繼首戰(站)即決戰(站)，一戰(站)定乾坤之後，我們了解HSRP這個私有協定對於思科網路設備的重要性後，接下來即是公開的協定VRRP。

VRRP重點機制摘要

VRRP version2公開的協定(標準協定)，follow RFC 2338，同一時間僅有一台Router運作。

Group – 以VRID(Virtual Router ID)視為同一群組。不同的VRID會視為不同的群組。

機制：選出Virtual Router Master一台最高優先權的Router，其餘的為Virtual Router Backup，若VRRP的Virtual Router Master掛了，會從Virtual Router Backup中選擇一台成為Virtual Router Master

Virtual Router Master，每隔一段時間間隔(Advertisement Time)要發送multicast(我還活著)。若經過了Advertisement Time*3 + 偏移時間尚未間聽到相關活著的封包，擁有較高Priority的Router會優先發出multicast成為Master，而其他的Router則仍維持Virtual Router Backup的角色。

因為VRRP協定有明確的規範使用固定的MAC位址，所以當角色變換的同時，從Virtual Router Backup變成Virtual Router Master，會宣稱他有這個IP(Default Gateway)，並且同時修正MAC位址成為規範的位址。這對其他裝置而言完全不影響原本的二、三層資料與快取，像是ARP Table等等相關資訊。

公開的協定，不具有負載平衡機制，同一時間內僅有一台Router運作。

依據 RFC 2338 所定義的 VRRP version 2，VRRP 其實只是一種選舉 Virtual Router 的通訊協定，而 Virtual Router 又是由各個跑 VRRP 通訊協定的 Router 組成的，這些 Router 必須要有相同的 VRID(Virtual Router ID) 即相同的 Virtual IP，VRRP 才會把他們視為在同一個群組！

換句話說，一個 Virtual Router 是由擁有相同的VRID及相同的 Virtual IP 的 Router 組成的，一旦有一台 Router 同樣也有跑VRRP，但 VID 或 Virtual IP 不同，就會被當作另一個 Virtual Router 群組。

VRRP 是 從Virtual Router 選出一台擁有最高優先權的 Router 作為 Virtual Router Master，其餘的則為 Virtual Router Backup，而 Virtual Router Master 負責對外宣稱他擁有 Virtual IP，並處理任何要到達 Virtual IP 的封包，一旦 Virtual Router Master 掛了，VRRP 就會再從 Backup 中選出一台作為 Master，繼續接手處理要到達 Virtual IP 的封包。

成為 Virtual Router Master 的 Router 固定時間(Advertisement Interval) 會發出 Multicast(Advertisement)，告訴其他的Virtual Router "我還活著" 及一些相關訊息，而成為 Virtual Router Backup 的 Router 只負責聽 Master 所發出來的 Multicast(Advertisement)，萬一超過了時間(3 倍的 Advertisement time + 偏移時間）還沒聽到 Master 的 Multicast(Advertisement)，具有比較高 Priority 的 Router，會具有比較小的偏移時間，優先發出 Multicast 封包，持續成為 Master，而其他的 Router 則持續為 Backup Router。

由於 VRRP 有明定標準的 MAC Address，所以要切換成 Master 除了必須要對外宣告他有這個 ip 外，還需要改變自己的 MAC Address 成為標準的 VRRP MAC Address，因此這對於其他的機器而言，完全沒有任何感覺，這也是為什麼 VRRP 的 Fail-over 速度能如此快的理由。

輕鬆搞懂首站備援(HSRP) – 首站(戰)即決戰；一站(戰)定乾坤

對於區域網路連結到廣域網路來說，最重要的莫過於預設閘道，而預設閘道卻隱含了很多深刻的技術在其中，最重要的就是首站備援，即是閘道備援機制。

網路問題解決的標的：解決單點故障問題(Single Point of Failure)
解決方式：故障切換(Failover)
解決機制協定技術：
熱備援路由器協定(Hot Standby Router Protocol, HSRP) – Cisco Only
虛擬路由器備援協定(Virtual Router Redundancy Protocol, VRRP) - Standard
閘道負載平衡協定(Gateway Load Balancing Protocol, GLBP) – Cisco Only

HSRP
指令：ip standby
技術解析：兩台Router的VIP會指向一個相同的VIP。當其中一台Router故障或下線，另一台回承接其工作，快速切換arp後達到Gateway的迅速切換。
優先權設定：以優先權較高者獲選成為Active，其餘為Standby；優先權相同，則比較原網段VIP的大小，IP較大者成為Active；優先權預設為100。
搶奪設定(preempt)：當下線或故障的Router回復後，如原本是Active的位置，有設定搶奪，則優先權高者會搶回來成為Active。
介面追蹤(Track)：預防非Cisco Router本身故障，而是外部連結斷掉，設定界面追蹤指令，當Track失聯時，下修原本Router的優先權值，使其降為Standby。

簡易設定範例
ROUTER A.
Interfacef0/0
Ip address 192.168.100.2 255.255.255.0
Standby ip 192.168.100.1
Standby preempt
  Standby track serial0/0 10
ROUTER B.
IP address 192.168.100.3 255.255.255.0
Standby ip 192.168.100.1
Standby priority 95
Standby preempt
Standby track serial0/0 10

解釋：目前ROUTER為Active，因為預設優先權值為100較高，當所偵測的serial0/0界面無法連外時，自降10權值，B即成為Active，兩者皆設有搶奪。