深度解讀火山引擎官方操作系統(tǒng)veLinux

veLinux 是火山引擎推出的開源 Linux 操作系統(tǒng)，由字節(jié)跳動系統(tǒng)技術與工程團隊（System Technologies & Engineering，簡稱 STE）主導研發(fā)，廣泛集成了字節(jié)跳動多年來在支撐海量業(yè)務和億級并發(fā)上的系統(tǒng)技術經(jīng)驗。致力于為用戶提供穩(wěn)定、高性能、安全、易用的 Linux 操作系統(tǒng)選擇，提供全生命周期管理的完整解決方案和企業(yè)級服務支持。

自火山引擎開服以來，veLinux 支撐了包括容器服務、機器學習平臺、大數(shù)據(jù)服務等大量公有云上業(yè)務，是火山引擎官方操作系統(tǒng)，為火山引擎各個云產(chǎn)品提供穩(wěn)定的系統(tǒng)支撐，同時也服務了大量外部公有云客戶，在不同的應用場景、不同的硬件機型上都表現(xiàn)出了優(yōu)異的性能。

整體設計

veLinux 在整體設計上，兼容 x86 和 ARM 生態(tài)，同時兼容國內用戶的使用習慣，并對多種硬件設備進行了適配和優(yōu)化，同時針對火山引擎基礎設施進行了深度優(yōu)化：

向上提供更穩(wěn)定、更安全、更易用的應用接口，并針對云原生、大數(shù)據(jù)、機器學習等場景提供針對性優(yōu)化。

向下建立更準確、更完整、更高效的硬件抽象，并基于各種硬件類型融合整體解決方案對外輸出。

豐富版本

自 2021 年 10 月首次上線后，截止到當前時間，veLinux 已經(jīng)迭代了多個版本，提供了豐富的產(chǎn)品矩陣，包括以下 4 個公共版本，用戶可以根據(jù)自己實際的業(yè)務需求選擇不同的版本免費使用：

通用版本

面向希望獲得火山引擎上極致操作系統(tǒng)體驗的用戶，針對火山引擎公有云環(huán)境進行了深度定制與優(yōu)化，適用于各種云場景工作負載，尤其針對高并發(fā)、高 I/O 和混部場景進行優(yōu)化適配。

快速啟動版

面向需要快速交付大量云服務器的用戶，可以滿足快速使用算力的需求。通過對操作系統(tǒng)內核態(tài)及用戶態(tài)的啟動優(yōu)化，結合 cloud-init 服務啟動的順序優(yōu)化，實現(xiàn)了單 VM 啟動時間從 10+s 減少到 5s，達到業(yè)界領先水平。

等保認證版

面向云上業(yè)務需要滿足《GB/T22239-2019 信息安全技術網(wǎng)絡安全等級保護基本要求》的用戶，可以快速滿足網(wǎng)絡安全等級保護規(guī)定的要求，在身份鑒別、訪問控制、安全審計、入侵防范、惡意代碼防范等場景進行安全加固。

兼容 CentOS 版

面向使用習慣更傾向 CentOS 系列操作系統(tǒng)的用戶，相比 CentOS ，提供更強的功能、更優(yōu)的性能和更穩(wěn)定的體驗，且用戶態(tài)完全兼容 CentOS，用戶可以無縫遷移。

此外，在機型適配方面，上述版本均適配了火山引擎所有的規(guī)格實例，包含 ECS/GPU/HPC/ 裸金屬等的完整機型矩陣，對 Intel、AMD 以及 ARM 實例均進行了功能適配、性能調優(yōu)和穩(wěn)定性加固，保證其在各個架構都能實現(xiàn)長期穩(wěn)定運行。

高性能內核

操作系統(tǒng)的核心——veLinux Kernel 是基于社區(qū) Linux 5.4 LTS 版本并集成字節(jié)跳動自研新特性定制而成，包括容器及虛擬化等特定環(huán)境深度優(yōu)化，在性能，成本和穩(wěn)定性等多個維度達到最優(yōu)，同時節(jié)省更多的 CPU 資源，實現(xiàn)降本提效。目前 veLinux 已集成以下場景的專屬優(yōu)化，且已全部提交并合入到 Kernel 社區(qū)。

針對 HugeTLB 重度使用的云場景，提出 HVO （HugeTLB Vmemmap Optimization），消除 vmemmap 冗余數(shù)據(jù)，最大為用戶節(jié)省 HugeTLB 總量的 1.56%。這意味著 1024 GB 的服務器，最大能夠節(jié)省約 16 GB 的內存。

Dying memory cgroup 作為容器場景下一個顯著的內存占用問題，極端情況下占用上百 GB 內存。針對此問題，提出專項優(yōu)化方案，減少 dying memory cgroup 發(fā)生的概率以及優(yōu)化其容器部署密度。極端情況下，內存占用減少 80%。

PSI（Pressure Stall Information）是用于評估系統(tǒng)資源壓力的主要指標之一。PSI 在實際生產(chǎn)環(huán)境中 CPU 占用過高，veLinux Kernel 對其優(yōu)化并降低了 10% 的 CPU 使用，同時提出 PSI CPU FULL 指標，更方便量化和展示容器之間 CPU 資源競爭。

VDUSE（vDPA Device in Userspace） 是字節(jié)跳動自主研發(fā)的面向云原生場景的下一代高性能設備虛擬化框架，能夠為容器和虛機提供統(tǒng)一的 I/O 虛擬化層。目前，在云原生場景下，容器或者安全容器（虛機）在使用分布式存儲或者高性能 RPC 服務時，涉及的 I/O 數(shù)據(jù)平面比較龐雜，在運維和可維護性上也有所欠缺。且業(yè)界現(xiàn)在并沒有一個標準的技術方案，VDUSE 希望提供一個標準統(tǒng)一的技術方案，方便用戶在用戶態(tài)模擬磁盤、網(wǎng)卡等設備接入容器或者虛機。當部署在 veLinux 上的云原生應用希望訪問自研的分布式存儲服務時，通過 VDUSE，可以高效地開發(fā)一套高性能的用戶態(tài)接入方案，供上述的云原生應用使用。

veLinux Kernel 在穩(wěn)定性和性能上做了大量的優(yōu)化，據(jù)不完全統(tǒng)計，系統(tǒng)技術與工程團隊已為 Kernel 社區(qū)提交了上百個優(yōu)化及 bugfix patch，且未來我們將持續(xù)維護并及時響應用戶的 issue。同時，我們也會積極地回饋社區(qū)，與開發(fā)者們共享優(yōu)化成果。

更多閱讀：

VDUSE 介紹：https://www.redhat.com/en/blog/introducing-vduse-software-defined-datapath-virtio

系統(tǒng)特性

當前，企業(yè)上云的趨勢不可抵擋，云時代的來臨對基礎操作系統(tǒng)提出了更高更嚴苛的要求。除了對操作系統(tǒng)的安全性和穩(wěn)定性外，系統(tǒng)性能的提升也是重要的考慮因素，底層操作系統(tǒng)能否充分利用各種新硬件特性來提升業(yè)務的整體效能？此外，能否做到靈活使用，能否最大限度提高啟動速度，快速交付大量云服務器？這些都是云上用戶迫切關心的問題。10 年的技術積累和應用實踐，火山引擎 veLinux 操作系統(tǒng)做出了解答。

穩(wěn)定性

veLinux 在字節(jié)IDC 部署量超百萬，是支撐字節(jié)跳動抖音、今日頭條、飛書等海量業(yè)務的系統(tǒng)底座，同時 veLinux 也是字節(jié)跳動旗下云平臺火山引擎的官方操作系統(tǒng)，支撐了包括容器服務、機器學習平臺、大數(shù)據(jù)服務等大量公有云上業(yè)務，為火山引擎各個云產(chǎn)品提供穩(wěn)定的系統(tǒng)支撐，其穩(wěn)定性在內外部用戶得到實踐驗證，系統(tǒng)宕機率保持在萬分之一以下。

高性能

除了提供高性能的自研內核外，veLinux 還在系統(tǒng)組件上做了大量的性能優(yōu)化。特別是基礎庫方面，針對不同的業(yè)務場景，進行了大量針對性優(yōu)化。

OpenJDK

集成發(fā)布了優(yōu)化的 OpenJDK，更好的支持大數(shù)據(jù)處理等 Java 業(yè)務，目前已經(jīng)在 EMR（Elastic MapReduce） 等業(yè)務中上線。

針對大數(shù)據(jù)數(shù)據(jù)存儲壓縮場景，veLinux 的 OpenJDK 集成了優(yōu)化的 zlib 實現(xiàn)，基于 GZIP 的數(shù)據(jù)壓縮、解壓縮性能會得到有效改進，詳細數(shù)據(jù)請參考下方 zlib 章節(jié) 。

針對 Full GC 延時較長的問題，我們移植了 G1 Parallel Full GC 到 jdk-8 中，有效緩解了 Full GC 帶來的長延時問題。

很多業(yè)務不只是依賴 GC 性能，內存分配器（例如 ptmalloc, jemalloc, tcmalloc） 對業(yè)務性能有影響也比較大，veLinux 的 OpenJDK 集成了不同版本的內存分配器，并且可用參數(shù)選擇。

業(yè)務在容器內的部署越來越多，但低版本的 OpenJDK 在容器中的性能表現(xiàn)并不好，比如用戶會遇到系統(tǒng)數(shù)據(jù)讀取慢、不準確等問題，甚至運行在 lxcfs 時，還會碰到死循環(huán)等嚴重問題。關于上述問題，veLinux 的 OpenJDK 都做了針對性地修復和改進，為用戶提供業(yè)務性能保障，保證業(yè)務在容器中運行的穩(wěn)定性。

zlib

在內部業(yè)務的性能分析優(yōu)化過程中，我們通過性能分析采集工具發(fā)現(xiàn)， zlib 壓縮和解壓縮函數(shù)（deflate/inflate）的熱點，在內部某業(yè)務線的的 CPU 占比超 50% 以上。由此可見，業(yè)務部署的 madler/zlib 1.2.8 開源版本在性能上仍有提升空間。在調研過 intel/zlib、cloudflare/zlib、zlib-ng 等多個 zlib 版本后，最終在開源 madler/zlib 1.2.11 的基礎上，集成了多個優(yōu)化補丁：

支持壓縮過程中哈希函數(shù)的向量化指令，并且重構了字符串匹配的流程。

增強解壓過程中長字符串拷貝效率 。

支持 crc32/adler32 等校驗碼的向量化指令 。

在 Benchmark 測試中，壓縮和解壓效率顯示提高了 30%-50%。zlib 優(yōu)化后的版本部署到原來的業(yè)務線上，幫助該業(yè)務團隊優(yōu)化 CPU 核心 5K+；目前該優(yōu)化已集成到 veLinux 的 OpenJDK 中，并在字節(jié)內部多業(yè)務得到廣泛推廣與應用。

Benchmark 測試：壓縮和解壓縮性能對比圖

其他性能優(yōu)勢

除此之外，對比社區(qū)原生 Debian/CentOS，veLinux 具備很強的性能優(yōu)勢，在字節(jié)內部應用實踐之后，字節(jié)樣本拼接和數(shù)據(jù)打點等業(yè)務端到端性能提升 20% 以上，其中字節(jié) metrics 集群 CPU 使用率下降了 36%。在性能測試中，對 Nginx/Redis/MySQL 等典型應用的性能也有大幅提升：

Nginx 吞吐性能提升10%-40%

Redis get/set 性能提升5%-25%

MySQL 讀寫性能提升10%-60%

安全性

隨著網(wǎng)絡安全事件不斷發(fā)生，用戶對安全性的重視程度也越來越高，作為火山引擎的官方操作系統(tǒng)，面對復雜的、規(guī)模不斷增加的用戶需求，veLinux 在安全性上需要做到全方位的建設，才能保護用戶的信息和數(shù)據(jù)安全。

及時修復 CVE 漏洞：CVE（Common Vulnerabilities and Exposures）是公共的安全漏洞列表，用于標準化識別已知網(wǎng)絡威脅。為了方便用戶更便捷地查看 CVE 更新情況，veLinux 官網(wǎng)發(fā)布了 CVE 安全中心：https://bytedance.github.io/kernel/sec，每周更新并修復 CVE 補丁。

入侵檢測安全防護：得益于字節(jié)安全團隊的技術支持，veLinux 提供入侵檢測安全防護，底層采用安全團隊自研的開源項目 Elkeid，主要通過收集主機層的信息來實現(xiàn)入侵檢測、行為審計、攻擊溯源、資產(chǎn)盤點、合規(guī)基線檢測等能力，目前完整版本在字節(jié)跳動內部的部署規(guī)模已達到數(shù)百萬量級，其穩(wěn)定性、性能、數(shù)據(jù)采集能力、檢測能力和溯源能力等均在內部得到實戰(zhàn)驗證。

通過等保三級認證：等保三級認證是由國家公安機關對各機構的信息系統(tǒng)安全等級保護狀況進行的認證與評定。veLinux 目前已通過三級等保認證，這是國家對非銀行機構的最高級認證。這項安全認證資質已寫入火山引擎云安全白皮書，為云上用戶提供可靠的安全能力。

提供內核熱補?。嚎焖傩迯驮谶\行中機器的內核漏洞。內核熱補丁是一種動態(tài)為內核打補丁的技術，可以在不重啟系統(tǒng)的情況下，修復內核 BUG 或者 CVE 漏洞，在最大程度上減少系統(tǒng)服務中斷時間，增加系統(tǒng)可用性。未來 veLinux 還將提供統(tǒng)一的補丁管理平臺、以及補丁客戶端的整套解決方案（內測中），通過該平臺用戶可以將熱補丁批量下發(fā)至需要打補丁的機器，提高運維效率。

易用性

veLinux 提供了很多業(yè)界主流的問題追蹤與調試工具，用戶可以方便地安裝使用，協(xié)助定位、解決業(yè)務運行中遇到的穩(wěn)定性或性能問題。

kdump-tools（以及相關的 kexec-tools、makedumpfile）是常用于在 Linux kernel panic（內核致命錯誤） 之后 dump 內存、保存現(xiàn)場的工具，基于 debian 社區(qū)版本，我們在 veLinux 中做了增強版本，幫助用戶提升穩(wěn)定性，節(jié)省預留內存。

通過過濾無關的內核 cmdline、替換 systemd 等方法來降低 kdump 內核中的內存使用，從而防止機器在 dump 內存的過程中出現(xiàn) oom 的錯誤。

檢測內存等硬件故障，提前結束 dump 過程，防止再次出現(xiàn)內核錯誤。

提前 dump dmesg，防止在 dump 內存失敗的情況下，獲取不到 dmesg 的信息。

在 kdump 側實現(xiàn) crashkernel = auto 功能，根據(jù)機器內存自動設置預留給 kdump 的內存的大小，且無需對內核做定制化修改。

適配對 kdump 預留內存位置有特殊要求的硬件廠商。

atop是一款開源的單機性能監(jiān)測工具，支持實時觀測的同時、也支持讀取歷史文件排查問題。另外一個優(yōu)點是除提供 CPU、MEM、DISK 等全局指標外，還提供進程、線程級別的各項指標監(jiān)控數(shù)據(jù)。鑒于 atop 的這些優(yōu)點，字節(jié)跳動基于社區(qū)的 atop 進行優(yōu)化，目前已迭代 3 個版本，覆蓋公司全量服務器，穩(wěn)定運行三年多。字節(jié)版 atop 工具新特性如下：

穩(wěn)定性增強：增加 oom killer 保護、修復 atopcct 統(tǒng)計、限制日志存儲總量防系統(tǒng)盤占滿等功能。

遠程分析：支持 json 格式數(shù)據(jù)傳輸?shù)椒斩?，支持網(wǎng)頁版 atop 及集群內數(shù)據(jù)聚合。

更多實用指標：NUMA 維度的 CPU 及 MEM 指標統(tǒng)計與聚合、runqueue delay、compact_stall、allocastall、InCsumErrors 等指標。

靈活使用：支持篩選 Top N 線程的監(jiān)控數(shù)據(jù)，支持定制日志保留天數(shù)及存儲位置。

終端 UI 優(yōu)化：類 htop，按照 NUMA 粒度，直觀展示所有 CPU 和內存。達到縱覽所有 CPU 負載，直觀判斷 CPU 綁核是否均衡等目的。

快速啟動

對于用戶而言，系統(tǒng)啟動過程通常被定義為從系統(tǒng)上電到通過 ssh 登錄的過程，經(jīng)歷的時間即為系統(tǒng)啟動時間。具體來說，機器的啟動流程大體上可以根據(jù) CPU 的控制權轉移方向描述為“固件 -> 引導程序 -> 操作系統(tǒng)”。其中固件包括 BIOS/UEFI，引導程序包括常見的的 GRUB/U-Boot/LK 等，操作系統(tǒng)包含了內核啟動、執(zhí)行 initrd 中的 init 進程、再到執(zhí)行硬盤上的 init 進程的過程。系統(tǒng)啟動速度是操作系統(tǒng)的重要性能指標之一，特別對于云場景中的虛擬機，能夠快速啟動可以顯著提高用戶體驗。

veLinux 通過對內核、驅動加載、系統(tǒng)服務的啟動優(yōu)化，以及 cloud-init 服務的啟動順序優(yōu)化，減少虛機啟動時間約 50%，提供快速啟動版，實現(xiàn)單虛擬機啟動時間 5s 內。

靈活使用

在實際使用中，用戶提出基于 veLinux 進行定制化的需求，例如安裝特定的驅動版本、內置特定的軟件包等。veLinux 針對這個問題，提供靈活的 OS 自定義定制工具，可以在火山引擎、內部平臺或本地鏡像基礎上，自動化完成定制，為用戶提供簡單便捷的定制窗口，一站式完成鏡像的變更、基準測試等任務，使廣大業(yè)務同學徹底擺脫基礎環(huán)境構建、操作系統(tǒng)差異等帶來的技術困境。

CentOS 官方已計劃停止維護 CentOS Linux 項目，veLinux 提供的遷移工具（內測中），能幫助用戶平滑從CentOS 遷移至 veLinux CentOS 兼容版，后續(xù)還會支持更多操作系統(tǒng)無縫遷移至 veLinux 。

云原生特性 容器 OS 版本

云原生場景下，保證集群內宿主機的一致性非常重要，對單個節(jié)點的運維操作可能會導致環(huán)境的不一致，對應用的性能穩(wěn)定性產(chǎn)生影響，甚至可能產(chǎn)生安全隱患。另一方面，與傳統(tǒng)系統(tǒng)不同的是，應用通過容器部署，操作系統(tǒng)只需要提供云原生運行必要的組件，省去其他很多不必要的系統(tǒng)組件，實現(xiàn)系統(tǒng)輕量化，同時提升系統(tǒng)啟動時間。veLinux 正在內測容器 OS 版本，該版本的優(yōu)勢為：

系統(tǒng)輕量化

（1）只包含 Kubernetes Pods 運行所依賴的軟件包和系統(tǒng)服務，縮短系統(tǒng)啟動時間，精簡操作系統(tǒng)。

（2）根文件系統(tǒng)為只讀權限，只有 /etc 和 /var 目錄可寫，以滿足基礎的系統(tǒng)配置需求。

系統(tǒng)維度升級回滾

遵循云原生不可變基礎設施原則，不支持單個包粒度的安裝、卸載和升級，不提供 apt 等軟件包管理工具，只支持以整個操作系統(tǒng)鏡像為粒度的更新和回滾，以此來保證集群內各個節(jié)點的軟件包版本與系統(tǒng)配置的一致性。

lxcfs 組件優(yōu)化

lxcfs 是一個基于 FUSE 文件系統(tǒng)實現(xiàn)容器內資源視圖隔離的開源組件，通過在容器中掛載 lxcfs 相關目錄和文件，執(zhí)行 free、top 等命令，能夠更精確地反映容器的資源使用情況。

veLinux 中的 lxcfs 組件在社區(qū) 5.0 版本的基礎上，修復了 /sys 目錄下文件顯示不完全的問題，并模擬了 numa 節(jié)點拓撲，使得在容器中執(zhí)行 numactl 命令能夠返回正確的節(jié)點信息。此外，對社區(qū)版本存在 lxcfs 進程退出重新啟動后無法正常工作的問題，veLinux 版本一方面通過 oom killer 保護，最大限度地減少被 kill 的可能，另一方面提供 remount 機制，使得 lxcfs 進程退出重新啟動后，remount 相關目錄到容器中，最大限度的降低對用戶的影響。

總結與規(guī)劃

操作系統(tǒng)一直伴隨著軟硬件技術的發(fā)展而發(fā)展，近年來，在軟件方面，云市場爆發(fā)式的增長，特別是云原生場景下，如何有效地進行集群資源的管理、調度編排以及性能度量和監(jiān)控，都對操作系統(tǒng)提出了更高的要求；在硬件方面，芯片市場的環(huán)境變化以及主流 CPU 架構的演進發(fā)展，需要構建更加自主可控的操作系統(tǒng)，靈活應對國內外市場變化。針對云計算、國產(chǎn)化等場景，veLinux 實現(xiàn)了很多創(chuàng)新與優(yōu)化，以滿足不同用戶的業(yè)務需求。未來將陸續(xù)發(fā)布更多云原生特性，并推出適配國產(chǎn)處理器、RISC-V 處理器架構的版本，歡迎大家持續(xù)關注。

另外，作為一款開源的操作系統(tǒng)，veLinux 致力于為用戶提供可靠、高性能的操作系統(tǒng)，歡迎更多感興趣的小伙伴加入 veLinux 的開源建設，共同推進國內操作系統(tǒng)生態(tài)發(fā)展。

審核編輯 ：李倩