bare metal server คืออะไร?

large hero

PrivateAlps Team

May 22, 2026อ่าน 18 นาที
Share

bare metal server คืออะไร?

เช่าเครื่องจริงหนึ่งเครื่อง ไม่มีใครใช้ร่วมกับคุณ ไม่มี hypervisor คั่นระหว่าง kernel กับ CPU ไม่มีหน่วยความจำที่ถูกแบ่งให้ผู้เช่ารายอื่น และไม่มีชั้นการจำลองเครื่องที่ทำงานอยู่เบื้องหลัง bare metal server ติดตั้งระบบปฏิบัติการลงบนชิปโดยตรง รีจิสเตอร์ของ kernel สื่อสารกับฮาร์ดแวร์โดยตรง นี่คือความหมายของคำว่า "bare metal"

bare metal server ใช้งานจริงเป็นอย่างไร คือเครื่องจริงแบบ single-tenant ที่จัดสรรให้เป็นฮาร์ดแวร์เฉพาะตามแบบดั้งเดิม หรือผ่าน cloud API ซึ่งวิธีหลังมีชื่อเรียกเฉพาะคือ BMaaS บทความนี้จะอธิบายวิธีการทำงาน สถานการณ์ที่การแลกเปลี่ยนนี้คุ้มค่า และสิ่งที่ควรตรวจสอบก่อนเลือกผู้ให้บริการ

สรุปโดย AI

bare metal server มอบการเข้าถึงฮาร์ดแวร์ทั้งหมดแบบเฉพาะตัว ได้แก่ CPU, RAM, storage และ network โดยไม่มีชั้น hypervisor และไม่มีผู้ใช้ร่วมที่แชร์ทรัพยากร

ข้อเท็จจริงสำคัญ:

  • ไม่มีค่าใช้จ่ายจาก hypervisor: ทุก CPU cycle ถูกใช้กับงานของคุณ ไม่ถูกใช้กับชั้นการจำลองที่คอยจัดการ
  • ไม่มี noisy neighbor: ไม่มีใครแย่งใช้ I/O, memory bandwidth หรือเวลา CPU
  • ควบคุม kernel ได้เต็มที่: ติดตั้ง OS ใดก็ได้ ปรับแต่ง kernel parameter และโหลด module ที่ VM ไม่รองรับได้
  • การจัดเตรียมผ่าน API ของ BMaaS สมัยใหม่ใช้เวลาเป็นนาที ไม่ใช่ 24-72 ชั่วโมงแบบ dedicated hosting รุ่นเก่า
  • เหมาะกับ HPC, ฐานข้อมูลที่มีโหลดสูง, การฝึกโมเดล GPU/ML, fintech และงานด้านการปฏิบัติตามกฎระเบียบ
  • ต้นทุนเริ่มต้นสูงกว่า VM แต่ถูกกว่า cloud instance ที่เทียบเท่ากันเมื่อใช้งานต่อเนื่องเกินประมาณ 60-70%
  • การแยกการทำงานมาจากสถาปัตยกรรมทางกายภาพ ฮาร์ดแวร์ไม่ถูกแชร์ ไม่ได้เป็นเพียงนโยบาย
  • มีให้ใช้ในรูปแบบ Bare Metal as a Service (BMaaS) พร้อมการเรียกเก็บเงินรายชั่วโมงและการทำงานอัตโนมัติผ่าน API ครบถ้วน

:::

bare metal หมายถึงอะไร?

"bare metal" หมายถึงฮาร์ดแวร์จริงที่ไม่มีอะไรคั่นระหว่างตัวมันกับระบบปฏิบัติการ ไม่มี hypervisor ไม่มี abstraction layer และไม่มี virtualization stack เลย โปรแกรมเมอร์ใช้คำนี้ก่อนที่บริษัทโฮสติ้งจะนำไปใช้ ตอนนั้นการทำงานบนฮาร์ดแวร์เฉพาะหมายถึงโค้ดที่ทำงานบนรีจิสเตอร์ของฮาร์ดแวร์โดยตรง ไม่มี OS รองรับ ไม่มี runtime และไม่มีอะไรดักจับการเรียกใช้งาน

ในบริบทของเซิร์ฟเวอร์ สิ่งที่ทำให้เป็น bare metal มีเพียงสิ่งเดียวที่ขาดหายไป คือไม่มี hypervisor ติดตั้งไว้ล่วงหน้า ไม่มี VMware ESXi, ไม่มี Hyper-V และไม่มี KVM อยู่ระหว่าง kernel กับ CPU ทำไมเรื่องนี้จึงสำคัญ NIST SP 800-145 อธิบายไว้อย่างชัดเจนว่า virtualization ทำให้ cloud แบบ multi-tenancy เป็นไปได้ หากนำส่วนนี้ออก multi-tenancy ก็ใช้งานไม่ได้ในเชิงสถาปัตยกรรม

สิ่งที่มาถึงระดับฮาร์ดแวร์จริงๆ ได้แก่ โปรเซสเซอร์เฉพาะรุ่น เช่น AMD EPYC 9004 series หรือ Intel Xeon Scalable รุ่นที่ 4/5 RAM ECC DDR5 จริง NVMe หรือ enterprise SSD ที่เชื่อมต่อกับ PCIe lane โดยตรง ไม่ได้อยู่หลังชั้น abstraction ของ storage NIC จริงที่มี uplink เฉพาะ โดยทั่วไปอยู่ระหว่าง 1 Gbps ถึง 100 Gbps ไม่มีการจำลองอะไรเลย ไม่มี memory bus ที่ใช้ร่วมกับ batch job ของคนอื่น ไม่มี CPU scheduler ที่แบ่งเวลาให้ผู้เช่าหลายราย และไม่มี I/O queue ที่ติดขัดเพราะการ flush ฐานข้อมูลของใครอีกคน

bare metal server ทำงานอย่างไร?

bare metal server ในระดับกระบวนการหมายถึงอะไร เครื่องบูตผ่านเครือข่าย OS ถูกติดตั้งลงใน local storage และสิทธิ์ root ถูกส่งมอบให้ผู้ใช้ ผู้ให้บริการยังดูแลเครื่องจริงอยู่ ส่วนทุกอย่างเหนือ kernel เป็นของผู้ที่จัดเตรียมเครื่องนั้น

ขั้นตอนการจัดเตรียมเป็นดังนี้:

  1. การเลือกและจัดสรรฮาร์ดแวร์: เลือก SKU เช่น รุ่น CPU, RAM, ประเภท storage และความเร็ว uplink ผู้ให้บริการดึงเครื่องจริงออกจากคลังและกำหนดให้ใช้เฉพาะคุณ
  2. การบูตผ่านเครือข่าย (PXE): เซิร์ฟเวอร์บูตผ่าน Preboot Execution Environment ไคลเอนต์ PXE ส่ง DHCP broadcast ได้รับที่อยู่ TFTP กลับมา แล้วดึง bootloader ลงมา ขั้นตอนมาตรฐานทั่วไป
  3. การติดตั้ง OS image: image ที่เลือก เช่น Ubuntu, Debian, Rocky Linux, Windows Server, FreeBSD หรือ custom ISO จะถูกเขียนลง NVMe หรือ SSD ภายในผ่านเครือข่าย การจัดการ partition layout และการติดตั้ง GRUB หรือ systemd-boot ทำในขั้นตอนนี้
  4. การตั้งค่าหลังติดตั้ง: Cloud-init ใส่ SSH key, ตั้ง hostname, เชื่อมต่อ interface และรันสคริปต์ตอนบูตครั้งแรก
  5. รีบูตไปยังดิสก์: เซิร์ฟเวอร์เริ่มทำงานด้วย OS ที่เพิ่งติดตั้ง PXE ถูกนำออกจากลำดับการบูต
  6. ส่งมอบสิทธิ์ root: ใช้ข้อมูลรับรอง SSH หรือการเข้าถึงด้วย key ส่วน IPMI/iDRAC แยกต่างหาก ทำหน้าที่ควบคุมระดับฮาร์ดแวร์ที่ยังใช้งานได้แม้ OS จะล่ม

การแบ่งความรับผิดชอบระหว่างผู้ให้บริการกับผู้ใช้อยู่ที่ชั้น OS ผู้ให้บริการดูแลเครื่องจริง ไฟฟ้าและการระบายความร้อนของ data center, uplink ของเครือข่าย และ IPMI ทุกอย่างตั้งแต่ kernel ของ OS ขึ้นไป ได้แก่ การตั้งค่า การเสริมความปลอดภัย software stack และ backup เป็นความรับผิดชอบของผู้ใช้ นี่เป็นข้อตกลงที่ต่างจาก managed hosting ซึ่งยังมีผู้อื่นดูแลชั้น OS ให้ ควรทราบไว้ก่อน เพราะคุณอาจต้องเป็นคนที่ถูกปลุกตอนตีสองเมื่อเกิดปัญหา

Bare Metal vs. Virtual Machine: ความแตกต่างหลัก

ทั้งสองไม่ใช่ขั้นของบันไดเดียวกัน เครื่องจริงแบบ dedicated และ virtual machine เป็นโมเดลการแยกการทำงานที่ต่างกัน มีโครงสร้างต้นทุนที่ต่างกัน และมีรูปแบบความล้มเหลวที่ต่างกัน การตัดสินใจด้านโครงสร้างพื้นฐานส่วนใหญ่ยังมีตัวเลือกที่สาม ได้แก่ cloud instance สาธารณะ การเปรียบเทียบที่ตรงไปตรงมาจึงต้องครอบคลุมทั้งสามตัวเลือก

มิติBare Metal ServerSelf-Hosted VM / VPSPublic Cloud Instance (AWS EC2, GCP, Azure)
การแยกการทำงานทางกายภาพ (single tenant)ทางตรรกะ (บังคับใช้โดย hypervisor)ทางตรรกะ (โฮสต์ร่วม multi-tenant)
CPUทุก core เป็นของคุณ ไม่มี overhead จาก schedulervCPU แชร์ physical corevCPU ใช้เวลาร่วมกัน มีข้อจำกัด "credit" ในประเภทที่ใช้ burst ได้
RAMRAM จริงทั้งหมดเป็นของคุณจัดสรรคงที่จาก RAM ของโฮสต์จัดสรรคงที่ โครงสร้าง NUMA ไม่เปิดเผยให้ผู้ใช้
Disk I/Oเข้าถึง NVMe/SSD ผ่าน PCIe โดยตรงI/O แบบจำลองหรือ paravirtualizedblock storage ที่เชื่อมผ่านเครือข่าย (EBS, Persistent Disk) ความหน่วงแปรผัน
Network I/ONIC จริงเฉพาะNIC ร่วมผ่าน SR-IOV หรือ software bridgeNIC โฮสต์ร่วม ปริมาณงานจำกัดตาม instance tier
เวลาในการจัดเตรียมนาที (BMaaS) ถึงชั่วโมง (แบบเก่า)วินาทีถึงนาทีวินาที
การขยายระบบทำด้วยตนเอง ต้องใช้เซิร์ฟเวอร์เครื่องใหม่ขยายแนวนอนได้รวดเร็วขยายแนวนอนและแนวตั้งได้แทบทันที
รูปแบบการคิดค่าใช้จ่ายรายเดือนหรือรายชั่วโมง (BMaaS)รายชั่วโมงหรือรายเดือนตามการใช้งาน จองล่วงหน้า หรือ spot pricing
ความเสี่ยงจาก noisy neighborไม่มี เพราะไม่มีผู้ใช้ร่วมต่ำ (hypervisor จำกัดได้)ปานกลาง เพราะใช้โฮสต์ทางกายภาพร่วมกัน
การควบคุม OS/kernelเต็มที่ ใช้ kernel หรือ module ใดก็ได้จำกัดโดย hypervisor และ kernel ของโฮสต์จำกัด บาง instance type จำกัดเวอร์ชัน kernel
เหมาะกับHPC, ฐานข้อมูล, การฝึก GPU, การปฏิบัติตามกฎระเบียบDev/test, แอปที่มีทราฟฟิกต่ำ, งานที่โหลดไม่คงที่ทราฟฟิกพุ่งสูง ความต้องการผันผวน บริการที่จัดการให้

ปัญหา noisy neighbor ควรทำความเข้าใจให้ชัดเจน ผู้ใช้รายหนึ่งที่รันงานที่กินหน่วยความจำมาก หรือส่ง I/O burst ก้อนใหญ่ จะทำให้ memory bus อิ่มตัว L3 cache เต็ม และคิวเครือข่ายค้าง ผู้ใช้รายอื่นทั้งหมดจะต้องรับความหน่วงนั้นไปด้วย แม้งานของตัวเองจะว่างอยู่ hypervisor พยายามจำกัดผ่าน CPU scheduling แต่ memory bandwidth แบ่งออกอย่างสะอาดไม่ได้ และการแย่งใช้ PCIe bus ก็ควบคุมได้ยากจริงๆ ฮาร์ดแวร์แบบ single-tenant ไม่มีผู้ใช้ร่วม ปัญหาจึงไม่เกิดขึ้นในเชิงโครงสร้าง

จุดคุ้มทุน: ประมาณ 60-70% ของการใช้งานต่อเนื่อง ฮาร์ดแวร์แบบ dedicated จะไม่ใช่ตัวเลือกที่แพงอีกต่อไป Cloud VM ราคา $0.50/ชม. ที่รัน 24/7 มีค่าใช้จ่าย $4,320/ปี โหลดการคำนวณเดียวกันบนฮาร์ดแวร์ dedicated มีค่าใช้จ่าย $150-200/เดือน หรือ $1,800-2,400/ปี ประหยัดได้ประมาณ 45-58% เมื่อโหลดคงที่ Cloud จะคุ้มกว่าเมื่อการใช้งานขึ้นๆ ลงๆ เมื่อโหลดเฉลี่ยอยู่ที่ 20-30% และคิดค่าใช้จ่ายเฉพาะชั่วโมงที่ใช้งาน แต่เมื่อโหลดมั่นคงขึ้น ราคาคงที่จะให้ผลลัพธ์ที่ดีกว่า

bare metal hypervisor คืออะไร?

bare metal hypervisor หรือ Type 1 คือซอฟต์แวร์ virtualization ที่ติดตั้งลงบนฮาร์ดแวร์จริงโดยตรง ไม่ได้ติดตั้งบน OS ที่มีอยู่แล้ว แม้จะมีคำว่า bare metal ร่วมอยู่ด้วย แต่ไม่เกี่ยวข้องกับเซิร์ฟเวอร์ dedicated แบบ single-tenant เลย อันหนึ่งทำให้เกิด virtualization อีกอันหนึ่งไม่มี virtualization

Type 1 hypervisor ได้แก่ VMware ESXi, Microsoft Hyper-V และ KVM (ฝังอยู่ใน Linux kernel) ทำงานบนฮาร์ดแวร์โดยตรง ตัว hypervisor เป็นชั้นฐาน ส่วน VM อยู่ด้านบน Type 2 ได้แก่ VirtualBox, VMware Workstation และ Parallels ติดตั้งบน OS ที่มีอยู่แล้วและยืมการเข้าถึงฮาร์ดแวร์ผ่าน OS นั้น ชั้น OS เพิ่มเติมด้านล่างทำให้ Type 2 เหมาะกับโน้ตบุ๊กของนักพัฒนา แต่ไม่เหมาะกับการใช้งานจริง (production)

การสับสนระหว่างสองคำนี้เกิดขึ้นบ่อยพอที่ควรอธิบายให้ชัดเจน ทั้งสองคำมีความหมายตรงข้ามกัน bare metal hypervisor สร้างและจัดการ virtual machine โดยให้สิทธิ์เข้าถึงฮาร์ดแวร์อย่างมีการควบคุม ส่วนเซิร์ฟเวอร์ dedicated ไม่มี hypervisor เลย หากติดตั้ง ESXi ลงบนเครื่อง เครื่องนั้นจะกลายเป็นโฮสต์ virtualization ซึ่งเป็นสิ่งตรงข้ามทันที

ประเภทติดตั้งบนตัวอย่างOverhead
Type 1 (Bare Metal Hypervisor)ติดตั้งบนฮาร์ดแวร์โดยตรงVMware ESXi, Hyper-V, KVMต่ำ (CPU 3-8%, RAM น้อยมาก)
Type 2 (Hosted Hypervisor)ติดตั้งบน OS ของโฮสต์VirtualBox, VMware Workstationสูง (ชั้น OS ของโฮสต์และ hypervisor)
ไม่มี Hypervisorไม่มีBare Metal Serverไม่มี

Bare Metal Server vs. Dedicated Server: แตกต่างกันหรือไม่?

ทั้งสองหมายถึงฮาร์ดแวร์จริงแบบ single-tenant สิ่งที่เปลี่ยนไปคือรูปแบบการให้บริการ จากการใช้ API และคิดเงินรายชั่วโมง มาเป็นการโทรศัพท์ ค่าติดตั้ง และรอสองวันให้มีคนมาติดตั้งเครื่องเข้าชั้น rack

"dedicated server" เป็นคำศัพท์มาตรฐานของการให้บริการโฮสติ้งตั้งแต่ต้นยุค 2000 เป็นเครื่องจริงที่จัดเตรียมด้วยมือ โดยทั่วไปผูกมัดด้วยสัญญา 30-90 วันพร้อมค่าติดตั้ง ฮาร์ดแวร์มีหลายรุ่นปนกัน ขึ้นอยู่กับว่ามีอะไรอยู่ใน rack การทำงานอัตโนมัติแทบไม่มี การจัดเตรียมที่ใช้เวลา 48 ชั่วโมงถือเป็นเรื่องปกติ

การเข้าใจว่า bare metal server ในความหมายปัจจุบันคืออะไร ต้องเข้าใจว่าอะไรเปลี่ยนไป IBM SoftLayer ซึ่งปัจจุบันคือ IBM Cloud เป็นหนึ่งในผู้ให้บริการรายแรกๆ ที่นำฮาร์ดแวร์จริงมาห่อหุ้มด้วย cloud API ตามมาด้วย OVHcloud และ Equinix Metal ทุกอย่าง ทั้ง PXE provisioning อัตโนมัติ การคิดเงินรายชั่วโมง และ cloud networking ถูกรวมเข้าด้วยกัน ฮาร์ดแวร์ก็ก้าวหน้าตามไปด้วย บริการในปัจจุบันมี Intel Xeon รุ่นที่ 4/5 หรือ AMD EPYC รุ่นที่ 4 เป็นมาตรฐาน มี NVMe เป็นพื้นฐาน และมี uplink 25-100 Gbps ไม่ใช่อุปกรณ์รุ่นเก่าที่ถูกทิ้งไว้ในมุมใดมุมหนึ่ง

พารามิเตอร์Dedicated Server (แบบดั้งเดิม)Bare Metal Server (โมเดล Cloud)
เวลาในการจัดเตรียม24-72 ชั่วโมง (ด้วยมือ)นาทีถึง 2 ชั่วโมง (PXE อัตโนมัติ)
รูปแบบการเรียกเก็บเงินรายเดือนหรือรายปี มีค่าติดตั้งรายชั่วโมงหรือรายเดือน ไม่มีค่าติดตั้ง
รุ่นของฮาร์ดแวร์มักปนกันหรือเป็นรุ่นเก่าCPU และ NVMe รุ่นปัจจุบัน
API/การทำงานอัตโนมัติไม่มีหรือมีจำกัดAPI ครบถ้วน รองรับ Terraform/Ansible
การติดตั้ง OSผู้ให้บริการเลือกให้หรือทำด้วยมือเลือกเองจาก OS catalogue หรือ custom ISO
ประเภทผู้ให้บริการทั่วไปบริษัทโฮสติ้งแบบดั้งเดิมผู้ให้บริการโครงสร้างพื้นฐานแบบ cloud และ hybrid

ผู้ให้บริการจำนวนมากใช้ทั้งสองคำนี้เรียกผลิตภัณฑ์เดียวกัน คำถามที่สำคัญจริงๆ คือ เซิร์ฟเวอร์สามารถจัดเตรียมผ่าน API ได้ภายในไม่ถึงหนึ่งชั่วโมงหรือไม่ หรือต้องเปิดตั๋วแล้วรอ

Bare Metal as a Service (BMaaS) คืออะไร?

Bare Metal as a Service (BMaaS) เป็นรูปแบบการให้บริการ ไม่ใช่ประเภทของผลิตภัณฑ์ คือ ให้เซิร์ฟเวอร์จริงผ่าน API คิดค่าบริการตามชั่วโมง และไม่มีการใช้ทรัพยากรร่วมกับผู้เช่ารายอื่น นี่คือคำนิยามทั้งหมด

ความต่างจาก dedicated hosting แบบดั้งเดิมเห็นได้ทันที ไม่มีตั๋วคำขอรอคิว ไม่ต้องเจรจาสัญญา และไม่ต้องรอให้ใครมาเดินสายเครื่องจริง เพียงเรียก API เลือก SKU และระบบปฏิบัติการ คุณก็ได้สิทธิ์ root ภายในหนึ่งชั่วโมง Terraform และ Pulumi ทำงานได้เหมือนกับที่ใช้กับ cloud instance ทำให้ฮาร์ดแวร์เฉพาะตัวเป็นทางเลือกที่ใช้ได้จริงสำหรับงานที่เคยมีอายุสั้นเกินไป เช่น CI/CD node ที่ต้องการการประมวลผลระยะสั้นแบบพุ่งสูง งานฝึก ML ที่ต้องการ GPU cluster เต็มรูปแบบตลอดสุดสัปดาห์ หรือชุดงาน HPC ที่เปิดใช้เป็นรายไตรมาสแล้วปิดไป

อุตสาหกรรมที่อยู่ภายใต้การกำกับดูแลเข้ามาใช้งานด้วยเหตุผลที่ต่างจากทีมที่มุ่งเน้นประสิทธิภาพ PCI DSS v4.0 กำหนดให้แยกสภาพแวดล้อมข้อมูลบัตรออกจากกัน bare metal server ตอบโจทย์นี้ได้ในระดับสถาปัตยกรรม โดยไม่ต้องพึ่งการควบคุมชดเชยหลายชั้น HIPAA ต้องการมาตรการป้องกันทั้งทางกายภาพและทางเทคนิคสำหรับ PHI ฮาร์ดแวร์แบบ single-tenant ที่มีนโยบายการทำลายข้อมูลเป็นลายลักษณ์อักษร ช่วยรองรับทั้งสองข้อกำหนดได้ ส่วน GDPR และกฎเรื่องถิ่นที่อยู่ข้อมูลเพิ่มอีกระดับหนึ่ง ตำแหน่งของ datacenter ไม่ได้มีความหมายแค่เรื่องความเร็วในหน่วยมิลลิวินาทีอีกต่อไป แต่เป็นตัวกำหนดว่ากรอบกฎหมายใดจะคุ้มครองข้อมูลที่จัดเก็บ ผู้ให้บริการในเขตอำนาจที่ไม่ใช่ EU ซึ่งได้รับ adequacy decision เช่น สวิตเซอร์แลนด์ภายใต้ revDSG เป็นตัวอย่างที่ชัดเจนที่สุด ช่วยให้องค์กรยังคงปฏิบัติตาม GDPR ได้ โดยไม่ต้องเก็บข้อมูลไว้ภายในพรมแดน EU

Managed bare metal ก้าวไปอีกขั้นหนึ่ง ผู้ให้บริการรับผิดชอบงานระดับระบบปฏิบัติการ เช่น การ patch การอัปเดตความปลอดภัย และการเฝ้าระวัง บางครั้งรวมถึงงานอื่นมากกว่านั้น หากทีมต้องการประสิทธิภาพของฮาร์ดแวร์เฉพาะตัว แต่ไม่มีใครพร้อมรับผิดชอบระบบปฏิบัติการในตอนตีสอง แพ็กเกจแบบ managed นี้คือคำตอบ แลกกับความยืดหยุ่นระดับ kernel ที่น้อยลง และการถูกปลุกในคืนวันหยุดน้อยลง

การใช้งานหลักของ bare metal server

dedicated server คุ้มค่ากับต้นทุนเมื่อภาระงานต้องการประสิทธิภาพที่คาดการณ์ได้ภายใต้โหลดต่อเนื่อง ต้องการการเข้าถึง kernel อย่างเต็มที่ หรือต้องการการแยกฮาร์ดแวร์ที่ hypervisor ไม่สามารถให้ได้จริง งานประมวลผลที่ผันผวนและมีอายุสั้นควรใช้บริการรูปแบบอื่น

กรณีการใช้งานเหตุผลที่ควรใช้ bare metalตัวอย่างรูปธรรม
HPC / การคำนวณเชิงวิทยาศาสตร์ไม่มีการจัดตารางเวลาของ hypervisor ที่ทำให้เกิด jitter; แบนด์วิดท์หน่วยความจำเต็มประสิทธิภาพ; MPI ผ่าน RDMA ต้องใช้ NIC จริงที่มี latency ต่ำการจำลองพลศาสตร์ของไหลเชิงคำนวณ, pipeline ด้านจีโนมิกส์
ฐานข้อมูลเชิงสัมพันธ์ที่มีโหลดสูงI/O ของ NVMe โดยตรงโดยไม่ผ่าน storage virtualization; latency ที่คาดการณ์ได้ภายใต้การเขียนพร้อมกันจำนวนมากPostgreSQL หรือ Oracle DB ที่ 10K+ TPS; คลัสเตอร์ MySQL สำหรับข้อมูลการเงิน
การฝึก AI/ML (งาน GPU)ต้องใช้ GPU passthrough เพื่อประสิทธิภาพเต็มที่; vGPU แบบแชร์เพิ่มภาระ 15-30% เมื่อเทียบกับการเข้าถึงโดยตรงการฝึก multi-GPU บน NVIDIA H100/A100 สำหรับการ fine-tune LLM
High-frequency trading / fintechlatency ต่ำกว่าหนึ่งมิลลิวินาที; การเชื่อมต่อเครือข่ายแบบ kernel bypass (DPDK, RDMA) ต้องเข้าถึงฮาร์ดแวร์โดยตรงเอนจินการเทรดอัลกอริทึมที่ต้องการ tick-to-trade latency ที่คาดการณ์ได้
การโฮสต์ game serverการจัดการเฟรมที่สม่ำเสมอ; NIC latency ต่ำสำหรับทราฟฟิก UDP ของเกมdedicated server สำหรับเกมหลายผู้เล่นแบบแข่งขัน
งานที่อยู่ภายใต้การปฏิบัติตามข้อกำหนดการแยกทางกายภาพช่วยให้ผ่าน PCI DSS v4.0 และมาตรการป้องกันทางเทคนิคของ HIPAA โดยไม่ต้องใช้การควบคุมชดเชยการประมวลผลการชำระเงิน, ระบบข้อมูลสุขภาพ
Production Kubernetes nodeไม่มีภาระ CPU จาก hypervisor สำหรับ node agent; ความหนาแน่นของ pod และ throughput ของ I/O ดีกว่าKubernetes worker node ที่รันงานแบบ stateful ด้วย local PV

การเลือกผิด: งานที่มีการพุ่งขึ้นของโหลดแบบคาดเดาไม่ได้ควรใช้ cloud autoscaling เพราะ bare metal server ปรับขนาดไม่ทันความเร็วที่ต้องการ สภาพแวดล้อม dev และ staging แทบไม่มีเหตุผลให้ต้องใช้ฮาร์ดแวร์เฉพาะตัว VPS หรือ spot instance ทำงานได้ถูกกว่า งานอายุสั้น เช่น batch ที่ใช้เวลาไม่เกิน 30 นาที หรือ unit test ของ CI/CD จะเสียเปรียบเพราะเวลาเริ่มต้นของ BMaaS ในระยะเวลาระดับนั้น และหากไม่มีใครต้องการรับผิดชอบการ patch ระบบปฏิบัติการ การเฝ้าระวังฮาร์ดแวร์ หรือการจัดการเมื่อเกิดความล้มเหลว แพ็กเกจแบบ managed คือทางเลือกที่ตรงไปตรงมามากกว่า

ความปลอดภัยของ bare metal server

เซิร์ฟเวอร์จริงแบบ single-tenant ช่วยลดความเสี่ยงสองประเภทที่ต้องพึ่งการใช้งานร่วมกันหลายผู้เช่าโดยโครงสร้าง ส่วนทุกอย่างที่อยู่เหนือชั้นฮาร์ดแวร์ยังคงเป็นความรับผิดชอบของลูกค้าทั้งหมด

ประโยชน์ด้านความปลอดภัยในที่นี้เป็นเรื่องของสถาปัตยกรรม ซึ่งมีจริงแต่มีขอบเขตจำกัด มีภัยคุกคามสองประเภทที่เกิดขึ้นเฉพาะในโครงสร้างพื้นฐานแบบ virtualization ที่ใช้ร่วมกัน ซึ่งควรกล่าวถึงทั้งสองประเภท ประเภทแรกคือ VM escape ซึ่งเป็นช่องโหว่ของ hypervisor ที่ทำให้ guest VM รันโค้ดนอกขอบเขตของตัวเอง หรืออ่านหน่วยความจำของ VM ที่อยู่ติดกันได้ ตัวอย่างในทางปฏิบัติคือ VENOM (CVE-2015-3456) และช่องโหว่ CVE ของ QEMU/KVM อีกจำนวนมาก ประเภทที่สองคือการโจมตี side-channel ของ CPU ข้ามผู้เช่า CVE-2018-3646 (L1 Terminal Fault - VMM) ทำให้ VM ที่เป็นอันตรายสามารถอนุมานเนื้อหาจากแคช L1 ของ hypervisor หรือ VM ข้างเคียงผ่าน speculative execution โดยไม่จำเป็นต้องหลุดออกจากขอบเขต

Spectre และ Meltdown ใช้กลไกเดียวกัน และอันตรายยิ่งขึ้นเมื่อผู้โจมตีและเหยื่อใช้ physical core ร่วมกัน เมื่อไม่มี hypervisor และผู้ใช้ร่วมอื่น ทั้งสองประเภทนี้จะไม่มีช่องให้ใช้ประโยชน์

สิ่งที่ไม่เปลี่ยนแปลงคือทุกอย่างที่อยู่เหนือฮาร์ดแวร์ SSH ที่พอร์ต 22, kernel ที่ไม่ได้อัปเดตมาหกเดือน, กฎ firewall ที่ใครบางคนตั้งผิด หรือ credential ที่ถูกนำกลับมาใช้ซ้ำ สิ่งเหล่านี้จะไม่ดีขึ้นเพียงเพราะมีเครื่องเฉพาะตัว NIST SP 800-53 Rev. 5 อธิบายประเด็นนี้ได้ชัดเจนว่า ความปลอดภัยที่แท้จริงต้องประกอบด้วยการจัดการการเข้าถึง การจัดการการตั้งค่า การบันทึกการตรวจสอบ และการตอบสนองต่อเหตุการณ์ ลักษณะของฮาร์ดแวร์เป็นปัจจัยหนึ่งเท่านั้น ไม่ใช่สิ่งที่ทดแทนส่วนอื่นได้

สิ่งที่ควรตั้งค่าให้เรียบร้อยก่อนนำเซิร์ฟเวอร์ใดไปใช้งานจริง:

  1. ปิด root SSH ใช้การยืนยันตัวตนด้วยคีย์เท่านั้น ไม่มีข้อยกเว้น
  2. nftables/iptables โดยตั้งค่า default-deny สำหรับขาเข้า ไม่ใช่ทางเลือก ไม่ใช่ "ไว้ทีหลัง"
  3. เปิดใช้การอัปเดตความปลอดภัยของระบบปฏิบัติการแบบอัตโนมัติ (unattended-upgrades บน Debian/Ubuntu)
  4. IPMI/iDRAC ให้อยู่บน management VLAN เฉพาะ เครือข่ายการผลิตไม่ควรเข้าถึงได้เด็ดขาด
  5. LUKS สำหรับการเข้ารหัสดิสก์ทั้งหมดของข้อมูลที่จัดเก็บ ไม่ต่อรอง
  6. การบันทึกการตรวจสอบแบบรวมศูนย์ ป้องกันการแก้ไข และส่งข้อมูลไปยัง SIEM
  7. ใช้ CIS Benchmark กับระบบปฏิบัติการที่ทีมของคุณใช้งานอยู่
  8. การตรวจจับขณะรันไทม์ เช่น Wazuh, OSSEC, Falco

วิธีเลือกผู้ให้บริการ bare metal server

ราคารายเดือนไม่ควรเป็นจุดเริ่มต้นในการพิจารณา สิ่งที่สำคัญคือ ความเร็วในการจัดสรรทรัพยากร รุ่นของฮาร์ดแวร์ การรับประกันเครือข่าย SLA การเข้าถึงแบบ out-of-band ตัวเลือกระบบปฏิบัติการ การป้องกัน DDoS และเขตอำนาจของ datacenter

เกณฑ์สิ่งที่ควรมองหาสัญญาณเตือน
ความเร็วในการจัดสรรทรัพยากรAutomated PXE; ติดตั้ง image ระบบปฏิบัติการมาตรฐานภายใน 30 นาที"24-48 hours" โดยไม่มี API; ตั้งค่าผ่านตั๋วของฝ่ายสนับสนุน
รุ่นของฮาร์ดแวร์Intel Xeon รุ่นที่ 4/5 หรือ AMD EPYC รุ่นที่ 3/4; NVMe เป็นมาตรฐานไม่ระบุรุ่นของ CPU หรือเป็นฮาร์ดแวร์รุ่นเก่าอย่างชัดเจน
uplink ของเครือข่ายพอร์ตแบบ dedicated ไม่จำกัดปริมาณข้อมูลหรือมีเพดานสูง; แบนด์วิดท์ที่รับประกัน ไม่ใช่ "สูงสุดถึง"uplink แบบใช้ร่วมกัน; ไม่มี SLA ของ throughput ที่เผยแพร่
การป้องกัน DDoSการ scrubbing บนเส้นทางข้อมูลพร้อมความจุ Gbps ที่ระบุ และการบรรเทาอัตโนมัติไม่มีความจุที่เผยแพร่; "ติดต่อฝ่ายสนับสนุนระหว่างการโจมตี"
SLA เวลาทำงานเวลาทำงานของเครือข่ายขั้นต่ำ 99.9%; มี SLA การเปลี่ยนฮาร์ดแวร์ที่ระบุไว้ไม่มี SLA; มีคำว่า "best effort" อยู่ในข้อกำหนด
การเข้าถึง IPMI/iDRACรวมการเข้าถึงแบบ out-of-band; มี KVM-over-IPไม่มีการเข้าถึงแบบ OOB; ควบคุมฮาร์ดแวร์ได้เฉพาะผ่านระบบปฏิบัติการที่รันอยู่
ความยืดหยุ่นของระบบปฏิบัติการติดตั้งใหม่ด้วยตนเองจากแคตตาล็อก; อัปโหลด ISO เอง; โหมด rescue ผ่าน PXEรายการ OS ตายตัว; การติดตั้งใหม่ต้องใช้ตั๋วของฝ่ายสนับสนุน
เขตอำนาจ / การปฏิบัติตามข้อกำหนดมีตำแหน่ง datacenter ที่ระบุไว้; มีกรอบกฎหมายที่เผยแพร่; มีนโยบายการลบข้อมูล"โครงสร้างพื้นฐานระดับโลก" โดยไม่ระบุรายละเอียดระดับประเทศ

เขตอำนาจของ datacenter มักถูกมองข้ามจนกว่าจะเกิดปัญหา ภายใต้ GDPR Article 44 การโอนข้อมูลส่วนบุคคลออกนอก EEA ต้องอาศัย adequacy decision, Standard Contractual Clauses หรือการคุ้มครองที่เทียบเท่า สวิตเซอร์แลนด์ได้รับการยอมรับ adequacy จาก EU ตั้งแต่ปี 2000

เมื่อวันที่ 15 มกราคม 2024 หลังการทบทวนครั้งแรกตาม GDPR ของ European Commission สถานะดังกล่าวได้รับการยืนยันอย่างเป็นทางการ โดยอ้างถึงพระราชบัญญัติคุ้มครองข้อมูลส่วนบุคคลของสหพันธรัฐฉบับแก้ไข (revDSG, กันยายน 2023) เป็นปัจจัยสำคัญ สำหรับงานที่เกี่ยวข้องกับ EU ซึ่งการจัดเก็บข้อมูลนอกดินแดน EU เป็นประเด็นสำคัญ โครงสร้างพื้นฐานภายใต้เขตอำนาจสวิตเซอร์แลนด์เป็นคำตอบที่ชัดเจน สำหรับผู้ให้บริการที่อยู่ภายใต้กฎหมายสหรัฐฯ คำถามจะต่างออกไป คือเครื่องมือทางกฎหมายใด เช่น หมายศาล หนังสือเรียกเอกสารด้านความมั่นคง หรือหมายค้น สามารถเข้าถึงข้อมูลบนเซิร์ฟเวอร์ได้จริง และภายใต้กฎหมายของประเทศใด ทีม fintech, สุขภาพ และกฎหมายมักพบว่าเรื่องนี้สำคัญเพียงใด ช้ากว่าที่ควรจะเป็น

ข้อดีและข้อเสียของ bare metal server

กรณีด้านประสิทธิภาพและการแยกระบบมีน้ำหนักมาก ส่วนด้านต้นทุนและความยืดหยุ่นเมื่อการใช้งานต่ำนั้นไม่ได้เป็นเช่นนั้นจริง ๆ ว่าด้านใดจะเหมาะสมขึ้นอยู่กับความสม่ำเสมอของโหลดที่ใช้งานจริงเป็นหลัก

ข้อดีข้อเสีย
ฮาร์ดแวร์ทั้งหมดทุ่มให้ผู้เช่ารายเดียวค่าใช้จ่ายรายเดือนสูงกว่า VPS หรือ VM บน cloud เมื่อการใช้งานต่ำ
ไม่มีภาระจาก hypervisor: CPU, RAM, I/O ทำงานเต็มความจุการขยายแนวนอนหมายถึงต้องสั่งเซิร์ฟเวอร์เพิ่ม
ไม่มี noisy neighbor: ประสิทธิภาพคงที่และคาดการณ์ได้ภายใต้โหลดOS, การ patch, การเฝ้าระวัง เป็นความรับผิดชอบของลูกค้า
ควบคุม kernel และ OS ได้เต็มที่: ใช้ distro ใดก็ได้, Windows Server, kernel ที่ปรับแต่งเองความล้มเหลวของฮาร์ดแวร์ต้องเปลี่ยนอุปกรณ์จริง ความเร็วขึ้นอยู่กับ SLA ของผู้ให้บริการ
การแยกระบบในโครงสร้างช่วยให้ผ่าน PCI DSS v4.0, HIPAA และข้อกำหนดด้านถิ่นที่อยู่ข้อมูลการจัดสรรทรัพยากรช้ากว่าการเปิด VM แม้จะใช้ PXE อัตโนมัติ
IP เฉพาะ, IPMI, NIC จริง ไม่ใช้ network stack ร่วมกับผู้อื่นไม่คุ้มค่าเมื่อการใช้งานต่ำหรือเป็นงานที่ใช้เฉพาะช่วงพุ่งสูง

การคำนวณต้นทุนภายใต้โหลดคงที่: สมมติภาระงาน 32 core ที่ใช้ CPU เฉลี่ย 80% EC2 c6i.8xlarge ของ AWS ที่มี 32 vCPU และ RAM 64 GB มีค่าใช้จ่ายประมาณ $993 ต่อเดือนแบบ on-demand ใน us-east-1 ($1.36/ชม. × 730 ชั่วโมง ประมาณ $11,916 ต่อปี) ส่วน bare metal server รุ่นปัจจุบันที่มีสเปกใกล้เคียงกันจากผู้ให้บริการในยุโรปมีราคา $200-350 ต่อเดือน ($2,400-4,200 ต่อปี) ซึ่งถูกกว่า 3-5 เท่าภายใต้โหลดคงที่ Cloud instance จะได้เปรียบเมื่อการใช้ CPU เฉลี่ยลดลงเหลือ 15-20% จุดนั้นการคิดราคาแบบ on-demand และ spot จะเปลี่ยนการคำนวณทั้งหมด จุดคุ้มทุนอยู่ที่อัตราการใช้งานโดยตรง และทีมส่วนใหญ่มักจะไม่คำนวณจนกว่าจะเลยจุดนั้นไปมากแล้ว

สรุป

เครื่องจริงหนึ่งเครื่อง ผู้เช่าหนึ่งราย ไม่มี hypervisor ทุกรอบ CPU ทุกกิกะไบต์ของ RAM และทุกการดำเนินการ I/O เป็นของภาระงานเดียว ไม่มีส่วนใดถูกแบ่งใช้ จุดแข็งไม่ได้อยู่ที่ความเร็วดิบตามผลทดสอบ แต่อยู่ที่เซิร์ฟเวอร์ทำงานเหมือนเดิมทั้งตอนตีสามวันอังคารและช่วงทราฟฟิกสูงสุดในบ่ายวันศุกร์ Bare Metal as a Service นำความสามารถในการคาดการณ์นี้มาอยู่ในรูปแบบการให้บริการแบบคลาวด์ ได้แก่ การจัดสรรผ่าน API การคิดค่าบริการรายชั่วโมง และสิทธิ์ root ภายในไม่ถึงหนึ่งชั่วโมง แทนที่จะรอ 24-72 ชั่วโมงแบบเดิม สำหรับงานที่ต้องการปริมาณงานที่สม่ำเสมอ การควบคุม kernel อย่างเต็มที่ หรือการแยกฮาร์ดแวร์ที่รองรับ PCI DSS v4.0 หรือ HIPAA นี่คือทางเลือกที่ถูกต้องในเชิงเทคนิค และเมื่อการใช้งานต่อเนื่อง มักเป็นทางเลือกที่ถูกกว่าด้วย

พร้อมติดตั้งบนโครงสร้างพื้นฐานเฉพาะในสวิตเซอร์แลนด์หรือยัง?

PrivateAlps ให้บริการ bare metal server ในสวิตเซอร์แลนด์ภายใต้ revDSG ซึ่งเป็นกฎหมายคุ้มครองข้อมูลของสวิส และได้รับการยืนยันการยอมรับ adequacy จาก EU ในเดือนมกราคม 2024 เครื่องทุกเครื่องถูกจัดสรรให้ลูกค้ารายเดียวอย่างเฉพาะเจาะจง ไม่มีการใช้ร่วมกัน มี IP เฉพาะ การเข้าถึง IPMI แบบ out-of-band ครบถ้วน และมีการรับประกันความเป็นส่วนตัวที่เป็นลายลักษณ์อักษร

คำถามที่พบบ่อย

bare metal server คืออะไรในแบบง่าย ๆ?

คุณกำลังเช่าเครื่องจริงทั้งเครื่อง ไม่มีลูกค้ารายอื่นใช้ CPU, RAM หรือพื้นที่จัดเก็บร่วมกับคุณ และไม่มีชั้นซอฟต์แวร์ใดคั่นระหว่างระบบปฏิบัติการกับฮาร์ดแวร์ คุณจะได้ประสิทธิภาพเต็มของเครื่อง ไม่ใช่เพียงส่วนหนึ่ง ลองนึกภาพว่าเป็นความต่างระหว่างการเช่าอพาร์ตเมนต์ทั้งหลังกับการเช่าห้องหนึ่งห้องในบ้านของคนอื่น

bare metal server ต่างจาก VPS อย่างไร?

VPS ทำงานเป็น virtual machine ภายในโฮสต์จริงที่ใช้ร่วมกัน โดย hypervisor จัดการทั้งเครื่องและแบ่งให้ลูกค้าหลายราย หาก VPS รายหนึ่งทำงานหนักด้าน CPU ทุกคนบนโฮสต์นั้นจะได้รับผลกระทบ ส่วน bare metal server ไม่มี hypervisor และไม่มีผู้ใช้ร่วม ฮาร์ดแวร์ทั้งหมดเป็นของลูกค้ารายเดียว และสิ่งที่คนอื่นทำอยู่ที่อื่นไม่มีทางส่งผลต่อประสิทธิภาพของคุณ

bare metal หมายถึงอะไรในการประมวลผลบนคลาวด์?

คือฮาร์ดแวร์จริงที่ให้บริการผ่านรูปแบบคลาวด์ ได้แก่ การจัดสรรผ่าน API การคิดค่าบริการที่ยืดหยุ่น และการติดตั้งระบบปฏิบัติการอัตโนมัติ โดยไม่มีชั้น virtualization ที่ cloud instance ทั่วไปใช้ Bare Metal as a Service (BMaaS) คือชื่อทางการของรูปแบบการให้บริการนี้ ฮาร์ดแวร์เป็นเครื่องจริงเหมือนเดิม แต่จัดสรรและคิดค่าบริการเหมือนคลาวด์

bare metal hypervisor คืออะไร?

bare metal hypervisor หรือ Type 1 คือซอฟต์แวร์ virtualization ที่ติดตั้งลงบนฮาร์ดแวร์จริงโดยตรง ไม่ต้องมีระบบปฏิบัติการของโฮสต์ ตัวอย่างมาตรฐานคือ VMware ESXi และ Microsoft Hyper-V แม้จะใช้คำว่า bare metal เหมือนกัน แต่ hypervisor ประเภทนี้กับ dedicated server แบบ single-tenant เป็นสิ่งตรงข้ามกัน อย่างแรกสร้าง virtualization ส่วนอย่างหลังไม่มี virtualization เลย

bare metal server มีความปลอดภัยกว่า VM หรือไม่

ในสองประเด็นเฉพาะ ใช่ ช่องโหว่ CPU side-channel ข้ามผู้เช่า เช่น CVE-2018-3646 (L1 Terminal Fault - VMM ซึ่งทำให้ VM ที่เป็นอันตรายสามารถอนุมานเนื้อหาของ L1 cache จาก VM ข้างเคียงผ่าน speculative execution) และช่องโหว่ VM escape ที่ใช้ประโยชน์จากขอบเขตของ hypervisor จะหมดความหมายในเชิงโครงสร้าง เมื่อไม่มี hypervisor และผู้เช่าร่วม อย่างไรก็ตาม bare metal ไม่สามารถป้องกันระบบปฏิบัติการที่ยังไม่ได้อัปเดต ไฟร์วอลล์ที่ตั้งค่าผิด หรือข้อมูลการยืนยันตัวตนที่อ่อนแอได้ ฮาร์ดแวร์เป็นปัจจัยหนึ่งเท่านั้น ส่วนที่เหลือคือการตั้งค่าและการดูแลรักษา

ควรใช้ bare metal server แทน cloud VM เมื่อไร

เมื่อ workload ของคุณมีลักษณะคงที่และใช้ทรัพยากรสูงอย่างสม่ำเสมอ และการได้ปริมาณงาน (throughput) ที่คงที่สำคัญกว่าการขยายขนาดแบบยืดหยุ่น เช่น ฐานข้อมูล การฝึกโมเดล ML, HPC, ฟินเทค และแอปพลิเคชันด้านการปฏิบัติตามกฎระเบียบ ส่วน cloud VM เหมาะกับความต้องการที่ผันผวน งานที่มีอายุการใช้งานสั้น และการพัฒนาและทดสอบ การตั้งระบบจริงที่จริงจังส่วนใหญ่มักใช้ทั้งสองแบบร่วมกัน คือใช้ dedicated server สำหรับ workload หลักที่มีการเก็บสถานะ และใช้ cloud VM สำหรับรองรับการใช้งานพุ่งสูงชั่วคราวและทรัพยากรที่ปลายขอบระบบ

สามารถติดตั้งระบบปฏิบัติการใดก็ได้บน bare metal server หรือไม่

ติดตั้งได้ทุกระบบปฏิบัติการที่ฮาร์ดแวร์รองรับ ไม่ว่าจะเป็น Linux distro ใดก็ได้, Windows Server, FreeBSD หรือ ISO แบบกำหนดเอง PXE boot รองรับการติดตั้งผ่านเครือข่าย ส่วน IPMI/iDRAC ให้การเข้าถึงระดับฮาร์ดแวร์สำหรับติดตั้งใหม่ แม้ระบบปฏิบัติการของคุณจะเสียหายหรือหายไป นอกจากนี้ยังใช้ kernel module แบบกำหนดเอง แพตช์ PREEMPT_RT สำหรับ real-time และสแต็กเครือข่าย DPDK ได้ทั้งหมด พร้อมการควบคุม kernel อย่างเต็มรูปแบบ

ใช้เวลานานเท่าใดในการจัดเตรียม bare metal server

หากใช้ผู้ให้บริการ BMaaS สมัยใหม่ ใช้เวลา 15-60 นาที การ PXE boot อัตโนมัติร่วมกับ cloud-init จัดการการติดตั้งระบบปฏิบัติการ การตั้งค่าเครือข่าย และการส่งมอบข้อมูลการยืนยันตัวตนของคุณ โดยไม่ต้องมีใครแตะต้องเซิร์ฟเวอร์ทางกายภาพ โฮสติ้งแบบ dedicated แบบดั้งเดิมใช้เวลา 24-72 ชั่วโมง และต้องมีคนดำเนินการในทุกขั้นตอน ความแตกต่างอยู่ที่ระบบอัตโนมัติ ขั้นตอนยังคงเหมือนเดิม แต่ไม่ต้องรอคิวให้มีคนรับงาน

โซลูชันโฮสติ้งที่เน้นความเป็นส่วนตัวพร้อมสถานที่ต่างประเทศ ตัวเลือกการชำระเงินแบบไม่เปิดเผยตัวตน และการป้องกันข้อมูลอย่างสมบูรณ์

ติดต่อกับเรา

จดหมายข่าว

อัปเดตความเป็นส่วนตัวรายเดือน ยกเลิกได้ทุกเมื่อ

Telegram

Telegram QR Code