Már fölöttem leírták a legjobb megoldást, de azért és is megírom mi jutott eszembe: lspci-vel megnézed mi az ID-je a COM-portnak és PCI passthrough-al átadod a xen virtuális gépnek.