Các công ty tài chính, chăm sóc sức khỏe, bán lẻ và các công ty khác luôn có nhu cầu trao đổi nhiều loại dữ liệu khác nhau. Các dữ liệu này có thể bao gồm thông tin chứng khoán, tuyên bố về chăm sóc sức khỏe và chia sẻ tệp dữ liệu sản phẩm với các đối tác của họ. Các công ty này cần giải pháp truyền tệp được quản lý mà có thể hỗ trợ chuyển đổi dữ liệu và trao đổi dữ liệu qua giao thức truyền tệp qua SSL (FTPS) và giao thức truyền tệp an toàn (SFTP). Dưới đây mô tả cách bạn có thể xây dựng giải pháp truyền tệp được quản lý trên Amazon Web Services (AWS). Giải pháp truyền tệp được quản lý này cung cấp các tính năng hỗ trợ chuyển đổi dữ liệu, truyền tệp đến và đi qua các giao thức FTP.
Giải pháp truyền tệp được quản lý bằng AWS Transfer Family và Amazon S3
Truyền tệp được quản lý bằng AWS Transfer Family
Đối với giải pháp này, bạn sẽ sử dụng các dịch vụ AWS để xây dựng giải pháp truyền tệp được quản lý hỗ trợ chuyển đến và đi qua các giao thức FTP. Bạn sẽ sử dụng AWS Transfer Family để lưu trữ host endpoints hỗ trợ các giao thức như SFTP, FTPS và Giao thức truyền tệp (FTP). FTP không được mã hóa và bạn nên sử dụng SFTP hoặc FTPS khi có thể. AWS Transfer Family cung cấp hỗ trợ được quản lý đầy đủ để truyền tệp trực tiếp vào và ra khỏi Amazon Simple Storage Service (S3) hoặc Amazon EFS. Tích hợp AWS Transfer Family với Amazon Route 53 có thể được sử dụng để định tuyến DNS. Với dữ liệu của bạn trong Amazon S3, bạn có thể sử dụng các dịch vụ AWS để xử lý, phân tích, học máy, lưu trữ, thư mục chính và các công cụ dành cho nhà phát triển.
Tích hợp AWS Transfer Family với Amazon S3
Tích hợp AWS Transfer Family với Amazon S3 có thể được sử dụng để lưu trữ dữ liệu tệp. Bạn có thể tận dụng khả năng mở rộng, tính khả dụng của dữ liệu, bảo mật và hiệu suất hàng đầu trong ngành. Điều này có nghĩa là khách hàng ở mọi quy mô và ngành nghề đều có thể sử dụng nó để lưu trữ và trao đổi bất kỳ lượng dữ liệu nào. Lưu ý rằng có một kích thước tối đa cho mỗi tệp riêng lẻ. AWS Transfer Family hỗ trợ API tùy chỉnh để xác thực người dùng. Điều này cho phép bạn sử dụng thông tin đăng nhập hoặc nhà cung cấp xác thực hiện có, chẳng hạn như Amazon Cognito, Okta, LDAP, v.v. Bạn có thể xây dựng một API xác thực không máy chủ bằng cách sử dụng Amazon API Gateway và AWS Lambda.
Một lợi ích khác khi sử dụng các dịch vụ không máy chủ của AWS là bạn không cần quản lý và bảo trì máy chủ. AWS Batch có thể chạy các công việc với mã tùy chỉnh của bạn để chuyển đổi tệp dữ liệu và xử lý chuyển đi. Để lưu trữ dữ liệu ứng dụng bao gồm dữ liệu về quyền và giao dịch, bạn có thể sử dụng dịch vụ cơ sở dữ liệu quan hệ được quản lý như Amazon Aurora. Dựa trên nhu cầu ứng dụng của bạn, bạn cũng có thể sử dụng dịch vụ cơ sở dữ liệu NoSQL như Amazon DynamoDB.
Quy trình truyền tệp được quản lý
Managed File Transfer Process Flow
Kiến trúc này sử dụng dịch vụ Amazon Aurora để lưu trữ dữ liệu ứng dụng và Amazon Cognito để quản lý danh tính nơi lưu trữ thông tin đăng nhập của người dùng. Giải pháp này cung cấp một quy trình chuyển đến và chuyển đi. Trong luồng chuyển đến, khách hàng có thể tương tác với SFTP endpoint để tải xuống hoặc tải lên các tệp dữ liệu. Trong luồng chuyển đi, hệ thống sẽ gửi tệp dữ liệu đến vị trí SFTP của khách hàng dựa trên quyền lợi của họ.
Luồng chuyển đến:
Khi bạn yêu cầu URL miền SFTP, yêu cầu sẽ chuyển đến Amazon Route 53 để phân giải DNS. Route 53 phân giải tên miền và cung cấp URL của điểm cuối AWS Transfer Family.
Yêu cầu của người dùng được gửi đến điểm cuối AWS Transfer Family cùng với thông tin đăng nhập của người dùng (tên người dùng và mật khẩu).
AWS Transfer Family gọi một API xác thực tùy chỉnh được lưu trữ trong API Gateway, API này sẽ xem xét và xác thực thông tin đăng nhập của người dùng.
Tích hợp API Gateway và Lambda gọi hàm AuthLogic Lambda xác thực thông tin đăng nhập của người dùng bằng cách gọi API Amazon Cognito. Hàm AuthLogic Lambda triển khai logic xác thực tùy chỉnh và các quy tắc nghiệp vụ phức tạp xung quanh các quyền.
Khi người dùng được xác thực, hàm AuthLogic Lambda sẽ truy vấn cơ sở dữ liệu Aurora để nhận các quyền của người dùng.
Dựa trên quyền lợi của người dùng, chính sách Quản lý quyền truy cập và nhận dạng AWS (IAM) động và ánh xạ thư mục logic sẽ được trả về AWS Transfer Family.
AWS Transfer Family sử dụng tính năng ánh xạ thư mục logic để cung cấp cho người dùng quyền truy cập vào các thư mục logic ánh xạ tới dữ liệu được lưu trữ trong nhóm S3. S3 áp dụng chính sách IAM được cung cấp, chính sách này xác thực và phê duyệt quyền truy cập của người dùng vào dữ liệu.
Luồng chuyển tiền đi:
Thành phần này có thể là một tùy chọn dựa trên nhu cầu ứng dụng của bạn. Bạn có thể có các ứng dụng phân tích hoặc Trí tuệ nhân tạo / Học máy (AI / ML) sử dụng dữ liệu được lưu trữ trong Amazon S3.
Khi khách hàng tải tệp lên S3 thông qua điểm cuối SFTP, thông báo sự kiện S3 sẽ được tạo để gọi hàm Lambda bằng cách sử dụng Lambda với S3.
Hàm Lambda khởi tạo mã để lấy dữ liệu đăng ký từ cơ sở dữ liệu Aurora cho nhóm tệp đã cho. Sau đó, nó tạo ra một công việc chuyển đổi cho các trường hợp sử dụng kinh doanh khi yêu cầu chuyển đổi dữ liệu. Một ví dụ về chuyển đổi sẽ là chuyển đổi dữ liệu từ định dạng JSON sang CSV hoặc chuyển đổi dữ liệu chăm sóc sức khỏe để tuân thủ Tiêu chuẩn HL7. Vì các công việc gửi chuyển đổi dữ liệu có thể kéo dài nên chúng có thể được chạy trên AWS Batch.
Khi quá trình chuyển đổi dữ liệu hoàn tất, công việc chuyển đổi sẽ tạo ra một lệnh gửi cho tệp đã chuyển đổi.
Lệnh gửi sẽ gửi tệp đến vị trí SFTP của khách hàng đã đăng ký.
Đối với các trường hợp sử dụng kinh doanh không yêu cầu chuyển đổi dữ liệu, chỉ lệnh gửi được tạo.
Kết luận
Bài viết này đã chỉ ra cách bạn có thể sử dụng AWS Transfer Family, Amazon S3 và các dịch vụ AWS khác để tạo ứng dụng truyền tệp được quản lý cho doanh nghiệp của mình. Sử dụng Dịch vụ được quản lý của AWS cho ứng dụng truyền tệp được quản lý của bạn, bạn có thể tận dụng toàn bộ lợi ích của AWS và đạt được sự nhanh chóng, tính co dãn và tiết kiệm chi phí.
Liên hệ với Osam để được tư vấn chính xác và phù hợp nhất về giải pháp truyền tệp được quản lý. Chúng tôi rất hân hạnh tư vấn và cung cấp mọi giải pháp điện toán đám mây Amazon Web Services (AWS).
