[AWS懶人包] Simple Queue service(SQS)

Simple Queue service(SQS)

在設計系統時, 若不希望元件之間相依程度過高的話, 通常會在元件之間加一層message queue來解偶

在雲上, AWS提供的Simple Queue Service 簡稱SQS, 讓我們可以把雲上各個相依的服務元件解偶, 進而提升整體系統的延展性

Key Feature

Pull Based
不會自動推撥訊息, consumer 需要不斷地去詢問有沒有可執行的任務在佇列中
(2018年六月之後的SQS可以透過事件來驅動Lambda)

訊息大小
目前支援最大256kb

訊息的保存期限
最短1分鐘到最長14天, 訊息一旦過保就會被刪除

訊息的存取時間
預設每則訊息可以被獨佔30秒, 因為當訊息被截取之後, 會變成隱蔽狀態, 可是一旦超過這個存取時間之後, 狀態會恢復, 重新開放給任何其他的consumer去獨佔, 當然我們也可以延長獨佔的時間到最長12小時

存取的範例程式碼

    var params = {
      AttributeNames: ["SentTimestamp"],
      MaxNumberOfMessages: 1,
      MessageAttributeNames: ["All"],
      QueueUrl: queueURL,
      VisibilityTimeout: 2, //訊息的存取時間
      WaitTimeSeconds: 0 //等待回復的時間, 設為0表示Short polling
    };

    sqs.receiveMessage(params, (err,data)=>{
        if(err){
            console.log(err);
        }else
        {
            console.log("Received Data:",data);
        }
    })

任務完成後必須要手動清掉佇列中的訊息, 否則當存取時間超過之後, 訊息會重新開放給其他的consumer, 而產生重複存取的情況

刪除訊息的範例程式碼

    sqs.deleteMessage(deleteParams, function(err, data) {
      if (err) {
        console.log("Delete Error", err);
      } else {
        console.log("Message Deleted", data);
      }
    });

Queue Type

Standard Queue
為預設的選項, 每秒允許幾乎無限制個transaction, 並且保證訊息至少被交付一次, 但不保證順序

FIFO
保證會依照先進先出的順序交付, 但限制於每秒只能有300個transaction

Message Type

JSON
XML
Unformated text

Poll

Short polling
詢問之後會馬上取得結果, 即使queue裡沒東西也會告訴你沒東西, 需要不斷的詢問才能保證取得最新的狀態, 這種方式就像是好像有人一直問你有沒有工作可以做, 有沒有工作可以做, 有沒有工作可以做, ...

Long polling 
詢問之後除非timeout或是queue裡面有訊息, 否則不會立即取得response, 所以相較於前者, 這種方式會比較省錢

我們可以在創建佇列時設定Receive Message Wait Time 來決定使用哪種詢問方式, Long Polling 還是 Shot Polling

若等待時間設定為0就是Shot Polling

當然也可以在詢問的請求內指定等待時間(Receive Message Wait Time)

    var params = {
      AttributeNames: ["SentTimestamp"],
      MaxNumberOfMessages: 1,
      MessageAttributeNames: ["All"],
      QueueUrl: queueURL,
      VisibilityTimeout: 2, //訊息的存取時間
      WaitTimeSeconds: 0 //設為0表示Short Polling
    };

程式中, 當詢問的請求沒有特別指定WaitTimeSeconds時, 則預設會以佇列建立時給定的Receive Message Wait Time當作依據

程式碼

各位有興趣的話可以在Lambda上建一個function然後跑跑看下面的程式碼



https://aws.amazon.com/tw/sqs/faqs/
https://www.whizlabs.com/blog/aws-sqs/
https://aws.amazon.com/tw/blogs/aws/aws-lambda-adds-amazon-simple-queue-service-to-supported-event-sources/