Hoe verklein je de responstijd van de AI-service?

Het verzoek dat naar de API van de AI-service wordt gestuurd, bevat de te vertalen teksten. Hoe langer het verzoek, hoe meer tijd de API nodig heeft om het te verwerken.

Een bericht met 1000 teksten vertalen kan ChatGPT bijvoorbeeld meer dan 1 minuut kosten.

Om de responstijd van de AI-service te verkorten, kun je:

• Een sneller model van dezelfde AI-service gebruiken (bijv.: ChatGPT 5 mini in plaats van ChatGPT 5)
• De grootte van de payload die naar de API wordt gestuurd verkleinen in de plugininstellingen

Bij het verkleinen van de payload wordt het verzoek opgesplitst in meerdere verzoeken, die elk sneller worden verwerkt. Omdat ze parallel worden verwerkt, wordt de totale responstijd verkort.

Ga naar Settings > Service Configuration > [AI service] en verlaag de optie Max request payload length.

Probeer verschillende waarden totdat je de waarde vindt die de beste responstijd geeft. Als de waarde bijvoorbeeld op 8000 staat, stel hem dan in op 4000 en probeer het opnieuw.