Compétent sur tous les sujets?
Les réponses fournies par ChatGPT aux questions que nous luis avons posées sont résumées (en allemand) avec nos commentaires dans le document téléchargeable ci-dessous. En fin de compte, nous devons admettre que les réponses fournies par l’agent conversationnel sont plaisantes, mais elles manquent de profondeur!
Avec ses formules bien tournées et son ton parfois docte, ChatGPT donne toutes les apparences de la compétence et peut donc donner un faux sentiment de sécurité. Lors d’une recherche conventionnelle sur un moteur de recherche, l’utilisateur reçoit une liste de réponses qu’il peut sélectionner en fonction de sa situation. ChatGPT, en revanche, essaie de sélectionner la réponse la plus pertinente à partir des informations disponibles, et la présente comme la seule et unique réponse possible. Hélas, le chatbot n’intègre pas une clause relative à la fiabilité ou à la pertinence des informations fournies. Mais il recommande tout de même dans chaque réponse de consulter les autorités douanières locales ou de solliciter l’avis d’un spécialiste.
Situations spéciales ou inédites et questions incomplètes
Si votre situation est très spéciale, ou si vous formulez votre question de manière inappropriée, vous recevrez une réponse erronée. Il arrive que Chat GPT s’appuie sur des données incomplètes ou douteuses, voire fausses. Dans ce cas-là aussi, vous recevez une réponse incorrecte, et vous ne pourrez pas vérifier le sérieux de sources (sauf si vous posez la question au chatbot dans un second temps).
Dans notre exemple de livraison par bateau, nous lui avons demandé si la marchandise devait être déclarée à l’importation en Egypte. Dans sa réponse, ChatGPT n’a absolument pas évoqué l’obligation d’obtenir un numéro ACI, à défaut duquel le fret ne peut pas être importé en Egypte. Dans un autre exemple ayant trait aux obligations de TVA d’une société suisse effectuant une livraison directe d’Allemagne en Autriche, la réponse fournie par le chatbot était aussi incomplète puisqu’elle n’indiquait pas quelle mention faire figurer sur la facture.
Plus la question est précise, meilleure est la réponse. Si une situation est décrite de façon très sommaire (comme sur un moteur de recherche), on constate que ChatGPT a visiblement beaucoup de mal à saisir la question et à fournir une réponse. Dans notre première question (voir document ci-dessous), nous avons saisi «export du code SH 8506.90 de Suisse vers la Russie ». Le chatbot a expliqué la situation, mais la question implicite – quelle sont les formalités à accomplir – est restée sans réponse.
Données pas toujours d’actualité, réponses lacunaires
Il faut bien comprendre que l’entraînement auquel a été soumis ChatGPT est fondé sur des données qui remontent à septembre 2021. En d’autres termes, tout ce qui est postérieur à septembre 2021 ne peut apparaître dans les réponses. Ainsi ChatGPT ne «sait» rien à propos des sanctions prises par la Suisse en lien avec les produits destinés à la Russie (Ordonnance du 4 mars 2022 instituant des mesures en lien avec la situation en Ukraine). C’est particulièrement fâcheux dans le contexte de l’exportation où il est indispensable d’être au fait de l’actualité. L’avenir nous dira si l’agent conversationnel est capable d’intégrer des informations actualisées dans ses réponses.
Pour l’heure, nous vous recommandons de garder un œil critique sur les réponses fournies par ChatGPT, qui restent très générales, et, comme le suggère le chatbot, de solliciter l’avis d’experts en cas d’incertitude.
