Evaluation of ChatGPT Responses to Questions Listed in Online Appendix A
Evaluator Scores Per Question | |||||
---|---|---|---|---|---|
Prompts | |||||
A1 | A2 | A3 | A4 | A5 | |
Q1 | |||||
E1 | ++ | ++ | ++ | ++ | ++ |
E2 | ++ | ++ | + | ++ | ++ |
E3 | + | ++ | − | + | ++ |
Q2 | |||||
E1 | ++ | + | + | + | + |
E2 | + | + | + | + | + |
E3 | + | + | + | ++ | ++ |
Q3 | |||||
E1 | ++ | ++ | ++ | ++ | ++ |
E2 | ++ | ++ | ++ | ++ | ++ |
E3 | + | + | + | + | + |
Q4 | |||||
E1 | ++ | ++ | ++ | ++ | ++ |
E2 | ++ | ++ | ++ | ++ | ++ |
E3 | ++ | ++ | ++ | ++ | ++ |
Q5 | |||||
E1 | ++ | ++ | ++ | ++ | ++ |
E2 | ++ | ++ | ++ | ++ | ++ |
E3 | − | + | − | − | ++ |
Q6 | |||||
E1 | ++ | ++ | ++ | ++ | ++ |
E2 | ++ | ++ | ++ | ++ | ++ |
E3 | ++ | + | + | + | ++ |
Q7 | |||||
E1 | ++ | ++ | ++ | ++ | ++ |
E2 | ++ | ++ | ++ | ++ | ++ |
E3 | ++ | ++ | ++ | ++ | ++ |
Q8 | |||||
E1 | ++ | ++ | ++ | ++ | ++ |
E2 | ++ | ++ | ++ | ++ | ++ |
E3 | ++ | ++ | ++ | ++ | ++ |
Q9 | |||||
E1 | ++ | ++ | ++ | ++ | ++ |
E2 | ++ | ++ | ++ | ++ | ++ |
E3 | ++ | − | ++ | ++ | ++ |
Q10 | |||||
E1 | ++ | ++ | ++ | ++ | ++ |
E2 | ++ | ++ | ++ | ++ | ++ |
E3 | ++ | ++ | ++ | ++ | ++ |
Q11 | |||||
E1 | ++ | ++ | ++ | ++ | ++ |
E2 | ++ | ++ | ++ | ++ | ++ |
E3 | ++ | ++ | ++ | ++ | ++ |
Q12 | |||||
E1 | ++ | ++ | ++ | ++ | ++ |
E2 | ++ | ++ | ++ | ++ | ++ |
E3 | ++ | ++ | ++ | ++ | ++ |
Q13 | |||||
E1 | ++ | ++ | ++ | ++ | ++ |
E2 | ++ | ++ | ++ | ++ | ++ |
E3 | + | ++ | − | − | − |
Q14 | |||||
E1 | − | ++ | ++ | − | ++ |
E2 | ++ | ++ | ++ | ++ | ++ |
E3 | + | + | + | + | ++ |
Q15 | |||||
E1 | ++ | ++ | ++ | ++ | ++ |
E2 | ++ | ++ | ++ | ++ | ++ |
E3 | − | ++ | − | + | − |