下記のテスト作成ガイドラインが参考になったので、引用する。

テスト研究：ガイドライン - 石井研究室：名古屋大学 教育発達科学研究科 心理発達科学専攻

問題の内容

• 問いたいことは何か，問題を解くために必要な能力は何かが明確であること
• 重要な事柄を問うこと。些末なことや一般的過ぎる問いにならないこと
• 正解が問題作成者の価値観に左右されるような問いにならないこと
• 特定の個人や集団に有利または不利な内容にならないこと
• ひっかけ問題にならないこと
• 高次の能力を測る問題では，受検者にとって新奇な素材を用いること

問題の形式

• 測りたい能力に見合った問題形式を用いること
• 前の問題に対する解答が，後の問題の正誤に影響しないこと
• 「あてはまるものをすべて選べ」という設問は避けること。使う場合は部分点を与えること
• 読解力や思考力を測る記述式問題では字数制限を設けないこと

問題の記述

• 言語レベルを受検者集団に合わせること
• 教示文・本文・設問・選択枝・図表等の記述量を必要最小限にすること
• 教示文・本文・設問・選択枝・図表等の文言をよく校正すること。他の人にも確認してもらうのが望ましい
• 教示文・本文・設問・選択枝・図表・解答欄等のレイアウトや大きさを適切にすること
• とくに低学年の児童に対して，選択枝は行を変えて1つずつ並べること
• 空所補充問題について，文意が分からなくなるほどの空所を設けないこと

設問部分

• 問いたいことは何か，どのような形式で解答したらよいかを明確・簡潔に書くこと
• 本文や選択枝など他の部分を読まなくても，設問部分だけで何を問われているかが分かること
• 否定表現を使わないこと。もし使う場合は，太字やアンダーラインで強調すること
• 一部の受検者にしか分からないような暗黙の前提を用いないこと

選択枝

• いずれの選択枝ももっともらしいこと
• 高得点者と低得点者をよく区別できるような，識別力の高い選択枝を用いること
• 正答枝と誤答枝が明確に区別できること
• 不必要に選択枝を増やさないこと
• 明らかな誤答枝やお遊びの選択枝など，余計な選択枝を入れないこと
• 五十音順，数量の大きさ順など，何らかの法則に従って選択枝を並べること
• 正答枝の位置をランダムにばらつかせること
• 「上記のいずれでもない」「上記すべてあてはまる」などの選択枝を用いないこと
• 「～でない」「～以外である」など否定表現を用いないこと
• 「絶対に」「常に」「決して」「完全に」など，強意語を用いないこと
• 選択枝は互いに独立であること。内容に重なりがないこと
• 一方が正答枝であれば他方は誤答枝であると分かるような，両立しない選択枝を入れないこと
• 選択枝の長さをおおむね揃えること
• 選択枝の内容や形式などの構造を揃えること

記述式問題の採点に関して

• 問題作成と同時に，評価の観点，採点基準を設定すること
• 評価の対象とする要素，しない要素を明確にすること （誤表記は減点する，乱筆は減点しない，など）
• 正答となるものについて，基本的な基準を設定し，あまり細かな条件設定はしないこと
• 本格的に採点を始める前に，いくつかの解答を採点して，採点基準を精錬すること
• 最初のほうで採点した解答を後で採点し直すなどして，評定の一貫性を保つこと

確かにこのガイドラインに沿っていない問題を見ると、悪問だなぁと感じることが多い。

具体例はリンク先に書いてあるので、見てほしい。