키스트로크 로깅 윤리

키스트로크 로깅은 어노테이터가 글을 쓰는 방식을 기록합니다. 이는 식별 가능한 사람에 대한 행동 데이터이며, 기술 문서가 다루지 않는 책임이 따라옵니다.

이 페이지는 이 기능을 배포하는 연구자를 위해 쓰였습니다. 법률 자문이 아니며, 소속 기관의 심의를 대신하지 않습니다.

기능을 켜기 전까지는 여기 적힌 어느 것도 해당되지 않습니다. keystroke_logging.enabled의 기본값은 false이고, 업그레이드가 그 값을 바꾸지도 않습니다.

실제로 수집하는 것

Potato의 스트림은 내용을 남기지 않습니다. 어떤 문자가 언제, 필드의 어느 위치에, 어떤 부류의 키로 삽입되었는지는 기록하지만 그 문자가 무엇인지는 기록하지 않습니다. 스트림으로 텍스트를 복원할 수는 없습니다.

이는 의미 있는 프라이버시 보호이지만, 데이터가 개인을 식별할 수 없다는 뜻과는 다릅니다.

타이밍 패턴은 생체 정보입니다

키 간격 분포, 키를 누르고 있는 시간, 두 글자 사이의 지연으로 이루어지는 키스트로크 동역학은 잘 확립된 행동 생체 정보입니다. 이를 이용해 개인을 식별하거나 여러 맥락의 계정을 연결할 수 있습니다. Potato는 그런 일을 하지 않고 그런 도구도 제공하지 않지만, 바탕이 되는 데이터는 그것을 뒷받침합니다.

키스트로크 스트림은 다른 행동 생체 정보와 같은 방식으로, 즉 식별 가능한 데이터이자 보관 기한이 필요하고 동의를 요하는 데이터로 다루세요.

저작 여부를 넘어 무엇이 추론될 수 있는가

타이밍 데이터는 연구에서 타이핑 숙련도, 언어 숙달도와 제2언어 사용 여부, 인지 부하와 피로를 추론하는 데 쓰였고, 일부 문헌에서는 운동 및 신경학적 상태를 추론하는 데에도 쓰였습니다. Potato는 이 중 어느 것도 계산하지 않지만, 여러분이 보관하는 데이터는 그런 분석을 뒷받침할 수 있습니다. 그리고 참가자들이 「어노테이션 작업」에 동의할 때 그런 것을 예상했을 가능성은 낮습니다.

무엇을 수집하는지 밝히세요. 「사용 데이터를 수집합니다」 같은 일반적인 조항으로 이를 덮으려 하지 마세요.

고지

disclose_to_annotators의 기본값은 true입니다. 이를 끄면 시작 시 경고가 기록됩니다.

keystroke_logging:
  disclose_to_annotators: false   # logs a warning; make sure your IRB covers this

고지 없는 수집에도 정당한 이유가 있을 수 있습니다. 무엇을 측정하는지 참가자에게 알리는 순간 설계가 무효가 되는 연구도 있기 때문입니다. 다만 그것은 설정상의 편의가 아니라 윤리위원회가 판단할 문제입니다. 고지를 끈다면, 그것을 허용하는 승인을 제시할 수 있어야 합니다.

동의 문구 예시

각자의 연구 계획에 맞게 고쳐 쓰세요. 읽지 않고 그대로 붙여 넣을 상용구가 아니라 출발점입니다.

무엇을 쓰는지와 함께, 어떻게 쓰는지도 기록됩니다.

응답을 입력하시는 동안 이 연구는 입력의 타이밍을 기록합니다. 언제 시작하고 멈추는지, 얼마나 오래 멈추는지, 언제 되돌아가 고치는지, 언제 다른 곳에서 텍스트를 붙여넣는지가 여기에 포함됩니다. 기록되는 것은 입력의 타이밍과 구조이며, 누르신 개별 키가 아닙니다. 이 기록으로는 제출하신 답변 외에 입력하신 어떤 것도 복원할 수 없습니다.

이 자료는 사람들이 과제를 어떻게 풀어 가는지 이해하고 수집된 데이터의 품질을 확인하는 데 사용됩니다.

[해당하는 경우:] 이 측정값은 직접 작성하지 않고 다른 곳에서 복사하거나 생성한 응답을 식별하는 데 사용될 수 있습니다.

[해당하는 경우:] 이 기록은 익명화된 연구 데이터셋의 일부로 공개될 수 있습니다.

[ ]로 연락하시면 언제든지 데이터 삭제를 요청하실 수 있습니다.

대괄호 안의 조항이 중요합니다. 플래그를 지급이나 배제 결정에 사용할 생각이라면, 플래그를 붙인 뒤가 아니라 사람들이 작업을 시작하기 전에 그 사실을 밝히세요.

플래그를 공정하게 사용하기

작성 과정 탐지는 근거가 붙은 플래그를 만들어 냅니다. 그것을 어떻게 쓸지는 여러분의 책임입니다.

권장하는 것:

• 플래그를 결론이 아니라 들여다보라는 신호로 다루세요.
• 판정 레이블만 보지 말고 세션별 근거를 읽으세요.
• 조치하기 전에 어노테이터에게 설명할 기회를 주세요.
• 알려진 오탐을 감안하세요. 모바일 키보드, IME 사용자, 받아쓰기, 보조 기술, 빠른 타자수가 여기에 해당합니다.
• 판단 기준을 연구 계획서에 미리 문서로 남기세요.

권장하지 않는 것:

• 플래그를 자동 반려, 대금 지급 보류, 차단에 연결하는 것.
• 보정된 꼬리를 부정행위로 취급하는 것. 백분위수 임계값은 전적으로 성실한 집단을 포함해 어떤 집단에서든 정해진 비율만큼을 표시합니다.
• 개인을 식별할 수 있는 방식으로 어노테이터별 위험 점수를 공개하는 것.
• 응답의 저작 여부를 넘어 그 사람에 대한 주장을 하는 데 플래그를 쓰는 것. 이 데이터는 그 사람의 능력, 노력, 인격에 대한 추론을 뒷받침하지 않습니다.

기저율 문제

응답의 5%가 챗봇에서 붙여넣은 것이고 규칙이 세션의 5%를 표시한다면, 규칙이 둘을 얼마나 잘 갈라내느냐에 따라 표시된 것 중 대부분은 여전히 성실한 작업일 수 있습니다. 실제 부정행위가 드문 플랫폼에서는 오탐률이 작은 규칙이라도 진짜로 잡아내는 건수보다 잘못된 의심을 더 많이 만들어 냅니다. 플래그 위에 정책을 세우기 전에 기저율을 추정하세요.

참가자 권리

삭제

참가자 한 명의 스트림과 요약을 지우려면 다음과 같이 하세요.

from potato import typing_store
typing_store.delete_for_user(task_dir, project, user_id)

이는 typing_sessions를 비웁니다. 완전한 삭제 요청에 응하려면 <output_annotation_dir>/<user>/user_state.json의 typing_summaries 아래에 미러링된 요약을 따로 제거해야 합니다.

최소 수집

질문에 답하는 데 필요한 최소한만 수집하세요.

keystroke_logging:
  fidelity: summary               # features only, no raw streams retained
  include_schemas: [rationale]    # instrument one field, not every box
  classify_paste_source: false    # skip clipboard comparison entirely

보관

Potato는 데이터를 자동으로 만료시키지 않습니다. 연구 계획에 보관 기간을 명시했다면, 그 기간이 지나면 직접 스트림을 삭제하세요. 분석 기간이 끝난 뒤 fidelity: summary로 바꾸는 것도 합리적인 절충안으로, 집계 특징은 남기면서 생체 정보에 해당하는 세부는 버립니다.

공유와 공개

키스트로크 데이터를 데이터셋의 일부로 공개한다면 다음을 따르세요.

• 사용자 id를 플랫폼 id로 되돌아가지 않는 연구 전용 가명으로 바꾸세요. Prolific과 MTurk의 작업자 id는 가명이 아니라 식별자입니다.
• 세션 단위 타이밍이 정말 필요한지, 요약 특징으로 충분한지 따져 보세요. 요약은 스트림보다 재식별 위험이 훨씬 낮습니다.
• 동의가 수집뿐 아니라 재배포까지 포함했는지 확인하세요.
• 붙여넣기 해시는 세션마다 솔트가 붙어 있어 되돌릴 수 없지만, 같은 텍스트가 두 번 붙여넣어졌다는 사실은 드러냅니다. 그 연결이 공개 배포에서 허용될 수 있는지 판단하세요.

Potato의 내보내기가 옵트인인 이유가 바로 이것입니다. export_include_typing_dynamics와 keystrokes 내보내기는 둘 다 기본으로 꺼져 있어, 행동 데이터가 실수로 데이터셋 배포에 포함되는 일은 없습니다.

관할권별 참고 사항

법률 자문이 아닙니다. 대체로 관련이 있는 지점을 짚어 둡니다.

GDPR과 UK GDPR. 개인을 식별할 수 있는 타이밍 패턴은 개인정보입니다. 이를 통해 개인을 특정한다면, 특히 플래그가 지급에 영향을 준다면 제22조(자동화된 의사결정) 적용 여부를 검토하세요. 동의는 구체적이고 충분히 설명된 것이어야 하며, 일반 약관 동의만으로는 충분하지 않을 가능성이 높습니다.

미국의 기관 심의. 이는 일반적으로 인간 대상 연구에 해당합니다. 일부 IRB는 키스트로크 동역학을 생체 식별자로 보며, 그에 따라 심의 구분이 달라질 수 있습니다.

크라우드소싱 플랫폼. Prolific, MTurk를 비롯한 플랫폼에는 참가자 모니터링과 작업 반려에 관한 자체 규정이 있습니다. 플래그를 근거로 누군가를 반려하기 전에 플랫폼 정책을 확인하세요. 여러 플랫폼은 반려 사유를 작업자에게 설명할 수 있을 것을 요구합니다.

더 읽어보기

• 키스트로크 로깅 - 무엇이 어떻게 수집되는가
• 작성 과정 탐지 - 규칙과 그 오탐
• Prolific과 MTurk에서의 크라우드소싱 - 유료 어노테이터와 함께 일하기
• 품질 관리 - 주의 확인과 골드 스탠다드

구현 세부 사항은 원본 문서를 참고하세요.