설문 조사 연구 도구 비교

LimeSurvey는 Qualtrics 설문을 대체하는 무료 오픈 소스이며 할당량(quota)과 SPSS, R, Stata 내보내기를 갖추고 있습니다. REDCap은 임상 연구 데이터베이스에, KoboToolbox는 오프라인 현장 인터뷰에, SurveyJS는 자체 애플리케이션 안의 양식에, oTree는 상호작용형 경제 실험에 적합합니다. Potato는 설문 실험을 위한 Qualtrics의 무료 자체 호스팅 대안입니다. Potato는 Qualtrics, LimeSurvey, REDCap 설문을 가져오고 균형 잡힌 무작위 배정, 요인 비네트, 리스트 실험, Prolific 또는 SONA 모집을 더합니다.

설문 실험은 무작위 배정으로 각 응답자에게 설문의 한 버전을 주고 버전 간 응답을 비교합니다. 비네트는 조건마다 세부 사항이 바뀌는 짧은 시나리오이며, 요인 비네트 설계는 그런 세부 사항 여러 개를 교차시킵니다. 컨조인트 분석은 속성 수준으로 구성된 프로필 중에서 응답자가 고르게 하고 각 속성이 선택을 얼마나 바꾸는지 추정합니다. 리스트 실험과 무작위 응답은 응답자가 자신의 답을 드러내지 않고 민감한 질문에 답하게 합니다. 데이터 거주지는 응답이 저장되는 국가와 서버입니다.

많은 연구자가 대학이 Qualtrics를 제한할 때 이 비교를 시작합니다. 라드바우드 대학교 사회과학대학은 처음에는 비용 때문에, 이후에는 대학 개인정보 보호 책임자의 조언에 따라 학부의 Qualtrics 라이선스를 갱신하지 않기로 했습니다. 학부는 연구자에게 2026년 12월 1일까지 LimeSurvey로 옮기고 같은 날까지 Qualtrics 데이터와 자료를 삭제하라고 요청합니다. Potato의 설문 조사 연구는 Potato의 설문 기능을 한곳에서 다루고, 행동 실험 도구 비교는 반응 시간 과제용 소프트웨어를 다룹니다.

비교해 볼 만한 설문 도구는?

비용은 2026년 10월 기준 각 공급업체의 요금 페이지에서 가져왔으며, REDCap(2009), oTree(2016), Potato 2.0(2026)을 설명하는 논문은 참고 문헌에 있습니다.

어떤 설문에 어떤 도구를

표는 각 종류의 연구를 그 연구를 위해 만들어진 도구와 짝지어 줍니다.

Qualtrics는 하나의 호스팅 제품이 설문뿐 아니라 무작위화와 할당량도 다루므로 많은 행에 나옵니다. Potato는 연구가 응답자가 보는 것을 달리하거나, 민감한 질문을 하거나, 응답자에게 평가하거나 레이블을 달 항목을 보여 주는 곳에 나옵니다.

호스팅, 데이터 거주지, 비용

Qualtrics는 모든 설문을 자체 서버에서 호스팅합니다. LimeSurvey의 Community Edition은 응답을 자신의 서버나 제공업체의 서버에 저장하고, LimeSurvey Cloud는 독일, 핀란드, 영국, 미국, 캐나다, 호주에 계정을 호스팅합니다. LimeSurvey는 EU 고객에게 독일이나 핀란드를 권장합니다. REDCap은 소속 기관의 서버에서 실행됩니다. 회원 기관은 Vanderbilt University와 최종 사용자 라이선스 계약을 맺고 자체 IT 부서를 통해 REDCap을 지원합니다. KoboToolbox는 계정을 Global 서버 또는 아일랜드의 유럽 연합 서버에 호스팅합니다.

SurveyJS는 응답을 직접 구축하는 백엔드로 보내며, 요금 페이지는 모든 데이터가 자체 서버에 남는다고 밝힙니다. oTree의 문서는 oTree Hub를 통한 Heroku 배포와 직접 관리하는 Ubuntu 또는 Windows 서버 배포를 설명합니다. Potato는 자신의 컴퓨터나 소속 기관의 서버에서 실행되며 각 참가자의 응답을 연구의 출력 디렉터리에 있는 user_state.json에 씁니다. Potato는 Prolific의 API나 호스팅 AI 엔드포인트처럼 구성에 외부 서비스가 명시된 경우에만 외부 서비스에 접속합니다.

Qualtrics의 무료 대안

LimeSurvey의 Community Edition, 컨소시엄 회원을 위한 REDCap, SurveyJS Form Library, oTree, Potato는 라이선스 비용이 없습니다. 다섯 가지 중 어느 것이든 운영하려면 서버와 서버를 유지할 인력 비용을 부담해야 합니다. Qualtrics, LimeSurvey Cloud, KoboToolbox의 유료 요금제는 대신 호스팅에 요금을 부과합니다. 각 무료 도구는 Qualtrics 계정이 하는 일의 일부를 다룹니다.

• LimeSurvey Community Edition은 할당량, 한 설문 안의 여러 언어, SPSS, R, Stata 내보내기를 갖춰 일반 설문에 가장 가깝습니다. 무작위 배정에는 등식 질문의 rand()가 쓰이며, LimeSurvey 문서에서 컨조인트 모듈은 찾지 못했습니다.
• REDCap은 REDCap 컨소시엄의 비영리 회원에게만 무료입니다. REDCap은 임상 및 종단 연구에 적합하며 업로드한 배정 표를 기반으로 무작위화합니다.
• SurveyJS Form Library는 MIT 라이선스로 무료이며 Survey Creator는 개발자당 $589부터입니다. 응답은 직접 구축한 백엔드로 갑니다.
• KoboToolbox에는 사용량 제한이 있는 무료 Community 요금제가 있고 오프라인으로 인터뷰를 수집합니다. KoboToolbox 문서에서 조건에 대한 무작위 배정은 찾지 못했습니다.
• oTree는 무료이며 그룹과 보수가 있는 상호작용형 실험을 실행하고, 모든 배정 규칙은 직접 쓰는 Python 코드입니다.
• Potato는 Qualtrics .qsf를 가져오고 균형 배정, 비네트, 컨조인트, 리스트 실험을 실행합니다. Potato에는 할당량도, 다국어 설문도, SPSS 파일도 없습니다.

도구별 설문 실험, 모집, 내보내기

두 번째 표는 질문을 둘러싼 연구의 구성 요소를 비교합니다. SurveyJS는 모든 행이 라이브러리 주위에 구축하는 애플리케이션에 달려 있으므로 뺐습니다.

대시는 2026-10-28에 확인한 해당 도구의 자체 문서에서 그 행에 해당하는 내용을 찾지 못했다는 뜻입니다. Prolific은 연구 링크가 Prolific ID를 기록하고 끝날 때 참가자를 돌려보내면 대부분의 설문 소프트웨어가 Prolific과 동작한다고 밝힙니다. 따라서 Prolific 행의 대시는 공개된 가이드가 없다는 뜻입니다. 리스트 실험은 무작위 배정과 표시 논리가 있는 어떤 도구로도 만들 수 있으며 추정치는 나중에 계산합니다. 틀린 칸이 있으면 알려 주세요.

Potato의 민감한 질문 설계와 배정은 민감한 질문과 실험 흐름에서 다룹니다. survey_experiments 내보내기는 리스트 실험마다 평균 차이 추정치를, 무작위 응답 질문마다 유병률 추정치를 쓰며, 모든 추정치에 표준 오차와 95% 구간이 붙습니다. participants.csv는 각 참가자의 조건, 페이지 순서, 질문 순서, 선별 탈락 여부를 씁니다. 따라서 분석 파일에는 각 응답자가 무엇을 배정받고 무엇을 보았는지가 기록됩니다.

설문을 Potato로 옮기기

potato import는 설문의 질문, 페이지, 표시/숨김 논리를 Potato 설문 페이지와 규칙으로 바꿉니다. 이 명령은 일곱 가지 형식을 읽습니다.

• Qualtrics .qsf 파일
• LimeSurvey .lss 파일
• REDCap 데이터 사전
• SurveyJS JSON
• ODK, KoboToolbox, SurveyCTO, Ona에서 쓰는 XLSForm
• Beiwe 설문
• Network Canvas 프로토콜

potato import -i my-survey.qsf -o survey-project/

.qsf 파일에는 설문의 질문, 블록, 흐름, 논리가 들어 있으며, Qualtrics는 Survey → Tools → Import/Export → Export Survey에서 이 파일을 내보냅니다. 일곱 가지 형식 어느 것에도 응답은 들어 있지 않습니다. 계정이 닫히기 전에 응답 데이터를 따로 내보내세요. Qualtrics 할당량, 파이프된 텍스트, REDCap 계산 필드처럼 가져오기 도구가 변환하지 못한 모든 것은 IMPORT_REPORT.md에 나열됩니다. 설문 가져오기는 각 형식에서 무엇을 가져오는지 나열하고, Qualtrics에서 옮겨 오기는 Qualtrics의 블록, Randomizer, End of Survey 요소를 Potato 키에 대응시킵니다.

Potato에서 요인 비네트 실험하기

아래 구성은 Prolific에서 모집한 2×2 비네트 실험을 실행합니다. 각 응답자는 도착할 때 후원자와 재원의 조합 하나를 배정받으며, 항목 텍스트의 {condition.sponsor}와 {condition.funding}은 응답자의 수준으로 채워집니다. balance_on: completed는 끝마친 응답자와 마지막 활동 후 in_progress_minutes 이내에 아직 작업 중인 응답자를 세므로, 중도 이탈과 선별 탈락이 네 셀의 균형을 깨지 않습니다. 선별 검사는 미국 밖의 모든 사람에게 연구를 끝내고 선별 탈락 코드와 함께 응답자를 Prolific으로 돌려보냅니다. 비네트 뒤에는 공개된 측정 도구 두 개가 이어지며, 효능감 문항은 응답자마다 다른 순서로 나옵니다.

annotation_task_name: Local policy vignette experiment
task_dir: .
output_annotation_dir: annotation_output/
data_files:
  - data/vignettes.jsonl
item_properties:
  id_key: id
  text_key: text
 
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
conditions:
  factors:
    sponsor: ["The city council", "A neighborhood association"]
    funding: ["existing city funds", "a new property tax"]
  assignment: balanced
  balance_on: completed
 
phases:
  order: [consent, screener, annotation, efficacy, demographics]
  consent:
    type: consent
    file: surveys/consent.json
  screener:
    type: prestudy
    file: surveys/screener.json
    exit_when:
      show_when:
        - {schema: us_resident, operator: equals, value: "No"}
      message: This study is for people who live in the United States. Thank you for your time.
  efficacy:
    type: poststudy
    instrument: political-efficacy
    randomize_questions: true
  demographics:
    type: poststudy
    instrument: anes-demographics
 
crowdsourcing:
  provider: prolific
  prolific:
    completion:
      code: C1VIGNETTE
      screened_out_code: C1SCREENED
 
annotation_schemes:
  - annotation_type: likert
    name: support
    description: How strongly do you support or oppose this proposal?
    size: 7
    min_label: Strongly oppose
    max_label: Strongly support
    label_requirement:
      required: true
  - annotation_type: radio
    name: sponsor_check
    description: Who made this proposal?
    labels: ["The city council", "A neighborhood association", "I don't remember"]
    label_requirement:
      required: true
 
# Exports leave out survey answers unless export_include_phase_data is true
export_include_phase_data: true

data/vignettes.jsonl의 각 줄은 비네트 하나이며, 텍스트에 자리 표시자가 있습니다.

{"id": "v1", "text": "{condition.sponsor} proposes turning the parking lot on Mill Street into a public park, paid for by {condition.funding}."}

surveys/screener.json의 선별 페이지는 질문 하나를 합니다. required_label을 쓰면 서버는 응답자가 답을 고를 때까지 페이지에 머물게 하므로 선별 탈락 규칙이 검사할 답이 항상 있습니다.

[
  {"name": "us_resident", "annotation_type": "radio",
   "description": "Do you currently live in the United States?",
   "labels": ["Yes", "No"],
   "label_requirement": {"required_label": ["Yes", "No"]}}
]

consent.json도 같은 형식을 따르며, 동의 질문에 required_label: ["I agree"]가 있습니다. 각 비네트 뒤의 후원자 질문은 조작 점검입니다. python -m potato.export --config config.yaml --format csv --output results/를 실행하면 평가가 있는 annotations.csv, 각 응답자의 셀과 선별 탈락이 있는 participants.csv, 동의, 선별 검사, 측정 도구 응답이 있는 phase_responses.csv가 나옵니다.

개방형 응답 코딩

개방형 응답은 많은 설문 프로젝트가 정성 데이터 분석 소프트웨어를 끌어들이는 지점입니다. NVivo와 ATLAS.ti는 학생 요금이 있는 유료 라이선스로 판매됩니다. 아래 도구들은 설문 내보내기를 읽는 방식이 서로 다릅니다. 정성 데이터 분석 소프트웨어 비교는 같은 도구들을 코딩 소프트웨어로서 비교합니다.

• NVivo는 Qualtrics 설문을 직접 가져옵니다. 각 응답자가 케이스가 되고, 닫힌 질문은 케이스 속성이 되며, 각 개방형 질문의 응답은 하나의 코드로 묶입니다. CSV로 내보낸 설문은 대신 스프레드시트로 가져올 수 있으나 기능이 줄어듭니다.
• ATLAS.ti는 Excel, CSV, ODS 파일에서 설문을 가져옵니다. 각 개방형 질문이 코드가 되고, 각 응답은 질문, 응답자, 응답자의 닫힌 응답으로 코딩된 인용문이 됩니다.
• Usercall은 AI가 진행하는 인터뷰를 실행하고, 전사본과 가져온 개방형 응답을 뒷받침하는 발췌가 있는 테마로 바꿉니다. 요금제는 월 $89부터 시작합니다.
• Potato는 내보낸 응답을 데이터 파일의 항목으로 불러오고, 코드북에 따라 작업하는 여러 코더에게 항목을 나누며, 질문별 Krippendorff의 알파를 부트스트랩 구간과 함께 보고합니다. 내용 분석이 설정 과정을 안내합니다.

Potato가 설문 조사 연구에서 하지 않는 것

• 자체 패널이 없습니다. Potato는 Prolific, CloudResearch Connect, SONA, 그리고 URL로 ID를 넘기는 다른 패널을 통해 모집합니다. 확률 표본이나 전국 패널이 필요한 연구는 패널 제공업체에서 접근권을 구입합니다.
• 응답자 답변에 대한 할당량이 없습니다. max_per_cell은 각 조건이 받는 응답자 수에 상한을 두며, Potato에는 연령, 성별, 지역별 응답자 상한이 없습니다. Qualtrics와 LimeSurvey에는 할당량이 있습니다.
• 오프라인 설문 페이지가 없습니다. 동의, 선별, 설문 페이지는 서버 연결이 필요합니다. 포켓 모드는 어노테이터가 휴대폰에서 미리 가져온 항목에 오프라인으로 레이블을 달 수 있게 하지만 이 모드는 어노테이션 단계에만 적용됩니다. KoboToolbox와 REDCap 모바일 앱은 인터뷰 전체를 오프라인으로 수집합니다.
• 현장 데이터 유형이 없습니다. XLSForm의 GPS 지점, 사진, 음성 녹음, 바코드는 가져오기에서 보고되며 옮겨지지 않습니다.
• 자체 지급 기능이 없습니다. Potato는 가격 목록, BDM 입찰, 믿음 도출에서 보너스를 계산합니다. 보너스는 Prolific이 업로드한 일괄 보너스 파일이나 Potato의 관리자 경로에서 보낸 요청으로 지급합니다. 규칙은 인센티브 지급에서 다룹니다.
• 연구마다 한 언어입니다. ui_language는 Potato의 인터페이스를 영어 외에 번들된 열 개 언어 중 하나로 번역하며, 질문은 그 언어로 작성합니다. 세 언어로 제공하는 설문은 구성이 세 개입니다.
• 항목 없는 설문은 없습니다. 모든 Potato 연구에는 데이터 파일의 항목에 대한 어노테이션 단계가 있으며, 버전 2.13.1부터 potato validate는 그것이 없는 구성에 오류를 보고합니다. 단순한 설문은 Finish 같은 단일 레이블 radio 스킴이 있는 항목 하나를 쓰고, 어노테이션 단계를 마지막에 둡니다. pure_display 항목은 완료되지 않으므로 이 목적에는 맞지 않습니다.
• SPSS, SAS, Stata 파일이 없습니다. 내보내기는 CSV, TSV, JSONL, Parquet, Frictionless Data Package, Psych-DS입니다. SPSS, SAS, Stata, R은 모두 CSV 파일을 읽습니다.
• 일정은 첫 방문에 고정됩니다. 버전 2.13부터 schedule: 블록은 후속 웨이브, 경험 표집 프롬프트, 델파이 라운드를 실행하고, notifications: 블록은 이메일, SMS, Prolific 메시지로 알림을 보냅니다. 각 참가자의 일정은 첫 방문이 끝날 때 계산되며 이후에는 바뀌지 않습니다. REDCap은 반복 측정 도구와 이벤트를 일정에 넣습니다.

각 프로젝트의 자체 문서를 기준으로 2026년 10월에 확인했습니다.

자주 묻는 질문

Qualtrics의 무료 자체 호스팅 대안이 있나요?

있습니다. LimeSurvey의 Community Edition과 Potato는 직접 운영하는 무료 오픈 소스 설문 서버이고, REDCap은 소속 기관이 REDCap 컨소시엄에 속해 있으면 무료이며 기관이 설치합니다. LimeSurvey는 라드바우드 사회과학대학이 일반 설문용으로 선택한 도구이며 할당량과 SPSS, R, Stata 내보내기를 갖추고 있습니다. Potato는 Qualtrics .qsf를 가져오고 균형 배정, 비네트, 리스트 실험, Prolific 또는 SONA 모집을 더하며 할당량이나 SPSS 파일은 없습니다.

연구용 설문에는 REDCap과 Qualtrics 중 무엇을 써야 하나요?

이미 REDCap을 운영하는 기관의 임상, 보건, 종단 연구에는 REDCap을 쓰세요. REDCap은 감사 추적을 유지하고, 반복 측정 도구와 이벤트를 일정에 넣고, 모바일 앱에서 오프라인으로 데이터를 수집하며, 컨소시엄 회원에게는 비용이 들지 않습니다. Qualtrics는 일반 설문과 설문 실험에 적합하며, 할당량, 균형 잡힌 조건을 위한 Randomizer, 히트 맵 같은 특수 질문 유형, 추가 구매인 컨조인트 프로젝트가 있습니다. Potato는 두 곳의 설문을 모두 가져옵니다.

대학의 Qualtrics 라이선스가 끝나기 전에 무엇을 해야 하나요?

계정이 닫히기 전에 설문과 응답을 따로 내보내세요. Qualtrics는 설문을 질문, 논리, 흐름이 들어 있고 응답은 없는 .qsf 파일로 쓰며, 응답 데이터는 Data & Analysis 탭에서 CSV, SPSS 등의 형식으로 나옵니다. .qsf는 potato import로 Potato에 가져올 수 있고, 응답 파일은 소속 기관의 보관소나 데이터 저장소로 보냅니다. 라드바우드 사회과학대학의 2026년 12월 1일처럼 대학이 정한 삭제 기한 전에 두 내보내기를 모두 마치세요.

더 읽어 보기

• Potato의 설문 조사 연구 - 설문 기능을 한곳에서 보기
• 설문 가져오기와 Qualtrics에서 옮겨 오기
• 라이선스가 끝나기 전에 Qualtrics 설문을 Potato로 옮기기 - 설문 하나를 .qsf 내보내기에서 Prolific 연구와 CSV 내보내기까지 옮기기
• 실험 흐름 - 조건, 페이지 규칙, 선별 탈락, 균형화
• 민감한 질문 - 리스트 실험과 무작위 응답
• 설문 측정 도구
• 크라우드소싱 연구 실행하기
• 내보내기 형식
• 행동 실험 도구 비교
• 어노테이션 도구 비교

참고 문헌

1. Harris, P. A., Taylor, R., Thielke, R., Payne, J., Gonzalez, N., & Conde, J. G. (2009). Research electronic data capture (REDCap): A metadata-driven methodology and workflow process for providing translational research informatics support. Journal of Biomedical Informatics, 42(2), 377-381. https://doi.org/10.1016/j.jbi.2008.08.010
2. Chen, D. L., Schonger, M., & Wickens, C. (2016). oTree: An open-source platform for laboratory, online, and field experiments. Journal of Behavioral and Experimental Finance, 9, 88-97. https://doi.org/10.1016/j.jbef.2015.12.001
3. Jurgens, D., Chen, M., & Iyer, L. (2026). Potato 2.0: A Comprehensive Annotation Platform with AI-in-the-Loop Support. Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations), 374-386. https://aclanthology.org/2026.acl-demo.37/