Parental Factors Associated with Smartphone Overuse in Preschoolers: A Systematic Review and Meta-Analysis

Gumhee Lee; Sungjae Kim; Heajin Yu

doi:10.4040/jkan.19186

Articles

Page Path: HOME > J Korean Acad Nurs > Volume 50(3); 2020 > Article

Review Article Parental Factors Associated with Smartphone Overuse in Preschoolers: A Systematic Review and Meta-Analysis: Gumhee Lee, Sungjae Kim, Heajin Yu; Journal of Korean Academy of Nursing 2020;50(3):349-368.
DOI: https://doi.org/10.4040/jkan.19186
Published online: June 30, 2020

¹College of Nursing, Seoul National University, Seoul

²College of Nursing · The Research Institute of Nursing Science, Seoul National University, Seoul

prev next

1,871 Views
51 Download
9 Web of Science
15 Crossref
11 Scopus

prev next

Full Article

Download PDF

Abstract

Purpose
This study aimed to identify parental factors associated with smartphone overuse in preschoolers.
Methods
A systematic reviewwas conducted according to PRISMA guidelines. Relevant studies published in peer-reviewed journals from 2009 to June 2019 were identifiedthrough systematic search in 10 electronic databases (PubMed, CINAHL, Cochrane Central, EMBASE, Web of Science, NDSL, KISS, KMbase,KoreaMed, and RISS). Standardized effect sizes were calculated to quantify the associations of parental factors with smartphoneoveruse in preschoolers using meta-analysis.
Results
A total of 30 cross-sectional studies involving 7,943 participants met the inclusioncriteria. The following were negatively correlated with smartphone overuse in preschoolers: mother’s parenting self-efficacy (r =-.35),mother-child attachment (r =-.28), mother’s positive parenting behavior (r =-.28), mother’s positive parenting attitude (r =-.25), and father’sparenting involvement (r =-.15). Further, maternal factors such as smartphone addiction tendency (r =.41), parenting stress (r =.40), negativeparenting behavior (r =.35), negative parenting attitude (r =.14), smartphone usage time (r =.26), employment status (r =.18), and age(r =.12) were positively correlated with smartphone overuse in preschoolers.
Conclusion
Several parental factors influence smartphoneoveruse in preschoolers. These findings emphasize the need to assess and enhance the parental factors identified in this study to preventsmartphone overuse in preschoolers. Accordingly, we recommend the development of preventive interventions to strengthen parent-relatedprotective factors and mitigate risk factors.

Keywords: Parents; Child, Preschool; Smartphone; Behavior, Addictive

J Korean Acad Nurs. 2020 Jun;50(3):349-368. Korean.
Published online Jun 30, 2020.
https://doi.org/10.4040/jkan.19186

Review

유아의 스마트폰 과다사용과 관련한 부모요인 규명: 체계적 고찰 및 메타분석

이금희

,¹ 김성재

,² 유혜진

Parental Factors Associated with Smartphone Overuse in Preschoolers: A Systematic Review and Meta-Analysis

Gumhee Lee

,¹ Sungjae Kim

,² and Heajin Yu

Author information

Author notes

- ¹서울대학교 간호대학
- ²서울대학교 간호대학 · 간호과학연구소
- ¹College of Nursing, Seoul National University, Seoul, Korea.
- ²College of Nursing · The Research Institute of Nursing Science, Seoul National University, Seoul, Korea.
Address reprint requests to: Kim, Sungjae. College of Nursing · The Research Institute of Nursing Science, Seoul National University, 103 Daehak-ro, Jongno-gu, Seoul 03080, Korea. Tel: +82-2-740-8814 Fax: +82-2-765-4103, Email: sungjae@snu.ac.kr

Received September 04, 2019; Revised May 04, 2020; Accepted May 04, 2020.

This is an Open Access article distributed under the terms of the Creative Commons Attribution NoDerivs License. (http://creativecommons.org/licenses/by-nd/4.0/) If the original work is properly cited and retained without any modification or reproduction, it can be used and re-distributed in any format and medium.

Abstract

Purpose

This study aimed to identify parental factors associated with smartphone overuse in preschoolers.

Methods

A systematic review was conducted according to PRISMA guidelines. Relevant studies published in peer-reviewed journals from 2009 to June 2019 were identified through systematic search in 10 electronic databases (PubMed, CINAHL, Cochrane Central, EMBASE, Web of Science, NDSL, KISS, KMbase, KoreaMed, and RISS). Standardized effect sizes were calculated to quantify the associations of parental factors with smartphone overuse in preschoolers using meta-analysis.

Results

A total of 30 cross-sectional studies involving 7,943 participants met the inclusion criteria. The following were negatively correlated with smartphone overuse in preschoolers: mother's parenting self-efficacy (r=−.35), mother-child attachment (r=−.28), mother's positive parenting behavior (r=−.28), mother's positive parenting attitude (r=−.25), and father's parenting involvement (r=−.15). Further, maternal factors such as smartphone addiction tendency (r=.41), parenting stress (r=.40), negative parenting behavior (r=.35), negative parenting attitude (r=.14), smartphone usage time (r=.26), employment status (r=.18), and age (r=.12) were positively correlated with smartphone overuse in preschoolers.

Conclusion

Several parental factors influence smartphone overuse in preschoolers. These findings emphasize the need to assess and enhance the parental factors identified in this study to prevent smartphone overuse in preschoolers. Accordingly, we recommend the development of preventive interventions to strengthen parent-related protective factors and mitigate risk factors.

Keywords

Parents; Child, Preschool; Smartphone; Behavior, Addictive

부모; 학령전 아동; 스마트폰; 행위 중독

서 론

1. 연구의 필요성

현재 국내의 가구당 스마트폰 보유율은 94.3%로 대부분의 가정에 서 스마트폰을 사용하고 있으며, 3세에서 9세 아동의 스마트폰 이용 율이 무려 73.7%에 달한다[1]. 인간이 최초로 스마트폰을 사용하는 연령은 3세 전후로 보고되어 왔으나[2, 3, 4], 최근 연구에서는 2세 이 하에서도 그 사용을 보고하고 있어[5], 스마트폰 사용이 더욱 저연령화되는 추세임을 알 수 있다. 이처럼 스마트폰의 사용은 0세에서 2 세에 해당하는 영유아에서부터, 3세에서 6세에 해당하는 학령전 아 동[6]에 이르기까지 폭넓게 확대되는 현상을 보이고 있다. 본 연구는 0세에서 6세에 해당하는 연령층의 스마트폰 과다사용에 대한 관심 에서 출발하면서, 이들을 포괄하는 명칭을 영유아보육법[7]과 선행 연구들[2, 3, 4, 5, 6]에 근거하여 유아(preschooler)로 정하고자 한다.

스마트폰은 휴대용 컴퓨터의 일종으로써 무선 전화통신 및 다양한 응용소프트웨어를 이용할 수 있는 소형기기를 말하며, 스마트패드 등의 스마트기기도 스마트폰으로 간주하고 있다[1]. 스마트폰의 사용이 유아 연령층까지 확대된 배경에는 여러가지 요인이 있다. 그 중 스마트기기의 다양화와 보급화에 대한 대처방편으로 사용법의 사전 숙달을 독려하는 부모의 권유[8], 교육이나 오락을 위한 도구 그리고 유아를 돌보는 수단으로의 활용이 가장 큰 요인으로 보고되고 있다[9]. 즉, 스마트폰은 가정에서 유아의 교육, 오락, 아이 돌봄이 같은 용도 외에도[8, 9], 상당수의 유아교육 전문기관에서 놀이, 문학과 과학 학습, 신체 활동을 위한 교수학습 도구로 활용하고 있다[10]. 그러나 이러한 스마트폰의 순기능에도 불구하고 과도한 사용으로 인한 역기능이 공존하는 것이 현실이다[8, 11]. 국내 3세에서 5세 유아의 스마트폰 과의존 위험군의 비율이 전체의 18.9%에 달하여 성인의 18.1%보다도 높게 보고된 최근 통계[1]는, 유아의 스마트폰 사용에 대해 관심을 기울일 필요가 있음을 시사한다.

스마트폰 과다사용은 성장하는 유아의 신체적·심리적·사회적 건강에 유해한 영향을 미칠 수 있음이 보고되고 있다. 즉, 신체적 측면에서 근골격계의 변형[12] 외에도, 과도한 영상물 몰입은 심리적 측면에서 우울, 불안, 퇴행과 같은 내재화 문제뿐 아니라 충동성, 과활동성, 반항성, 공격성과 같은 외현화 문제와 더불어 언어 및 인지발달의 저하를 유발하며[13, 14], 사회적 측면에서 사회성 발달의 저하 및 자폐성 지수 증가[14]에 영향을 미치는 등 유아의 전반적 발달에 부정적인 영향을 미치는 것으로 나타났다.

아직까지 스마트폰의 과다사용을 일컫는 공식적인 학술용어는 없으나, 관련 선행연구에서는 크게 스마트폰 중독, 스마트폰 의존 혹은 과의존, 그리고 스마트폰 몰입 혹은 과몰입의 3가지 용어를 사용하고 있다. 스마트폰 중독은 물질중독에 상응하는 과정중독의 한 형태로 규정한 용어이고[9], 스마트폰 의존은 심리적 집착에 초점을 둔 용어[4]이며, 스마트폰 과몰입은 병리적 개념을 축소한 용어[15]이다. 관련 선행연구들을 살펴보면, 사용한 용어는 달라도 동일한 측정도구를 사용하였거나[2, 9, 15], 같은 용어를 사용한 경우에도 다른 유사한 측정도구를 사용하기도 하였다[3, 16, 17]. 이는 이들 용어가 지닌 개념에 차이점은 있으나 이 용어들을 유사개념으로 볼 수 있는 근거를 제공한다. 이에 본 연구에서는 이를 포괄하는 용어를 행위에 초점을 두어 ‘스마트폰 과다사용’으로 정하였다.

그동안 스마트폰 과다사용의 원인을 규명하려는 노력이 있어왔다. 그 결과, 유아는 스스로 스마트폰 사용을 조절하기 어려우며, 부모역할의 포괄성과 중요성으로 인해 유아 자신보다는 부모가 스마트폰 사용에 더 큰 영향을 미치는 것으로 확인되었다[2]. 즉, 이들의 스마트폰 사용 결정은 주로 부모에 의해, 그중 90.0% 이상 어머니의 허락 하에 이루어짐을 확인할 수 있었다[2]. 그러나 선행연구의 대부분은 개별 연구 차원에서 효과크기를 보고하고 있기 때문에, 유아의 스마트폰 사용증가에 영향을 미치는 위험변수와 사용감소에 기여하는 보호변수의 종류를 파악하고 효과크기를 종합적으로 비교하기에는 한계가 있다[2, 3, 9, 15, 16, 17].

스마트폰 과다사용에 영향을 미치는 부모관련 요인을 이해하기 위하여 근거 수준이 높은 체계적인 문헌고찰과 메타분석을 시행하는 것은 과학적인 중재의 제공을 위해 중요할 것이다. 이에 본 연구에서는 유아의 스마트폰 과다사용에 영향을 미치는 부모관련 요인을 파악하고, 변수 별 가중평균 상관계수 효과크기를 산출하고자 한다. 또한 종속변수의 크기에 영향을 미칠 수 있는 조절변수를 파악하여 효과를 제시하고자 한다. 이를 통해 유아의 스마트폰 과다사용의 원인이 되는 근거 수준이 높은 지식체를 확보함으로써 향후 부모교육 및 중재의 근간이 될 토대를 마련하고자 한다.

2. 연구 목적

본 연구에서는 체계적 문헌고찰과 메타분석을 통해 유아의 스마트폰 과다사용과 관련된 부모요인을 종합적으로 이해하고자 하며 그 구체적인 목적은 다음과 같다.

첫째, 유아의 스마트폰 과다사용과 관련한 부모변수를 파악한다.

둘째, 유아의 스마트폰 과다사용과 관련한 부모변수의 효과크기를 산출한다.

셋째, 조절변수에 따른 부모변수의 효과크기를 산출한다.

연구 방법

1. 연구 설계

본 연구는 유아의 스마트폰 과다사용에 관한 부모변수를 설명한 연구결과를 종합하기 위해 수행한 체계적 문헌고찰과 메타분석연구이다.

2. 연구 대상

본 연구의 대상논문은 국내외 문헌 중에서 유아의 스마트폰 과다사용과 관련한 부모요인을 보고한 조사연구들이다. 문헌검색을 위한 검색어 선정은 Population, Intervention, Comparison, Outcome, Study design (PICOS)를 기반으로 하였다. 구체적으로, 1) 연구 대상(P)은 0세에서 6세에 해당하는 유아[6]를 양육하는 부모이다. 2) 종속변수인 결과(O)변수는 유아의 스마트폰 사용수준을 측정한 연구이며, 본 연구에서는 근거 수준이 높은 결과의 도출을 위해, 객관적 측정도구를 사용하여 결과값을 제시한 연구를 분석대상으로 하였다. 3) 연구 설계(S)는 전향적 코호트 연구 및 서술적 횡단적 조사연구로 스마트폰 과다사용과 연관된 부모관련 선행요인을 보고한 연구이다. 배제기준은 실험연구, 질적연구, 사례연구, 초록만 게재한 문헌, 고찰연구, 증례보고이다. 연구결과의 신뢰성을 높이기 위하여, 동료-심사 학술지에 출판된 문헌만을 대상으로 하였다. 본 연구는 Preferred Reporting Items for Systematic Reviews and Meta-Analysis (PRISMA) 그룹의 체계적 문헌고찰 보고 지침[18]을 따랐다.

3. 자료 수집 방법

2019년 7월에서 8월까지 2명의 연구자가 5개의 국외 검색엔진인 Cumulative Indexing Nursing & Allied Health Literature (CINAHL), The Cochrane Register Controlled Trials (CENTRAL), Excerpta Medica dataBASE (EMBASE), PubMed, Web of Science (WoS)와, 5개의 국내 검색엔진인 한국학술정보(Korean Studies Information Service System [KISS]), 한국의학논문 데이터베이스(Korean Medical database [KMbase]), 대한의학학술지 편집인협의회(KoreaMed), 국가과학기술정보센터(National Digital Science Library [NDSL]), 학술연구정보서비스(Research Information Service System [RISS])를 이용하여 문헌검색을 시행하였다. 전세계적으로 2009년부터 스마트폰 사용이 활성화되기 시작하였음을 고려하여[19], 검색기간은 최근 10년(2009년 1월부터 2019년 6월까지)으로 정하였으며, 검색 언어는 제한을 두지 않았다(Figure 1).

Figure 1
Flow diagram of study selection process.
M=Mean; NP=Non-pregnant; P=Pregnant; SD=Standard deviation; T0=Pre-treatment; T2=Cancellation of treatment after pregnancy detection; T3=1~6 months after treatment.

Download Figure

검색에 활용한 주요 키워드는 부모, 어머니, 아버지, 돌봄자, 영아, 영유아, 유아, 걸음마기, 학령전, 아동, 어린이, 스마트폰, 스마트 기기, 핸드폰, 휴대전화, parent(s)/ caregiver(s)/ carer(s)/ care giver(s)/ father(s)/ mother(s)/ child, preschool/ preschool child(s)/ preschooler(s)/ infant(s)/ toddler(s)/ young child(s)/ smart phone(s)/ smartphone(s)/ computers, handheld/ handheld computer(s)/ cellular phone(s)/ cellular telephone(s)/ cell phone(s)/ portable cellular phone(s)/ mobile phone(s)/ mobile telephone(s)/ tablet PC(s)/ smart device(s)/ mobile device(s) 등이며, 이 단어들을 Boolean 연산자인 AND와 OR로 조합하여 검색하였다. 이 과정을 통해 총 3,474편의 관련 문헌을 수집하였다(Figure 1, Appendix 1).

1) 자료 선정

수집된 3,474편의 논문 중에서 중복되는 1,029편을 제외하였다. 이후 제목과 초록 검토를 통해 실험 설계와 질적 연구 및 선정기준에 부합하지 않는 논문 2,372편을 제외하여 총 73편이 남았다. 이후 본문을 참조하여 해당 문헌의 선정기준 부합 여부를 검토한 결과, 스마트폰 과다사용을 종속변수로 설정하지 않은 연구 31편, 연구대상이 유아가 아닌 연구 9편, 부모요인을 독립변수로 설정하지 않은 연구 3편을 제외하여 최종적으로 30편이 체계적 고찰의 대상으로 남았다. 국외검색엔진을 사용하였고 검색언어를 제한하지 않았는데도 선정된 30편의 논문은 모두 국내에서 수행된 연구였다. 이에 연구자들은 추가로 스마트폰관련 고찰논문에서 수집한 개별논문을 확인하는 작업을 수행하였으나, 본 연구의 선정기준에 해당되는 문헌은 한편도 없었다. 선정된 30편 중 3편은 주양육자를 어머니, 아버지, 기타 등으로 구분하지 않고 효과크기를 제시하여 부모요인을 구분하기 어려웠기에 체계적 고찰에는 포함하였으나 메타분석에서는 제외하였다. 이러한 과정을 통해 메타분석 대상이 된 문헌은 27편이었다(Figure 1, Appendix 2). 문헌수집과 자료추출의 과정은 두명의 연구자가 여러차례 회의를 거쳐 검토하였으며, 합의되지 않는 경우에는 간호학 교수 1인의 자문을 받았다.

2) 문헌의 질 평가

분석대상 문헌의 연구 설계는 전향적 코호트 연구와 서술적 횡단적 조사연구였다. 이에 National Institute of Health의 도구 중, 관찰 코호트와 횡단적 조사연구용 도구(Quality Assessment Tool for Observational Cohort and Cross-Sectional Studies) [20]를 이용하여 문헌의 질 평가를 수행하였다. 이 도구는 14가지의 평가항목(연구 목적의 명확한 제시, 연구 대상의 분명한 정의, 50% 이상의 대상자 참여율, 대상자 선정 및 제외 기준의 일관된 적용, 표본 수 산출의 근거 제시, 결과변수 측정 전 관심요인의 노출에 대한 측정 여부, 시간에 따른 원인과 결과의 인과성, 노출 범주의 평가, 독립변수와 종속변수의 측정에서 신뢰도와 타당도가 검정된 도구의 사용, 노출측정 횟수, 눈가림 여부, 20% 이하의 탈락율, 혼동변수의 통계적 조정)으로 구성되어 있다. 서술적 횡단적 조사연구의 질평가에서는 위의 14가지 항목 중에서 본 연구의 분석 대상이 되는 상관계수 및 선형관계 조사연구에 적합한 7가지 항목(연구 목적의 명확한 제시, 연구 대상의 분명한 정의, 50% 이상의 대상자 참여율, 대상자 선정 및 제외 기준의 일관된 적용, 표본 수 산출의 근거 제시, 독립변수와 종속변수의 측정에서 신뢰도와 타당도가 검정된 도구의 사용)을 선정하여 사용하였다. 각 항목의 기준을 충족한 경우에 1점을 부과하여 총점을 산출하였다.

4. 자료 분석 방법

상관계수의 효과크기는 Comprehensive Meta-Analysis, 2.0프로그램을 사용하여 산출하였으며, 개별 연구의 효과크기를 병합하여 평균효과크기를 구하였다. 메타분석은 분석가능한 동일한 독립변수가 있거나 사용할 수 있는 정량적 값이 있고 독립변수별로 2편 이상의 연구가 있을 때 수행하였다. 선정된 연구의 일반적 특성은 빈도(N), 백분율(%)로 구하였다. 개별 연구에서 보고된 통계량(t, F, p, r, χ²)은 MS Excel program을 사용하여 표준화된 효과크기로 산출하였다. 본 연구에서는 각 연구의 이질성을 고려하여 가중치를 설정하는 임의효과모형(Random effects model)을 사용하였다.

1) 자료 코딩 및 처리

선정된 30편의 문헌을 연구설계, 연구수행 국가, 연구수행 연도, 분야, 부모와 유아의 특성으로 분류하여 코딩하였다. 또한 메타분석이 가능한 27편의 문헌에서 추출된 316개의 하위 항목은 저자, 효과크기(r, t, F, p, χ²), 부모변수 등으로 구분하여 코딩하였다. 또한 측정도구, 연구수행 연도, 참여자 수, 유아의 연령 범위를 의미있는 범주형 조절변수로 보고 코딩하였다. 대부분의 연구가 유아의 성별을 구분하지 않고 결과값을 제시하여 구분된 통계치의 확인이 불가하였기에, 유아의 성별은 조절변수에서 제외하였다. 코딩은 한 명의 연구자가 수행하였으며 또 다른 연구자가 이를 검토하여 이상치를 발견한 경우 이를 확인하여 교정하였다.

2) 효과크기

본 연구에서 효과크기를 산출한 근거는 아래와 같다. 첫째, 개별연구에서 하위변수의 효과크기를 구분하여 보고한 경우는 전체 효과크기를 계산하여 분석에 활용한다, 둘째, 동일한 연구에서 보고된 변수가 서로 독립적인 의미를 가진다고 판단되는 경우에는 개별 통계 값이 서로 다른 특성을 반영한다고 보고 개별 효과크기를 파악하여 분석에 활용한다. 셋째, 개별 연구에서 산출한 통계 값은 먼저 Fisher의 Z로 변환한 후 통합하고, 이를 통해 분석된 결과는 다시 상관계수로 변환하여 결과를 제시한다[21]. 넷째, 연구에 참여한 사례 수가 많은 연구에서 측정된 효과크기는 사례의 수가 적은 연구보다 더욱 정확하다고 가정하여, 가중치를 부여하여 전체효과크기를 산출한다. 효과크기는 Cohen [22]의 제시에 따라 효과크기가 .10보다 작을 경우는 작은 효과, .30 정도는 중간 효과, .50 이상은 큰 효과로 해석하였다. 또한 출판편향의 판정은 funnel plot 검토와 비대칭이 있다면 대칭으로 교정할 수 있는 trim and fill [23]방법을 이용하여 교정되어야 할 연구를 검토하여 확인하였다.

연구 결과

1. 분석에 포함된 연구의 질 평가

분석 대상으로 선정된 30편의 문헌은 모두 연구의 목적을 분명히 제시하였고, 참여자의 특성을 명확히 설명하였다. 28편에서 표본의 50% 이상 대상자 참여율을 보였으며, 29편 모두가 대상자 선정 및 제외기준을 일관되게 적용하였다. 표본 수 산출의 근거를 제시한 문헌은 2편이었으며, 29편의 문헌에서 독립변수와 종속변수의 측정에 신뢰도와 타당도가 검정된 도구를 사용하였다. 이러한 평가 결과, 7점인 연구는 2편, 6점인 연구는 23편, 5점인 연구는 5편이었다. 이에 수집된 30편의 연구 모두가 체계적 고찰과 메타분석을 적용하기에 수용가능한 범위에 속한다고 판단되어 분석에 포함하였다(Table 1, Appendix 2, 3).

Table 1
Descriptive Summary of the Included Studies (N=30)

Download Table

2. 분석에 포함된 연구의 특성

30편의 연구를 연구설계, 연구수행 국가, 연도, 분야, 부모와 유아의 특성 순으로 살펴본 결과는 다음과 같다. 30편의 연구는 모두 서술적 횡단적 조사연구였으며, 모두 국내에서 수행된 연구로 확인되었다. 게재 연도를 살펴보면, 2013년에 1편이 최초로 출판되어 2015년까지 10편(33.3%), 2016년에서 2019년 사이에는 20편(66.7%)이 발표되어 문헌의 수가 급격히 증가하는 양상을 보였다. 연구수행 분야는 유아교육 분야에서 출판된 연구가 13편(43.3%)으로 가장 많았고, 간호학 연구는 3편(10.0%)이었다. 연구에 참여한 부모는 총7,943명으로 그 중 어머니가 7,233명(91.1%)으로 대부분을 차지하였다. 30편에서 부모를 통해 분석된 전체 유아의 수는 7,747명이었으며, 유아의 성별을 기록한 26편에 해당하는 6,809명(87.9%) 중, 남아는 3,401명(43.9%), 여아는 3,408명(44.0%)이었다. 유아의 연령은 5세가 2,625명(33.9%)으로 가장 많았고, 4세가 그 다음으로 많은 1,784명(23.0%)이었으며, 1세 이하도 170명(2.2%)이 포함되어 있었다. 각 문헌에서 모집한 유아의 연령 범위를 보면, 30편 중 0세에서 3세를 대상으로 한 연구는 2편(6.7%)이었으며, 3세에서 6세는 22편(73.3%), 1세에서6세를 혼합하여 자료를 수집한 연구는 6편(20.0%)이었다(Table 1, 2).

Table 2
General Characteristics of the Studies included in the Systematic Review and Meta-Analysis (N=30)

Download Table

3. 스마트폰 과다사용 관련 용어 및 측정도구

대상연구에서 사용한 용어는 6편에서 스마트폰 의존 혹은 과의존, 7편에서 스마트폰 중독 혹은 중독경향성, 3편에서 스마트폰 indulgence 혹은 overindulgence, 5편에서 스마트폰 과다사용, 5편에서 스마트폰 immersion 혹은 excessive immersion을 사용하였으며 나머지 4편은 사용습관, 사용이라는 용어를 사용하였다. 유아의 스마트폰 과다사용을 측정한 도구를 살펴보면, 6편은 Smartphone Addiction Proneness Scale for Child or Adolescent (S-Index-C or S-Index-A), 11편은 Internet Addiction Proneness Scale for Child (K-Index-C), 6편에서는 Smartphone Over-Immersion Inventory (SOII), 이외에는 Smart Devices Inventory for Early Childhood(SDIEC) 등을 사용하였다(Table 1).

4. 출판편향에 대한 검정

메타분석이 가능한 27편의 연구가 funnel plot상 삼각형이 대칭을 이루는 가를 검토한 결과, 보호변수의 경우 Y축의 아래로 내려올수록 약간의 비대칭성이 확인되었다. 이에 비대칭을 교정할 수 있는 trim and fill [23]방법을 이용하여 추가적 분석을 시행하였는데, 이를 통해 교정되어야 할 연구가 보호변수는 5편, 위험변수는 0편임을 확인하였다. 보 호변수의 경우 가 중평균 상 관계수가 −0.26에서 −0.22으로, 교정 전과 후에 15.4%의 변화율을 보여 분석대상이 된 연구결과물들에 출판편향의 위험이 존재하였다. Trim and fill 검정 및 추정 과정을 통해 보호변수 중 높은 상관계수를 보이는 연구들이 결측되었음을 확인하였기에, 추정한 효과크기는 0에 조금 더 가깝다고 판단할 수 있다. Trim and fill검정 결과는 출판편향이 있음을 확인하여 제거하기보다는 분석을 통해 추정치를 확인하는 과정이다[23]. 또한 비대칭성의 원인은 출판편향 외에 연구 간의 이질성에서도 비롯될 수 있다[24]. 즉 보호변수에 해당하는 어머니 요인과 아버지 요인의 이질성에 의해 효과크기에 차이가 발생하였을 가능성이 존재한다. 이에 본 연구는 어머니 관련 변수와 아버지 관련 변수를 구분하여 출판편향을 재검정하였으며 그 결과 교정되어야 할 연구의 비율이 감소함을 확인하였다(Table 3, Appendix 4).

Table 3
Effect Size of the Parent Variables Related to Smartphone Overuse in Preschoolers (N=27)

Download Table

5. 스마트폰 과다사용과 관련한 부모변수

선정된 30편의 체계적 고찰을 통해 총 27종류의 독립변수와 이에 따르는 79개의 부모관련 변수의 효과크기를 파악하였다. 본 연구에서는 이 27종류의 변수를 일차적으로 스마트폰 과다사용 감소에 영향을 미치는 보호변수, 증가에 영향을 미치는 위험변수로 분류하였다. 보호변수와 위험변수의 분류는 해당 연구에서 제시한 상관관계의 방향을 근거로 하였다(Table 1).

1) 부모관련 보호변수

스마트폰 과다사용을 감소시키는 부모관련 보호변수는 총 14종류가 확인되었는데, 이 중 어머니 변수에 해당하는 양육효능감, 모아애착, 긍정적 양육행동(온정·격려, 한계설정), 긍정적 양육태도(애정, 자율), 미디어 중재역할, 역할지능, 모아 상호작용, 양육참여, 놀이신념, 놀이참여, 긍정적 의사소통 변수가 선정된 연구 모두에서 유아의 스마트폰 과다사용과 부적상관을 보여 스마트폰 과다사용의 보호변수임을 확인하였다. 아버지 변수로는 양육참여, 부아 애착이 보호변수에 해당되었다. 일반적 특성 중에서는 어머니의 수면 전 스마트폰 미사용이 부적상관을 보였다. 측정도구를 살펴보면, 양육효능감은 Parenting self-efficacy scale (PSES)을 모든 연구에서 사용하였고, 양육행동은 Parenting behavior scale (PBS), 양육태도는 Maternal behavior research instrument (MBRI)를 가장 많이 사용하였다(Table 1).

2) 부모관련 위험변수

부모관련 위험변수는 총 13종류가 확인되었는데, 어머니 변수로는 스마트폰 중독경향성, 양육 스트레스, 부정적 양육행동(과보호·허용, 거부·방임), 부정적 양육태도(온정·애정의 결핍, 적대감·공격성, 냉담·무시, 통제, 거부)가 해당되었으며, 부정적 양육태도의 하위변수인 통제를 제외한 모든 변수가 유아의 스마트폰 과다사용과 정적상관을 보였다. 양육태도의 하위변수인 통제의 상관관계를 보고한 2편 중 1편[25]에서는 통제가 스마트폰 과다사용과 부적상관을 보였고, 1편[26]은 정적상관을 보인 타 변수와 합산하여 전체 값을 제시하였기에 개별 효과크기의 확인은 불가하였다. 그러나 부적상관을 보인 연구[25]에서 효과크기가 −.05로 상관의 크기가 작고, 양육태도에서 통제는 일반적으로 부정적 양육태도로 인식되는 개념[26]임을 반영하여 이를 위험변수로 구분하여 효과크기를 산출하였다. 부부갈등변수도 정적상관을 보여 위험변수임을 확인하였다(Table 1).

일반적 특성에 해당하는 변수 중, 어머니의 수면 전 스마트폰 사용은 선정된 모든 연구에서 유아의 스마트폰 과다사용과 정적상관을 보였으며, 어머니의 스마트폰 이용시간, 부모의 스마트폰에 대한 긍정적 인식, 어머니가 먼저 스마트폰을 사용하는 행위 역시 유아의 스마트폰 과다사용과 정적상관을 보였기에 위험변수로 분류하였다. 어머니의 취업여부는 이를 조사한 7편 중 상관을 보이지 않은 1편[9] 외에, 6편[2, 4, 27, 28, 29, 30]에서 정적상관을 보여 위험변수로 구분하였다. 어머니의 근무형태와 유아의 스마트폰 사용수준을 파악한 연구[4]에서는 시간제 일을 하는 어머니를 둔 유아가 스마트폰 과다사용의 위험이 가장 높았고, 주부, 정규직 순으로 유의한 차이를 보였다. 어머니의 교육 수준은 대학원졸업 이상의 학력을 가진 어머니를 둔 유아의 스마트폰 과다사용 수준이 높아[2] 위험변수로 분류하였다. 이외에 어머니 연령과의 상관을 보고한 5편 중 4편에서 나이가 많아지거나[9], 40세 이상인 경우[27, 28, 31]에 유아의 스마트폰 사용수준이 증가하여 위험변수로 분류하였다. 가구 총 수입은 이를 조사한 2편[27, 29]의 연구 모두에서 유의한 상관을 보이지 않았다. 양육 스트레스의 측정은 3편 중 2편에서 Korean-parenting stress index-short form (K-PSI-SF)를 사용하였다(Table 1).

6. 부모변수의 효과크기

메타분석이 가능한 27편의 연구에서 추출한 74개 변수 중 사례수가 1개인 11종류의 변수와 분석대상에서 제외된 2종류의 변수를 제외하고, 사례수가 2개 이상으로 메타분석이 가능한 변수는 14종류였으며, 구체적인 효과크기는 다음과 같다(Table 3).

1) 보호변수의 가중평균 상관계수 효과크기

임의효과모형으로 측정한 보호변수의 전체 가중평균 상관계수 효과크기는 −.26 (95% confidence interval [CI]=−.29~−.22)이었다. 이를 하위변수 별로 살펴보면, 어머니의 양육효능감(ES=−.35, 95% CI=−.43~−.25)이 보호변수 중 가장 큰 효과크기를 보였으며, 모아애착(ES=−.28, 95% CI=−.38~−.17), 어머니의 긍정적 양육행동은 (ES=−.28, 95% CI=−.33~−.22), 어머니의 긍정적 양육태도(ES=−.25, 95% CI=−.34~−.15) 순으로 모두 유의미한 중간 수준의 효과크기를 보였다. 아버지의 양육참여는(ES=−.15, 95% CI=−.23~−.07)로 유의미한 작은 수준의 효과크기를 보였다(Table 3).

2) 위험변수의 가중평균 상관계수 효과크기

임의효과모형으로 측정한 위험변수의 전체 가중평균 상관계수 효과크기는 .27 (95% CI=.24~.30)이었다. 구체적으로 살펴보면, 어머니의 스마트폰 중독경향성(ES=.41, 95% CI=.36~.46)이 가장 큰 효과크기를 보였으며, 어 머니의 양 육 스 트레스(ES=.40, 95% CI=.30~.49) 역시 유의미한 중간 이상의 정적상관을 보였다. 어머니의 부정적 양육행동의 효과크기는 .35 (95% CI=.26~.43)이었으며, 어머니의 부정적 양육태도는 .14 (95% CI=.02~.25)로 유의미한 상관을 보였다. 한편 어머니의 일반적 특성에서는 스마트폰 이용시간 (ES=.26, 95% CI=.15~.37), 취업여부(ES=.18, 95% CI=.10~.26), 나이(ES=.12, 95% CI=.02~.22) 순으로 모두 유의미한 정적상관을 보였으며, 이외에 교육 수준(ES=.00, 95% CI=−.11~.12)에 대한 효과크기가 산출되었으나 신뢰구간이 0을 지나 통계적으로 유의미하지 않았다. 가구 총 수입(ES=.03, 95% CI=−.10~.15)의 경우 효과크기는 작은 수준으로 유의미하지 않았다(Table 3).

7. 조절변수 분석

보호변수는 모아애착 변수를 제외하고는 대체로 동질하였으나, 위험변수는 다수에서 이질성이 파악되었다. 변수 별로 수집된 문헌의 수가 적어 자유도(df)가 1인 연구를 제외하자 어머니의 스마트폰 중독경향성에 대한 조절효과 분석만이 가능하였다. 이에 종속변수에 영향을 미칠 수 있는 조절변수인 연구수행 연도, 측정도구, 참여자수, 유아 연령의 범위에 대한 효과크기를 산출하였다. 그 결과, 집단 내에서는 동질성을 보이면서 집단간에는 이질성을 보여 조절효과를 분명하게 드러내는 변수는 연구수행 연도임을 확인하였다. 즉, 2016년 이후 시행된 연구에서 그 이전에 시행된 연구에 비해 어머니의 스마트폰 중독경향성이 높음을 확인할 수 있었다(Table 4).

Table 4
Effect Size of the Smartphone Addiction in Mothers according to Categories (N=12)

Download Table

논 의

본 연구에서는 체계적 문헌고찰과 메타분석을 사용하여 유아의 스마트폰 과다사용에 영향을 미치는 부모관련 요인을 확인하였다. 또한 이를 보호변수와 위험변수로 구분하여 스마트폰의 과다사용의 감소와 증가에 영향을 미치는 부모요인을 구체적으로 분석하였다.

체계적 고찰 결과, 최근 5년 동안 유아의 스마트폰 과다사용과 관련한 부모요인을 파악하려는 연구가 급증했음을 확인하였다. 이는 유아의 스마트폰 과다사용으로 인한 역기능 현상이 전문적인 관심과 대책이 필요한 상황임을 말해준다고 본다.

대표적인 보호변수로 확인된 어머니의 양육효능감, 긍정적 양육행동, 긍정적 양육태도는 어머니의 양육역량 변수에 해당한다고 볼 수 있다. 이를 통해 유아의 스마트폰 과다사용 감소를 위해서는 어머니의 양육역량의 향상이 필요함을 알 수 있다. 선정된 모든 연구에서 양육효능감을 측정하는 데에 사용한 척도는 PSES로, 이 도구는 의사소통 능력, 전반적 양육효능감, 교육 및 통제의 하위변수로 구성되어있다. 다수의 연구에서 양육행동을 측정하기 위해 PBS도구를 사용하였는데, 이 도구의 하위변수 중 보호변수로는 온정·격려 이외에 받아들여지기 어려운 행동을 제한하는 한계설정이 포함된다. 한편 양육태도를 측정하는 도구인 MBRI의 하위변수 중에서 보호변수는 애정적, 자율적 양육태도가 해당된다. 이 세가지 변수의 하위변수는 모두 유아의 스마트폰 과다사용과 부적상관을 보였기에, 이들 하위 변수는 유아의 스마트폰 과다사용 감소를 위해 요구되는 구체적인 양육역량이라고 할 수 있다. 여기에서는 이들 보호변수에 초점을 두고 논의를 전개하고자 한다.

보호변수에 속하는 구체적인 양육역량으로 의사소통능력, 온정·격려 및 애정적 양육태도가 파악되었는데, 이는 효과적인 의사소통을 통해 유아의 욕구를 민감하게 살피면서 온정적 돌봄을 제공하는 어머니의 역량이 중요함을 시사한다. 이는 어머니가 유아의 욕구를 민감하게 파악하기 어려운 경우에, 대처하기 힘든 자녀의 행동에 대해 관심을 전환시키기 손쉬운 방법인 스마트폰 제공으로 대처하기 쉽다는 보고들[27, 32]과, 온정적이고 민주적인 양육방식이 유아의 심리적 안정과 문제행동의 감소에 기여한다고 본 주장[33]을 통해서 지지되는 결과이다.

더불어 통제와 한계설정이 양육역량에서 중요하게 평가되는 부분은 받아들이기 어려운 부적절한 행동에 대해서는 명확하게 행동의 한계를 제시하는 양육방식이 양육역량에 있어 중요한 요소이며 이는 스마트폰 과다사용 감소를 위해서도 필요한 역량임을 반영한다. 이러한 결과는, 부모의 규칙이 스마트기기 사용 감소에 긍정적 영향을 미친다는 주장[34]과 유아가 스스로 인터넷 게임을 통제할 수 없다면 부모나 교사의 적절한 관리감독이 필요하다고 본 연구[35]에서 구체적인 근거를 찾을 수 있다. 한편, 본 연구의 분석대상이 된 연구들 중에서 일부는 양육태도 척도의 하위변수 중 통제를 부정적 양육방식의 하위변수와 합산하여 효과크기를 제시하였기 때문에 결과적으로 부정적 양육태도의 효과크기가 작아진 결과가 초래되었다. 본 연구의 결과는 스마트폰 과다사용 감소를 위한 역할에서 통제의 개념을 재정립할 필요가 있음을 말해준다. 특히 본 연구결과를 토대로 부모교육 중재를 제공할 경우에는 온정적이면서도 동시에 규칙을 설정하여 받아들여지지 않는 행동을 제한하기 위한 의사소통 훈련에 초점을 둘 필요가 있다.

연구결과 모아 애착이 보호요인임을 확인하였는데, 이는 안정 애착을 형성하지 못한 유아의 경우 스마트폰 과다사용이 증가함을 반영하는 결과이다. 양육역량의 부족으로 인하여 주 양육자가 유아를 통제하기 위한 수단으로 반복해서 스마트폰을 제공하는 경우, 만성적으로 억제된 욕구로 인하여 유아는 좌절감을 경험하게 된다[36]. 만성적 좌절은 타인에 대한 불신을 기반으로 불안과 같은 내현화 문제를 통해 주양육자에 대한 애착손상을 유발하고, 이로 인해 유아가 스마트폰에 비정상적인 애착을 형성하는 것과같은 외현화 문제가 발생할 수 있다[36]는 주장은 본 연구의 결과를 뒷받침한다. 더불어 유아가 부모와의 안정적 애착을 바탕으로 신뢰를 형성하고 이를 통해 유아의 자기 조절력이 향상된다는 주장[35] 역시 본 연구결과와 맥을 함께한다. 따라서 유아의 스마트폰 과다사용 감소를 위해서는 유아의 욕구에 대한 민감성과 적절한 반응을 통해 애착을 형성할 필요가 있으며 애착손상이 이미 발생한 경우에는 애착을 재형성하는 중재가 필요할 것이다. 아직까지 모아 애착 증진을 통해 유아의 스마트폰을 과다사용 수준의 변화를 관찰한 국내 연구는 찾아보기 어렵다. 이에 본 연구의 결과를 반영하여 부모대상 중재를 시행하는 후속연구를 제안한다.

본 연구에서 아버지 요인은 아버지의 양육참여에 대한 효과크기만 확인되었으며, 아버지의 양육참여는 어머니 요인에 비해 작은 효과크기를 보였다. 어머니 요인이 아버지에 비해 효과크기가 큰 이유는 대부분의 경우에 유아를 돌보는 주양육자가 어머니이기 때문이라고 본다. 이러한 견해는 어머니의 양육태도가 아버지의 양육태도에 비해 유아의 인터넷 게임 중독경향성에 더 큰 영향을 미치는 것으로 보고한 연구결과[35]와 유사하며 본 연구의 출판편향 검정결과 역시 이를 지지한다. 이와 같이 아버지 양육참여의 효과크기는 어머니에 비해 작았으나 아버지의 양육참여가 스마트폰 과다사용을 감소시킨다면 스마트폰 과다사용 예방을 위해서 고려되어야 할 중요한 중재방안이라고 볼 수 있다. 그러한 이유는 아버지를 통한 놀이 활동이나 대안활동은 유아의 스마트폰 과다사용 예방을 위한 방편이 될 수 있기 때문이다. 이는 Jago 등[11]이 유아의 스마트폰 과다사용 감소를 위해서는 아버지의 양육참여가 필요하며, 가족내의 효율적인 역할 분담은 유아의 스마트폰 과다사용 예방에도 도움이 되는 방안임을 주장한 것과 맥을 함께한다.

위험변수 중, 어머니의 스마트폰 중독경향성은 가장 큰 유의미한 수준의 효과크기를 보인 변수였다. 이는 유아의 스마트폰 사용은 양육자의 스마트폰 사용행동을 관찰하고 모방한 결과로 발생할 수 있기에 유아의 행동변화를 위해서는 어머니가 자신의 스마트폰 사용행동과 습관을 모니터링하여 개선하는 것이 필요함을 시사한다. 이러한 결과는 어머니의 스마트기기 이용시간이 유아의 이용시간에 밀접한 영향을 미치는 것으로 보고한 Paudel 등[37]의 보고와 연관된다. 더불어 스마트폰에 중독된 어머니는 유아의 스마트폰 사용에 더욱 허용적이기 쉬우며[9], 자신의 행동을 모방하는 유아를 적절히 통제하기 어려운 것도[6], 높은 효과크기가 산출된 원인이라고 볼 수 있을 것이다. 더불어 자녀의 올바른 성장을 위해서 부모 역할의 중요성을 강조한 Bandura [38]의 사회학습이론은 본 연구 결과를 지지하는 이론이라 본다. 이에 유아의 스마트폰 과다사용을 감소시키기 위해서는 어머니의 스마트폰 사용수준을 조절하는 것이 필요하며, 이를 위해서는 어머니가 스마트폰을 과다사용하게 되는 근원적인 내·외적 요인을 규명하여 어머니의 행동변화를 유도하는 중재를 제공하는 것이 필요할 것이다.

위험변수에 속하는 양육 스트레스는 중간이상의 효과크기로 산출되었다. 즉 어머니의 양육 스트레스가 높을 경우 유아의 스마트폰 과다사용이 증가함을 의미한다. 그러한 이유는 오늘날은 자녀를 적게 출산하는 시대로 양육에 대한 지식과 경험이 부족한 어머니는 양육 스트레스를 느끼기 쉬우며, 유아의 행동을 조절하기 위한 수단으로 스마트폰을 제공하기 쉬운 데에 있다[32]. 이처럼 양육 스트레스는 양육효능감과 같은 양육역량과 맞물려 있어 양육역량이 저하되면 양육 스트레스는 증가하게 될 것이다. 그러므로, 어머니의 양육역량 향상을 위한 중재와 양육 스트레스를 완화할 수 있도록 돕기 위한 현실적 방안 및 다양한 관점에서의 육아지원이 유아의 스마트폰 과다사용에 대한 예방책이 될 수 있을 것이다.

일반적 특성에 속하는 변수들이 유아의 스마트폰 과다사용에 미치는 전체 효과크기는 작은 수준이었다. 그럼에도 어머니의 스마트폰 이용시간, 어머니의 취업여부, 어머니의 나이는 유의미한 수준의 정적상관을 보였다. 이중 어머니의 스마트폰 이용시간이 가장 높은 상관계수 효과크기를 보인 것은 어머니의 스마트폰 중독경향성이 가장 큰 영향을 미치는 것과 관련 있는 결과라고 본다. 더불어 취업여부는 유아의 스마트폰 과다사용과 유의미한 정적상관을 보였는데, 취업한 어머니가 유아의 스마트폰 과다사용을 관리·감독하기에 어려움이 있음을 시사하는 결과이다. 이는 근무중인 어머니는 업무 도중 유아의 스마트폰 사용을 감독하기 어려우며, 귀가 후에도 가사일을 하는 동안 스마트폰을 돌봄을 위한 대체품으로 제공하기 쉬워 유아의 스마트폰 사용이 증가한다고 본 결과[2]와 일치한다. 따라서 어머니가 업무나 집안일로 시간을 보낼 때 유아가 할 수 있는 대안 활동을 마련하는 것이 필요할 것이다.

정규직 어머니의 스마트폰 사용 수준이 시간제 어머니에 비해 낮은 결과는 정규직 어머니의 경우 자녀의 스마트폰 시간을 명확히 파악하기 어렵기에 유아의 스마트폰 이용 시간이 축소 보고되었을 수 있다는 견해가 해석의 근거[34, 37]가 될 수 있다고 본다. 또한 어머니의 나이가 많을수록 유아의 스마트폰 사용 수준이 높았는데, 이는 어머니의 나이가 많을수록 유아의 연령도 많을 가능성이 높기 때문이라는 견해[9]가 받아들여질 수 있다. 가구 총 소득에서는 유의미한 상관을 확인하지 못하였다. 이는 0에서 8세 아동의 스마트폰 사용 시간과 부모원인의 관계를 밝힌 Paudel 등[37]의 연구결과와 일치한다.

조절변수 분석을 통해 어머니의 스마트폰 중독경향성이 2016년 이후의 연구에서부터 그 이전에 비해 증가함을 확인할 수 있었다. 이는 최근 들어 20세에서 59세에 해당하는 성인의 스마트폰 과의존에 대한 잠재적 위험군이 증가하고 있는 추세[1]를 반영하는 결과라고 보며, 어머니의 스마트폰 사용수준의 증가가 유아의 스마트폰 과다사용 증가와 관련이 있음을 말해준다. 본 연구의 결과에 대한 논의를 통해서, 유아의 스마트폰 과다사용 감소를 위한 핵심적인 부모요인은 양육역량과 더불어 스마트폰-특이적인 요인이 중요하게 작용함을 확인할 수 있었다. 즉, 부모의 양육효능감, 긍정적인 양육행동 및 양육태도가 보호변수임에 반하여 어머니의 스마트폰 중독경향성, 양육 스트레스와 부정적인 양육행동 및 양육태도는 위험변수로 작용함을 알 수 있었다.

질 평가 결과, 선정된 모든 문헌이 질평가에서 5점 이상이었으며, 독립변수와 종속변수의 측정에서 신뢰도와 타당도가 검정된 도구의 사용을 포함한 대부분의 항목에서 상당수의 연구가 긍정적인 점수를 받았다. 단, 표본 수 산정 근거의 명확한 제시 항목에서는 2편의 연구를 제외하고는 낮은 점수를 받았는데, 조사연구에서 도출한 결과에 대한 근거 수준을 높이기 위해서는 추후 연구에서는 표본 수 산출의 근거를 명확히 제시하는 것이 바람직하겠다.

출판편향 검정에서는 funnel plot 확인 결과 보호변수의 우측에서 결측이 확인되었다. 보호변수 중 유아의 스마트폰 과다사용에 미치는 영향력이 작은 연구가 게재되지 않았을 가능성을 배재할 수 없으나[24], 검정을 통해 변수 간의 이질성이 원인으로 작용하였을 수 있음을 확인하였다.

본 연구는 유아의 스마트폰 과다사용에 대한 부모요인을 종합적으로 규명하였으며 국내외 연구의 동향을 확인하였다. 유아의 스마트폰 과다사용은 인터넷 게임장애로 진행될 수 있는 관문 현상으로 볼 수 있기 때문에, 예방 차원에서 스마트폰 사용의 순기능과 역기능에 대한 깊이 있는 이해를 토대로 한 임상 및 지역사회 간호사의 역할은 대단히 중요하다. 이에 본 연구결과 확인된 보호요인과 위험요인에 대한 종합적인 이해는 효과적인 간호 중재를 제공하는 데에 토대가 될 것이라 생각한다. 그러나 유아의 환경적 특성상 어머니의 역할비중이 상대적으로 높고, 어머니 요인에 관한 연구가 많이 시행되었기 때문에 어머니 관련 변수의 다수가 위험변수로 분류될 수밖에 없는 한계를 가졌다. 더불어 선정된 문헌의 수가 적어 위험변수의 조절효과를 명확히 파악하지 못하였으며, 0세에서 2세에 해당하는 유아를 대상으로 한 연구의 수가 적어 연령에 따른 관련 변수의 차이를 분명히 제시하지 못하였다. 그러나 본 연구결과는 유아를 양육하는 부모, 어린이집/유치원 교사 및 다양한 전문가에게 유아의 스마트폰 과다사용에 대한 이해를 제공하는 핵심적인 지식을 포함하고 있다. 아직까지 유아의 스마트폰 과다사용을 조절하기 위한 어머니 대상의 중재 연구를 찾아보기 어려운 시점에서 이는 유아의 스마트폰 과다사용을 조절하기 위한 부모 대상의 중재를 기획하는 데에 기초자료로 활용될 수 있을 것이다.

결론 및 제언

본 연구는 유아의 스마트폰 과다사용과 관련한 부모요인을 체계적으로 고찰하고 메타분석을 통해 관련변수의 효과크기를 산출하였다. 분석결과 부모요인이 유아의 스마트폰 과다사용에 영향을 미치는 것으로 확인되었다. 특히 어머니의 양육효능감, 모아 애착, 긍정적 양육행동, 긍정적 양육태도와 아버지의 양육참여는 스마트폰 과다사용을 줄이는 보호변수였으며, 어머니 요인 중 스마트폰 중독경향성, 양육 스트레스, 부정적 양육행동, 부정적 양육태도는 유아의 스마트폰 과다사용을 증가시키는 위험변수로 확인되었다. 따라서 유아의 스마트폰 과다사용을 효과적으로 예방하기 위해서는 우선적으로 본 연구에서 제시한 부모요인을 사정할 필요가 있다. 더불어 본 연구결과를 부모관련 보호요인을 강화하거나 위험요인을 감소시키는 예방 중재의 개발과 적용을 제언한다.

Notes

CONFLICTS OF INTEREST:The authors declared no conflict of interest.

Author Contribution:

Conceptualization or/and Methodology: Lee G & Kim S.
Data curation or/and Analysis: Lee G & Kim S & Yu H.
Investigation: Lee G & Kim S & Yu H.
Project administration or/and Supervision: Kim S.
Resources or/and Software: Lee G.
Validation: Lee G & Kim S & Yu H.
Visualization: Lee G & Kim S.
Writing original draft or/and Review & editing: Lee G & Kim S & Yu H.

Appendix 1

Searching Expression

Pubmed

(((((((((parents[MeSH Terms]) OR Caregivers[MeSH Terms]) OR mothers[MeSH Terms]) OR fathers[MeSH Terms]) OR parent*) OR Caregiver*) OR Carer*) OR “Care Giver*”) OR Father*) OR Mother* Filters: Publication date from 2009/01/01 to 2019/06/30

AND

((((((Child, Preschool[MeSH Terms]) OR Infant[MeSH Terms]) OR Preschool Child*[Title/Abstract]) OR Preschooler*[Title/Abstract]) OR toddler*[Title/Abstract]) OR young child*[Title/Abstract]) OR infant*[Title/Abstract] Filters: Publication date from 2009/01/01 to 2019/06/30]

AND

((((((((((((((Smartphone[MeSH Terms]) OR Computers, Handheld[MeSH Terms]) OR cell phone[MeSH Terms]) OR Smart Phone*[Title/Abstract]) OR Handheld Computer*[Title/Abstract]) OR Tablet Computer*[Title/Abstract]) OR tablet PC*[Title/Abstract]) OR smart device*[Title/Abstract]) OR Cellular Phone*[Title/Abstract]) OR Cellular Telephone*[Title/Abstract]) OR Portable Cellular Phone*[Title/Abstract]) OR Transportable Cellular Phone*[Title/Abstract]) OR Mobile Phone*[Title/Abstract]) OR Mobile Telephone*[Title/Abstract]) OR mobile device*[Title/Abstract] Filters: Publication date from 2009/01/01 to 2019/06/30

Appendix 2

Citations for Studies Included in This Study

1. Kum JY, Chung CH, Jeong HJ. The influence of mothers parenting attitude on childrens smart-phone dependency: Focusing on the moderating effect of chldrens playfulness. Journal of Children's Literature and Education. 2019;20(2):75-97. https://doi.org/10.22154/JCLE.20.2.4

2. Gown MY, Chyung YJ. The effects of mothers' smartphone dependency, parenting self-efficacy, and parenting behaviors on their preschool children's smartphone dependency. Korean Journal of Play Therapy. 2018;21(1):153-169. https://doi.org/10.17641/KAPT.21.1.8

3. Bae JH, Lee SH. The relationship between mother's parenting stress and parenting attitude on smart devices dependency in child; a meditation model of mother's smart devices dependency. Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology. 2017;7(2):747-759. https://doi.org/10.35873/ajmahs.2017.7.2.071

4. Moon KI, Lee, WJ. Effects of parent-child attachment, parental involvement in child-rearing and instruction for children's effective use of smart devices on young children's smart-device overuse behavior. Family and Environment Research. 2016;54(6):611-620. https://doi.org/10.6115/fer.2016.048

5. Kim MS, Moon HJ. A study on parental influences and analysis of young children's smart-phone usage. The Korean Journal of the Human Development. 2015;22(1):77-99. https://doi.org/10.15284/kjhd.2015.22.1.77

6. Kim MH. The effects of maternal parenting behavior, smart devices addiction, and children's self-regulation on their use of smart devices. Korean Journal of Child Care and Education. 2015;11(6):133-151. https://doi.org/10.14698/jkcce.2015.11.133

7. Nam KH. The Influence of maternal parenting behaviors and media mediation on young children's smartphone overuse. Early Childhood Education & Care. 2018;13(1):117-137. https://doi.org/10.16978/ecec.2018.13.1.005

8. Kim IS, Kim DY. The effects of mother's smartphone addiction tendency on smartphone overindulgence and externalizing problem behaviors among preschool children: Focusing on mediating effects of marital conflicts and mother-child communication. Asian Journal of Education. 2017;18(2):221-244.

9. Cho YM. Lee HS. The effects of mothers' smart phone addiction tendency on smart phone addiction tendency in young children with the mediating effects of young children's self-regulation. Korean Journal of Child Psychotherapy. 2016;11(2):1-16.

10. Gil H, Lee Y. The relationship between self-regulation in children and smart device usage habits of mothers and children. Journal of Korea Open Association for Early Childhood Education. 2016;21(1):275-295. https://doi.org/10.20437/KOAECE21-1-11

11. Kim HY. The effect of infants and mothers smartphone usage habits on infants social emotional development. Journal of Early Childhood Education & Educare Welfare. 2016;20(4):457-485.

12. Kim YY, Choi YH. The influence of the parental perception of smart phone on children's behavior problems and self-efficacy: Focusing on the mediating of parental smart phone use and children's smart phone use. Journal of Early Childhood Education & Educare Welfare. 2015;19(1):139-158.

13. Lee HJ, Chae SM, Bang KS, Choi H. Relationships among preschoolers' smartphone addiction tendency, their problem behaviors, and parenting efficacy of their mothers. Child Health Nursing Research. 2015;21(2):107-114. https://doi.org/10.4094/chnr.2015.21.2.107

14. Jang JJ, Jeong I. Related factors of smartphone addiction among preschool children. The Journal of Korean Society for School & Community Health Education. 2015;16(1):65-81.

15. Kim HJ, Lee HS. The relationship between maternal behavior, over-indulgence in smart devices and effortful controls in preschool children. Korean Journal of Child Education and Care. 2015;15(4):113-134.

16. Na YS. The effects of the parents' child-rearing attitude on the smartphone addiction of small children. Journal of Early Childhood Education & Educare Welfare. 2013;17(3):32-53.

17. Lee SK, Lee HK, Hong HK. A study on smart device usage and game immersion tendency. Korean Journal of Early Childhood Education. 2014;34(3):239-262. https://doi.org/10.18023/kjece.2014.34.3.012

18. Cha G, Kwak S. An analysis of the relationship between mother's beliefs and participation in play and children's excessive immersion in smartphone use. The Journal of Future Education. 2018;8(2):77-109.

19. Lee MJ, Park SH. Factors associated with smartphone overdependency in preschool children. Child Health Nursing Research. 2018;24(4):383-392. https://doi.org/10.4094/chnr.2018.24.4.383

20. Park B, Park NS. The mediating roles of preschoolers' self-regulation in the relationship between maternal parenting behaviors and preschoolers' excessive immersion in smartphones. Korean Journal of Child Care and Education. 2018;14(5):117-136. https://doi.org/10.14698/jkcce.2018.14.05.117

21. Kwon MK, Park HS, You JH, Han KO. A study of variables influencing smartphone overuse in early childhood. The Korean Journal of the Human Development. 2016;23(4):121-138. https://doi.org/10.15284/kjhd.2016.23.4.121

22. Oh YK, Lee MH, Choe HS. The relation between fathers' parenting involvement and children's excessive immersion in smartphone. Korean Joural of Children's Media. 2016;15(4):169-191. https://doi.org/10.21183/kjcm.2016.12.15.4.169

23. Choi YH, Park NS, Song SM, Park B, Kang MS. The mediating effect of preschoolers' smart device immersion tendencies on the relationship between maternal parenting behavior and preschoolers' problem behaviors. Korean Journal of Play Therapy. 2016;19(4):297-316. https://doi.org/10.17641/KAPT.19.4.2

24. Hwang S, Jang SH. The relationship between mother's smartphone addiction and child's smartphone dependence: Focusing on the effect of mother's smartphone usage habits before sleep. Journal of Early Childhood Education. 2019;39(2):5-23. https://doi.org/10.18023/kjece.2019.39.2.001

25. Jang SH, Kim MJ. The effect of parental smartphone addiction tendency on children's playfulness: The mediating effect of children's use of smart devices. Korean Society For Computer Game. 2018;31(3):1-10.

26. Park JA, Hyun E. Analysis on the structural relationships of young children's smartphone overdependence, young children's aggression, mothers' parenting stress, and mothers' smartphone addiction tendency. Journal of Childrens Literature and Education. 2018;19(2):219-248. https://doi.org/10.22154/JCLE.19.2.9

27. Hong YJ, Park YA, Ahn S, Yi SH, Lee K. The effect of mothers' negative parenting attitudes on infants' and toddlers' playfulness: With a focus on infants' and toddlers' overindulgence in smart devices. Korean Journal of Child Care And Education Policy. 2017;11(2):87-113.

28. Kim SY, Kim HS. Mediating effects of mother-child attachment stability in the relationships between novelty seeking and harm avoidance temperament and smartphone overuse in preschoolers. Korean Journal of Child Psychotherapy. 2016;11(3):45-63.

29. Kim HN, Lee SA, Lee EK, Chon JH, Kim SH. Effects of the smart media exposure environment on smart media addiction of young children. Korean Journal of Child Education and Care. 2014;14(4):127-153.

30. Lim MH, Kim SH. A study on the smart phone and tablet PC utilization, parental perception, and addictive tendencies of young children. Korean Journal of Child Education and Care. 2014;14(4):237-260.

Appendix 3

Quality Assessment of Selected Studies (N=30)

Appendix 4

Funnel plot of selected variables

References

1. Korea Internet and Security Agency (KISA). 2018 Internet usage survey summary report [Internet]. Seoul: KISA; c2018 [cited 2019 Aug 3].
  Available from: https://bit.ly/2WsSfpE.
1. Lee SK, Lee HK, Hong HK. A study on smart device usage and game immersion tendency. Korean Journal of Early Childhood Education 2014;34(3):239–262. [doi: 10.18023/kjece.2014.34.3.012]
  Article
1. Moon KI, Lee WJ. Effects of parent-child attachment, parental involvement in child-rearing and instruction for children's effective use of smart devices on young children's smart-device overuse behavior. Family and Environment Research 2016;54(6):611–620. [doi: 10.6115/fer.2016.048]
  Article
1. Lee MJ, Park SH. Factors associated with smartphone overdependency in preschool children. Child Health Nursing Research 2018;24(4):383–392. [doi: 10.4094/chnr.2018.24.4.383]
  Article
1. Hong YJ, Park YA, Ahn S, Yi SH, Lee K. The effect of mothers' negative parenting attitudes on infants' and toddlers' playfulness: With a focus on infants' and toddlers' overindulgence in smart devices. Korean Journal of Child Care and Education Policy 2017;11(2):87–113. [doi: 10.5718/kcep.2017.11.2.87]
  Article
1. Erikson EH. In: Childhood and society. 2nd ed. New York: Norton; 1963. pp. 1-445.
1. Ministry of Health and Welfare (MOHW). Infant and child care act 2(1) [Internet]. Sejong: MOHW; c2008 [cited 2020 May 1].
  Available from: https://bit.ly/3f3IK8O.
1. Bentley GF, Turner KM, Jago R. Mothers' views of their preschool child's screen-viewing behaviour: A qualitative study. BMC Public Health 2016;16:718. [doi: 10.1186/s12889-016-3440-z]
  PubMed
  
  Article
1. Jang JJ, Jeong I. Related factors of smartphone addiction among preschool children. The Journal of Korean Society for School & Community Health Education 2015;16(1):65–81.
1. Hwang JA, Kim SJ. The analysis of research trend about utilization of electronic media in early childhood education - based on smart device-. Journal of the Korea Academia-Industrial cooperation Society 2016;17(5):470–477. [doi: 10.5762/KAIS.2016.17.5.470]
  Article
1. Jago R, Zahra J, Edwards MJ, Kesten JM, Solomon-Moore E, Thompson JL, et al. Managing the screen-viewing behaviours of children aged 5-6 years: A qualitative analysis of parental strategies. BMJ Open 2016;6(3):e010355 [doi: 10.1136/bmjopen-2015-010355]
  PubMed
  
  Article
1. Howie EK, Coenen P, Campbell AC, Ranelli S, Straker LM. Head, trunk and arm posture amplitude and variation, muscle activity, sedentariness and physical activity of 3 to 5 year-old children during tablet computer use compared to television watching and toy play. Applied Ergonomics 2017;65:41–50. [doi: 10.1016/j.apergo.2017.05.011]
  PubMed
  
  Article
1. Lee KS, Jung SJ, Kim MS. The influence of infants' (1–3 years) visual media overindulgence on their general, emotional and social development. The Korean Journal of Developmental Psychology 2015;28(1):117–132.
1. Chang HY, Lee JW, Shin YM, Park EJ, Yoo HJ. Media and smart device exposure of infants and toddlers: A systematic review. Korean Journal of Infant Mental Health 2016;9(1):55–70.
  Article
1. Kim IS, Kim DY. The effects of mother's smartphone addiction tendency on smartphone overindulgence and externalizing problem behaviors among preschool children: Focusing on mediating effects of marital conflicts and mother-child communication. Asian Journal of Education 2017;18(2):221–244. [doi: 10.15753/aje.2017.06.18.2.221]
  Article
1. Nam KH. The Influence of maternal parenting behaviors and media mediation on young children's smartphone overuse. Early Childhood Education & Care 2018;13(1):117–137. [doi: 10.16978/ecec.2018.13.1.005]
  Article
1. Kwon MK, Park HS, You JH, Han KO. A study of variables influencing smartphone overuse in early childhood. The Korean Journal of the Human Development 2016;23(4):121–138. [doi: 10.15284/kjhd.2016.23.4.121]
  Article
1. Stewart LA, Clarke M, Rovers M, Riley RD, Simmonds M, Stewart G, et al. Preferred reporting items for a systematic review and meta-analyses of individual participant data: The PRISMA-IPD statement. JAMA 2015;313(16):1657–1665. [doi: 10.1001/jama.2015.3656]
  PubMed
  
  Article
1. Smartphone [Internet]. Asuncion: Namu.wiki; c2020 [cited 2020 Apr 17].
  Available from: https://bit.ly/2XM2Tdu.
1. National Institute of Health (NIH). Quality assessment tool for observational cohort and cross-sectional studies [Internet]. Rockville: NIH; [cited 2020 Jan 18].
  Available from: https://bit.ly/2WQRkRP.
1. Borenstein M, Hedges LV, Higgins JPT, Rothstein HR. In: Introduction to meta-analysis. Chichester: John Wiley & Sons, Ltd; 2009. pp. 41-43.
  Article
1. Cohen J. In: Statistical power analysis for the behavioral sciences. New York: Academic Press; 1977. pp. 109-116.
1. Duval S, Tweedie R. Trim and fill: a simple funnel-plot-based method of testing and adjusting for publication bias in metaanalysis. Biometrics 2000;56(2):455–463. [doi: 10.1111/j.0006-341x.2000.00455.x]
  PubMed
  
  Article
1. Sterne JA, Sutton AJ, Ioannidis JP, Terrin N, Jones DR, Lau J, et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;343:d4002 [doi: 10.1136/bmj.d4002]
  PubMed
  
  Article
1. Kum JY, Chung CH, Jeong HJ. The influence of mothers' parenting attitude on children's smart-phone dependency: Focusing on the moderating effect of children's playfulness. Journal of Children's Literature and Education 2019;20(2):75–97. [doi: 10.22154/JCLE.20.2.4]
1. Bae JH, Lee SH. The relationship between mother's parenting stress and parenting attitude on smart devices dependency in child; a meditation model of mother's smart devices dependency. Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology 2017;7(2):747–759. [doi: 10.35873/ajmahs.2017.7.2.071]
  Article
1. Lee HJ, Chae SM, Bang KS, Choi H. Relationships among preschoolers' smartphone addiction tendency, their problem behaviors, and parenting efficacy of their mothers. Child Health Nursing Research 2015;21(2):107–114. [doi: 10.4094/chnr.2015.21.2.107]
  Article
1. Choi YH, Park NS, Song SM, Park B, Kang MS. The mediating effect of preschoolers' smart device immersion tendencies on the relationship between maternal parenting behavior and preschoolers' problem behaviors. Korean Journal of Play Therapy 2016;19(4):297–316. [doi: 10.17641/KAPT.19.4.2]
  Article
1. Gil HJ, Lee YJ. The relationship between self-regulation in children and smart device usage habits of mothers and children. The Journal of Korea Open Association for Early Childhood Education 2016;21(1):275–295. [doi: 10.20437/KOAECE21-1-11]
  Article
1. Lim MH, Kim SH. A study on the smart phone and tablet PC utilization, parental perception, and addictive tendencies of young children. Korean Journal of Child Education and Care 2014;14(4):237–260.
1. Cha G, Kwak S. An analysis of the relationship between mothers' beliefs and participation in play and children's excessive immersion in smartphone use. The Journal of Future Education 2018;8(2):77–109.
1. Jo JO, Kim EJ. The mediating and moderating effects of maternal parenting efficacy on the relationship between parenting stress and child's media addiction. Journal of Learner-Centered Curriculum and Instruction 2019;19(9):1189–1208.
  Article
1. Lee G, Kim S. An integrative review on the contents and effectiveness of emotion coaching interventions for parents. Journal of Korean Academy of Psychiatric and Mental Health Nursing 2019;28(1):64–78. [doi: 10.12934/jkpmhn.2019.28.1.64]
  Article
1. Lauricella AR, Wartella E, Rideout VJ. Young children's screen time: The complex role of parent and child factors. Journal of Applied Developmental Psychology 2015;36:11–17. [doi: 10.1016/j.appdev.2014.12.001]
  Article
1. Jo JO. Impact of ecological variables on the internet game addiction inclination of preschoolers. Journal of Early Childhood Education Research 2014;18(3):359–386.
1. Cundy L. In: Love in the age of the internet: Attachment in the digital era. London: Karnac Books; 2015. pp. 1-30.
1. Paudel S, Jancey J, Subedi N, Leavy J. Correlates of mobile screen media use among children aged 0-8: A systematic review. BMJ Open 2017;7:e014585 [doi: 10.1136/bmjopen-2016-014585]
  PubMed
  
  Article
1. Bandura A. In: Self-efficacy in changing societies. New York: Cambridge University Press; 1995. pp. 1-334.
  Article

Citations

Citations to this article as recorded by

FACTORS ASSOCIATED WITH SMARTPHONE OVERDEPENDENCE IN PRESCHOOL CHILDREN AND ITS EFFECT ON SOCIAL BEHAVIORAL PROBLEMS
Leyla Çakmak, Fikriye Aksoy Boğanak, Nurettin Menteş, Mustafa Volkan
Sağlık ve Sosyal Refah Araştırmaları Dergisi.2025; 7(1): 43. CrossRef
Empowering Parents: The Impact of a Parenting Practice-Based Care Module on Preventing Internet Gaming Disorder in Elementary School Children
Nur Hidaayah, Esti Yunitasari, Hanik Endang Nihayati
Iranian Journal of Nursing and Midwifery Research.2025; 30(2): 211. CrossRef
Parent-Child Relationships and Children’s Addiction to Smartphones: A Review of International Studies
Victor P. Sheinov
RUDN Journal of Psychology and Pedagogics.2025; 22(1): 75. CrossRef
Effects of digitalization in preschool education on the creative and cognitive development of children
Yiyi Chen, Zihe Ding
Education and Information Technologies.2024; 29(16): 21567. CrossRef
Sequential Dual Mediating Effects of Smartphone Dependence and Aggression on the Relationship Between Negative Parenting Attitudes and Depressive Symptoms Among Adolescents
Jihun Na, Sungkyu Lee, Hyeyeon Sung, Jinho Jhone
Child & Family Social Work.2024;[Epub] CrossRef
Clinical Manifestations’ Spectrum of Smartphone Addiction: Moving from an Addiction toward a Clinical Syndrome
Mudar Alwazzeh, Muhdammad Harfouch, Manal Ahmed Hasan, Safi Alqatari, Abir Hamad AlSaid, Marwan Jabr Alwazzeh
Clinical Practice & Epidemiology in Mental Health.2024;[Epub] CrossRef
The experiences of counselors caring for children and adolescents with problematic smartphone use
Jaewon Joung, Eunhee Oh, Eun Jee Lee
Scientific Reports.2023;[Epub] CrossRef
Effects of emotion coaching group programme for mothers of preschool children with smart device overdependence: a mixed methods study
Gumhee Lee, Sungjae Kim
BMC Nursing.2023;[Epub] CrossRef
Prevalence, determinants and consequences of problematic smartphone use among preschoolers (3–5 years) from Dhaka, Bangladesh: A cross-sectional investigation
Faruq Abdulla, Md. Moyazzem Hossain, Mohammed Nazmul Huq, Abdul Hai, Azizur Rahman, Russell Kabir, Farhana Jahan Peya, Sinigdha Islam, Hafiz T.A. Khan
Journal of Affective Disorders.2023; 329: 413. CrossRef
Factors related to the organizational silence of Korean nurses: A systematic review and meta-analysis
Kyungja Kang, Jeong-Hee Kim
The Journal of Korean Academic Society of Nursing Education.2023; 29(3): 302. CrossRef
What Do Mothers Consider When Choosing Screen Media Programs for Their Infants?
Yoon Kyung Kim, Dongmee Lee, Ju Hee Park
Family and Environment Research.2022; 60(1): 115. CrossRef
Relationship between Mother’s emotional intelligence, negative parenting behaviour, Preschooler’s attachment instability, and smart device overdependence
Gumhee Lee, Sungjae Kim
BMC Public Health.2022;[Epub] CrossRef
Factors Related to Smartphone Overdependence in Mothers of Preschoolers: A Systematic Review and Meta-Analysis
Gumhee Lee, Eunjin Yang
Journal of Psychosocial Nursing and Mental Health Services.2022; 60(3): 40. CrossRef
Mediating Effects of Online-Based Leisure Between Parenting Attitudes and Children’s Smartphone Dependency
Yoonju Cho
Korean Journal of Child Studies.2021; 42(6): 695. CrossRef
Pathway from Maternal Parenting Efficacy, Inappropriate Motives for Allowing Smart Devices, and Smart Device Dependency to Preschoolers’ Ability to Understand Minds
Yun Mi Park, Min Ju Kang
Korean Journal of Child Studies.2020; 41(6): 9. CrossRef

Cite

CITE: export Copy Download Format; Close

Download Citation

Download a citation file in RIS format that can be imported by all major citation management software, including EndNote, ProCite, RefWorks, and Reference Manager.

Format:

RIS — For EndNote, ProCite, RefWorks, and most other reference management software
BibTeX — For JabRef, BibDesk, and other BibTeX-specific software

Include:

Citation for the content below
Citation and abstract for the content below

Parental Factors Associated with Smartphone Overuse in Preschoolers: A Systematic Review and Meta-Analysis

J Korean Acad Nurs. 2020;50(3):349-368. Published online June 30, 2020

DOI: https://doi.org/10.4040/jkan.19186

Related articles