Qualitative analysis

The study will also include a qualitative textual analysis of some of the articles coded  during the content analysis. In a textual analysis, the researcher attempts to discern the likely  interpretations that could be made from that text (Lester‐Roushanzamir & Raman, 1999; A.  McKee, 2003). Researchers use textual analysis to consider not just the words used, but the  motivations behind the use of those words and how the words might be interpreted (McKee,  2003). Textual analysis offers a chance to examine the ways in which ideas or events are given  importance as well as how readers might understand and respond to the text (Shah, 1999). The  textual analysis should provide an additional layer of understanding regarding the use of 

unnamed sources and the ethical justifications for that use. 

Since the researcher is conducting the main body of coding, he identified unnamed  sourced newspaper articles that would prove helpful in discussion. After the content analysis  was completed, the articles were examined to help expand and comment on the quantitative  findings. The author also examined the specific use of unnamed sources within the framework  of the ethical theory of utilitarianism, for which the textual analysis will provide support. The  textual analysis is offered in the discussion section.  

3.4  Summary   

The research design outlined in this section should provide a rich set of reliable and valid  data regarding the use of unnamed sources over time. With data analysis—both descriptive and  statistical—the research questions should be easily answered. The data allows for discussion  over whether the frequency of unnamed source use has changed over time. It also allows us to 

see whether journalists in earlier decades took different approaches toward identifying 

sources, independent verification, and explanations for anonymity. The findings will add to the  discussion regarding the balance between the reporter’s mission to report the news and the  need for transparency to establish credibility. 

4   Results   

With the literature review and methodology set, the researcher embarked upon the  coding and analyzing. The process went smoothly except for a couple of impediments which  will be discussed in the following paragraphs. 

4.1   Intercoder reliability   

A second coder was trained on the coding protocol and given specific instructions  regarding how to make the best judgments in specific situations. The coder examined a random  sample of 127 articles to test for intercoder reliability. Four of the articles were excluded from  the sample because of errors with the story ID code. The remaining 123 articles represent  roughly 10 percent of the total sample. The sample achieved an acceptable overall simple  agreement rate of 85.4 percent. Table 4.1 shows the results for the individual variables, both as  simple agreement and Scott’s Pi. 

Table 4.1: Intercoder Reliability 

Variable  Percent Agreement  Scott’s PI 

Newspaper  100  1  Story ID  100  1  Story Type  57.3  0.440  Unnamed Sources  94.2  0.882  Attempt at ID  82.7  0.624  Independent Verification  82.7  0.601 

Explanation for Anonymity  98.3  0.791 

Number of Sources  68.03  0.487 

In reviewing the data set in Table 4.1, two variables lowered the reliability ratings  tremendously—story type and number of sources. Despite copious instructions, the coders  often disagreed when categorizing each story. For instance, a new drug approval could be  coded as “government” or “health,” or a story about an Army general talking to a foreign  official could be coded as “military” or “foreign affairs.” The simple agreement for this category  achieved just 57.3 percent. Another troublesome variable was Number of Sources. The coders  often disagreed on just how many unnamed sources were included in an article. Often, long  articles would cite several different unnamed sources and refer to them in different ways,  leaving the coder guessing at the exact number. The number of sources category achieved a  simple agreement of just 68 percent. Fortunately, neither category represents an important  part of the findings of the dissertation. When those variables are removed from the overall  simple agreement calculation, the level of agreement rises to 93 percent.  

As can be seen in the table, only two of the Scott’s Pi calculations reached acceptable  levels—Anonymous Sources and Explanation for Anonymity. The other Scott’s Pi numbers were  far lower, below levels considered acceptable.6  The low Scott’s Pi numbers are surprising given  the corresponding simple agreement. For example, Attempt at ID and Independent Verification  both achieved 82.7 percent simple agreement, yet their Scott’s Pi numbers were in the low 60s.  

Several researchers consider Scott’s Pi and other chance‐correcting coefficients as an  inadequate method to test intercoder reliability in certain circumstances. Content analysis  author Neundorf notes that percent agreement is actually the most appropriate measurement  in instances “wherein each pair of coded measures is either a hit or a miss” (2002, p. 149).  

6

Several researchers in peer‐reviewed journals have opted to not release chance‐corrected  coefficients such as Scott’s Pi or Cohen’s Kappa because they are mathematically biased against  binary variables (Bachen, Raphael, Lynn, K. McKee, & Philippi, 2008; Xenos & Foot, 2005). In  effect, these authors report that the calculations over‐correct for chance agreement for  categories with only two possible responses. Given the work of these other scholars, this  researcher feels the Attempt at ID and Independent Verification variables are sufficiently  reliable given the 82.3 percent simple agreement. Furthermore, the lowest reliability rating  reported by Martin‐Kratzer and Thornton (2007) was .83, and those authors never said whether  the figure was simple agreement or a chance‐corrected coefficient.